Doc - Abed

AVALIAÇÃO NO DESIGN E DESENVOLVIMENTO
DE MULTIMÍDIA EDUCATIVA:
estratégia de apoio ou parte do processo?
Hermelina Pastor Romiszowski, PhD.
TTS, Rio de Janeiro
[email protected]
Abstract
This paper discusses the role of evaluation in the instructional design of
interactive multimedia. It illustrates the importance of evaluation in the process of
planning of technology-based pedagogical materials, with examples taken from three of
the phases of the instructional design process applied in educational CD-ROM
development projects. It analyzes the role of investigative evaluation in the practice of
instructional design as a means of assuring quality of the final product. It concludes with a
broader discussion of the author’s experience of implementing continuous formative
evaluation in the design and development of materials that utilize CD-ROM and similar
technologies.
Key-words: Evaluation; Formative evaluation; Investigative evaluation;
Instructional design, Criteria; Critical reflection.
Resumo
A apresentação discute o papel da avaliação no design instrucional de
multimídia educativa. Considera a importância da avaliação para o planejamento
pedagógico de materiais utilizando novas tecnologias, destacando, numa experiência de
elaboração de CD-ROM educativo, três aspectos do design instrucional. Analisa o papel
de ações avaliativas de caráter investigativo nas atividades práticas de design, para
assegurar a qualidade do material final. Conclui utilizando os dados da experiência
apresentada para estimular uma discussão mais ampla sobre a avaliação formativa
continuada no design e desenvolvimento de materiais utilizando a tecnologia de CD-ROM
e afins.
Palavras- chaves: Avaliação, Design instrucional, Avaliação Formativa,
Avaliação Investigativa, Critérios, Reflexão Crítica.
1. INTRODUÇÃO
Em recentes trabalhos de design e desenvolvimento de CD-ROM's para educação
e treinamento, temos nos deparado com alguns questionamentos sobre a melhor forma de
planejar e desenvolver esta tecnologia. Design instrucional aqui refere-se ao "planejamento
sistemático baseado em princípios científicos de comunicação, aprendizagem e ensino,
levando à melhoria dos materiais instrucionais elaborados". Um produto em multimídia
educativa é fruto de um investimento de várias ordens, numa tentativa de integração para
se obter um real aproveitamento do potencial das mídias para uma aprendizagem eficaz. O
que isso significa na prática? Que desafios apresenta para o designer/elaborador? O que e
como fazer para vencer os desafios? Como assegurar a qualidade dos materiais elaborados?
Como saber se são consistentes? Estas são algumas das muitas indagações que dificilmente
poderão ser respondidas sem a ajuda da avaliação. Avaliação neste trabalho refere-se à
“reflexão crítica e sistemática de informações obtidas no processo de design instrucional e
utilização das informações para melhoria da qualidade dos materiais sendo elaborados."
Um trabalho contínuo de avaliação pode ser uma boa estratégia para assegurar a
qualidade, principalmente hoje quando o designer instrucional é desafiado para melhor
entender e incorporar, na prática, as atuais mudanças sociais, educacionais e tecnológicas.
Trata-se da aplicação do conceito de avaliação formativa (Scriven, 1983) ao design e
desenvolvimento instrucional. Isto não é uma coisa nova, pois há muito vem sendo usada
Por educadores preocupados com a qualidade educacional. Contudo, em se
tratando de elaboração de materiais didáticos, sempre esteve mais voltada para a fase de
testagem. Em geral preparava-se o material por inteiro, coletavam-se dados com a clientela
alvo ou próxima dela, e depois revisava-se de acordo com o resultado da testagem. Esta,
hoje, continua a ser uma importante estratégia de avaliação, principalmente para atender às
reais necessidades de navegação dos usuários de novas tecnologias (Telles, 1999). Mas não
se constitui no único momento no qual a avaliação acontece.
2. COMO A AVALIAÇÃO FORMATIVA PODE AJUDAR NO DESIGN DE MMI?
O design instrucional se beneficia da avaliação formativa no sentido de que as
decisões tomadas no dia a dia do trabalho e a reflexão crítica sobre elas, ajudam a curto e
médio prazos. A curto prazo no sentido de que facilita as decisões de melhoria do material
no andamento do trabalho pela identificação de problemas/deficiências, criando a
oportunidade para revisões pertinentes no processo. Evita um grande investimento de
tempo nas revisões finais. Esta posição é enfatizada por Reeves (1997) ao discutir a
importância da avaliação no design instrucional e criticar sua pouca utilização.
A avaliação formativa também ajuda a longo prazo, no sentido de que fornece
dados para a verificação da qualidade do produto como um todo, levando a uma reflexão
maior. Ao mesmo tempo contribui para solidificar o corpo de conhecimento da avaliação
neste campo da atividade educacional, ainda prejudicado pela insuficiência de
conhecimentos sólidos que oriente a prática. É possível que a insuficiência de pesquisas
sobre o impacto das novas tecnologias de informação e comunicação na aprendizagem e no
ensino, tenha participação nisso.
Por outro lado, o fato é que ao nos vermos envolvidos no planejamento de
atividades de aprendizagem usando essa tecnologias, até certo ponto educacionalmente
desconhecidas- pelo menos a nível de influência - estamos num campo fértil para
investigações as mais variadas. A multimídia oferece vários canais para extração de
recursos para uma aprendizagem dinâmica e eficaz; um bom designer de multimídia não
pode estar alheio a isso e tem que ser eficiente não só na criação de estratégias didáticas
compatíveis para exploração desse potencial, como também na investigação de seus
efeitos. O exercício da avaliação favorece a problematização e a reflexão, fatores
essenciais para a exploração destes aspectos.
2.1. Os Exemplos
Tomando como base o design e desenvolvimento instrucional em dois projetos de
elaboração de CD-ROM,s educativos, num modelo de elaboração adotado pela TTS (Doc.
Básico, 1998), vamos considerar alguns pontos da prática. O projeto/exemplo 1, na área de
educação, teve como objetivo incentivar o uso da Informática na Educação para
educadores em geral. O projeto/exemplo 2, na área de turismo, teve o objetivo de treinar
pessoal de agências de turismo no uso de sistemas computadorizados de reserva de
passagens aéreas. Três atividades do modelo, partes das fase de design instrucional, são
aqui consideradas para ajudar na análise de procedimentos avaliativos que contribuíram
para a qualidade do produto almejado: São elas: conteúdo, roteirização e testagem.
Observação: as palavras em negrito referem-se a procedimentos avaliativos ou
relacionados, considerados no processo de elaboração do qual os exemplos abaixo foram
selecionados.
2.1.1. Conteúdo
Este aspecto merece especial atenção por parte do designer instrucional. É uma
das dimensões mais importantes consideradas por Teles (1999) e Collins, Brown e
Newman (1989). Nos dois exemplos em consideração os conteúdos já existiam,
potencialmente, em forma de material impresso. Mas, para serem veiculados em outra
mídia necessitaram de tratamento compatível, levando a uma ação inicial (que
consideramos avaliativa), para facilitar as atividades de design do produto multimídia:
análise crítica. Por que isto tem que ser feito? Conteúdo é conteúdo e pode ser veiculado
de várias maneiras. A questão é saber de que maneira queremos ou devemos desenvolvê-lo
e também para que. Estabeleceu-se alguns critérios básicos de: utilidade, consistência,
clareza, quantidade. Quantidade neste caso é importante por causa do espaço disponível
na tecnologia de CD-ROM. Isto também ajuda o designer a avaliar todo o material
disponível a ser usado e levantar o que precisa ser criado ou conseguido de outras fontes.
Um dos resultados foi a possibilidade de organização do conteúdo original em
forma de conteúdo mapeado (formato mais adequado para a roteirização/sugestão de
navegação) na tecnologia escolhida. Contudo, devido às características de cada conteúdo,
as estratégias avaliativas foram diferentes, apropriadas para cada situação. No exemplo
1(educação) o conteúdo era originário de um livro que por sua vez teve objetivo apresentar
uma tese de doutorado, atendendo a um problema específico. Para a elaboração do CDROM, foi constatada a necessidade de complementar o conteúdo não só de textos, mas
também de exemplos práticos. No exemplo 2 (turismo), o conteúdo era também impresso,
mas em forma de apostilhas, bastantes detalhadas, originalmente utilizadas em cursos de
treinamento presencial. Neste caso foi necessário dosar o conteúdo para dar certo
equilíbrio nas informações a serem veiculadas.
Vale ressaltar duas importantes lições que podem ser extraídas: 1) o
estabelecimento de critérios básicos de análise é essencial, mas 2) mesmo quando se tem
critérios básicos, o tipo de análise avaliativa do conteúdo depende dos objetivos que se
quer atingir com o produto a ser elaborado e das características do material disponível. O
ponto central é a análise crítica do material como forma geradora de insumos para as
necessidades específicas de uma veiculação via CD-ROM. Isso ajuda o designer em muitas
outras decisões para desenvolvimento das atividades seguintes, inclusive em termos do que
já dispõe e o que ainda precisa obter para realizar o trabalho a contento.
2. 2. Roteirização/Script
Este é um aspecto que também se beneficia do resultado da análise de conteúdo,
pois envolve a escolha dos métodos de apresentação, práticas para os tópicos incluídos no
conteúdo e afins. Chegamos a um ponto em que novas decisões envolvem novas ações
avaliativas, em torno melhor forma de desenvolver os tópicos, selecionar exemplos
relevantes, textos específicos, vídeos e tudo o mais que seria necessário utilizar. Aqui é
possivel verificar como uma análise criteriosa do conteúdo pode facilitar o
desenvolvimento do roteiro. Isso não significa que não se tenha que fazer ajustes; estes
sempre são necessários. Trata-se de criar bases para melhor identificar problemas ou
fontes deles, ajustando o que for necessário.
Outro dado a considerar na roteirização e que envolve análise avaliativa é a
questão dos recursos computacionais disponíveis para uso. Isto tem que ser levado em
conta, por razões como as exemplificadas a seguir.
No exemplo 1, um projeto para uma clienta ampla, indefinida, que deveria se
embasar com os conteúdos e usá-los da melhor maneira para sua realidade, na época
utilizou-se o “authorware”. Esta ferramenta de autoria favorece a criação de roteiros mais
abertos, exemplos diversos e a integração de outros recursos tecnológicos. No exemplo 2,
projeto sob medida para faciliatr a aprendizagem específica de procedimentos, utilizou-se
o “skillbuilder” Esta ferramenta computacional facilita a produção de cursos para ensino
de procedimentos tais como usar vários aplicativos tais como: Microsoft Office, Lotus
Notes e outros. Para natureza do tipo de conteúdo (grande quantidade de procedimentos
padronizados), mostrou-se adequada, principalmente por poder automatizar o pestas
rocesso de desenvolvimento do conteúdo. Em ambas as situações o designer instrucional
deveria levar em conta também o trabalho posterior de programação/design gráfico.
Aqui vale a pena ressaltar que em nossas experiências optamos por um modelo de
entrosamento entre os profissionias, que envolvia avaliações específicas e contínuas. Por
exemplo, eram realizadas reuniões com os dois tipos de designers (instrucional e gráfico),
antes da implementação de cada roteiro. A idéia era apresentar os roteiros elaborados
pelo designer instrucional, para se verificar o nível de comunicação do material. Por
exemplo, até que ponto o que foi planejado pedagogicamente poderia ser implementado
sem restrições? Se estas existiam, como compatibilizar? Este aspecto nos pareceu
fundamental, não só para esclarecer dúvidas, como também para evitar grandes
reformulações depois do trabalho de programação muito adiantado. Ou ainda já na fase de
ir para outos profissionais além dos designers, quer dizer fora do controle deles. A
premissa básica foi a de que tão importante quanto ter boas idéias é comunicá-las
claramente; principalmente quando o trabalho envolve equipe multidisciplinar. Fica clara
a necessidade de se estabelecer critérios básicos para as atividades, cujas variações por
certo definem a “cara” do produto que se vai ter.
Outro ponto importante é a abertura, criatividade e competência dos designers
(instrucional e gráfico) para adaptar o planejamento inicial às necessidades surgidas ao
longo da elaboração. Aqui vale lembrar o tipo de avaliação que estamos pretendendo,
muito mais investigativa que comprobatória. Assim, não se trata de um procedimento
rígido para ser seguido a qualquer custo, mas do estabelecimento de bases de trabalho
fundamentadas para ajudar nas decisões de ordem pedagógica, o que muitas vezes significa
adaptação do que for necessário. É o entrosamento prático entre
planejamento/avaliação/replanejamento.
Propósitos, objetivos, conteúdo, interações, interatividade, são alguns dos muitos
fatores que devem ser trabalhados na operacionalização dos roteiros. Informações claras e
precisas constituem a base para uma boa implementação das estratégias didáticas
pertinentes.
2.3. Field Testing /Testagem
Esta atividade é mais específica de avaliação, pelo menos em termos tradicionais.
Como a avaliação sempre esteve muito ligada à testagem, esse tópico é de mais fácil
entendimento. Pode ser um bom exemplo de como as necessidades da avaliação hoje são
mais amplas ou talvez mais flexíveis, ou ambas. O fato é que a testagem é quase que
processual, numa certa dimensão, embora ainda seja específica a nível de possibilidade de
feedback do potencial usuário do material. Ás vezes ainda temos dificuldade de entender e
praticar a avaliação em atividades como as analisadas nos ítens 2.1 e 2.2.
Considerando a situação específica dos materiais aqui tomados como exemplo
temos o cenário que se segue.
No exemplo 2, CD-ROM para agentes de viagem, a testagem foi planejada e
orientada pelo designer e aplicada à clientela pelo conteudista do projeto. Este , era o
mesmo profissional responsável pelo treinamento presencial dos potenciais usuários na
empresa GALILEO do Brasil, fornecedora do conteúdo. Não foi a estratégia ideal, já que o
designer deveria estar mais presente, mas foi a possível.
A aplicação se deu para um grupo de treinandos do próprio GALILEO o que deu
uma idéia aproximada da situação, acompanhada pelo conteudista e o resultado forneceu
dados muito úteis para a revisão final do produto. Mas houve um fator negativo que foi o
uso de uma versão do software com alguns problemas técnicos. Era prevista uma revisão
cuidadosa pelos programadores e designers, mas esta deixou a desejar. Registraram-se
alguns erros de programação que poderiam, facilmente, ter sido evitados, através de uma
revisão mais cuidadosa. Embora não tenham chegado, aparentemente, a prejudicar, fica
a dúvida sobre o real prejuízo. Isso também foi levado em conta na avaliação geral do
projeto com a sugestão de um melhor planejamento e execução dessa atividade, num
próximo projeto.
No caso do CD-ROM para a área de educação a testagem, nos moldes aqui
mencionados, não se realizou. Por motivos de ordem institucional, alheios à TTS, o
material foi reproduzido sem uma revisão final da equipe de design e desenvolvimento. É
importante considerar isto para enfatizar que em projetos nos quais a equipe de design e
desenvolvimento pedagógico não tem controle sobre outras fases do projeto, há
necessidade de algum acerto contratual que assegure a revisão final, em função de um
produto na melhor qualidade possível.
3. CONSIDERAÇÕES FINAIS
Criar e desenvolver atividades educacionais interativas representa criar mensagens
para um novo paradigma de aprendizagem, no qual o aluno ao invés de ouvir e assimilar,
interage ativamente com a tecnologia (termo aqui usado para hardware e software). O
design instrucional pode propiciar um "framework" para visualização de idéias, imagens e
outros recursos que podem ser colocados numa interface útil e amigável para o usuário,
para realizar sua aprendizagem da forma que melhor lhe aprouver. Neste contexto o
designer instrucional não atua só como planejador, mas também como pesquisador e
avaliador constante.
Esta discussão nos parece oportuna porque muito se fala em novos paradigmas
educacionais, mas muito pouco se fala em novos paradigmas de avaliação. Ou pelo menos
no papel da avaliação nos novos paradigmas. Contudo, o educador consciente não pode
deixar de indagar coisas como: que tipo de atividades e/ou materiais precisamos para
trabalhar os novos paradigmas educacionais? Que tipo de procedimentos avaliativos são
pertinentes? Como vamos utilizá-los? Como vamos avaliá-los em sua eficiência e eficácia
para os objetivos de aprendizagem propostos? Quais os procedimentos que mais se aplicam
a situações X,Y,Z?
Cada fase de uma elaboração de material didático usando em novas ou velhas
tecnologias, tem seu papel específico. Mas não é atividade isolada, nem se desenvolve fora
de contexto.
O design instrucional é uma área propícia à investigação, devendo ser apoiada
por avaliação, pesquisa e questionamento científico. Hoje, sob maior influência das teorias
cognitivas de aprendizagem e das novas tecnologias de informação e comunicação, precisa
desenvolver uma base sólida de conhecimento que sirva de orientação para a prática
educacional vigente. Neste ponto ainda deixa muito a desejar, mas tem campo para
iniciativas múltiplas, desenhadas para gerar novos conhecimentos e disseminá-los.
Literatura pertinente, bibliografia relacionada, opinião de profissionais para orientar
iniciativas de pesquisa, opinião de usuários sobre percepções, observações várias e outras
estratégias compatíveis, precisam ser adotadas.
A área da avaliação educacional também está sendo questionada para melhor
atender melhor à diversidade dos problemas educacionais de hoje. Mas isso não significa
que não há necessidade de avaliar, nem também significa negar as inúmeras conquistas da
área até então. Como em outras áreas educacionais, há necessidade de revisão crítica
sobre o papel da avaliação hoje e sobre como realizá-la, principalmente em situações
novas, menos definidas. Alguns teóricos da área têm se preocupado com uma revisão nos
conceitos e modelos de avaliação e têm desenvolvido estudos significativos, demonstrando
a necessidade da avaliação se flexibilizar para melhor atender à diversificação da educação
de hoje. Por exemplo, Smith (1993), para programas educacionais em geral e Jonassen (
1993) e Reeves (1997) para o design instrucional, especificamente. Este último faz um
retrospecto da avaliação nas últimas décadas, mencionando os quatro paradigmas
emergentes de avaliação mais influentes hoje e os oito modelos deles decorrentes, assim
como suas implicações para as atividades de design instrucional. Tais estudos são
importantes, mas bases gerais; é necessário que os educadores tenham abertura para
aplicá-los e investigá-los em diferentes realidades e/ou criar seus próprios modelos. A não
existência de modelos e procedimentos avaliativos padronizados para qualquer situação de
elaboração de multimídia, pode ser um fator enriquecedor, já que cada contexto requer
atenção apropriada. O importante é a conscientização de que não podemos adotar novos
paradigmas educacionais, desconsiderando paradigmas compatíveis de avaliação, quer seja
para elaboração de material multimídia, quer seja para qualquer outro aspecto educacional.
Temos que ter uma prática tal que faça com que as tecnologias de ponta sirvam aos
projetos pedagógicos e não vice-versa.
REFERÊNCIAS BIBLIOGRÁFICAS
Reeves, T. (1997). Established and Emerging Evaluations paradigms for Instructional
Design. Em Dills and Romiszowski, A (eds), Instructional Development Paradigms,
Educational Technology Publications, Inc, Englewood Cliffs, New Jersey: Estados
Unidos.
Romiszowski, H (1999). Elaboração de Material em Multimídia Interativa para a EAD:
Aspectos de Planejamento, Desenvolvimento e Avaliação. Apresentação no V
Congresso da ABED.
Romiszowski, H (1999). Avaliação como Estratégia para Melhoria do Design
Instrucional: papel dos enfoques emergentes. Apresentação no VI Congresso
Internacional da ABED.
Scriven, M (1983). Evaluation Ideologies. Em Madaus, Scriven and Stuflebeam (eds),
Evaluation Models: Kluwer-Nijhoff, Boston, Estados Unidos.
Scriven, M (1991). Evaluation Thesaurus, Sage Publications, California; Estados Unidos.
Smith, N (1992). Varietes in Investigative Evaluation , New Directions for Program
Evaluation, Jossey-Bass, San Francisco, CA, Estados Unidos.
Telles, L (1999). Designing Online Collaborative Learning Environments, Apresentação
no II Ciclo de Teleconferências para o Ensino de Engenharia/São Paulo.
TTS/Elaboração de CD-ROM Educativo. Documento Básico para Orientação Interna,
Rio de Janeiro, 1998.