Hermelina Pastor Romiszowski
Tecnologia, Treinamento e Sistemas (TTS)
Lina@tts-global.com
Resumo
O presente trabalho aborda a avaliação em sua importância
para a educação. Enfatiza a necessidade de uma mentalidade favorável
à avaliação, uma cultura que ajude a definir porque, para
que e como avaliar.
Discute a importância dos critérios e de procedimentos mais flexíveis,
como necessidade para a Educação a Distância com uso de
tecnologias interativas, área ainda carente de estudos comprometidos
com o uso responsável da tecnologia em educação.
Apresenta alguns exemplos de avaliação, em situações
educacionais específicas, como um incentivo a uma discussão maior
sobre a prática da avaliação, sua dinâmica e utilidade.
E conclui com algumas reflexões e sugestões para um maior compromisso
com a avaliação, colaboradora da qualidade educacional.
Palavras-chave:
avaliação educacional, qualidade, educação
a distância, design instrucional, critério, análise, procedimento,
resultado.
1. Contextualização: Necessidade e Utilidade da Avaliação em Educação
Necessidade
A educação de qualidade, seja presencial ou a distância, não pode prescindir da avaliação, uma forma de investigar, analisar e tomar decisões relevantes à situação sendo avaliada. A avaliação educacional precisa de novos significados, de contextos culturais favoráveis a ela, o que representa um desafio, principalmente no Brasil. Infelizmente temos ainda pouco investimento em avaliação e, de certo modo, até uma cultura anti-avaliação.
Mas, como melhorar a qualidade de processos e produtos? Como ter bons resultados, sem uma mentalidade que facilite o uso de procedimentos que apoiem as decisões, seja no desenvolvimento, seja no final dos projetos educacionais? Os educadores brasileiros não querem mais a “cultura do achismo”; ao contrário, querem transparência, ética e atitude científica. Hoje há uma grande preocupação dos educadores sobre o “como fazer” avaliação, seja na sala de aula convencional, seja em ambientes virtuais, seja na gestão global de projetos educacionais.
A Educação a Distância, com sua identidade associada às tecnologias, tem demandas específicas para seu bom desenvolvimento. Além das demandas pedagógicas, tem as tecnológicas e institucionais de apoio, que envolvem mecanismos específicos de avaliação. É preciso contextualizar, definir prioridades, escolher métodos e procedimentos compatíveis.
Utilidade
Muitas avaliaçãoes não funcionam porque não mostram utilidade, como no caso da realizada só no final de um projeto. Pode até mostrar resultados, mas não tem influência na melhoria do processo.
Patton (2004) enfatiza que um dos pontos mais importantes sobre avaliação é a sua internalização, sua valorização como algo necessário e útil. Menciona que muitas vezes há uma rejeição à avaliação, simplesmente porque as pessoas não percebem a sua utilidade. Por esta razão, alguns países como Estados Unidos, Canadá e África do Sul, por exemplo, optaram por definir o papel da avaliação no seu contextos. Estes países criaram associações como a AEA (American Evaluation Association/EEUU), para facilitar o desenvolvimento da avaliação na educação do país, enfrentando o desafio de torná-la útil.
No passado a avaliação era vista como julgamento, um sentido autoritário e que certamente não ajudou a desfazer o mito. Hoje há um certo consenso de que devemos facilitar a linguagem da avaliação, a partir do próprio entendimento do que ela é em determinado contexto. Uma das grandes queixas dos professores e outros profissionais de educação é que em muitos sistemas de avaliação eles não percebem as mudanças, ficam céticos sobre o valor da avaliação e às vezes até criam resistência. É possível que a origem da resistência, pelo menos a inicial, esteja no próprio ser humano; por isso faz-se necessário diplomacia, interação e sentido útil para a avaliação.
2. Avaliação: aspectos de critérios, métodos e procedimentos.
O sentido útil da avaliação educacional envolve clara definição de objetivos, critérios básicos e específicos, procedimentos adequados, de forma que o resultado sirva para a melhoria do objeto da avaliação e a tomada de decisões. A avaliação deve procurar responder a questões centrais para saber se algo é bom, que critérios utilizar para os resultados pretendidos, como ajudar as pessoas a determinar se são boas no que estão fazendo. Só a boa intenção não basta pois é preciso saber se o que se precisa está realmente acontecendo. E para que isso dê resultado prático, a avaliação precisa ser bem definida no contexto e desenvolvida apropriadamente. Inclusive, a própria avaliação deve ser avaliada, como sugere o conceito de meta-avaliação - a avaliação da avaliação. Indiretamente, a meta-avaliação é também a avaliação dos avaliadores e representa uma obrigação ética e científica (Stufflebeam, 1989).
Os desafios para a EAD de hoje são grande; os planejadores têm preocupação, além de outras, com a eficácia da aprendizagem e do ensino, que no contexto atual envolve também interagir com outras realidades, o que pode gerar conflitos. Patton (1997; 2004) advoga que uma maneira de diminuir os conflitos é a determinação de critérios para a avaliação. Os Estados Unidos, por exemplo, adotaram os seguintes: utilidade, praticalidade, ética e precisão.
Países como o Canadá e Africa do Sul, adaptaram estes critérios às suas realidades; outros países poderão adotar esta ou outra linha de conveniência.
No caso do Brasil, temos que construir a avaliação na perspectiva brasileira, mas isso mas isso não significa não estudar experiências de outros países, principalmente os que têm tradição na área. É complicada e cara para o páis a mentalidade de que temos que “descobrir a roda”, a cada vez que vamos desenvolver e avaliar um projeto educacional. Conhecer o que já está consolidado, cientificamente, criticar construtivamente e aproveitar o que for útil, são atitudes científicas importantes e não se opõem à criatividade para os caminhos nacionais.
Uma boa iniciativa do MEC/Secretaria de Educação a Distância foi a elaboração e divulgação aberta à comunidade (www.mec.gov.br) de indicadores de qualidade para a EAD. Este tipo de iniciativa é muito boa para enfatizar a importância dos critérios e tem ajudado a muitos profissionais dá área de EAD.
Jonassen (1992) discute a avaliação da aprendizagem numa época de mudanças de paradigmas, especialmente a avaliação para experiências educacionais construtivistas, fazendo uso de tecnologia educacional. O autor comenta que em se tratando da aprendizagem e do ensino, os alunos interpretam as mensagens no contexto de suas próprias experiências e intereses. Os educadores/avaliadores, ao invés de mapear a estrutura da realidade externa do aluno, deveriam ajudá-lo a construir representações significativas e conhecimentos funcionais de seus mundos externos. Isso tem consequeências sobre como avaliar. Que critérios aplicar para avaliar a significância da aprendizagem em ambientes cognitivamente sofisticados? É evidente que as estratégias de avaliação não podem ser rígidas, mecanizadas. Há de se encontrar formas que se adequem à situação e o critério é um aspecto básico. E, apesar de ser baseado em modelos, precisa ser desdobrado em critérios específicos, fruto dos propósitos que se quer alcançar e das características da realidade. Alguns critérios básicos citados Jonassen são: avaliação dependente do contexto, múltiplas perspectivas em avaliação, múltiplas formas de avaliar, significado socialmente construído.
Continuando com este raciocínio e considerando situações educacionais diversas, temos que lembrar que importantes questões de avaliação podem mudar durante o desenvolviemento de um projeto. Isto tem favorecido uma grande diversificação na metodologia da avaliação, independentemente da tradição quantitativa, qualitativa ou mixta. Mas, a tradição qualitativa tem sido mais influente para o desenvolvimento de enfoques emergentes de avaliação. Um dos exemplos é a avaliação investigativa (Smith et all. ,1991), que enfatiza a importância de se estudar a natureza e as variações dos aspectos investigativos da prática da avaliação, através de métodos de aplicações em vários contextos, com procedimentos e técnicas avaliativas mais flexíveis, mas com rigor científico. Estas idéias coincidem com as necessidades da EAD com novas tecnologias. A variedade de aspectos e situações avaliadas vão ajudar numa visão mais crítica do uso destas tecnologias em educação. Variedade não significa generalização; requer contextualização, definição de critérios e procedimentos específicos.
2. Avaliação: dinâmica em alguns projetos
Neste ítem, apresentamos algumas experiências envolvendo avaliação
em situações educacionais específicas. A idéia é
discuitir as práticas como aprendizagem para futuras experiências.
2.1. Exemplo 1. Verificação da Qualidade de um Software
Educativo para a Portabilidade
Contexto. Estudo preliminar em preparação a um estudo principal (tese de doutorado) entitulada “Fatores Culturais na Portabilidade de Software Educativo: um exame das percepções e prática do aluno. Teve como objetivo examinar a experiência do SENAI-SP na tradução e adaptação cultural de um software estrangeiro, em inglês, na área de física, para uso no Brasil. O curso era convencional com um instrutor responsável, Desenvolveu-se um segmento específico com o uso do software, auto-instrucional, na metodologia de solução de problema (Romiszowski, H, 1996).
Critérios. Como base para o trabalho de avaliação foram usadas as orientações de Ely(1991) para a portabilidade de software educativo, em forma de “checklist”, para facilitar a análise das estapas seguidas pelo SENAI na adequação do software às necessidades e à cultura de seus alunos. Das categorias propostas, foram escolhidas quatro: fatores linguísticos; fatores instrucionais, verificação pelo aluno, e revisão. (Romiszowski, H, 1996).
Estas categorias foram escolhidas porque as orientações foram usadas para avaliar o processo após o programa ter sido implementado, e não para guiar o estágio de planejamento para o qual elas foram, originalmente, elaboradas. Fatores linguísticos, verificação pelo aluno e revisão são aspectos básicos de um processo de tradução de material educativo. Fatores instrucionais, por sua própria natureza, envolvem todo o processo de transferência de tecnologia.
Procedimentos. Os ítens das orientações de Ely selecionados, foram usados para identificar e descrever os aspectos considerados relevantes pelo SENAI na tradução e adaptação do programa e discutir tais considerações, a partir dos seguintes procedimentos:
Resultados
Os resultados foram apresentados para cada categoria selecionada e mostraram que houve um trabalho criterioso da SENAI que criou uma estrutura específica para atender a este projeto ( Romiszowski, 1995).
O resultado do estudo sugeriu a importância da definição de critérios específicos para avaliar o design da tradução e adaptação cultural, no contexto, o uso de equipe experiente, com proficiência na língua inglesa e planejamento didático. Houve a preocupação em considerar a transferência de tecnologia em sua complexidade, aumentando a compreensão do uso intercultural de tecnologia no ensino-aprendizagem.
2.2. Exemplo 2. Avaliação no Design e Desenvolvimento de CD-ROM Educativo
Contexto/objetivo. No uso de um modelo de design e desenvolvimento
instrucional (Metodologia TTS, 2003) para a elaboração de materiais
didáticos, o uso de questões avaliativas tem um papel importante
para nortear decisões técnico-didáticas. As questões
ajudaram a contextualizar a situação, sendor útil para
a realidade, aspecto importante para o processo ensino-aprendizagem. O conhecimento
da realidade envolve investigar, coletar dados, analisá-los e usá-los,
adequadamente; e o profissional de planejamento realiza várias análise
de: necessidades, de competências, de conteúdo, de ensino (instrucionais)
e outras que se fizerem necessárias. São realizadas para atender
melhor à diversidade cultural, adotar formas mais flexíveis de
design ( instrucional, gráfico e de WEB), para viabilizar uma produção
mais rápida, integrada e sem perda de qualidade.
Na elaboração de CD-ROM educativo, a procura, obtenção
e utilização de informações, ajudaram, e em tempo
hábil, nos aspectos de: orientações de diferentes respostas
para diferentes situacões; a evitar superposições desnecessárias;
a treinar, em serviço, designers novatos; na facilitação
de atividades para avaliação do desempenho do aluno.
Critérios. Os critérios foram característicos da avaliação formativa e contínua do processo de elaboração: utilidade, consistência, clareza e objetividade e quantidade, trabalhados de acordo com os procedimentos apropriados.
Critérios e Conteúdo. Na análise deste elemento, a partir dos objetivos de aprendizagem e tecnologia de veiculação (multimídia), considerou-se a origem do conteúdo em si mesmo, em quantidade e qualidade e a linguagem das mídias sendo utilizadas para o CD-ROM. O fator mais importante foi ajudar o designer instrucional a estar atento, tomar ou orientar a tomada de decisoes mais apropriadas e em tempo hábil. E ainda, utilizando os resultados das análises/avaliações, não só para a qualidade dos materiais, mas dos próprios profissionais envolvidos na experência.
Critérios e Roteirização/Script. Os critérios
pertinentes, facilitaram os questionamentos e as reflexões específicas
no processo, facilitando a adaptação do conteúdo para a
devida implementação nos softwares de autoria escolhidos. Ao mapear
o conteúdo, criar estratégias didáticas e elaborar a roteirização,
o designer instrucional facilitou o trabalho do designer de software, que por
sua vez discutia sua implementação com o colega, evitando revisões
finais longas e pouco custo-efetivas.
Neste aspecto, alguns critérios específicos foram acrescentados:
clareza, objetividade, navegação e prática. Além
de ajudar na qualidade da elaboração, serviram de indicadores
para identificar possíveis problemas, realizar ajustes necessários
na presente e em futuras produções. .
As análises, discussões e reflexões facilitaram a integração
do trabalho, pela base comum dos critérios básicos definidos facilitando
que cada profissional, na sua função, colaborasse para o melhor
resultado possível.
Critérios e Testagem/Field Testing. A testagem ajudou a obter
informações dos usuários sobre clareza, impacto e viabilidade
da versão inicial do produto (protótipo). Foi realizada com usuários
de perfil semelhante aos futuros e contou com o envolvimento do designer instrucional
e do conteudista do projeto, utilizando-se os resultados para a melhoria da
versão final do produto.
Vale considerar que a testagem nem sempre tem sido valorizada na EAD. É
negligenciada pela alegação de que as mídias são
potentes para interatividade e por si só resolvem a qualidade. Educacionalmente
considerando, a verdade não é bem essa. Há necessidade
de planejar e avaliar com seriedade o uso de novas mídias, pois devem
estar a serviço da aprendizagem e não vice-versa. Assim sendo,
é importante realizar a testagem de materiais didáticos a serem
usados, inclusive em aspectos de navegação.
Resultados.
O uso de questões avaliativas no design e desenvolvimento instrucional
vem mostrando ser muito útil para a qualidade da produção.
Isso não significa que o simples uso resolve todos os problemas; mas,
ajuda muito numa produção mais qualitativa, na aprendizagem contínua
da equipe de elaboração. Direta ou indiretamente, isto tem relação
com a qualidade educacional (www.abed.org.br/RBAAD,
vol2.No4, 2004).
2. 3. Exemplo 3: Avaliação no Planejamento e Desenvolvimento de Cursos Online.
Contexto. Trabalho de orientação ao planejamento e desenvolvimento de cursos de treinamento online. Foi utilizado o mesmo modelo de design instrucional, citado acima, como base para orientar a elaboração de cursos (protótipos), no design e desenvolvimento instrucional (o processo) e para avaliar a qualidade dos protótipos elaborados (o produto), visando a escolha daquele que mais se aproximasse da realidade dos objetivos pretendidos.
Critérios. Os critérios foram baseados nas questões avaliativas do modelo usado. Apresentaram-se como úteis para a continuidade do trabalho, facilitando ajustes no planejamento didático, inclusive a testagem, criando bases para a escolha do melhor protótipo. Mais especificamente, facilitaram a orientação do trabalho nos seguintes aspectos:
Apesar do trabalho cuidadoso no planejamento das atividades de aprendizagem, houve modificações a fazer, a partir do feedback dos participantes no processo de testagem. Isto sugere que por mais que se planeje o ensino-aprendizagem não se pode planejar tudo para a aprendizagem do outro. O design instrucional trabalha com sistemas complexos e probabilísticos.; quase sempre é necessário um processo iterativo, no qual se chega à melhor qualidade possível, através da avaliação e do re-trabalho.
Com a testagem fica a lição de que uma simples estratégia avaliativa dá um feedback importante e realista, que, se bem aproveitado contribui para a melhoria da qualidade de qualquer material didático. Não há qualidade educacional sem avaliação e testagem é parte dela.
3) Verificação da qualidade dos protótipos. A tarefa foi a de analisar os 3 protótipos, de acordo com os critérios estabelecidos para o planejamento e desenvolvimento (acima citados), indicando o mais próximo da realidade dos objetivos pretendidos.
3. Discussão e Conclusão
Estas e outras experiências podem ajudar nas reflexões sobre a importância e a utilidade da avaliação. De certo modo podem ampliar nossas idéias, incentivar tentativas de novas estratégias e aprendizagens em avaliação, qualquer que seja o nível ou dimensão considerado. O importante é o compromisso de fazer da melhor maneira possível e isto inclui, também, a maneira como se vê os erros. Estes, podem servir de estratégias de aprendizagem, pois quando detectados e trabalhados, devidamente, podem transformar-se em acerrtos.
No primeiro exemplo apresentado, o estudo é mais específico da área de tecnologia educacional, mas mostra a importância dos critérios básicos e específicos para uma situação de transferência de tecnologia – mais especificamente, a portabilidade de software educativo. A portabilidade merece muita atenção, inclusive hoje, devido à internacionalização da EAD, produção e uso de objetos de aprendizagem e outras questões relacionadas. Tais processos e produtos precisam de avaliação criteriosa que facilite o bom uso educacional.
Os exemplos 2 e 3 tiveram como ponto de partida o uso de um modelo de planejamento que privilegia a avaliação desde a sua fase inicial. O uso de questões avaliativas norteou o trabalho, facilitando o planejamento e o desenvolvimento, ajudando a integrar o trabalho das equipes, e permitindo as correções necessárias, em tempo hábil. Não só facilitou a melhoria da qualidade do material sendo elaborado, mas enriqueceu a aprendizagem dos envolvidos, além de representar um custo-benefício considerável, já que na avaliação final já não foi necessário fazer tantas correções. Em ambos os casos, vale ressaltar o papel da testagem como uma fase normal do trabalho de elaboração. É parte integrante do design e desenvolvimento de cursos e atividades em EAD.
A avaliação nestas duas situações, foi útil também por mostrar que, embora o mesmo modelo de design instrucional tenha sido usado como base, os objetivos específicos de cada situação ditaram os desdobramentos. Este aspecto nos mostra que modelos precisam ter definições e critérios, mas não devem ser rígidos no uso. A rigidez só é necessária nas exigências por qualidade. Os modloes servem de base para um desenvolvimento coerente, mas o contexto deve ditar os critérios específicos e procedimentos compatíveis.
A discussão sobre objetivos, critérios e procedimentos, é válida para todos os níveis da avaliação educacional, de políticas gerais a atividades específicas de ensino-aprendizagem. Mas, evidentemente, cada qual tem as suas exigências. Entender isso é fundamental para dar um sentido claro e útil à avaliação e trabalhar com os profissionais certos. Questões relativas à confiança que a pessoa tem no seu julgamento e quais são as suas fontes de informação, precisam ser respondidas num projeto de avaliação. E os gestores dos projetos precisam de alguém independente (avaliador externo) para ajudar a saber como as coisas estão.
O Brasil está redescobrindo a EAD. Esperamos que haja mais compromisso e investimento público e privado em avaliação. Que ampliemos o nosso entendimento de que avaliar é também balancear, aprender com acertos e erros. Mas, é preciso maturidade para mostrar as coisas que não estão bem, mostrar que estamos aprendendo. Temos que ter o compromisso de usar a avaliação para melhorar o que fazemos e daí podermos construir e sistematizar o que estamos alcançando.
Referências Bibliográficas
Ely, D. Portability: Cross-Cultural Educational Perpectives. Journal of Research
on computing in Education, Vol.23No2, 1990.
Joint Committee on Standards. The Program Evaluation Standards, SAGE Publications,
2a edição, Thousand Oaks, New Delhi e London, 1994.
Jonassen, D. Constructivism and the Technology of Instruction: a conversation.
Em duffy, T e Jonassen (editores), Lawrence Erlbaum Publisher, 1992.
Patton, Michael (1997). Utilization-Focused Evaluation: The New Century Text,.
3a edição, SAGE Publications, California, USA, 1997.
______Palestra proferida na Cesgranrio, Rio de Janeiro, Março de 2004.
Reeves, T. Keys to Successful E-Learning Outcomes, Assesssment and Evaluation.
Educational Technology Magazine, Vol42, No6, 2002.
_______Established and Emerging Evaluation Paradigms for Instrctional Design.
Em Instructional Development Paradigms, Dills ans Romiszowski, A (editores),
Educational technology Publications, Nj, USA, 1997.
Romiszowski, H. Assessing the Translation and Cultural Adaptation of Computer-based
Instructional Software, em Edward F. Kelly Evaluation Conference, The Evaluation
Consortium at Albany School of Education, NY, USA, 1995.
________Cultural Factors in the Portability of Instructional Computer Software:
An Examination of Student Perceptions and Practice.Tese de Doutorado, Syracuse
University/CNPq, 1995.
_____Avaliação no Design e Desenvolvimento de Multimídia
Interativa: estratégia de apoio ou parte do processo?Anais do VII Congresso
Brasileiro de Educação a Distância/ABED, 2000.
_____Avaliação no Design Instrucional e Qualidade da Educação
a Distância: Qual a Relação? RBAAD (www.abed.org.br),
Vol2, No4, 2004.
Smith, Nick l (editor). Varieties of Investigative Evaluation, No 56, ossey-Bass
Publishers., 1992.
Stufflebeam, D and Madaus, G. The Standards for Evaluation of Educational Programs,
Projects, and Materials: a description and summary, em Evaluation Models; Viepoints
on Educational and Human Services Evaluation, 8a edição, Kluwer-NijhoffPublising,
USA, 1989,