AVALIAÇÃO DE EFETIVIDADE DE CURSOS A DISTÂNCIA: A EXPERIÊNCIA DA UNIVERSIDADE CATÓLICA DE BRASÍLIA

Abril/2004

Lucia Henriques Sallorenzo
Professora da Universidade Católica de Brasília
Doutoranda em Psicologia Social e do Trabalho – Universidade de Brasília
E-mail: lucias@ucb.br

Gardênia Abbad
Professora da Universidade de Brasília
Doutora em Psicologia Social e do Trabalho – Universidade de Brasília
E-mail: gardenia@unb.br

Francisco Villa Ulhôa Botelho
Professor da Universidade Católica de Brasília
Doutorando em Informática na Educação – Universidade Federal do Rio Grande do Sul
E-mail: fbotelho@ucb.br

Mary Lílian Belarmino da Silva
Graduanda em Psicologia – Universidade Católica de Brasília
Estagiária na Católica Virtual no período de Set2003 a Mar2004
E-mail: mary-lilian@ig.com.br

Tema B: Planejamento, Elaboração e Avaliação de Materiais Didáticos para Educação a Distância
Categoria 2: Educação Universitária

RESUMO
O presente artigo tem como objetivo apresentar o Modelo de Avaliação de Efetividade de Cursos a Distância da Universidade Católica de Brasília (UCB). Apresenta-se o modelo, os principais indicadores, a metodologia geral de coleta e análise dos dados, os formatos de relatórios devolutivos; bem como discute-se acerca da importância de avaliar cursos e programas de educação a distância.

Palavras-chave:
avaliação de efetividade, cursos a distância, metodologia de avaliação, Universidade Católica de Brasília.

1. INTRODUÇÃO

Avaliar cursos na modalidade Educação a Distância requer cuidados especiais na identificação dos fatores que garantem a eficácia dos mesmos, uma vez que há pouca produção científica que possibilite minimizar as altas taxas de evasão observadas em centros educacionais que adotam essa modalidade de educação, em diversos países. Para isso, não bastaria avaliar o curso utilizando modelos tradicionais de avaliação que enfatizassem unicamente resultados (como: Satisfação dos participantes, Aprendizagem, Impacto do curso no desempenho/atuação profissional, Impacto Institucional), uma vez que os mesmos não prevêem a identificação dos fatores internos e externos ao curso que interagem para produzir esses resultados (por exemplo: Perfil dos Participantes e Suporte Institucional à Transferência de Aprendizagem). Diante disso, foi proposto e implementado o Modelo de Avaliação de Efetividade de Cursos a Distância da Universidade Católica de Brasília, concebido inspirado no Modelo IMPACT (ABBAD, 1999).

O Modelo de Avaliação de Efetividade da Universidade Católica de Brasília (UCB) é multivariado, de caráter predominantemente somativo e serve para produzir tecnologias e conhecimentos que possibilitam o contínuo monitoramento da qualidade dos cursos ofertados, levando em conta as múltiplas variáveis citadas. Nessa perspectiva, a metodologia de avaliação da UCB possibilita obter informações, nos níveis apontados acima, em momentos distintos: no início, durante, ao final e algum tempo após o curso. Dessa forma, tal metodologia de acompanhamento e avaliação é processual, viabilizando avaliações intermediárias (centradas no processo) e somativas (objetivando resultados/produtos). De posse das informações obtidas em processos avaliativos dessa natureza, pode-se medir a qualidade, eficácia e eficiência dos cursos, propiciando indicação e implementação de melhorias na programação de atividades educacionais a distância.

O presente artigo tem como objetivo apresentar o Modelo de Avaliação de Efetividade de Cursos a Distância utilizado na UCB.

2. CARACTERÍSTICAS DO MODELO DE AVALIAÇÃO

Modelo de Avaliação de Efetividade de Cursos a Distância utilizado na UCB foi elaborado a partir de ampla análise da produção científica e tecnológica nacional e estrangeira, nas áreas de Educação e Treinamento & Desenvolvimento (Borges-Andrade, 1982; De Paula, 1992; Rouiller e Goldstein, 1993; Borges-Andrade e Abbad, 1996; Abbad, 1999; Sallorenzo, 2000; Salas e Cannon-Bowers, 2001; Abbad, Britto e Pilati, 2001; Colquitt, LePine e Noe, 2000; Britto, 1999; Rodrigues, 2000; Abbad e Sallorenzo, 2001).

O modelo avalia os resultados dos cursos, em termos de reações, aprendizagem, impacto no desempenho e resultados organizacionais, como sugerem os modelos mais tradicionais de avaliação (Kirkpatrick, 1976 e Hamblin, 1978). Além disso, são analisados os efeitos dos cursos nos diversos perfis de participantes e em seus respectivos contextos institucionais a exemplo do que vêm propondo modelos já validados de avaliação de treinamento no Brasil (Borges-Andrade, 1982; De Paula, 1992; Sá Leitão, 1996; Abbad, 1999; Britto, 1999 e Sallorenzo, 2000) e no exterior (Rouiller e Goldstein, 1993; Tracey, Tannenbaum e Kavanagh, 1995; Colquitt, LePine e Noe, 2000). Na UCB, o diagnóstico dos contextos institucionais ocorre somente para os cursos com turmas fechadas a Instituições, por exemplo: Curso de Aprendizagem Cooperativa e Tecnologia Educacional na Universidade – Em Estilo Salesiano, fechado a professores de Instituições Universitárias Salesianas. Nos cursos abertos ao público em geral, esse tipo de avaliação não é realizada.

A Figura 1 apresenta esquematicamente os componentes e as fases de coleta de dados do modelo de avaliação da UCB. O componente 1, Perfil dos Participantes, proporciona informações descritivas sobre os participantes dos cursos. Os componentes 2, 5 e 7 referem-se ao apoio oferecido pela instituição para que os alunos participem dos cursos e apliquem as novas aprendizagens em suas atividades profissionais. Os componentes 3 e 4, resultados imediatos, avaliam reações dos participantes aos cursos, bem como a aprendizagem. Os componentes 6 e 8, resultados mediatos, avaliam os efeitos a longo prazo dos cursos no desempenho dos participantes e na instituição (para os casos dos cursos institucionais).

Figura 1. Modelo de avaliação proposto para o curso

No início dos cursos, são coletadas informações acerca do Perfil dos Participantes (dados demográficos, funcionais, forma de adesão, expectativas, nível de conhecimento na área) e do Suporte Institucional para realização dos cursos (percepções dos participantes e dos superiores imediatos quanto ao apoio fornecido pela instituição para viabilizar realizações dos cursos. Esse componente é medido somente nos casos de cursos institucionais).

O terceiro componente do modelo, Reações, afere o nível de satisfação dos participantes com a mídia eletrônica, materiais, estratégias pedagógicas, interatividade, interação tutor-aluno e aluno-aluno, bem como auto-avaliação de aprendizagem.

O quarto componente, Aprendizagens Parciais e Final, julga o grau de assimilação dos conteúdos demonstrado pelos participantes nos exercícios correspondentes a cada Unidade de Estudo Autônomo e ao Curso como um todo. Esses resultados são obtidos por meio de escores atribuídos pelos tutores aos participantes nas atividades avaliativas dos cursos.

Suporte Institucional à Transferência de Aprendizagem, quinto componente do modelo, avalia o apoio da Instituição à aplicação no trabalho dos conhecimentos e habilidades adquiridos no curso. Esse componente é mensurado por meio das percepções dos participantes dos cursos e seus respectivos superiores imediatos sobre o referido suporte (novamente, somente utilizado no caso de cursos institucionais).

O sexto componente, Impacto no Desempenho, avalia os efeitos dos cursos na atuação profissional dos participantes. A coleta de dados envolve auto-avaliação (percepção dos participantes dos cursos quanto às mudanças ocorridas no próprio desempenho profissional em função das novas aprendizagens) e hetero-avaliação (percepção dos superiores imediatos, ou outro ator externo capaz de fazer a avaliação, acerca do desempenho profissional dos participantes do curso, em função do aprendido no curso institucional realizado).

O sétimo componente, Suporte à Transferência para o Grupo e Instituição, ainda não foi utilizado em curso algum, mas será implementado brevemente em um dos cursos institucionais oferecidos pela UCB.  Por meio desse componente avaliar-se-á o apoio institucional à disseminação dos conhecimentos e habilidades adquiridos pelos participantes para os grupos e para a Instituição como um todo. A coleta de dados incluirá a avaliação das opiniões dos participantes dos cursos e dos respectivos superiores imediatos a esse respeito.

Impacto na Instituição, último componente do modelo, também ainda não implementado, avalia mudanças ocorridas na instituição que poderiam ser atribuídas ao curso. Informações a esse respeito serão obtidas por meio das opiniões dos participantes dos cursos e de seus respectivos superiores imediatos. Os efeitos dos cursos no nível de resultados institucionais dependem provavelmente do impacto no desempenho individual, condição necessária à transferência de tecnologias para grupos e instituições, da posição hierárquica do participante do curso e do número de participantes do curso por instituição. Por essas razões, recomenda-se que a avaliação de resultados nesse nível ocorra somente após a realização do curso por, pelo menos, 60% do quadro funcional da instituição para a qual o curso é oferecido.

A eficácia de treinamentos vem sendo mensurada em termos dos efeitos exercidos pelos eventos educacionais sobre os indivíduos participantes e sobre a organização. Idealmente, um curso deveria produzir reações favoráveis, cem por cento de aprendizagem, aplicação correta e eficaz no trabalho das habilidades aprendidas em treinamento, melhoria permanente dos níveis de desempenho individuais, maior comprometimento e motivação para o trabalho, transferência de tecnologias e conhecimentos, melhoria do desempenho de grupos, bem como aumento de eficiência e eficácia organizacionais. Porém, resultados de pesquisas empíricas vêm mostrando que os cursos não têm sido capazes de produzir efeitos duradouros sobre o comportamento dos participantes e que, mesmo no caso de transferência eficaz de conhecimentos, mudanças no nível dos grupos e organizações não ocorrem necessariamente, tal como sugerem as abordagens mais tradicionais de avaliação de eficácia de programas de treinamento.

A abordagem tradicional de Kirkpatrick (1976 e 1977), modificada por Hamblin (1978), muito utilizada em diferentes pesquisas e ambientes organizacionais (inclusive em Universidades), sugere a avaliação da eficácia de cursos em 5 níveis: reação, aprendizagem, comportamento no cargo, mudança organizacional e valor final, relacionados positivamente entre si. De modo que um aprendiz satisfeito com o curso (reação) aprenderia melhor (aprendizagem), aplicaria em seu trabalho os conhecimentos adquiridos (comportamento do cargo ou impacto no desempenho), essa aplicação produziria efeitos positivos nos grupos e na organização (mudança organizacional ou impacto na instituição), o que poderia melhorar a qualidade de produtos/serviços (valor final).

Novas abordagens teóricas de avaliação de transferência de aprendizagem, como a abordagem multinível (Kozlowski, S.W.J.; Brown, K.G.; Weissbein, D.A.; Cannon-Bowers, J.A. e Salas, E., 2000) e resultados de pesquisas recentes (Alliger e Janak, 1989; Alliger, G.M.; Tannenbaum, S.I.; Bennet Jr; Traver, H. e Shotland, A.A., 1997; Abbad, 1999; Sallorenzo, 2000; Britto,1999) questionam a validade de alguns dos mais importantes pressupostos teóricos do modelo tradicional, entre os quais o que supõe relações de causalidade ou correlações positivas e estatisticamente significativas entre os diferentes níveis de avaliação. Evidências empíricas mostram que o sucesso de um curso em um determinado nível não produz necessariamente o mesmo resultado nos níveis subseqüentes. A meta-análise de Alliger e Janak (1989) mostrou, por exemplo, que: o nível de reação tende a estar fracamente relacionado aos demais critérios, havendo, também, correlações baixas entre aprendizagem, comportamento no cargo e resultados (mudança organizacional e valor final). Assim, um aprendiz satisfeito com o curso e que obteve bons escores nas avaliações de aprendizagem, poderá não aplicar, no trabalho, as novas habilidades aprendidas. O aprendiz, nesse caso, deixou de aplicar no trabalho os conhecimentos adquiridos no curso, não necessariamente por falta de memória, de capacidade de retenção e generalização ou por deficiências do programa de treinamento, mas provavelmente por razões não previstas nos modelos tradicionais de avaliação de resultados. Uma conseqüência desses dados é que a avaliação unicamente baseada em resultados é incompleta e pouco válida, embora um nível seja condição necessária à ocorrência do outro, não é suficiente para explicá-lo.

Outra conseqüência à aplicação incompleta desses modelos tradicionais observa-se que muitos procedimentos avaliativos não integram em um mesmo modelo a avaliação de todos os níveis, supondo que bons resultados nos níveis de reação e aprendizagem garantirão necessariamente o impacto favorável no desempenho dos indivíduos e na instituição.

Segundo Roe (1997) e Abbad (1999) cada elo da seqüência treinamentoà aprendizagemà reaçõesà transferência de treinamentoà impacto no desempenho é afetada por diferentes fatores. Os resultados de inúmeras pesquisas apoiam tais idéias (Rouiller e Goldstein, 1993; Britto, 1999; Rodrigues, 2000; Sallorenzo, 2000; Salas e Cannon-Bowers, 2000; Abbad e Sallorenzo, 2001). A aprendizagem não depende apenas das características do treinamento, mas de características pessoais da clientela (motivação para a aprendizagem, cargo e idade) e de certas percepções sobre o suporte organizacional, no trabalho de Abbad (1999). Reações, por sua vez, dependem de diferentes combinações de variáveis pertencentes ao perfil da clientela, ao curso e à organização. Enquanto que impacto no desempenho depende mais de suporte institucional à transferência de aprendizagem do que das características dos cursos e do perfil da clientela.

O modelo de avaliação de efetividade de cursos a distância da UCB, considerando os achados empíricos mencionados anteriormente, integra quatro dos cinco níveis presentes nos modelos tradicionais, bem como as variáveis explicativas desses resultados. Portanto, trata-se de um modelo integrativo, de caráter somativo e multivariado.

As relações entre impacto no desempenho do participante do curso à impacto na instituição são pouco estudadas e envolvem complexos processos de transferência vertical e horizontal de aprendizagem, de emergência de efeitos de um nível para outro (indivíduo à grupo à instituição) e suas relações recíprocas entre si e com variáveis de contexto (Kozlowski et alli, 2000). Nem sempre a transferência eficaz de aprendizagem no nível do indivíduo, participante do curso, produzirá efeitos diretos e observáveis sobre o desempenho do grupo ou da instituição. Para que ocorra a transferência vertical (do indivíduo para o grupo e grupo para instituição, sucessivamente) é necessário o processo de troca e interação do indivíduo que participou do curso com outros profissionais do mesmo ou de outros grupos da instituição. Além disso, essas trocas podem ser facilitadas ou dificultadas pelo nível de apoio fornecido pela instituição aos processos de transferência horizontal (trocas no mesmo nível: indivíduo-indivíduo, grupo-grupo, instituição-instituição). A mudança institucional não é produzida apenas pelos efeitos de eventos educacionais no desempenho de seus colaboradores, mas por inúmeras variáveis não relacionadas ao curso ou ao perfil dos participantes do curso. Tal realidade dificulta a avaliação de eficácia de eventos educacionais nos níveis de grupo e instituição, uma vez que essas medidas são contaminadas por variáveis externas ao contexto educacional. Uma implicação disso é a necessidade de levantar empiricamente indicadores críticos da contribuição específica do curso para a melhoria da eficácia e eficiência da instituição. Outra implicação refere-se à necessidade de acompanhamento longitudinal desses indicadores, de modo a isolar eventuais efeitos favoráveis do curso sobre a instituição de outros efeitos que produzem oscilações esperadas nesses indicadores. Em função dessas considerações, sugere-se que a avaliação no nível de resultado institucional ocorra apenas após 60% do quadro funcional de uma mesma instituição terem participado do curso, o que aumentaria as chances de transferência horizontal e a emergência desse efeito no nível de grupo e instituição. As transferências horizontais e verticais parecem ser de fundamental importância para a garantia de impacto no nível da instituição. Mas, mesmo que 60% ou mais do quadro funcional tenha participado do curso e esteja aplicando as habilidades adquiridas, se não houver trocas entre os participantes do curso e entre os participantes e não-participantes, a probabilidade de este curso ter impacto na instituição é pequena. Dessa forma, sugere-se que as instituições, para as quais os cursos foram ofertados, propiciem a troca de experiências e conhecimentos entre os funcionários que participaram ou não do curso, para maximizar as chances de ocorrência de impacto institucional dos cursos realizados.

O Modelo de Avaliação de Efetividade de Cursos a Distância da UCB está fundamentado teórica e empiricamente na literatura mencionada acima. Nas seções seguintes, serão descritos os instrumentos de avaliação, os procedimentos de coleta e de análise de dados, bem como os formatos dos relatórios de retroalimentação.

A seguir são descritos os instrumentos de avaliação para cada componente do modelo apresentado na Figura 1, anteriormente.

1. Identificação do Perfil dos Participantes – questionário composto por 16 itens, referentes a dados demográficos, funcionais, forma de adesão e expectativas do participante em relação ao curso.

2. Suporte Institucional para Realização do Curso – questionário que, em sua Forma A, avalia a opinião dos participantes acerca do apoio recebido da instituição à realização do curso e, em sua Forma B, mensura as percepções dos superiores imediatos acerca do suporte institucional fornecido aos participantes para que realizassem o curso. A Forma A é composta por 15 itens fechados, com escala tipo Likert de dez pontos (sendo 1 correspondente à Discordo Totalmente e 10, Concordo Totalmente) e 1 espaço aberto às críticas, sugestões e comentários. A Forma B é similar à A, agregando informações relativas aos dados demográficos e funcionais dos superiores imediatos.

3. Avaliação dos Encontros Presenciais – questionário que avalia a satisfação dos participantes em relação às atividades desenvolvidas, adequação dos espaços utilizados, a atuação da equipe de apoio e o atendimento das expectativas em relação aos encontros.

4. Satisfação dos Participantes em Relação ao Ambiente Virtual de Aprendizagem – questionário composto por nove itens que visam avaliar a satisfação do aluno com alguns aspectos do ambiente virtual do curso que eventualmente tenham facilitado ou dificultado a aprendizagem.

5. Satisfação dos Participantes em Relação a Cada Unidade de Estudo – questionário composto por três seções denominadas: Estratégias Pedagógicas (com 11 itens), Conteúdo da Unidade de Estudo Autônomo (com 12 itens) e um campo aberto para registro de críticas, comentários e sugestões, que avaliam a satisfação dos alunos em relação a cada uma das unidades do curso.

6. Satisfação dos Participantes em Relação ao Curso Completo – questionário composto por 30 itens, distribuídos em quatro seções denominadas: Estratégias Pedagógicas, Conteúdo do Curso, Ambiente do Curso e uma seção aberta com dois itens referentes a auto-avaliação de aprendizagem e ao atendimento das expectativas do aluno em relação ao curso.

7. Aprendizagens Parciais – informações extraídas de arquivo referentes aos escores atribuídos pelos tutores aos participantes do curso em exercícios de sistematização, elaborados previamente por especialistas no conteúdo do curso.

8. Aprendizagem Final – informações extraídas de arquivo referentes aos escores atribuídos pelos tutores aos participantes de cursos no projeto final, a partir de critérios previamente estabelecidos pela equipe de produção do curso.

9. Suporte Institucional à Transferência do Aprendido no Curso – questionário que avalia o apoio fornecido pela instituição à transferência do aprendido pelos participantes durante o curso. A Forma A destina-se à avaliação da percepção dos participantes sobre o apoio fornecido pela instituição às suas tentativas de aplicação das novas aprendizagens no trabalho. A Forma B, mensura a opinião dos superiores imediatos quanto ao suporte fornecido aos egressos do curso para aplicação das novas habilidades, conhecimentos, atitudes. A Forma A do questionário é composta por 16 itens fechados, com escala tipo Likert, dez pontos variando de Discordo Totalmente a Concordo Totalmente e 1 espaço aberto às críticas, sugestões e comentários. A Forma B é similar à A, agregando informações relativas aos dados demográficos e funcionais dos superiores imediatos.

10. Impacto do Curso no Desempenho do Participante – questionário composto por 13 itens fechados, escala tipo Likert com dez pontos, variando de 1 - Discordo Totalmente a 10 - Concordo Totalmente. A Forma A do questionário refere-se à auto-avaliação do participante do curso quanto às mudanças ocorridas no próprio desempenho profissional em função do aprendido. A Forma B, destina-se à hetero-avaliação, a ser realizada por superiores imediatos ou outro ator institucional capaz de realizar a avaliação, após 6 meses do término do curso, aproximadamente.

11. Suporte Institucional à Transferência (Grupo e Instituição) – serão levantados, por meio de entrevistas com dirigentes das instituições participantes, os indicadores do contexto institucional que possibilitem a transferência de conhecimentos e tecnologias, adquiridos pelos participantes dos cursos, nos níveis de grupo e instituição, propiciando o impacto institucional.

12. Impacto Institucional do Curso – os indicadores de impacto do curso em nível institucional serão levantados, junto a dirigentes das instituições participantes para possibilitar a construção de instrumentos de medida. Nesse nível de análise, espera-se obter informações acerca dos indicadores de avaliação institucional utilizados nas instituições participantes para compará-los às medidas perceptuais coletadas por meio de questionário. Julga-se que seja pertinente obter dados referentes às percepções dos participantes do curso quanto às mudanças ocorridas na instituição que poderiam ser atribuídas ao curso, bem como relato de diretores de unidades das instituições acerca dessas mudanças.

5. CARACTERÍSTAS DAS COLETAS E ANÁLISES DE DADOS

Os instrumentos de avaliação, apresentados acima, são aplicados em momentos distintos dos cursos: no início, durante, imediatamente após e algum tempo após. No primeiro encontro presencial, são aplicados coletivamente os de números 1 e 3. Ainda no início dos cursos, mas eletronicamente (via WEB ou e-mail), são aplicados os de número 2 e 4. Durante os cursos, mas imediatamente após cada Unidade de Estudo Autônomo, eletronicamente, o de número 5. Imediatamente após os cursos, no último encontro presencial, são aplicados, coletivamente, os instrumentos 3 e 6. Aproximadamente seis meses após os cursos institucionais, os questionários 9 e 10, eletronicamente. E algum tempo após os cursos institucionais, quando, pelo menos, 60% do quadro funcional tiver realizado o curso, será aplicado eletronicamente os questionários 11 e 12.

Após a obtenção dos dados são realizadas análises estatísticas descritivas e de conteúdo referentes às informações de cada uma das turmas dos cursos. Compõem as análises estatísticas descritivas: médias, desvios padrões, valores: mínimos e máximos, e distribuições de freqüências. As questões abertas dos questionários têm seus conteúdos analisados e utilizados para explicar ou esclarecer os resultados estatísticos descritivos.

6. DESCRIÇÃO DOS RELATÓRIOS DE RETROALIMENTAÇÃO

Os relatórios de retroalimentação, referentes aos resultados das avaliações dos cursos, são parciais e finais, em nível diferenciados de profundidade. Nesses relatórios, são apresentados os resultados das análises estatísticas descritivas, bem como das análises de conteúdo das questões abertas dos questionários. Tais relatórios são disponibilizados às equipes responsáveis por cada curso avaliado.

7. CONSIDERAÇÕES FINAIS

Apresentou-se neste artigo o Modelo de Avaliação de Efetividade de Cursos a Distância da UCB, o qual vem sendo utilizado desde 2001 para avaliar cursos variados (institucionais, abertos, nos níveis de: pós-graduação lato sensu, aperfeiçoamento, extensão e disciplinas da graduação). Os resultados são utilizados para acompanhamento constante da qualidade dos cursos. Os indicadores de sucesso são mantidos e os problemas identificados, resolvidos. Até o momento, foram implementadas várias ações de melhorias cabíveis aos cursos avaliados. Assim, as avaliações realizadas têm fornecido informações preciosas para a garantia da qualidade dos cursos ofertados na Universidade Católica de Brasília.

Acredita-se que seja fundamental ao sucesso de qualquer curso a distância a preocupação permanente com a qualidade dos cursos ofertados. A avaliação de efetividade de cursos é um caminho bastante eficaz para identificar problemas e sugerir soluções. Para isso é preciso que os profissionais envolvidos com todo o processo de avaliação e com o curso avaliado estejam abertos à crítica e sejam criativos e habilidosos para buscar e implementar soluções ao problemas identificados.

8. REFERÊNCIAS BIBLIOGRÁFICAS

1.      ABBAD, G. e GAMA, A.L.G. Treinamento: Análise do relacionamento da avaliação nos níveis de reação, aprendizagem e impacto no trabalho. Revista de Administração Contemporânea, vol.4(3), 25-45, 2001.

2.      ABBAD, G. e SALLORENZO, L.H. Desenvolvimento e validação de escalas de suporte à transferência de treinamento. Revista de Administração – RAUSP, vol. 36(2), 33-45, 2001.

3.      ABBAD, G. Um modelo integrado de avaliação do impacto do treinamento no trabalho – IMPACT. Brasília, 1999. Tese (Doutorado) – Instituto de Psicologia da Universidade de Brasília.

4.      ABBAD, G.; BRITTO, M.J.P. e PILATI, R. Preditores de efeitos de treinamento: o estado da arte e o futuro necessário. [CD-ROM]. In: Associação Nacional de Programas de Pós-Graduação em Administração – ANPAD (org.). XXV ENANPAD, Campinas, SP, 2001.

5.      ALLIGER, G.M. e JANAK, E.A. Kirpatrick’s levels of training criteria: thirty years later. Personnel Psychology, 42(2), 331-342, 1989.

6.      ALLIGER, G.M.; TANNENBAUM, S.I.; BENNET Jr; TRAVER, H. e SHOTLAND, A.A. Meta-Analysis of the relations among training criteria. Personel Psychology, 50, pp. 341-358, 1997.

7.      BORGES-ANDRADE, J.E. Avaliação somativa de sistemas instrucionais: integração de três propostas. Tecnologia Educacional, 11(46), 29-39, 1982.

8.      BORGES-ANDRADE, J.E. e ABBAD, G. Treinamento e desenvolvimento: reflexões sobre suas pesquisas científicas. Revista de Administração, 31(2), 112-125, 1996.

9.      BRITTO, M.J.P. Avaliação de impacto de treinamento na área de reabilitação: preditores individuais e situacionais. Brasília, 1999. Dissertação (Mestrado) – Instituto de Psicologia da Universidade de Brasília.

10. COLQUITT, J.A.; LEPINE, J.A. e NOE, R.N. Toward an integrative theory of training motivation: a meta-analytic path analysis of 20 years of research. Journal of Applied Psychology. 85(5): 678-707, 2000.

11. DE PAULA, S.M.A. Variáveis preditoras de impacto de treinamento no trabalho: análise da percepção dos treinados de duas organizações. Brasília, 1992. Dissertação (Mestrado) – Instituto de Psicologia da Universidade de Brasília.

12. HAMBLIN, A.C. Avaliação e Controle do Treinamento. São Paulo: McGraw-Hill do Brasil, 1978.

13. KIRKPATRICK, D.L. Evaluating training programs evidence vs. proof. Training and Development Journal, 31(11), 9-12, 1977.

14. KIRKPATRICK, D.L. Evaluation of training. In: Craig, R.L. (Org.), Training and Development Handbook (pp. 18.1-18.27). New York: Mc Graw-Hill, 1976.

15. KOZLOWSKI, S.W.J.; BROWN, K.G.; WEISSBEIN, D.A.; CANNON-BOWERS, J.A. e SALAS, E. A multilevel approach to training effectiveness: enhancing horizontal and vertical transfer. In: Multilevel Theory, Research and and Methods in Organization, orgs. K. Klein, SW.J. Koslowsky. San Franscisco: Jossey Bass, 2000.

16. RODRIGUES, A.G. A Natureza da Participação e suas Implicações no Impacto do Treinamento no Trabalho. Brasília, 2000. Dissertação (Mestrado) – Instituto de Psicologia da Universidade de Brasília.

17. ROE, R.A. (1997). Assumptions and dilemmas in training. Applied Psychology: An International Review, 80(2), 360-365.

18. ROUILLER, J.Z. e GOLDSTEIN, I.L. The relationship between organizational transfer climate and positive transfer of training. Human Resource Development Quarterly, 4(4), 377-390, 1993.

19. SÁ LEITÃO, J.S. Clima organizacional na transferência de treinamento. Revista de Administração, 31(3), 53-62, 1996.

20. SALLAS, E. e CANNON-BOWERS, J. The science of training: a decade of progress. Annual Review of Psychology, 52, 471-499, 2001.

21. SALLORENZO, L.H. Avaliação de Impacto de Treinamento no Trabalho: Analisando e Comparando Modelos de Predição. Brasília, 2000. Dissertação (Mestrado) – Instituto de Psicologia da Universidade de Brasília.

22. TRACEY, J.B.; TANNENBAUM, S.I. e KAVANAGH, M.J. Applying trained skills on the job: the importance of the work environment. Journal of Applied Psychology, 80(2), 239-252, 1995.