Leonel Tractenberg
Fundação Getulio Vargas, leonel@fgv.br
Luis Claudio Kubota
COPPEAD-UFRJ, lkubota@fgv.br
Rafael G. Barbastefano
COPPE-UFRJ e CEFET-RJ, rafael@fgv.br; rgb@cefet-rj.br
Categoria: Educação Universitária – Gestão de Sistemas de EAD – Pesquisa
Resumo:
Nas últimas décadas, a educação a distância (EAD), potencializada pelas tecnologias
da informação e comunicação, vem sendo valorizada e apontada como uma das alternativas
para atendimento à crescente demanda global por educação, em particular, por
educação superior e continuada. Um número crescente de instituições públicas
e particulares tem partido para o desenvolvimento de iniciativas em EAD. O Ministério
da Educação vem manifestando preocupação com a qualidade desses programas, divulgando
critérios e regulando o seu credenciamento. A qualidade percebida pelos clientes
é um aspecto fundamental nos programas de EAD. O presente trabalho visa avaliar
a qualidade percebida dos cursos a distância do FGV Online, com ênfase na tutoria,
por meio da análise das avaliações dos cursos pelos alunos desse programa.
Palavras-chave:
educação a distância; qualidade; tutoria; FGV Online
1. Introdução
A expansão da EAD e a preocupação com a qualidade
Nas últimas décadas, houve um considerável aumento da demanda global por educação em todos os níveis, em particular, por educação superior, tanto de graduação quanto de pós-graduação e educação continuada. Para atender a essa demanda, verifica-se, a partir da década de 60, um aumento da importância dada aos sistemas de educação a distância (EAD). Keegan (1996) relaciona o aparecimento de diversas instituições de educação superior aberta e a distância em vários países como China, Espanha, Indonésia, Tailândia e Turquia, atendendo cada uma a mais de 100 mil alunos. No contexto ibero-americano, temos o aparecimento de duas grandes instituições – a Universidade Aberta da Venezuela e a Universidade Estatal a Distância da Costa Rica –, bem como de programas associados em instituições de ensino tradicionais, como a Universidade Autônoma do México e a Universidade de Buenos Aires (Litwin, 2001).
No Brasil, apesar de haver registros da oferta de cursos por correspondência desde 1891 (Alves, 1994?), verifica-se, até as décadas de 80 e 90, a predominância dos programas vocacionais, de ensino supletivo, com destaque para o projeto Minerva e o Telecurso, e de formação de professores, desenvolvidos a partir da década 70 (Alonso, 1996). Se até então, no Brasil, a EAD era relegada a um segundo plano, como algo destinado à educação técnica, aceleração e aprendizagem de ofícios menores, hoje, instrumentalizada e renovada pelo vertiginoso desenvolvimento das tecnologias da informação e comunicação (TICs), vem sendo encarada pelos governos e pelas instituições de ensino como modalidade indispensável para a expansão da oferta e democratização no ensino superior. O Ministério da Educação (MEC) vem progressivamente constituindo um discurso favorável à utilização da EAD...
Considerando as dimensões do país, a quantidade de pessoas a serem educadas, a infra-estrutura física disponível e o número de educadores com capacidade para facilitar esse processo, a educação a distância no ensino superior é, mais do que viável, necessária. (MEC/SESu, 2002, p.5)
Por sua vez, a quantidade e diversidade de iniciativas e projetos de EAD de instituições brasileiras públicas e particulares cresce de forma acelerada (MEC/SESu, 2002, p.8). Diante desse quadro, o MEC vem manifestando natural preocupação com a qualidade desses programas, regulando o credenciamento de instituições e divulgando referenciais de qualidade para projetos de EAD. Esses referenciais contemplam elementos como: planejamento pedagógico e curricular, material didático, interação docentes-discentes, gestão acadêmico-administrativa e infra-estrutura. Destacam ainda a importância de um sistema de avaliação institucional abrangente, que permita aferir as distâncias entre o real e o desejado, visando a correções na direção da melhoria da qualidade (Neves, 1998; MEC/SEED, 2000; MEC/SESu, 2002).
A qualidade percebida em EAD
Conforme a American Society for Quality Control, a qualidade pode ser definida como “a totalidade dos requisitos e características de um produto ou serviço que estabelecem a sua capacidade de satisfazer determinadas necessidades”. Em serviços, a determinação da qualidade depende das discrepâncias (gaps) entre as expectativas dos clientes e sua percepção em relação ao serviço fornecido (Parasuraman, 1985). Corrêa e Gianesi (1994) e Grönroos (1995) ressaltam a necessidade não apenas de se satisfazerem as expectativas dos clientes, mas também de se garantir que os clientes percebam que os serviços prestados atendem às suas expectativas. O foco no cliente corresponde à segunda grande “onda” que impactou a reflexão sobre a qualidade, sucedendo à primeira, que se preocupava, apenas, com a qualidade do produto final e dos processos de produção. A terceira evolução, hoje ainda esboçante, do ideário da qualidade decorre da incorporação de conceitos mais amplos, como qualidade de vida, impacto e compromisso social.
A aplicação do ideário e instrumental da qualidade ao contexto educacional não é desprovida de limitações, dificuldades e temores. São reconhecidas como limitações de aplicabilidade impostas pelas características peculiares dos serviços educacionais: a maior complexidade do contexto educacional; a multiplicidade de clientelas a que se destina; o aspecto afetivo e interdisciplinar; e os impactos sociais dessa atividade. Por outro lado, os benefícios que a aplicação dessa abordagem pode trazer para a gestão educacional são muitos (Goldbarg, 1998). No tocante à qualidade percebida nos serviços educacionais, esta dependerá de um conjunto grande de fatores, tais como: atendimento e suporte acadêmico-administrativo, ambiente de estudo, material didático, corpo docente etc. A própria identificação das necessidades e expectativas dos clientes do serviço, por si só, já impõe uma série de complexidades. Alunos, família, organizações, governo e sociedade possuem demandas diferentes, por vezes, conflitantes. A própria instituição de ensino possui expectativas em relação aos retornos de longo-prazo, para o mercado e para a sociedade, dos cidadãos e profissionais que ajudou a formar.
Se os cursos presenciais, com os quais se está familiarizado desde a infância, e, portanto, para os quais se possui referenciais de avaliação mais sedimentados e consensuais, permitem discrepâncias na percepção da qualidade, o que dizer de cursos a distância, que envolvem um grande número de elementos, atores, ambientes, tecnologias, processos e formas de interação, não raro, novos e desconhecidos?
Seguindo o modelo de gaps de percepção de Parasuraman, vêem-se diversos exemplos aplicados à EAD. Uma apostila encadernada considerada de boa qualidade por um aluno pode ser percebida como inferior por outro que espere receber um livro e um CD. O cliente corporativo pode considerar cursos baseados em estudo de textos e interação via lista de discussão como de qualidade inferior àqueles que dispensam essa interação, mas se utilizam de todos os recursos pirotécnicos hipermidiáticos possibilitados pelas últimas tecnologias. Como se vê, a qualidade percebida pelos clientes nem sempre coincide com aquela percebida por quem concebeu a solução educacional, mesmo que esta seja a mais eficaz em termos de aprendizagem.
Indubitavelmente, uma solução educacional em conformidade com os requisitos pedagógicos e objetivos de aprendizagem, e consoante com as necessidades educacionais e perfil dos clientes é condição indispensável. Porém, é insuficiente. Se as expectativas dos clientes não forem trabalhadas adequadamente, a qualidade do serviço educacional poderá ser percebida como ruim. Assim é relevante a questão: o serviço educacional oferecido tem qualidade intrínseca (produto e processo)? Mas também: foram identificadas e trabalhadas as expectativas dos clientes (alunos, instituições, sociedade etc.)? Até que ponto elas estão sendo satisfeitas? Os clientes percebem o quanto são (ou não) satisfeitas?
Qualidade e tutoria na EAD online
A tutoria é um dos elementos fundamentais dentro de um programa de EAD. O tutor – professor, monitor etc. – é o agente responsável por estabelecer elos de comunicação entre os alunos – aprendizes, estudantes, educandos, cursistas ou como se prefira chamar –, e destes com os conhecimentos e com a instituição que os organiza e disponibiliza por meio dos materiais didáticos e do plano pedagógico. A tutoria é o elemento dinamizador da (re)construção coletiva do saber e organizador da interação em duas vias, enfatizada na maioria das definições contemporâneas de EAD (por exemplo, ver Keegan (1996) e Moore (1990)). Por estar em contato mais direto e por mais tempo com os alunos, o tutor é o agente do serviço que pode, com maior rapidez, responder a questões, identificar dificuldades dos alunos e tentar minimizar suas discrepâncias de expectativa em relação aos conteúdos, materiais didáticos, às atividades, ao ambiente de aprendizagem, à interação com os colegas, ao suporte técnico-administrativo, à coordenação e às exigências próprias do processo de aprendizagem a distância (SESu, 2002). Além disso, o tutor, mesmo atuando como mero animador, facilitador ou consultor eventual, é o elemento que personifica conteúdos e atividades trabalhados, ainda que não tenha sido ele o autor dos materiais e do plano de curso. É ele quem representa a instituição educacional e o serviço por ela prestado, ainda que ele seja apenas um dos atores desse serviço. É, portanto, na linguagem de serviços, o principal ator da linha-de-frente, o principal depositário das expectativas, alegrias e frustrações dos alunos. Assim, é de se esperar que o desempenho da tutoria, além do seu papel pedagógico, tenha um grande impacto na percepção da qualidade do serviço como um todo.
O FGV Online: um programa de ensino para romper distâncias
Em trabalho anterior, Tractenberg e Murashima (2003) descrevem o programa FGV Online – programa de EAD da Fundação Getulio Vargas –, suas diretrizes filosóficas e pedagógicas, o conteúdo, estrutura, dinâmica e duração dos cursos, o papel das coordenações e da tutoria, bem como o processo de acompanhamento e suporte aos alunos e professores-tutores.
Desde sua criação em 2000, o FGV Online atendeu a mais de 3 mil alunos, entre recém graduados, profissionais e gestores de empresas, por meio de seus cursos regulares em nível de pós-graduação e treinamentos a distância. Considerando a procura crescente pelos cursos e, principalmente, o oferecimento dos novos cursos online da Escola de Direito da FGV e do MBA Executivo em Administração de Empresas, a distância, a expectativa é atender a mais de 2 mil alunos em 2004. A qualidade da produção dos cursos é buscada por meio da contínua avaliação e do permanente aperfeiçoamento do projeto pedagógico, dos processos de produção dos conteúdos e materiais didáticos, e do desenvolvimento da infra-estrutura de aprendizagem. Já a qualidade da implementação é buscada por meio da avaliação e do aperfeiçoamento do suporte técnico-administrativo e da tutoria. Indicadores como nível de capacitação do corpo docente e da equipe de suporte, perfil do corpo discente, notas e índices de aprovação, índices de participação e evasão, mensagens de feedback e avaliações dos cursos pelos alunos fornecem subsídios para aferir a qualidade percebida, identificar problemas e direcionar ações de melhoria.
2. Objetivo
O foco deste trabalho será avaliar a qualidade percebida dos cursos a distância do programa FGV Online, principalmente da tutoria, por meio da análise das avaliações dos cursos pelos alunos.
3. Metodologia
População
No período de 2002 e 2003, o FGV Online contabilizou 2.366 alunos inscritos nos cursos regulares (equivalentes a disciplinas de 30 e 45 horas-aula). A Tabela 1 apresenta os resultados gerais de um levantamento realizado em dezembro de 2003 sobre o perfil desses alunos. A Tabela 2 mostra o percentual de alunos inscritos em cada curso. Dividimos nossa população segundo o status final de curso em 4 grupos, conforme a Tabela 3. Aqui analisaremos apenas os grupos 1, 2 e 3, uma vez que o status dos alunos do grupo 4 é provisório.
Tabela 1 – Perfil dos alunos dos cursos do FGV Online (2.366 alunos)
Variável |
% |
|
Gênero |
Masculino |
74 |
Feminino |
26 |
|
Idade |
18-23 anos |
4 |
24-28 anos |
22 |
|
29-35 anos |
32 |
|
36-45 anos |
31 |
|
Acima de 45 |
11 |
|
Região |
Sudeste |
52 |
Centro-Oeste |
16 |
|
Nordeste |
14 |
|
Sul |
11 |
|
Norte |
7 |
|
Formação |
Administração |
27 |
Ciência da Computação |
17 |
|
Engenharia |
14 |
|
Direito |
7 |
|
Economia |
6 |
|
Ciências contábeis |
5 |
|
Comunicação |
5 |
|
Outros |
19 |
|
Cargo / posição |
Técnico / operacional |
69 |
Gerência média |
20 |
|
Alta gerência |
11 |
Tabela 2 – Distribuição dos alunos pelos cursos (2.366 alunos)
Curso |
% |
Gestão da Tecnologia da Informação |
27 |
Negociação |
11 |
Gestão Estratégica de Recursos Humanos |
10 |
Marketing de Serviços |
10 |
Finanças Empresariais |
9 |
Gestão de Pessoas |
7 |
Estratégia de Empresas |
7 |
Contabilidade Financeira |
5 |
Outros |
14 |
TOTAL |
100% |
Tabela 3 – Distribuição dos alunos segundo status final de curso (2.366 alunos)
Grupo |
% |
1 – Aprovados |
54 |
2 – Reprovados |
22 (*) |
3 – Trancados / cancelados |
15 |
4 – Nota final pendente (ainda não fizeram prova presencial) |
9 |
TOTAL |
100% |
(*) 8,7% não chegaram a iniciar o curso e foram reprovados com 0 (zero), e
a maioria dos 13,3% restantes
reprovou por abandono do curso, e não por baixo desempenho nas tarefas.
Amostra e processo de coleta de dados
Grupo 1 – Aprovados: No módulo de encerramento de cada curso, os alunos são convidados a responder voluntariamente a um questionário de avaliação de curso, disponibilizado on-line no ambiente de aprendizagem. Verifica-se que a maioria dos alunos que o responde é de aprovados. Em nossa base, dispomos de 733 questionários respondidos por alunos aprovados nos cursos de 2002 e 2003, número que corresponde a 57% do total de aprovados nesse período.
Grupos 2 e 3 – Reprovados e Trancados[1] / Cancelados[2]: A maioria dos reprovados não responde ao questionário, uma vez que quase a metade deles nem chega a iniciar o curso, e uma parte significativa do restante o abandona antes de terminar. Os trancados / cancelados, uma vez que também interrompem o curso antes do seu término, não o preenchem. Assim, foi necessário adotar um outro procedimento a fim de coletar as avaliações desses alunos. Ao final de 2003, os 350 alunos que compõem esses dois grupos responderam por e-mail um questionário simplificado. Obtiveram-se 76 (22%) questionários devidamente respondidos.
Instrumentos
O questionário de avaliação de curso respondido pelos aprovados (Grupo 1) contempla 25 variáveis (itens de resposta), categorizadas em 6 blocos, como mostra a Tabela 4. Os alunos avaliam cada variável por meio de uma escala de 7 pontos: 1 = Péssimo; 2 = Muito ruim; 3 = Ruim; 4 = Mais ou menos; 5 = Bom; 6 = Muito bom; 7 = Excelente; além de uma opção (0) para os que não sabem / não têm como avaliar.
Tabela 4 – Variáveis de avaliação do formulário
Blocos |
1. Estrutura e conteúdo |
2. Atividades |
3. Design e formatação |
4. Navegação e usabilidade |
5. Tutoria |
6. Atendimento e suporte (helpdesk) |
Variáveis |
Adequação do conteúdo aos objetivos |
Variedade das atividades |
Design das telas |
Facilidade de acesso ao ambiente |
Rapidez de resposta |
Facilidade de acesso |
Adequação do conteúdo ao tempo do curso |
Relevância das atividades |
Volume de informação por tela |
Navegação no ambiente |
Cooperação |
Prontidão no atendimento |
|
Atualidade dos temas apresentados |
Clareza das orientações |
Adequação da multimídia aos temas |
Relevância dos links |
Integração à turma |
Solução dos problemas |
|
Clareza da linguagem |
Grau de dificuldade |
Qualidade dos documentos do CD |
Apoio às atividades |
|||
Pontuação atribuída na avaliação |
Clareza das informações da apostila |
Coerência na avaliação |
O questionário simplificado enviado aos alunos reprovados e trancados/cancelados (grupos 2 e 3) possui apenas 6 variáveis que correspondem aos blocos acima, e que são avaliadas pela mesma escala de 7 pontos. Solicita, ainda, que os alunos assinalem os principais motivos que justificaram a não conclusão do curso (reprovação, trancamento ou cancelamento), dentre os abaixo:
1. Insatisfação com o conteúdo e as atividades do curso 2. Insatisfação com a tutoria 3. Insatisfação com a turma 4. Insatisfação com o helpdesk e a secretaria / administração do curso 5. Insatisfação com o ambiente de aprendizagem 6. Falta de tempo e/ou disponibilidade para o curso |
7. Falta de conhecimentos pré-requisitos para o curso 8. Motivos pessoais, de saúde e/ou familiares 9. Motivos profissionais 10. Motivos financeiros 11. Problemas técnicos, de equipamento, acesso, conexão etc. 12. Outros |
Ambos os questionários dispõem de um espaço de resposta livre reservado para sugestões, críticas, elogios e comentários adicionais pelos alunos.
4. Análise dos resultados
Por terem sido aplicados intrumentos diferentes em amostras distintas, conduziu-se a análise separada dos alunos aprovados (grupo 1) e dos reprovados e trancados / cancelados (grupos 2 e 3).
Grupo 1 - Aprovados
A abordagem envolveu três técnicas de análise estatística multivariada:
Análise fatorial
Na Análise Fatorial, utilizou-se o método de Componentes Principais, conforme apresentado por Hair et. al.(1998), do pacote estatístico SPSS. O procedimento Reliability do SPSS forneceu o Alpha de Crombach para os 25 itens de 0,94. Um valor superior a 0,7 já é considerado satisfatório por Hair et. al.(1998). Foi aplicada uma rotação ortogonal do tipo VARIMAX para facilitar a análise. Com isso, foi possível reduzir as 25 variáveis para 4 fatores, que denominamos: (1) Conteúdo e atividades; (2) Tutoria; (3) Design e navegação; (4) Atendimento e suporte (helpdesk); aproveitando a denominação dos 6 blocos existentes no questionário. A consistência estatística do emprego da análise fatorial foi verificada por meio dos testes de Measure of Sampling Adequacy (MSA) e de esfericidade de Bartlett. O primeiro obteve um valor de 0,93 e o teste de Bartlett foi significativo a p<0,001. Um MSA superior a 0,8 é considerado meritório por Hair et. al.(1998). Os fatores extraídos explicam 64,06% da variância total.
Análise de clusters
Agrupamos os respondentes em segmentos, baseados nas notas atribuídas às variáveis de avaliação, utilizando a técnica de Cluster Analysis com o método K-Means, conforme descrito por Hair et. al.(1998) e o procedimento Cluster do SPSS. Este tipo de técnica busca formar grupos de respondentes (clusters), cujo padrão de respostas seja o mais homogêneo possível internamente e o mais diferenciado possível em relação aos demais grupos. Por meio de inspeção visual e análise dos resultados das funções discriminantes canônicas, escolheu-se o agrupamento em 3 clusters.
Conforme podemos observar na Tabela 5, como um todo, as avaliações dos alunos em relação às variáveis do questionário estão muito boas, variando de 5,5 a 6,4 (na escala de 1 a 7). Devido à quantidade de alunos satisfeitos (cluster 1) ser superior à dos demais (clusters 2 e 3), as médias gerais são altas. Uma análise das médias em cada cluster permite a identificação das suas características diferenciais. O cluster 1, totalizando 462 respondentes (63% da amostra), é formado por alunos satisfeitos em todos os itens de avaliação. O cluster 2, com 218 respondentes (29,8%), é composto por alunos menos satisfeitos nos fatores “Conteúdo e Atividades” e “Design e Navegação”. Já o cluster 3, com 53 respondentes (7,2%), é caracterizado pelos alunos mais insatisfeitos, especialmente no que diz respeito ao fator “Tutoria”. O exame dos comentários desses alunos revelou ainda outros elementos de insatisfação não contemplados pelas variáveis do questionário, a saber: dificuldades na interação dos alunos com suas equipes e com o restante da turma. A significância estatística da diferença das médias dos fatores nos clusters foi verificada por meio do teste F obtido pela aplicação do procedimento de análise de variância multivariada – MANOVA do SPSS. Os testes de significância multivariados de Pilais, Hottelings e Wilks indicaram a diferença de média dos fatores nos clusters a um nível de significância p<0,001.
Tabela 5 – Média de cada variável por cluster (amostra: 733 respondentes)
Fator |
Variável |
Cluster 1 |
Cluster 2 |
Cluster 3 |
Média |
---|---|---|---|---|---|
Conteúdo e atividades |
Adequação do conteúdo aos objetivos |
6,43 |
5,53 |
5,15 |
6,07 |
Adequação do conteúdo ao tempo do curso |
6,03 |
5,05 |
4,85 |
5,65 |
|
Atualidade dos temas apresentados |
6,71 |
6,07 |
5,66 |
6,44 |
|
Clareza da linguagem |
6,28 |
5,49 |
5,06 |
5,96 |
|
Qualidade dos documentos do CD |
6,41 |
5,29 |
5,19 |
5,99 |
|
Clareza das informações da apostila |
6,26 |
5,21 |
4,94 |
5,85 |
|
Variedade das atividades |
6,26 |
5,28 |
4,60 |
5,85 |
|
Relevância das atividades |
6,42 |
5,37 |
4,75 |
5,99 |
|
Clareza das orientações |
5,96 |
5,13 |
3,66 |
5,55 |
|
Grau de dificuldade |
5,93 |
5,10 |
4,70 |
5,59 |
|
Pontuação atribuída na avaliação |
6,33 |
5,50 |
4,61 |
5,96 |
|
Tutoria |
Rapidez de resposta |
6,54 |
6,41 |
3,81 |
6,30 |
Cooperação |
6,78 |
6,65 |
4,23 |
6,56 |
|
Integração à turma |
6,61 |
6,50 |
3,94 |
6,38 |
|
Apoio às atividades |
6,69 |
6,56 |
3,77 |
6,44 |
|
Coerência na avaliação |
6,70 |
6,58 |
4,70 |
6,52 |
|
Design e navegação |
Design das telas |
6,19 |
4,89 |
4,77 |
5,69 |
Volume de informação por tela |
6,27 |
4,94 |
4,76 |
5,77 |
|
Adequação da multimídia aos temas |
6,09 |
5,00 |
4,45 |
5,65 |
|
Facilidade de acesso (ao ambiente) |
5,95 |
5,10 |
4,51 |
5,59 |
|
Navegação no ambiente |
6,07 |
5,12 |
4,58 |
5,68 |
|
Relevância dos links |
6,26 |
5,24 |
4,74 |
5,85 |
|
Atendimento e suporte (helpdesk) |
Facilidade de acesso (ao atendimento/ suporte) |
6,16 |
6,19 |
5,02 |
6,09 |
Prontidão no atendimento |
6,29 |
6,36 |
5,20 |
6,23 |
|
Solução dos problemas |
6,28 |
6,40 |
4,92 |
6,22 |
Análise discriminante
Efetuou-se uma análise discriminante multivariada, conforme apresentado por Hair et. al.(1998), com o intuito de verificar se existem funções discriminantes que classifiquem os segmentos de respondentes. Foi verificado que 93,2% dos casos foram corretamente classificados pela aplicação das funções discriminantes. Utilizou-se o procedimento Discriminant do SPSS. Foram identificadas duas funções que classificam os três grupos de respondentes. O teste de Lambda de Wilks para as funções discriminantes apresenta significância a p<0,001. Em outras palavras, a análise discriminante indica que os clusters formados são consistentes e diferenciados entre si, e não meros resultados sem sentido gerados pelo processamento do pacote estatístico.
Grupos 2 e 3 – Reprovados, trancados / cancelados
Entre os grupos de alunos reprovados e trancados / cancelados que responderam ao questionário simplificado via e-mail, não foram verificadas diferenças significativas nos padrões de resposta. Daí a apresentação dos dados em conjunto. Isso acontece principalmente pelo fato de a maioria das reprovações ocorrerem, não por insuficiência de desempenho, mas por abandono de curso pelos alunos que perderam o período de trancamento. Registrou-se também, para cada questionário respondido, a variável (item de resposta) que correspondeu à pior e à melhor avaliação. Com isso, obteve-se uma indicação da principal fonte de satisfação ou insatisfação de cada aluno. A Tabela 6 mostra um resumo dos resultados e a distribuição percentual das melhores e piores notas, de acordo com a variável avaliada. A Tabela 7 mostra os motivos alegados para a não conclusão do curso.
Quando analisados os resultados da Tabela 6, verifica-se que...
Com relação aos motivos de não completude dos cursos (Tabela 7), verifica-se que...
Tabela 6 – Avaliações dos alunos reprovados e trancados/cancelados (76 respondentes)
Variável (item) |
Média |
Mediana |
Desvio Padrão |
Percentual dos questionários que avaliaram o item como o pior dentre os demais |
Percentual dos questionários que avaliaram o item como o melhor dentre os demais |
Estrutura e conteúdo |
4,4 |
5,0 |
2,1 |
36% |
43% |
Design e formatação |
4,6 |
5,0 |
2,0 |
7% |
18% |
Atividades |
3,7 |
4,5 |
2,2 |
22% |
5% |
Tutoria |
4,3 |
5,0 |
2,4 |
9% |
18% |
Atendimento e suporte (helpdesk) |
4,0 |
5,0 |
2,5 |
14% |
12% |
Navegação e usabilidade |
4,0 |
4,0 |
1,9 |
12% |
3% |
Tabela 7 – Distribuição percentual dos motivos da não conclusão (76 respondentes)
Motivo de não conclusão |
Variável associada |
% |
Falta de tempo e/ou disponibilidade para o curso |
Pessoal |
21 |
Insatisfação com o ambiente de aprendizagem |
Navegação e usabilidade |
12 |
Insatisfação com o conteúdo e as atividades do curso |
Estrutura e conteúdo |
10 |
Problemas técnicos, de equipamento, acesso, conexão etc. |
Navegação e usabilidade |
10 |
Motivos profissionais |
Pessoal |
10 |
Motivos pessoais, de saúde e/ou familiares |
Pessoal |
9 |
Insatisfação com a tutoria |
Tutoria |
8 |
Insatisfação com o helpdesk, secretaria e administração do curso |
Atendimento e suporte (helpdesk) |
7 |
Insatisfação com a turma |
(Inter)pessoal |
4 |
Falta de conhecimentos pré-requisitos para o curso |
Pessoal |
2 |
Motivos financeiros |
Pessoal |
2 |
Outros |
5 |
|
TOTAL |
100% |
5. Conclusões
As análises das avaliações feitas pelos alunos, mesmo pelos reprovados e trancados / cancelados, indicam um nível elevado de satisfação com os cursos de uma maneira geral e, particularmente, em relação à tutoria. Mesmo nos casos de grande insatisfação com outros fatores, que levam, eventualmente, o aluno a trancar ou ser reprovado, a tutoria é percebida como satisfatória em relação aos demais. Esse fato já foi verificado em outros estudos (Beffa-Negrini et. al., 2002). A exceção é o grupo de alunos do cluster 3. Para estes cabe uma pergunta merecedora de investigação posterior: até que ponto a tutoria percebida como ruim influenciou negativamente as percepções sobre os demais elementos do serviço?
A falta de disponibilidade para o curso, como principal justificativa de sua não completude não é privilégio do estudante brasileiro. Juntamente com os motivos profissionais e pessoais, costuma ocupar o topo da lista em estudos de drop-out. O fato apenas reforça a idéia de que devem ser melhor identificadas e trabalhadas as expectativas dos alunos em relação à carga de estudo / trabalho e ao grau de disciplina / automotivação exigidos pelos cursos a distância. Isso deve ser feito antes da inscrição do aluno no curso, bem como logo no início do mesmo. Neste ponto, a tutoria desempenha um papel fundamental no ajuste das expectativas e no bom estabelecimento do contrato psicológico e de trabalho com o aluno. Isso é tanto mais relevante quanto maior o desconhecimento pelo aluno das diferenças entre a aprendizagem online e a presencial tradicional.
As dificuldades em relação à navegação e usabilidade do ambiente de aprendizagem (LMS), bem como em relação ao conteúdo e às atividades de determinados cursos surgiram como fatores críticos. Essa identificação só vem reforçar os empreendimentos iniciados, ainda em 2003, de upgrade do ambiente de aprendizagem, do aprimoramento do design e da navegação, e a revisão dos conteúdo e das atividades dos cursos. Em virtude dessas melhorias, espera-se detectar mudanças no padrão de respostas nas avaliações no final de 2004.
Por fim, os métodos quantitativos constituíram valiosas ferramentas na medida em que facilitaram a identificação de problemas e a tomada de decisão. A agregação dos fatores permite identificar com maior clareza as variáveis essenciais a investigar e o conseqüente refinamento dos instrumentos de avaliação. A análise de clusters, por sua vez, permite ações corretivas e de melhoria específicas, na medida em que evidencia com maior clareza os grupos de alunos insatisfeitos e os itens que são objeto dessa insatisfação. O cruzamento dessas informações com os perfis dos alunos em futuros estudos permitirá testar hipóteses de caráter preditivo.
6. Referências
Alonso, K.M. Educação a distância no brasil: a busca de identidade. 1996. Disponível em: <http://www.abed.org.br> Acesso em: 14 de maio de 2004.
Alves, J.R.M. Educação a distância e as novas tecnologias de informação e aprendizagem. [1994?]. Disponível em: <http://www.abed.org.br> Acesso em: 14 de maio de 2004.
Beffa-Negrini, P.; Miller, B.; Cohhen, N.L., Factors related to success and satisfaction with online learning, Academic Exchange, Fall, 2002, p. 105-114.
Gianesi, I.G.; Corrêa, H. Administração estratégica de serviços. São Paulo: Atlas, 1994.
Goldbarg, M. Educação e qualidade: repensando conceitos. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 79, n.192, p. 35-62, set./dez., 1998.
Grönroos, C. Marketing: gerenciamento e serviços: a competição por serviços na hora da verdade. Rio de Janeiro: Campus, 1995. 377 p.
Hair, J.F.Jr. et. al. Multivariate data analysis. 5 ed. New Jersey: Prentice Hall, 1998. 730 p.
Keegan, D. Foundations of distance education. London: Routledge, 1996.
Moore, M. Theory of transactional distance. In: Keegan, D. (Ed.) Theoretical principles of distance education. London: Routledge, 1996. p.22-38
Litwin, E. Educação a distância: temas para o debate de uma nova agenda educativa. Porto Alegre: Artmed, 2001. p.15-16
MINISTÉRIO DA EDUCAÇÃO. SECRETARIA DE EDUCAÇÃO A DISTÂNCIA (SEED). Indicadores de qualidade para cursos de graduação a distância. Tecnologia Educacional, v.29, n.149, abr./jun., 2000. p. 3-11.
MINISTÉRIO DA EDUCAÇÃO. SECRETARIA DE ENSINO SUPERIOR (SESu). COMISSÃO ASSESSORA PARA EDUCAÇÃO SUPERIOR A DISTÂNCIA. Relatório. Brasília, agosto, 2002.
Neves, C. M. C. Critérios de qualidade para a educação a distância. Tecnologia Educacional, v.26, n.141, abr./jun., 1998. p. 13-17
Parasuraman, A.; Berry, L.L. Delivering service quality. New York: Free Press, 1990.
Silva Jr., J.R. Qualidade total em educação: ideologia administrativa e impossibilidade teórica. Educação e Realidade, Porto Alegre, v.20, n.1, p. 203-28, jan./jun., 1995.
Tractenberg, L.; Murashima, M. FGV Online: um programa de ensino para romper distâncias. In: Congresso Internacional de Educação a Distância, 10, 2003. Anais... Porto Alegre: PUC-RS / ABED, 2003. Disponível em: < http://www.abed.org.br/congresso2003/> Acesso em 13 de maio de 2004.
[1] Alunos que, por algum motivo, desejam trancar a matrícula temporariamente, para refazer o curso em uma ocasião posterior. O trancamento do curso pode ser efetuado desde que não tenha transcorrido mais de 1/3 do tempo do curso.
[2] Alunos que desistem do curso e solicitam cancelamento de sua matrícula.