Avaliação da qualidade percebida em cursos a distância: o caso do FGV Online

 

Leonel Tractenberg
Fundação Getulio Vargas, leonel@fgv.br

Luis Claudio Kubota
COPPEAD-UFRJ, lkubota@fgv.br

Rafael G. Barbastefano
COPPE-UFRJ e CEFET-RJ, rafael@fgv.br; rgb@cefet-rj.br

 

Categoria: Educação Universitária – Gestão de Sistemas de EAD – Pesquisa

 

Resumo:
Nas últimas décadas, a educação a distância (EAD), potencializada pelas tecnologias da informação e comunicação, vem sendo valorizada e apontada como uma das alternativas para atendimento à crescente demanda global por educação, em particular, por educação superior e continuada.  Um número crescente de instituições públicas e particulares tem partido para o desenvolvimento de iniciativas em EAD. O Ministério da Educação vem manifestando preocupação com a qualidade desses programas, divulgando critérios e regulando o seu credenciamento. A qualidade percebida pelos clientes é um aspecto fundamental nos programas de EAD. O presente trabalho visa avaliar a qualidade percebida dos cursos a distância do FGV Online, com ênfase na tutoria, por meio da análise das avaliações dos cursos pelos alunos desse programa.

 Palavras-chave:
educação a distância; qualidade; tutoria; FGV Online

 


1.    Introdução

A expansão da EAD e a preocupação com a qualidade

Nas últimas décadas, houve um considerável aumento da demanda global por educação em todos os níveis, em particular, por educação superior, tanto de graduação quanto de pós-graduação e educação continuada. Para atender a essa demanda, verifica-se, a partir da década de 60, um aumento da importância dada aos sistemas de educação a distância (EAD). Keegan (1996) relaciona o aparecimento de diversas instituições de educação superior aberta e a distância em vários países como China, Espanha, Indonésia, Tailândia e Turquia, atendendo cada uma a mais de 100 mil alunos. No contexto ibero-americano, temos o aparecimento de duas grandes instituições – a Universidade Aberta da Venezuela e a Universidade Estatal a Distância da Costa Rica –, bem como de programas associados em instituições de ensino tradicionais, como a Universidade Autônoma do México e a Universidade de Buenos Aires (Litwin, 2001).

No Brasil, apesar de haver registros da oferta de cursos por correspondência desde 1891 (Alves, 1994?), verifica-se, até as décadas de 80 e 90, a predominância dos programas vocacionais, de ensino supletivo, com destaque para o projeto Minerva e o Telecurso, e de formação de professores, desenvolvidos a partir da década 70 (Alonso, 1996). Se até então, no Brasil, a EAD era relegada a um segundo plano, como algo destinado à educação técnica, aceleração e aprendizagem de ofícios menores, hoje, instrumentalizada e renovada pelo vertiginoso desenvolvimento das tecnologias da informação e comunicação (TICs), vem sendo encarada pelos governos e pelas instituições de ensino como modalidade indispensável para a expansão da oferta e democratização no ensino superior. O Ministério da Educação (MEC) vem progressivamente constituindo um discurso favorável à utilização da EAD...

Considerando as dimensões do país, a quantidade de pessoas a serem educadas, a infra-estrutura física disponível e o número de educadores com capacidade para facilitar esse processo, a educação a distância no ensino superior é, mais do que viável, necessária. (MEC/SESu, 2002, p.5)

Por sua vez, a quantidade e diversidade de iniciativas e projetos de EAD de instituições brasileiras públicas e particulares cresce de forma acelerada (MEC/SESu, 2002, p.8). Diante desse quadro, o MEC vem manifestando natural preocupação com a qualidade desses programas, regulando o credenciamento de instituições e divulgando referenciais de qualidade para projetos de EAD. Esses referenciais contemplam elementos como: planejamento pedagógico e curricular, material didático, interação docentes-discentes, gestão acadêmico-administrativa e infra-estrutura. Destacam ainda a importância de um sistema de avaliação institucional abrangente, que permita aferir as distâncias entre o real e o desejado, visando a correções na direção da melhoria da qualidade (Neves, 1998; MEC/SEED, 2000; MEC/SESu, 2002).

A qualidade percebida em EAD

Conforme a American Society for Quality Control, a qualidade pode ser definida como “a totalidade dos requisitos e características de um produto ou serviço que estabelecem a sua capacidade de satisfazer determinadas necessidades”. Em serviços, a determinação da qualidade depende das discrepâncias (gaps) entre as expectativas dos clientes e sua percepção em relação ao serviço fornecido (Parasuraman, 1985). Corrêa e Gianesi (1994) e Grönroos (1995) ressaltam a necessidade não apenas de se satisfazerem as expectativas dos clientes, mas também de se garantir que os clientes percebam que os serviços prestados atendem às suas expectativas. O foco no cliente corresponde à segunda grande “onda” que impactou a reflexão sobre a qualidade, sucedendo à primeira, que se preocupava, apenas, com a qualidade do produto final e dos processos de produção. A terceira evolução, hoje ainda esboçante, do ideário da qualidade decorre da incorporação de conceitos mais amplos, como qualidade de vida, impacto e compromisso social.

A aplicação do ideário e instrumental da qualidade ao contexto educacional não é desprovida de limitações, dificuldades e temores. São reconhecidas como limitações de aplicabilidade impostas pelas características peculiares dos serviços educacionais: a maior complexidade do contexto educacional; a multiplicidade de clientelas a que se destina; o aspecto afetivo e interdisciplinar; e os impactos sociais dessa atividade. Por outro lado, os benefícios que a aplicação dessa abordagem pode trazer para a gestão educacional são muitos (Goldbarg, 1998). No tocante à qualidade percebida nos serviços educacionais, esta dependerá de um conjunto grande de fatores, tais como: atendimento e suporte acadêmico-administrativo, ambiente de estudo, material didático, corpo docente etc. A própria identificação das necessidades e expectativas dos clientes do serviço, por si só, já impõe uma série de complexidades. Alunos, família, organizações, governo e sociedade possuem demandas diferentes, por vezes, conflitantes. A própria instituição de ensino possui expectativas em relação aos retornos de longo-prazo, para o mercado e para a sociedade, dos cidadãos e profissionais que ajudou a formar.

Se os cursos presenciais, com os quais se está familiarizado desde a infância, e, portanto, para os quais se possui referenciais de avaliação mais sedimentados e consensuais, permitem discrepâncias na percepção da qualidade, o que dizer de cursos a distância, que envolvem um grande número de elementos, atores, ambientes, tecnologias, processos e formas de interação, não raro, novos e desconhecidos?

Seguindo o modelo de gaps de percepção de Parasuraman, vêem-se diversos exemplos aplicados à EAD. Uma apostila encadernada considerada de boa qualidade por um aluno pode ser percebida como inferior por outro que espere receber um livro e um CD. O cliente corporativo pode considerar cursos baseados em estudo de textos e interação via lista de discussão como de qualidade inferior àqueles que dispensam essa interação, mas se utilizam de todos os recursos pirotécnicos hipermidiáticos possibilitados pelas últimas tecnologias. Como se vê, a qualidade percebida pelos clientes nem sempre coincide com aquela percebida por quem concebeu a solução educacional, mesmo que esta seja a mais eficaz em termos de aprendizagem.

Indubitavelmente, uma solução educacional em conformidade com os requisitos pedagógicos e objetivos de aprendizagem, e consoante com as necessidades educacionais e perfil dos clientes é condição indispensável. Porém, é insuficiente. Se as expectativas dos clientes não forem trabalhadas adequadamente, a qualidade do serviço educacional poderá ser percebida como ruim. Assim é relevante a questão: o serviço educacional oferecido tem qualidade intrínseca (produto e processo)? Mas também: foram identificadas e trabalhadas as expectativas dos clientes (alunos, instituições, sociedade etc.)?  Até que ponto elas estão sendo satisfeitas? Os clientes percebem o quanto são (ou não) satisfeitas?

Qualidade e tutoria na EAD online

A tutoria é um dos elementos fundamentais dentro de um programa de EAD. O tutor – professor, monitor etc. – é o agente responsável por estabelecer elos de comunicação entre os alunos – aprendizes, estudantes, educandos, cursistas ou como se prefira chamar –, e destes com os conhecimentos e com a instituição que os organiza e disponibiliza por meio dos materiais didáticos e do plano pedagógico. A tutoria é o elemento dinamizador da (re)construção coletiva do saber e organizador da interação em duas vias, enfatizada na maioria das definições contemporâneas de EAD (por exemplo, ver Keegan (1996) e Moore (1990)). Por estar em contato mais direto e por mais tempo com os alunos, o tutor é o agente do serviço que pode, com maior rapidez, responder a questões, identificar dificuldades dos alunos e tentar minimizar suas discrepâncias de expectativa em relação aos conteúdos, materiais didáticos, às atividades, ao ambiente de aprendizagem, à interação com os colegas, ao suporte técnico-administrativo, à coordenação e às exigências próprias do processo de aprendizagem a distância (SESu, 2002). Além disso, o tutor, mesmo atuando como mero animador, facilitador ou consultor eventual, é o elemento que personifica conteúdos e atividades trabalhados, ainda que não tenha sido ele o autor dos materiais e do plano de curso. É ele quem representa a instituição educacional e o serviço por ela prestado, ainda que ele seja apenas um dos atores desse serviço. É, portanto, na linguagem de serviços, o principal ator da linha-de-frente, o principal depositário das expectativas, alegrias e frustrações dos alunos. Assim, é de se esperar que o desempenho da tutoria, além do seu papel pedagógico, tenha um grande impacto na percepção da qualidade do serviço como um todo.

O FGV Online: um programa de ensino para romper distâncias

Em trabalho anterior, Tractenberg e Murashima (2003) descrevem o programa FGV Online – programa de EAD da Fundação Getulio Vargas –, suas diretrizes filosóficas e pedagógicas, o conteúdo, estrutura, dinâmica e duração dos cursos,  o papel das coordenações e da tutoria, bem como o processo de acompanhamento e suporte aos alunos e professores-tutores.

Desde sua criação em 2000, o FGV Online atendeu a mais de 3 mil alunos, entre recém graduados, profissionais e gestores de empresas, por meio de seus cursos regulares em nível de pós-graduação e treinamentos a distância. Considerando a procura crescente pelos cursos e, principalmente, o oferecimento dos novos cursos online da Escola de Direito da FGV e do MBA Executivo em Administração de Empresas, a distância, a expectativa é atender a mais de 2 mil alunos em 2004. A qualidade da produção dos cursos é buscada por meio da contínua avaliação e do permanente aperfeiçoamento do projeto pedagógico, dos processos de produção dos conteúdos e materiais didáticos, e do desenvolvimento da infra-estrutura de aprendizagem. Já a qualidade da implementação é buscada por meio da avaliação e do aperfeiçoamento do suporte técnico-administrativo e da tutoria. Indicadores como nível de capacitação do corpo docente e da equipe de suporte, perfil do corpo discente, notas e índices de aprovação, índices de participação e evasão, mensagens de feedback e avaliações dos cursos pelos alunos fornecem subsídios para aferir a qualidade percebida, identificar problemas e direcionar ações de melhoria.

 

2.    Objetivo

O foco deste trabalho será avaliar a qualidade percebida dos cursos a distância do programa FGV Online, principalmente da tutoria, por meio da análise das avaliações dos cursos pelos alunos.

 

3.    Metodologia

População

No período de 2002 e 2003, o FGV Online contabilizou 2.366 alunos inscritos nos cursos regulares (equivalentes a disciplinas de 30 e 45 horas-aula). A Tabela 1 apresenta os resultados gerais de um levantamento realizado em dezembro de 2003 sobre o perfil desses alunos. A Tabela 2 mostra o percentual de alunos inscritos em cada curso. Dividimos nossa população segundo o status final de curso em 4 grupos, conforme a Tabela 3. Aqui analisaremos apenas os grupos 1, 2 e 3, uma vez que o status dos alunos do grupo 4 é provisório.

Tabela 1 – Perfil dos alunos dos cursos do FGV Online (2.366 alunos)

Variável

%

Gênero

Masculino

74

Feminino

26

Idade

18-23 anos

4

24-28 anos

22

29-35 anos

32

36-45 anos

31

Acima de 45

11

Região

Sudeste

52

Centro-Oeste

16

Nordeste

14

Sul

11

Norte

7

Formação

Administração

27

Ciência da Computação

17

Engenharia

14

Direito

7

Economia

6

Ciências contábeis

5

Comunicação

5

Outros

19

Cargo / posição

Técnico / operacional

69

Gerência média

20

Alta gerência

11

Tabela 2 – Distribuição dos alunos pelos cursos  (2.366 alunos)

Curso

%

Gestão da Tecnologia da Informação

27

Negociação

11

Gestão Estratégica de Recursos Humanos

10

Marketing de Serviços

10

Finanças Empresariais

9

Gestão de Pessoas

7

Estratégia de Empresas

7

Contabilidade Financeira

5

Outros

14

TOTAL

100%

Tabela 3 – Distribuição dos alunos segundo status final de curso (2.366 alunos)

Grupo

%

1 – Aprovados

54

2 – Reprovados

22 (*)

3 – Trancados / cancelados

15

4 – Nota final pendente (ainda não fizeram prova presencial)

9

TOTAL

100%

 

(*) 8,7% não chegaram a iniciar o curso e foram reprovados com 0 (zero), e a maioria dos 13,3% restantes
     reprovou por abandono do curso, e não por baixo desempenho nas tarefas.

 

Amostra e processo de coleta de dados

Grupo 1 – Aprovados: No módulo de encerramento de cada curso, os alunos são convidados a responder voluntariamente a um questionário de avaliação de curso, disponibilizado on-line no ambiente de aprendizagem. Verifica-se que a maioria dos alunos que o responde é de aprovados. Em nossa base, dispomos de 733 questionários respondidos por alunos aprovados nos cursos de 2002 e 2003, número que corresponde a 57% do total de aprovados nesse período.

Grupos 2 e 3 – Reprovados e Trancados[1] / Cancelados[2]: A maioria dos reprovados não responde ao questionário, uma vez que quase a metade deles nem chega a iniciar o curso, e uma parte significativa do restante o abandona antes de terminar. Os trancados / cancelados, uma vez que também interrompem o curso antes do seu término, não o preenchem. Assim, foi necessário adotar um outro procedimento a fim de coletar as avaliações desses alunos. Ao final de 2003, os 350 alunos que compõem esses dois grupos responderam por e-mail um questionário simplificado. Obtiveram-se 76 (22%) questionários devidamente respondidos.

Instrumentos

O questionário de avaliação de curso respondido pelos aprovados (Grupo 1) contempla 25 variáveis (itens de resposta), categorizadas em 6 blocos, como mostra a Tabela 4. Os alunos avaliam cada variável por meio de uma escala de 7 pontos: 1 = Péssimo; 2 = Muito ruim; 3 = Ruim; 4 = Mais ou menos; 5 = Bom; 6 = Muito bom; 7 = Excelente; além de uma opção (0) para os que não sabem / não têm como avaliar.

Tabela 4 – Variáveis de avaliação do formulário

Blocos

1.      Estrutura e conteúdo

2.      Atividades

3.      Design e formatação

4.      Navegação e usabilidade

5.      Tutoria

6.      Atendimento e suporte (helpdesk)

Variáveis

Adequação do conteúdo aos objetivos

Variedade das atividades

Design das telas

Facilidade de acesso ao ambiente

Rapidez de resposta

Facilidade de acesso

Adequação do conteúdo ao tempo do curso

Relevância das atividades

Volume de informação por tela

Navegação no ambiente

Cooperação

Prontidão no atendimento

Atualidade dos temas apresentados

Clareza das orientações

Adequação da multimídia aos temas

Relevância dos links

Integração à turma

Solução dos problemas

Clareza da linguagem

Grau de dificuldade

Qualidade dos documentos do CD

 

Apoio às atividades

 
 

Pontuação atribuída na avaliação

Clareza das informações da apostila

 

Coerência na avaliação

 

O questionário simplificado enviado aos alunos reprovados e trancados/cancelados (grupos 2 e 3) possui apenas 6 variáveis que correspondem aos blocos acima, e que são avaliadas pela mesma escala de 7 pontos. Solicita, ainda, que os alunos assinalem os principais motivos que justificaram a não conclusão do curso (reprovação, trancamento ou cancelamento), dentre os abaixo:

1.        Insatisfação com o conteúdo e as atividades do curso

2.        Insatisfação com a tutoria

3.        Insatisfação com a turma

4.        Insatisfação com o helpdesk e a secretaria / administração do curso

5.        Insatisfação com o ambiente de aprendizagem

6.        Falta de tempo e/ou disponibilidade para o curso

7.        Falta de conhecimentos pré-requisitos para o curso

8.        Motivos pessoais, de saúde e/ou familiares

9.        Motivos profissionais

10.     Motivos financeiros

11.     Problemas técnicos, de equipamento, acesso, conexão etc.

12.     Outros

 

Ambos os questionários dispõem de um espaço de resposta livre reservado para sugestões, críticas, elogios e comentários adicionais pelos alunos.

 

4.    Análise dos resultados

Por terem sido aplicados intrumentos diferentes em amostras distintas, conduziu-se a análise separada dos alunos aprovados (grupo 1) e dos reprovados e trancados / cancelados (grupos 2 e 3).

Grupo 1 - Aprovados

A abordagem envolveu três técnicas de análise estatística multivariada:

Análise fatorial 

Na Análise Fatorial, utilizou-se o método de Componentes Principais, conforme apresentado por Hair et. al.(1998), do pacote estatístico SPSS. O procedimento Reliability do SPSS forneceu o Alpha de Crombach para os 25 itens de 0,94. Um valor superior a 0,7 já é considerado satisfatório por Hair et. al.(1998). Foi aplicada uma rotação ortogonal do tipo VARIMAX para facilitar a análise. Com isso, foi possível reduzir as 25 variáveis para 4 fatores, que denominamos: (1) Conteúdo e atividades; (2) Tutoria; (3) Design e navegação; (4) Atendimento e suporte (helpdesk); aproveitando a denominação dos 6 blocos existentes no questionário. A consistência estatística do emprego da análise fatorial foi verificada por meio dos testes de Measure of Sampling Adequacy (MSA) e de esfericidade de Bartlett. O primeiro obteve um valor de 0,93 e o teste de Bartlett foi significativo a p<0,001. Um MSA superior a 0,8 é considerado meritório por Hair et. al.(1998). Os fatores extraídos explicam 64,06% da variância total.

Análise de clusters

Agrupamos os respondentes em segmentos, baseados nas notas atribuídas às variáveis de avaliação, utilizando a técnica de Cluster Analysis com o método K-Means, conforme descrito por Hair et. al.(1998) e o procedimento Cluster do SPSS. Este tipo de técnica busca formar grupos de respondentes (clusters), cujo padrão de respostas seja o mais homogêneo possível internamente e o mais diferenciado possível em relação aos demais grupos. Por meio de inspeção visual e análise dos resultados das funções discriminantes canônicas, escolheu-se o agrupamento em 3 clusters.

Conforme podemos observar na Tabela 5, como um todo, as avaliações dos alunos em relação às variáveis do questionário estão muito boas, variando de 5,5 a 6,4 (na escala de 1 a 7). Devido à quantidade de alunos satisfeitos (cluster 1) ser superior à dos demais (clusters 2 e 3), as médias gerais são altas. Uma análise das médias em cada cluster permite a identificação das suas características diferenciais. O cluster 1, totalizando 462 respondentes (63% da amostra), é formado por alunos satisfeitos em todos os itens de avaliação. O cluster 2, com 218 respondentes (29,8%), é composto por alunos menos satisfeitos nos fatores “Conteúdo e Atividades” e “Design e Navegação”. Já o cluster 3, com 53 respondentes (7,2%), é caracterizado pelos alunos mais insatisfeitos, especialmente no que diz respeito ao fator “Tutoria”. O exame dos comentários desses alunos revelou ainda outros elementos de insatisfação não contemplados pelas variáveis do questionário, a saber: dificuldades na interação dos alunos com suas equipes e com o restante da turma. A significância estatística da diferença das médias dos fatores nos clusters foi verificada por meio do teste F obtido pela aplicação do procedimento de análise de variância multivariada – MANOVA do SPSS. Os testes de significância multivariados de Pilais, Hottelings e Wilks indicaram a diferença de média dos fatores nos clusters a um nível de significância p<0,001.

Tabela 5 – Média de cada variável por cluster (amostra: 733 respondentes)

Fator

Variável

Cluster 1

Cluster 2

Cluster 3

Média
Geral

Conteúdo e atividades

Adequação do conteúdo aos objetivos

6,43

5,53

5,15

6,07

Adequação do conteúdo ao tempo do curso

6,03

5,05

4,85

5,65

Atualidade dos temas apresentados

6,71

6,07

5,66

6,44

Clareza da linguagem

6,28

5,49

5,06

5,96

Qualidade dos documentos do CD

6,41

5,29

5,19

5,99

Clareza das informações da apostila

6,26

5,21

4,94

5,85

Variedade das atividades

6,26

5,28

4,60

5,85

Relevância das atividades

6,42

5,37

4,75

5,99

Clareza das orientações

5,96

5,13

3,66

5,55

Grau de dificuldade

5,93

5,10

4,70

5,59

Pontuação atribuída na avaliação

6,33

5,50

4,61

5,96

Tutoria

Rapidez de resposta

6,54

6,41

3,81

6,30

Cooperação

6,78

6,65

4,23

6,56

Integração à turma

6,61

6,50

3,94

6,38

Apoio às atividades

6,69

6,56

3,77

6,44

Coerência na avaliação

6,70

6,58

4,70

6,52

Design e navegação

Design das telas

6,19

4,89

4,77

5,69

Volume de informação por tela

6,27

4,94

4,76

5,77

Adequação da multimídia aos temas

6,09

5,00

4,45

5,65

Facilidade de acesso (ao ambiente)

5,95

5,10

4,51

5,59

Navegação no ambiente

6,07

5,12

4,58

5,68

Relevância dos links

6,26

5,24

4,74

5,85

Atendimento e suporte (helpdesk)

Facilidade de acesso (ao atendimento/ suporte)

6,16

6,19

5,02

6,09

Prontidão no atendimento

6,29

6,36

5,20

6,23

Solução dos problemas

6,28

6,40

4,92

6,22

Análise discriminante

Efetuou-se uma análise discriminante multivariada, conforme apresentado por Hair et. al.(1998), com o intuito de verificar se existem funções discriminantes que classifiquem os segmentos de respondentes. Foi verificado que 93,2% dos casos foram corretamente classificados pela aplicação das funções discriminantes. Utilizou-se o procedimento Discriminant do SPSS. Foram identificadas duas funções que classificam os três grupos de respondentes. O teste de Lambda de Wilks para as funções discriminantes apresenta significância a p<0,001. Em outras palavras, a análise discriminante indica que os clusters formados são consistentes e diferenciados entre si, e não meros resultados sem sentido gerados pelo processamento do pacote estatístico.

Grupos 2 e 3 – Reprovados, trancados / cancelados

Entre os grupos de alunos reprovados e trancados / cancelados que responderam ao questionário simplificado via e-mail, não foram verificadas diferenças significativas nos padrões de resposta. Daí a apresentação dos dados em conjunto. Isso acontece principalmente pelo fato de a maioria das reprovações ocorrerem, não por insuficiência de desempenho, mas por abandono de curso pelos alunos que perderam o período de trancamento. Registrou-se também, para cada questionário respondido, a variável (item de resposta) que correspondeu à pior e à melhor avaliação. Com isso, obteve-se uma indicação da principal fonte de satisfação ou insatisfação de cada aluno. A Tabela 6 mostra um resumo dos resultados e a distribuição percentual das melhores e piores notas, de acordo com a variável avaliada. A Tabela 7 mostra os motivos alegados para a não conclusão do curso.

Quando analisados os resultados da Tabela 6, verifica-se que...

Com relação aos motivos de não completude dos cursos (Tabela 7), verifica-se que...

Tabela 6 – Avaliações dos alunos reprovados e trancados/cancelados (76 respondentes)

Variável (item)

Média

Mediana

Desvio Padrão

Percentual dos questionários que avaliaram o item como o pior dentre os demais

Percentual dos questionários que avaliaram o item como o melhor dentre os demais

Estrutura e conteúdo

4,4

5,0

2,1

36%

43%

Design e formatação

4,6

5,0

2,0

7%

18%

Atividades

3,7

4,5

2,2

22%

5%

Tutoria

4,3

5,0

2,4

9%

18%

Atendimento e suporte (helpdesk)

4,0

5,0

2,5

14%

12%

Navegação e usabilidade

4,0

4,0

1,9

12%

3%

Tabela 7 – Distribuição percentual dos motivos da não conclusão (76 respondentes)

Motivo de não conclusão

Variável associada

%

Falta de tempo e/ou disponibilidade para o curso

Pessoal

21

Insatisfação com o ambiente de aprendizagem 

Navegação e usabilidade

12

Insatisfação com o conteúdo e as atividades do curso

Estrutura e conteúdo

10

Problemas técnicos, de equipamento, acesso, conexão etc.

Navegação e usabilidade

10

Motivos profissionais

Pessoal

10

Motivos pessoais, de saúde e/ou familiares

Pessoal

9

Insatisfação com a tutoria

Tutoria

8

Insatisfação com o helpdesk, secretaria e administração do curso

Atendimento e suporte (helpdesk)

7

Insatisfação com a turma

(Inter)pessoal

4

Falta de conhecimentos pré-requisitos para o curso

Pessoal

2

Motivos financeiros

Pessoal

2

Outros

 

5

 

TOTAL

100%

 

5.    Conclusões

As análises das avaliações feitas pelos alunos, mesmo pelos reprovados e trancados / cancelados, indicam um nível elevado de satisfação com os cursos de uma maneira geral e, particularmente, em relação à tutoria. Mesmo nos casos de grande insatisfação com outros fatores, que levam, eventualmente, o aluno a trancar ou ser reprovado, a tutoria é percebida como satisfatória em relação aos demais. Esse fato já foi verificado em outros estudos (Beffa-Negrini et. al., 2002). A exceção é o grupo de alunos do cluster 3. Para estes cabe uma pergunta merecedora de investigação posterior: até que ponto a tutoria percebida como ruim influenciou negativamente as percepções sobre os demais elementos do serviço?

A falta de disponibilidade para o curso, como principal justificativa de sua não completude não é privilégio do estudante brasileiro. Juntamente com os motivos profissionais e pessoais, costuma ocupar o topo da lista em estudos de drop-out. O fato apenas reforça a idéia de que devem ser melhor identificadas e trabalhadas as expectativas dos alunos em relação à carga de estudo / trabalho e ao grau de disciplina / automotivação exigidos pelos cursos a distância. Isso deve ser feito antes da inscrição do aluno no curso, bem como logo no início do mesmo. Neste ponto, a tutoria desempenha um papel fundamental no ajuste das expectativas e no bom estabelecimento do contrato psicológico e de trabalho com o aluno. Isso é tanto mais relevante quanto maior o desconhecimento pelo aluno das diferenças entre a aprendizagem online e a presencial tradicional.

As dificuldades em relação à navegação e usabilidade do ambiente de aprendizagem (LMS), bem como em relação ao conteúdo e às atividades de determinados cursos surgiram como fatores críticos. Essa identificação só vem reforçar os empreendimentos iniciados, ainda em 2003, de upgrade do ambiente de aprendizagem, do aprimoramento do design e da navegação, e a revisão dos conteúdo e das atividades dos cursos. Em virtude dessas melhorias, espera-se detectar mudanças no padrão de respostas nas avaliações no final de 2004.

Por fim, os métodos quantitativos constituíram valiosas ferramentas na medida em que facilitaram a identificação de problemas e a tomada de decisão. A agregação dos fatores permite identificar com maior clareza as variáveis essenciais a investigar e o conseqüente refinamento dos instrumentos de avaliação. A análise de clusters, por sua vez, permite ações corretivas e de melhoria específicas, na medida em que evidencia com maior clareza os grupos de alunos insatisfeitos e os itens que são objeto dessa insatisfação. O cruzamento dessas informações com os perfis dos alunos em futuros estudos permitirá testar hipóteses de caráter preditivo.


6.    Referências

Alonso, K.M. Educação a distância no brasil: a busca de identidade. 1996. Disponível em:  <http://www.abed.org.br> Acesso em: 14 de maio de 2004.

Alves, J.R.M. Educação a distância e as novas tecnologias de informação e aprendizagem. [1994?]. Disponível em:  <http://www.abed.org.br> Acesso em: 14 de maio de 2004.

Beffa-Negrini, P.; Miller, B.; Cohhen, N.L., Factors related to success and satisfaction with online learning, Academic Exchange, Fall, 2002, p. 105-114.

Gianesi, I.G.; Corrêa, H. Administração estratégica de serviços. São Paulo: Atlas, 1994.

Goldbarg, M. Educação e qualidade: repensando conceitos. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 79, n.192, p. 35-62, set./dez., 1998.

Grönroos, C. Marketing:  gerenciamento e serviços: a competição por serviços na hora da verdade. Rio de Janeiro: Campus, 1995. 377 p.

Hair, J.F.Jr. et. al. Multivariate data analysis. 5 ed. New Jersey: Prentice Hall, 1998. 730 p.

Keegan, D. Foundations of distance education. London: Routledge, 1996.

Moore, M. Theory of transactional distance. In: Keegan, D. (Ed.) Theoretical principles of distance education. London: Routledge, 1996. p.22-38

Litwin, E. Educação a distância: temas para o debate de uma nova agenda educativa. Porto Alegre: Artmed, 2001. p.15-16

MINISTÉRIO DA EDUCAÇÃO. SECRETARIA DE EDUCAÇÃO A DISTÂNCIA (SEED). Indicadores de qualidade para cursos de graduação a distância. Tecnologia Educacional, v.29, n.149, abr./jun., 2000. p. 3-11.

MINISTÉRIO DA EDUCAÇÃO. SECRETARIA DE ENSINO SUPERIOR (SESu). COMISSÃO ASSESSORA PARA EDUCAÇÃO SUPERIOR A DISTÂNCIA. Relatório. Brasília, agosto, 2002.

Neves, C. M. C. Critérios de qualidade para a educação a distância. Tecnologia Educacional, v.26, n.141, abr./jun., 1998. p. 13-17

Parasuraman, A.; Berry, L.L. Delivering service quality. New York: Free Press, 1990.

Silva Jr., J.R. Qualidade total em educação: ideologia administrativa e impossibilidade teórica. Educação e Realidade, Porto Alegre, v.20, n.1, p. 203-28, jan./jun., 1995.

Tractenberg, L.; Murashima, M. FGV Online: um programa de ensino para romper distâncias. In: Congresso Internacional de Educação a Distância, 10, 2003. Anais... Porto Alegre: PUC-RS / ABED, 2003. Disponível em: < http://www.abed.org.br/congresso2003/> Acesso em 13 de maio de 2004.



[1] Alunos que, por algum motivo, desejam trancar a matrícula temporariamente, para refazer o curso em uma ocasião posterior. O trancamento do curso pode ser efetuado desde que não tenha transcorrido mais de 1/3 do tempo do curso.

[2] Alunos que desistem do curso e solicitam cancelamento de sua matrícula.