8º CONTECSI - International Conference on Information Systems and Technology Management LEARNING EVALUATON IN DISTANCE COURSES: A CASE STUDY Estéfano Vizconde Veraszto (Faculdade Municipal “Prof. Franco Montoro”/Mogi Guaçu/São Paulo/Brasil) - [email protected] Nonato Assis de Miranda (Universidade Paulista – São Paulo – Brasil) [email protected] Jomar Barros Filho (Faculdade Municipal “Professor Franco Montoro”/Mogi Guaçu/São Paulo/Brasil) - [email protected] This paper presents the results of a qualitative research on the assessment of learning in courses offered in distance mode. This is a case study conducted with students from a postgraduate course at a private university in São Paulo city which data were analyzed according to content analysis criteria (Bardin, 1977). The results show that students who attend this type of course have unusual complaints: the fact that there is harmony between the content taught in the video lesson and what evidence is collected in attendance. They also complain of lack of assistance from tutors to give support in times of doubt. As positively aspects students point to the flexibility of time to study, the facilities and possibilities created by the Internet. Keywords: e-learning; learning evaluation; teacher training. AVALIAÇÃO DA APRENDIZAGEM EM CURSOS A DISTÂNCIA: UM ESTUDO DE CASO Este artigo apresenta os resultados de uma pesquisa de natureza qualitativa acerca da avaliação da aprendizagem em cursos oferecidos na modalidade a distância. Trata-se de um estudo de caso realizado com estudantes de um curso de pós-graduação em uma universidade particular na cidade de São Paulo cujos dados foram analisados seguindo critérios da análise de conteúdo (Bardin, 1977). Os resultados mostram que os estudantes que frequentam este tipo de curso têm queixas incomuns: o fato de que não há harmonia entre o conteúdo ministrado nas vídeoaulas e o que é cobrado nas provas presenciais. Reclamam também da falta de assistência de tutores para darem suporte em momentos de dúvidas. Como aspectos positivos os estudantes apontam a flexibilidade de tempo para estudar, as facilidades e possibilidades criadas pela Internet. Palavras-chave: avaliação da aprendizagem, ensino à distância, formação de professores INTRODUÇÃO Na história da avaliação educacional, constata-se que alunos e professores frequentemente têm sido alvo dos interesses dos avaliadores, sob múltiplas e variadas perspectivas. Hoje, a avaliação passa a ser tema obrigatório de debate e 824 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management discussão em todos os meios. Mesmo porque, a avaliação foi e continua sendo o mais frequente objeto de análise no contexto escolar. Nestes termos, consta-se que as discussões sobre o assunto tornaram-se recorrentes no país principalmente a partir da década de 80 do século XX, por meio de constantes pesquisas e estudos com variados enfoques de tratamento, tais como tecnologia, sociologia, filosofia e política (LUCKESI, 2002). Concorda-se com Oliveira (2010) no sentido de que falar de avaliação não é discutir sobre um tema simples. O autor enfatiza que é importante deixar esta asserção bastante clara, porque boa parte do que se pratica sob o rótulo de avaliação, seja na educação básica ou no ensino superior, é mera conferência, checagem, verificação. Sabe-se que isto não é novidade, e muito se tem escrito no sentido de provocar debates em torno de avaliações que consigam abarcar os diversos momentos de processos educacionais, de forma a colaborar para aumentar o significado dos mesmos. Frente ao exposto, é questionado se o tema da avaliação no ensino presencial traz consigo um grau de complexidade bastante elevado, como este mesmo assunto pode ser abordado na modalidade a distância? Ou ainda, como podemos garantir a autoria do aluno em relação às respostas das atividades propostas num curso a distância através da Internet? Por fim, o que os estudantes que frequentam cursos on-line pensam sobre os métodos de avaliação utilizados nestes cursos? Este trabalho foi elaborado com intenção de buscar algumas pistas para a compreensão das indagações ora apresentadas, pois se sabe que o assunto é complexo e relativamente novo, portanto não há como apresentar respostas definitivas. Nem tão pouco é nossa intenção. Por outro lado, entende-se que compreender as concepções de estudantes que frequentam cursos on-line acerca da avaliação da aprendizagem torna-se importante na medida em que suas concepções poderão servir de elementos norteadores no processo de elaboração e implantação de projetos pedagógicos de cursos ofertados na modalidade a distância. 825 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management FUNDAMENTOS DA EDUCAÇÃO A DISTÂNCIA Na tentativa de compreender a lógica da EAD na contemporaneidade, constatou-se que a forma inicial de oferta dos cursos a distância era a correspondência e tinha como finalidade ampliar a oferta de oportunidades educacionais, permitindo que as camadas sociais menos privilegiadas economicamente pudessem participar do sistema formal de ensino, sobretudo da educação básica, uma vez que as preocupações iniciais da EAD estavam focadas neste nível de ensino e em cursos preparatórios para o trabalho (MUGNOL, 2009). De acordo com Niskier (2000), a educação a distância (EAD) tornou-se modalidade fundamental de aprendizagem e ensino no mundo inteiro. Mas nem sempre foi assim, pois, em um passado não muito distante a EAD era cercada de mistérios e o grau de confiabilidade atribuído a ela não era dos melhores. Segundo Mugnol (2009), a exemplo do que acontece nos dias atuais, as iniciativas de EAD eram tidas como de baixo nível sendo que, embora fizessem parte dos ideais de democratização do ensino, sofriam preconceitos e tinham o estigma de ser um ensino destinado às massas, à população marginalizada, para compensar os atrasos educativos provocados pelo modelo capitalista de desenvolvimento. Todavia, com o passar dos tempos, o assunto foi ganhando confiança e o que se passou a observar é que hoje a EAD é reivindicada por sindicatos poderosos, principalmente no Brasil, onde seu prestígio cresce de forma bastante visível. Constata-se também que o desenvolvimento das telecomunicações com meios interativos, a relativa popularização do computador e da Internet, proporcionaram novas perspectivas, constituindo-se em ferramentas importantes para a contínua evolução da EAD, sobretudo após a segunda metade do século XX (MUGNOL, 2009). Quando se analisa a trajetória da educação a distância, verifica-se que um de seus marcos históricos foi a criação da Universidade Aberta de Londres em 1970, a Open University, que contribuiu decisivamente para o desenvolvimento de métodos e técnicas que serviram para caracterizar os diferentes modelos de EAD 826 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management existentes. Além disso, contribuiu também para o desenvolvimento de tecnologias que deram mais solidez aos processos educacionais a distância e para a utilização massiva da mídia. Conforme aponta Mugnol (2009), seguindo o exemplo da Inglaterra, outros países criaram instituições para desenvolver projetos formais de educação a distância, assim surgiu a Universidade Nacional de Educação a Distância, (UNED) em Madri (1972), que pode ser caracterizada como uma das iniciativas de maior sucesso e que serviu de modelo para outros países. A partir da metade do século XX, com o surgimento das primeiras instituições educacionais voltadas para a EAD e com o desenvolvimento acentuado das tecnologias de comunicação, ocorreu um despertar do interesse de estudiosos e pesquisadores, que procuraram conceituar a EAD e descrever com segurança as suas metodologias. Entre estes pesquisadores estão Michael Moore e Desmond Keegan (2008) que identificam alguns elementos-chave dos processos educacionais a distância, tais como: x x distância física entre professores e alunos; x uso da mídia para interligar professores e alunos; x influência de uma organização educacional; x troca de comunicação bidirecional; aprendizes vistos como indivíduos, ao invés de grupos de alunos. É notório que a distância física entre professores e alunos, a comunicação com o uso da mídia, são inovações trazidas pela EAD que se constituem num desafio para as instituições de ensino. Afinal de contas, estes elementos exigem investimentos em tecnologia avançada para a mediação e ao mesmo tempo mudança na cultura dos professores e alunos que têm como parâmetro o modelo pedagógico presencial, caracterizado pela presença física de professores e alunos num mesmo tempo e espaço. Portanto, mesmo com o crescimento exponencial conquistado no final do século XX e início do século XXI, com a criação de instituições especializadas na metodologia e no gerenciamento de cursos a distância, no entender de Keegan 827 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management (1996) “a literatura existente sobre o assunto revela um panorama fragmentado, não consolidado e carente de fundamentação teórica e trabalhos de pesquisa direcionados, capazes de explicar os principais pontos controversos na descrição dos fundamentos da educação a distância”. AVALIAÇÃO EM CURSOS A DISTÂNCIA Segundo Niskier (2000, p.69), “a preocupação do momento na área educacional é a avaliação, como corolário do dispositivo constitucional da qualidade de ensino”. Parafraseando o autor, nem poderá ser de outra forma quando a sociedade como um todo, com o advento da Qualidade Total, reclama por produtos de qualidade, continuadamente testados e rejeitados caso não atinjam o nível desejado. Nestes termos, não poderia ser diferente com a educação, afinal de contas, na perspectiva neoliberal, ela também é um produto de consumo. Ainda valendo-se das contribuições do autor, constata-se que uma primeira avaliação do produto educacional processa-se dentro das próprias instituições, por meio de métodos formais e tradicionais, geralmente constituindo-se em julgamento de valor e não julgamento de fato. Niskier (2000) nos adverte que esta avaliação tornou-se precária porque não atende a algumas indagações formuladas pela ciência cognitiva. Sabe-se que em uma avaliação apoiada na ciência cognitiva o que importa é sua dinâmica. Portanto, embora a arte do ensino não abandone os aspectos formativos, ela deve acolher a diversidade social e respeitar as inteligências múltiplas que a integram, mas nem sempre é isto que se observa. Pode-se inferir que a avaliação interna e dinâmica considera sua utilidade e funcionalidade, mas prevê – em especial – uma sistemática para sua operacionalização: contínua e múltipla pela variedade de recursos aplicados e não apenas única, convencional e descontínua (NISKIER, 2000). Entende-se que é dessa maneira que se deve registrar como a aprendizagem se processou, coletando e analisando os dados que são levados ao centro gerador por meio de feedback permanente. 828 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management De acordo com Niskier, o fluxo de informações avaliativas facilita retificações e redirecionamento dos conteúdos pedagógicos emitidos pelo centro gerador, como também pelos próprios alunos. Por outro lado, se a avaliação interna é possível e imediata, a externa é mais difícil e se processa apenas a médio e longo prazos, porque as expectativas educacionais não são passíveis de imediatismo em função de sua própria natureza. Mesmo porque o agente desta avaliação não é a instituição geradora de conhecimentos, mas a sociedade que recebe incessantemente os chamados fluxos de saída do sistema educacional (NISKIER, 2000). Por outro lado, ampliar os espaços e tempos educacionais com auxílio da lógica provida pelos cursos on-line, não se promove, só por isso, uma revolução educacional (OLIVEIRA, 2010). Entram em jogo as estratégias pedagógicas que devem prever outras dinâmicas, outras abordagens, outras metodologias. Ainda segundo o autor, colaboração como conceito e sua implementação em um curso on-line não podem ser instaladas como uma opção de software – não vem em CD/DVD, não se "baixam” na Internet, nem tão pouco se compram como pacote. Portanto, permanece entre as dimensões das intervenções humanas, de professores e alunos. E a avaliação da aprendizagem, incursa no processo, permeando-o por inteiro, não escapa desta característica. A abordagem colaborativa, uma vez implementada, pede avaliações que a acompanhem e ratifiquem como método de aprender em conjunto. Tudo isto representa um grande desafio para professores e estudantes e, para vencê-lo, é preciso superar a predominância do modelo transmissor na educação, que se conecta a um modelo classificatório de avaliação da aprendizagem, considerando, como uma das possibilidades no contexto virtual, as atividades colaborativas como integradoras dos momentos de aprendizagem, ensino e avaliação, que passam a ocorrer ao mesmo tempo, atendendo "às novas demandas sociotécnicas de autonomia, multiplicidade de conexões, dialógica, colaboração e autonomia, multiplicidade de conexões, colaboração e interatividade" (SILVA, 2006 apud Oliveira 2010). Tem-se como pressuposto que a avaliação do desempenho do aluno é fator crítico para a qualidade na EAD. Portanto, em razão das peculiaridades 829 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management dessa modalidade, principalmente a distância física entre professores e alunos, a avaliação necessita ser melhor elaborada que nos cursos presenciais. É recomendável que ela seja em forma de processo evolutivo, partindo de situações em que o aluno verifica o seu desempenho até o momento em que o professor lhe confere as notas. Em EAD, o envolvimento do aluno na avaliação não significa necessariamente que ele participe com o professor na atribuição de suas notas e, sim, que antes delas lhe serem conferidas, ele verifique se realmente aprendeu e se está se saindo bem e onde deve empenhar mais nos estudos, talvez corrigindo o rumo de seus esforços. PROCEDIMENTOS METODOLÓGICOS Esta é uma pesquisa de natureza qualitativa. Trata-se de uma pesquisa que verifica uma relação dinâmica entre o mundo real e o sujeito, isto é, um vínculo indissociável entre o mundo objetivo e a subjetividade do sujeito que não pode ser traduzido em números (MINAYO, 2007). Ademais, a pesquisa qualitativa não se preocupa com representatividade numérica, mas sim com o aprofundamento da compreensão de um grupo social, de uma organização etc. Ou seja, um procedimento adequado aos propósitos desta pesquisa. Ao escolhermos este método, estávamos cientes que muitos pesquisadores que adotam a abordagem qualitativa se opõem ao pressuposto que defende um modelo único de pesquisa para todas as ciências, já que as ciências sociais têm sua especificidade, o que pressupõe uma metodologia própria. Assim, este grupo de pesquisadores recusa o modelo positivista aplicado ao estudo da vida social, uma vez que o pesquisador não pode fazer julgamentos nem permitir que seus preconceitos e crenças contaminem a pesquisa (GOLDENBERG, 1999). Entretanto, isto não quer dizer que somos contrários à metodologia quantitativa. Ao contrário, entendemos que os métodos se complementam e, portanto, não se excluem. Em termos mais específicos, trata-se de um estudo de caso que segundo César (2007), é um método que é frequentemente utilizado para coleta de dados na área de estudos organizacionais, apesar das críticas que ao mesmo se faz, considerando-se que não tenha objetividade e rigor suficientes para se configurar 830 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management enquanto um método de investigação científica. Ainda segundo a autora, os preconceitos existentes em relação ao Método do Estudo de Caso são externalizados em afirmativas como: os dados podem ser facilmente distorcidos ao bel prazer do pesquisador, para ilustrar questões de maneira mais efetiva; os estudos de caso não fornecem base para generalizações científicas; a afirmação de que estudos de caso demoram muito e acabam gerando inclusão de documentos e relatórios que não permitem objetividade para análise dos dados. Segundo Yin (2001) e Fachin (2001) estas questões podem estar presentes em outros métodos de investigação científica se o pesquisador não tiver treino ou as habilidades necessárias para realizar estudos de natureza científica; assim, não são inerentes ao Método do Estudo de Caso. As respostas foram analisadas como base a análise de conteúdo (BARDIN, 1977) que é um conjunto de técnicas de análise das comunicações visando obter, por procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/recepção (variáveis inferidas) destas mensagens. Alem disso, a finalidade da análise de conteúdo é produzir inferência, trabalhando com vestígios e índices postos em evidência por procedimentos mais ou menos complexos (PUGLISI & FRANCO, 2005). AVALIAÇÃO EM CURSOS ON-LINE Para conhecer as concepções de estudantes acerca da avaliação da aprendizagem em cursos on-line realizou-se uma pesquisa com um grupo de cinco alunos do curso Pós-Graduação Lato Sensu “Formação de Professores para o Ensino Superior” em uma universidade privada na cidade de São Paulo. Todavia, foram analisadas as respostas de quatro, pois um dos respondentes não se restringiu à avaliação e, sim, à EAD como um todo. Trata-se de um curso oferecido na modalidade semi-presencial utilizandose da plataforma Blackboard como ambiente virtual de aprendizagem. Trata-se de um ambiente de autoria com interface amigável, de fácil utilização, desenvolvido para educadores e profissionais interessados em aplicar as novas tecnologias interativas via Internet na educação, contribuindo para a metodologia de ensino 831 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management presencial e potencializando o processo de ensino e aprendizagem a distância (Fig.1). Figura 1: Ambiente Virtual de Aprendizagem – BlackBoard Fonte: Blackboard A intenção de realizar esta pesquisa surgiu em função de um dos autores deste trabalho ministrar uma das disciplinas oferecidas presencialmente para o grupo e perceber algumas insatisfações durante as aulas. A área de trabalho é acessível tanto aos alunos como aos professores e, por ela, os usuários acessam os principais recursos tais como: avisos, calendário de aulas, tarefas, informações, programa do curso, link de avaliações, perfis, conteúdo das aulas, material complementar, fórum, chat, e- mail, sala de aula virtual e home-pages pessoais (Fig.2). Figura 2: Ferramentas disponibilizadas pelo Blackboard Fonte: Blackboard Os participantes do curso investigado frequentam 50% das disciplinas presencialmente e 50% a distância. No caso das disciplinas a distância, essas são organizadas em unidades, sendo que cada unidade traz um livro texto que corresponde ao texto on-line elaborado pelo professor responsável da disciplina e às vezes textos complementares, as vídeoaulas que o aluno pode acessar de 832 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management qualquer local, desde que tenha acesso à Internet e atividades que deverá resolver e que farão parte da avaliação do curso (Fig.3). Figura 3: Organização das disciplinas on-line Fonte: Blackboard Considerando-se as orientações legais sobre o sistema de avaliação em cursos oferecidos a distância, para as disciplina cursadas on-line, os estudantes deverão realizar uma prova presencialmente no pólo em que estiverem matriculados, que equivale a 70% da média (os 30% restantes são atribuídos com base na realização de exercícios on-line e na participação dos fóruns de debate). As provas são aplicadas pelos professores que ministram as disciplinas ofertadas presencialmente ou por funcionários da instituição. Portanto, os resultados da pesquisa estão centrados nesta avaliação. Para tanto, foi solicitado aos alunos que apontassem os aspectos positivos e negativos da avaliação da aprendizagem na modalidade a distância. Considerando-se que os estudantes não se identificaram, atribuir-se-á a cada um dos respondentes uma letra do alfabeto. Estudante A: aspectos negativos. “A falta de um professor on-line ou sistemas que provoquem falhas; e-mails não respondidos geram dúvidas e falta de esclarecimentos”. “Por isso, alguns alunos ficam em DP”. Neste caso, o que se percebe é que o estudante questiona a falta de respostas por parte de professores ou tutores às suas dúvidas e até mesmo de 833 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management eventuais falhas no ambiente virtual de aprendizagem. Segundo ele, situações com estas prejudicam os alunos levando-os à reprovação na disciplina. Sobre o instrumento de avaliação ele pontua: “as provas às vezes não coincidem com os conteúdos abordados na ‘on-line’ (sic)”. E continua, “ao avaliar o EAD deve-se tomar cuidado para não prejudicar os alunos que fazem provas com conteúdos diferentes da ‘on-line’ (sic)”. Aqui, o estudante questiona que há uma contradição entre o que é abordado nas vídeoaulas e o que é cobrado na prova. Quanto aos aspectos positivos ele aponta que “pode ser muito (sic) quando os sistemas contribuem para o fato se realizar”. Ou seja, seria bom se houvesse um bom funcionamento do AVA. Estudante B: aspectos negativos: “impossibilidade de eliminar dúvidas; possíveis erros no conteúdo e que não tem para quem pontuar; avaliação com um nível de dificuldade muito acima de uma ‘média normal’; aplicação da avaliação por alguém incapaz de eliminar possíveis dúvidas; a correção da prova não acontece de forma presencial pelo professor da disciplina”. Para esta respondente, há uma série de aspectos que devem ser considerados na avaliação, que vão desde questões didáticas e metodológicas quanto aos problemas de gestão do curso. Como aspecto positivo ela aponta a “disponibilidade ininterrupta do conteúdo programático e o acesso independente do lugar onde mora”. Estudante C: “achei o conteúdo do módulo a distância bem simples e de fácil compreensão”. “A avaliação ficou a desejar, pois a maneira como se aborda o conteúdo força o aluno a decorar e não a refletir”. “Acho também que a avaliação presencial das disciplinas on-line tem que bater os assuntos; reforço isso devido ao acontecido na disciplina ‘Dimensões do Ato de Planejar’ que deixou toda a sala em DP injustamente”. O questionamento desta respondente é bastante claro e coincide com as demais que é a discrepância entre o conteúdo ministrado em aula e o cobrado na prova. Ela não apresentou aspectos positivos da avaliação em cursos a distância. 834 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management Estudante D: aspectos negativos: “não somos assistidos em sala de aula por profissionais de nível maior, exemplo: professores; os assuntos são jogados sem objetivos maiores; há falta de um tutor para amparo e soluções de dúvidas”. Neste caso, o respondente reclama da falta de assistência de um professor ou tutor e da organização da prova. Aspectos positivos: “na avaliação a distância tem-se diferentes acertos e erros e a liberdade de tempo para estudar”. “É muito atraente, pois o material está disponível a todo o momento”. Nota-se que o respondente vê a avaliação numa perspectiva mais ampla na medida em que a restringe ao ato de aplicar provas. CONCLUSÕES Esta pesquisa foi realizada com a intenção de conhecer as concepções de estudantes acerca da avaliação da aprendizagem em cursos à distância. Com base nos resultados, percebe-se que há uma contradição entre o que é transmitido nas vídeoaulas e o que é cobrado nas provas. Outro aspecto identificado é que os alunos questionam bastante sobre a falta de respostas às suas indagações sobre as aulas, exercícios e conteúdos de provas. Por fim, ficou evidente que o estudante que frequenta cursos semi-presenciais tem muita dificuldade em desenvolver sua autonomia de estudos, pois reclama muito da presença do professor ou do tutor. Os resultados mostram que os cursos on-line ainda carecem de suporte pedagógico e administrativo. Portanto, cabe aos gestores e coordenadores de instituições que oferecem cursos na modalidade a distância, especialmente no formato on-line, repensarem a forma como estes cursos têm sidos planejados e implantados para que a EAD seja vista como um diferencial de mercado que busca adequar às as demandas da sociedade neste início de século. 835 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br 8º CONTECSI - International Conference on Information Systems and Technology Management REFERÊNCIAS BARDIN, L. Análise de Conteúdo. Lisboa, Portugal: Edições 70, 1977. CESAR, Ana Maria Roux Valentini Coelho. Método do Estudo de Caso (Case Studies) ouMétodo do Caso (Teaching Cases)? Uma análise dos dois métodos no Ensino e Pesquisa em Administração. Disponível em: < http://www.mackenzie.br/fileadmin/Graduacao/CCSA/remac/jul_dez_05/06.pdf>. Acesso em: 08/01/2011. FACHIN, Odília. Fundamentos de metodologia. São Paulo: saraiva. 2001. GOLDENBERG, M. A arte de pesquisar: como fazer pesquisa qualitativa em Ciências Sociais. Rio de Janeiro: Record, 2005. KEEGAN, D. Fundations of distance education. 3rd ed. London: Routledge, 1996. LUCKESI, C. C. Avaliação da aprendizagem escolar: estudos e proposições. 12. Ed.São Paulo: Cortez, 2002. MINAYO MC. O desafio do conhecimento: pesquisa qualitativa em saúde. Rio de Janeiro: Abrasco; 2007. MOORE, Michael; KEARSLEY, Greg. Educação a distância: uma visão integrada. São Paulo: Cengage Learning, 2008. MUGNOL, Márcio. A educação a distância no Brasil: conceitos e fundamentos. Rev. Diálogo Educ., Curitiba, v. 9, n. 27, p. 335-349, maio/ago. 2009. NISKIER, Arnaldo. Educação à Distância: a tecnologia da esperança. São Paulo: Loyola, 2000. OLIVEIRA, Gerson Pastre de. Estratégias multidimensionais para a avaliação da aprendizagem em cursos on-line. Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 18, n. 66, Mar. 2010. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S010440362010000100007&lng=en&nrm=iso>. Acesso em: 29/08/2010. PUGLISI, M.L.; FRANCO, B. Análise de conteúdo. 2. ed. Brasília: Líber Livro, 2005. YIN, Robert K. Estudo de caso – planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001. 836 TECSI - Laboratório de Tecnologia e Sistemas de Informação FEA USP - www.tecsi.fea.usp.br