Fechar - sistema online de acompanhamento de congressos

1
II CONGRESSO DE INOVAÇÃO E METODOLOGIAS DE ENSINO
Nome do Eixo Temático: 4- Metodologias de ensino-aprendizagem
EM BUSCA DA APRENDIZAGEM EFETIVA: AVALIANDO EFICIÊNCIA DE
ESTRATÉGIAS ALTERNATIVAS NO ENSINO DE ECOLOGIA
Ana Flávia de Paula Teixeira
Universidade Federal de Viçosa - UFV
[email protected]
Carlos Frankl Sperber
Universidade Federal de Viçosa - UFV
[email protected]
Bruno Costa
Universidade Federal de Viçosa - UFV
[email protected]
Rita Márcia A. Vaz de Mello
Universidade Federal de Viçosa - UFV
[email protected]
Resumo: Ecologia Básica é oferecida a 700 alunos/ano; por este motivo observamos desafios
em despertar interesse e desenvolver proficiências teóricas e práticas. Para enfrentar esse
desafio, introduzimos estratégias pedagógicas alternativas, e avaliamos quantitativamente
quais foram mais eficientes. Mensuramos, a partir de questionário anônimo, o desempenho
dentro da disciplina, fora dela e a integração dos estudantes. Para estimar o desempenho dos
estudantes dentro da disciplina, utilizamos a autoavaliação destes em perguntas relacionadas a
motivação e satisfação, e o quanto o aluno avaliou que os objetivos da disciplina foram
alcançados. Para avaliar se o desempenho fora da disciplina foi afetado, somamos as
autoavaliações relacionadas com a contribuição à formação profissional e conhecimento
prático. Para estimar o grau de aprendizagem ativa, utilizamos as notas que os alunos deram
para o comportamento do professor e suas metodologias pedagógicas. Ajustamos uma
regressão linear múltipla para cada variável, e verificamos que três das quatro estratégias
aumentaram o desempenho dos estudantes dentro da disciplina, duas aumentaram o
desempenho fora, e duas aumentaram a integração entre os estudantes.
Palavras-chave: Aprendizagem ativa. Ecologia básica. Múltiplas pedagogias. Didática.
Análise quantitativa.
INTRODUÇÃO
2
Empiricamente, podemos dizer que grande parte dos alunos apresenta desinteresse pelas
formas de ensino convencionais. Nas Universidades, poucos são os professores que buscam
formas de ensino diferentes, visando a eficácia do processo de ensino/aprendizagem seja
eficaz. Além disso, não há uma sistematização de experiências e mensuração de seus
resultados, de forma a intensificar e ampliar experiências bem-sucedidas, questionar e
reformular técnicas e processos, além de monitorar os resultados, a curto e longo prazo.
Apesar dos trabalhos mais recentes apontarem para a importância de metodos de ensinoaprendizagem ativa (FREEMAN et al., 2014), a insipiência do conhecimento desse tipo de
abordagem, e a falta de mensuração quantitativa, que permita avaliar a eficiência de
pedagogias alternativas, é um ponto que dificulta a disseminação entre os professores e os
alunos.
Nosso objeto de estudo, a disciplina Ecologia Básica – BIO 131, é uma disciplina oferecida a
cerca de 700 alunos/ano. Devido ao grande contingente de alunos e diversidade de seus
interesses, vivenciamos a dificuldade em atrair a atenção e de desenvolver proficiências
teóricas e práticas nos estudantes. Para enfrentar esse desafio, introduzimos estratégias
pedagógicas de aprendizagem ativa e cooperativa, associadas à avaliação de sua efetividade.
O objetivo central desse trabalho foi avaliar a eficiência de estratégias alternativas de ensino.
Especificamente visamos (i) avaliar se características do estudante alteram os efeitos de
diferentes estratégias de ensino no seu desempenho dentro da disciplina, fora dela, e em sua
integração com os colegas, professores e monitores; (ii) testar as seguintes hipóteses: H1:
estratégias de aprendizagem ativa promovem melhor desempenho em avaliações na própria
disciplina; H2 estratégias de aprendizagem ativa promovem melhor desempenho fora da
disciplina; H3: estratégias de aprendizagem ativa promovem a integração dos estudantes com
mais dificuldades; H4: Características específicas de cada aluno afetam a eficiência das
estratégias de ensino.
REFERENCIAL TEÓRICO
3
Desde Paulo Freire (1987), já se criticava a forma de ensino do tipo “educação bancária”,
embora isso ainda prevaleça no Brasil. Nesse formato, o professor é o único detentor de
conhecimento, e o aluno funciona como receptáculo passivo do mesmo, o que reduz a
aprendizagem efetiva do aluno. Em uma meta-análise de 225 estudos sobre notas em exames
e taxas de reprovação, nas áreas de ciência, tecnologia, engenharia e matemática, Freeman e
colaboradores (FREEMAN et al., 2014) verificaram que metodologias de aprendizagem ativa
resultam em aumento de 6% nas notas e redução em 1.5 vezes na probabilidade de
reprovação.
As metodologias ativas de ensino envolvem os estudantes no processo de aprendizado. Assim
os estudantes se tornam mais do que simples receptores, produzindo conhecimento. A relação
professor-aluno nesse sistema não é baseada na hierarquia, e sim na troca. Todas as
experiências são valorizadas e compartilhadas. No ensino superior brasileiro, em que os
estudantes passaram por um ensino médio fraco, isto se torna ainda mais importante, pois
muitas vezes o professor subentende que o discente já possui conhecimentos prévios sobre o
assunto, tornando a aprendizagem pouco efetiva, caso não se explicitem e sejam sanadas as
lacunas de formação dos estudantes.
Na UFV, existem esforços com o intuito de inovar e modificar os sistemas tradicionais de
ensino (ZUANON, 2002), porém isso se contrapõe a inúmeras pressões em sentido oposto.
Os professores são pressionados a dar aulas para um contingente anual crescente de
estudantes, o que é desfavorável à qualidade do processo de ensino-aprendizagem. Ainda
existe pouco preparo dos docentes em relação a técnicas de ensino/aprendizagem. Elas
poderiam ser muito mais efetivas se houvesse uma integração dos saberes e uma maior
aplicação em campo da teoria com a prática. Para que este processo tenha maior êxito é
necessário conhecer melhor algumas teorias educacionais, particularmente sobre os processos
de aprendizagem (FELDER; BRENT, 1999).
O processo de aprendizagem está relacionado à forma como o estudante absorve novas
informações e as ressignifica de acordo com sua bagagem cultural preexistente. Todo
conhecimento que, de alguma forma, altera o modo como o estudante vê o mundo, ou
complementa um quadro cognitivo, afetivo ou psicomotor deve constar no campo da
aprendizagem. Segundo Paulo Freire (1987), o princípio básico da aprendizagem seria uma
leitura do mundo em que uma pessoa está inserida. Consequentemente, esta pessoa seria
sujeito de sua própria aprendizagem. Porém, muito poucos registros sobre processos exitosos
de aprendizagem na área de ecologia verdadeira são publicados. Outra abordagem pedagógica
seria a aprendizagem baseada em problemas, em que estímulos ambientais sobre o indivíduo
responsável pela resolução podem gerar aprendizado (COELHO; JOSÉ, 1999).
Segundo Moreira (1942), pode-se categorizar três tipos diferentes de aprendizado: cognitivo,
afetivo e psicomotor. Trabalhamos fundamentalmente com as duas primeiras categorias,
sendo que, aqui, tipos de conhecimento não podem ser considerados independentes, já que se
inter-relacionam de forma rizomática (COMIER, 2008). Não consideramos o domínio
psicomotor, pois este perpassa por campos da psicologia e da medicina, não podendo ser
mensurado apenas por observação. O aprendizado cognitivo é medido através de avaliações
sistêmicas e refere-se ao armazenamento de ideias. O domínio afetivo só pode ser observado
na medida em que o indivíduo exterioriza sinais como satisfação, angústia, ansiedade, entre
outros que podem ser decorrentes da experiência pedagógica. Um processo satisfatório de
aprendizagem exige estímulos diferentes para alunos diferentes para que se consiga situações
estimuladoras que gerem respostas na maior parte dos alunos (OSTERMANN;
CAVALCANTI, 2010).
METODOLOGIA
Anteriormente a esse experimento pedagógico, a disciplina BIO 131 – Ecologia Básica, se
resumia a aulas expositivas, exercícios em sala, respondidos por grupos de até quatro alunos,
4
e eventualmente uma pesquisa científica extra-classe, orientada pelo professor ou por alunos
de pós-graduação.
Implantamos as seguintes estratégias de aprendizagem ativa: professores ativos (que
interrompem a aula expositiva para fazer perguntas a serem respondidas em grupo, em 3 min,
ou que fazem perguntas diretamente a alunos escolhidos arbitrariamente, buscando não repetir
o escolhido), trabalho extra-classe (que puderam resultar em apresentações, vídeodocumentários, poesia, teatro, música, maquete, mobilização popular, instalação artística,
palestra em escola fundamental ou de ensino médio, entre outros), avaliações online
(individuais, com uma a duas semanas para resposta) e refacção de prova em dupla (em que as
duplas que acertassem > 90% ganhavam 5 pontos adicionais na prova). “Professores ativos”
refere-se ao comportamento dos professores dentro de sala. Um professor considerado ativo é
aquele que encoraja e dá devida atenção às dúvidas, checa com periodicidade se os alunos
estão absorvendo o conteúdo, busca o engajamento da turma mesmo em aulas essencialmente
expositivas, e valoriza e discute todas as respostas, mesmo quando não correspondem ao
esperado pelo professor. O trabalhos extra-classe foram desenvolvidos em grupos. Cada
grupo teve liberdade tanto na escolha do tema quanto na forma de exposição do mesmo, fato
que coloca o estudante como protagonista em sua aprendizagem. Ao longo do semestre,
houve várias etapas para a construção do Trabalho Extra-Clase, que envolveram desde a
constituiçõ dos grupos, do tema e título do trabalho, até a confecção de um cronograma,
divisão de tarefas entre os componentes do grupo, reavaliação e eventual redirecionamentos,
e, quando da apresentação final, uma avaliação recíproca dos componentes de cada grupo,
incluindo auto-avaliação, que ponderou a nota dada à apresentação. O trabalho final foi
apresentado em até 10 min, para todos os colegas de turma. Nos casos em que o Trabalho
Extra-Classe envolveu atividades realizadas com outras pessoas, como palestras, mobilização
ou enquetes, o grupo registrou esses eventos e os apresentou como slides de powerpoint ou
vídeo. Finalmente, a nota da apresentação foi a média da avaliação do docente e de mais dois
ou três estudantes de outros grupos.
5
As provas online foram solucionadas no PVAnet, na plataforma online da UFV. A refacção
de provas em dupla fi feita na semana seguinte à prova, em que prova semelhante foi refeita
por dupla de estudantes.
Aplicamos um questionário a todos os alunos matriculados no segundo semestre de 2015.
Como o questionário foi anônimo, não tivemos acesso direto às identidades, e
consequentemente às notas dos respondentes. Assim, para estimar o desempenho dos
estudantes dentro da disciplina, utilizamos as notas que os alunos se deram em perguntas
relacionadas a sua motivação e satisfação, e o quanto o aluno avaliou que os objetivos da
disciplina foram alcançados. Quando o aluno está motivado, um desempenho bom pode ter
sido insatisfatório para o aluno; quando o aluno não está motivado, um desempenho mediano
pode ter sido considerado excelente pelo aluno. Assim, multiplicamos a pontuação para
motivação pela pontuação dada para satisfação, de forma a distinguir estudantes motivados e
com boas notas. Somamos isto à nota que o aluno deu a quanto os objetivos da disciplina
foram alcançados, gerando nossa variável resposta de desempenho
Para avaliar se o desempenho fora da disciplina foi afetado, somamos as notas que os alunos
deram para contribuição à formação profissional e conhecimento prático. Para estimar o grau
de aprendizagem ativa, utilizamos as notas que os alunos deram para as atitudes de estímulo,
atenção e respeito do professor com os alunos, e a nota dos alunos às diferentes metodologias
pedagógicas ativas executadas. Para estimar o grau de integração realizamos o somatório de
três outras variáveis: integração entre alunos e professores, índice de promoção da integração
de alunos com mais dificuldades através da aplicação de metodologias ativas e o índice de
cooperação entre alunos no extra-classe.
Todas as variáveis foram centradas em zero e escalonadas, de forma a padronizar a variação
de cada variável, e com isso, evitar que variáveis mais discrepantes tivessem maior peso
(ZUUR et al., 2010). Para avaliar as hipóteses H1, H2 e H3, ajustamos regressões lineares
múltiplas para cada variável resposta (H1: desempenho dentro da disciplina, H2: desempenho
6
fora da disciplina, H3: grau de integração). Para avaliar se características dos estudantes
alteraram os efeitos das estratégias pedagógicas, ajustamos análises de covariância
(ANCOVA), acrescentando variáveis referentes às características dos estudantes como
variáveis explicativas categóricas com eventual interação com as variáveis explicativas
mantidas nos modelos mínimos de cada uma das hipóteses H1, H2 e H3. Em H4, verificamos
possíveis interações de características do estudante com a eficácia das estratégias pedagógicas
aplicadas e com o desempenho dentro e fora da disciplina. Analisamos as seguintes
características: sexo, idade, nota do ENEM, tipo de instituição onde cursou o ensino médio e
área do conhecimento. Para todas as análises ajustamos modelos lineares generalizados
(GLM) com distribuição normal, e avaliamos os resíduos. Todas as análises foram feitas no
programa R (R CORE TEAM, 2015).
RESULTADOS
O questionário anônimo foi respondido por 86 de 174 estudantes matriculados na disciplina
“Ecologia Básica” no segundo semestre de 2015 da Universidade Federal de Viçosa.
Verificamos
que
três
das
quatro
estratégias
pedagógicas
avaliadas
aumentaram
significativamente o desempenho dentro da disciplina (Figura 1): comportamento que
estimula aprendizagem ativa dos professores (encorajam e dão atenção a perguntas, checam se
os alunos estão aprendendo), trabalho extraclasse em grupo, e exercício online, enquanto a
refacção de prova em duplas não tivera efeito.
O desempenho fora da disciplina (Figura 2) foi incrementado pelos trabalhos extraclasse e
exercícios online (P<0.001), porém não foi afetado pelo comportamento dos professores nem
provas em dupla (P>0.2).
7
8
Figura 1. Pontuação dada pelos alunos em variáveis relacionadas a seu desempenho dentro da disciplina
(Desempenho), em função da pontuação em itens relacionados ao comportamento dos professores (Professores
'ativos'), ao trabalho extraclasse feito em grupo, às avaliações online, respondidas individualmente, e à refacção
de provas em duplas. Todas as variáveis foram centradas em zero. As linhas correspondem a efeitos
significativos (P<0.05), enquanto ausência de linha indica ausência de efeito (P>0.05), em regressão múltipla.
9
Figura 2. Pontuação dada pelos alunos em variáveis relacionadas a seu desempenho fora da disciplina
(Desempenho Fora), em função da pontuação em itens relacionados ao comportamento dos professores
(Professores 'ativos'), ao trabalho extraclasse feito em grupo, às avaliações online, respondidas individualmente,
e à refacção de provas em duplas. Todas as variáveis foram centradas em zero. As linhas correspondem a efeitos
significativos (P<0.05), enquanto ausência de linha indica ausência de efeito (P>0.05), em regressão múltipla.
O comportamento ativo dos professores e o extra-classe aumentaram a integração dos
estudantes; as provas online e a refacção das provas em dupla não apresentaram impacto
relevante sobre a variável em questão
10
Figura 3. Pontuação dada pelos alunos em variáveis relacionadas a integração entre colegas, professores e
monitores em função de itens relacionados ao comportamento dos professores (Professores 'ativos'), ao trabalho
extraclasse feito em grupo, às avaliações online, respondidas individualmente, e à refacção de provas em duplas.
Todas as variáveis foram centradas em zero. As linhas correspondem a efeitos significativos (P<0.05), enquanto
ausência de linha indica ausência de efeito (P>0.05), em regressão múltipla.
11
Figura 4. Pontuação dada pelos alunos em variáveis relativas ao desempenho fora da disciplina, em relação ao
trabalho extraclasse feito em grupo em função da área do conhecimento.
12
Figura 5. Pontuação dada pelos alunos em variáveis relativas ao desempenho fora da disciplina, em relação ao
trabalho extraclasse feito em grupo em função da idade do estudante.
DISCUSSÃO
Percebemos que as metodologias ativas de ensino apresentaram um grande impacto na
aprendizagem de Ecologia Básica. Das quatro estratégias pedagógicas avaliadas, apenas as
provas em dupla não surtiram efeito dentro ou fora da disciplina, nem auxiliaram para a
melhoria da integração entre os estudantes. Na disciplina BIO 131 – Ecologia Básica, a
grande maioria das questões de prova são fechadas, logo a discussão destas pode ter causado
impasses que dificultaram o aprendizado, causando assim ineficácia desta metodologia. Uma
eventual revisão da matéria da prova posterior à sua aplicação, mas anterior à refacção em
duplas, poderia aumentar a eficácia pedagógica dessa estratégia de ensino.
O desempenho dentro da disciplina foi altamente otimizado pelo comportamento ativo dos
professores. Uma vez estimulados, os alunos se tornaram mais engajados com o conteúdo
apresentado, pois a cobrança era feita durante a aula. Como parte do processo, o aluno foi
induzido a participar efetivamente, seja através de respostas a perguntas ou testes de
aprendizagem ativa. Aqui, o principal papel do professor foi encorajar o aluno, conferir o
nível de aprendizado com periodicidade e estimular a exposição livre de ideias. Aqui cabe o
relato pessoal de um dos alunos, posteriormente à conclusão da disciplina (CF Sperber,
observação pessoal): o fato do professor selecionar arbitrariamente alunos na sala teria levado
os mesmos a estarem sempre alerta, pois poderiam ser os escolhidos da vez.
O trabalho extra-classe e as avaliações também contribuíram para a melhoria do desempenho
dentro da disciplina. A pesquisa prévia de determinados assuntos inerentes a estas estratégias
de ensino permitiu que o aluno chegasse à sala já com uma pequena base teórica, aumentando
assim a disponibilidade para aquisição de conhecimentos novos.
O desempenho fora da disciplina foi potencializado pelos trabalhos extra-classe e pelas
avaliações online. As provas em dupla e o comportamento ativo dos professores não surtiram
efeito sobre o desempenho fora da disciplina. A liberdade de escolha do tema para o extraclasse permitiu que o discente direcionasse o aprendizado para sua área de interesse. Por ser
uma disciplina de massa, a BIO-131 grande dificuldade em fornecer conhecimentos
específicos, e, através do extra-classe o aluno pôde direcionar parte do seu aprendizado na
disciplina para seus interesses específicos, e, desta forma, fortalecer principalmente os
conhecimentos aplicáveis em áreas específicas de estudo.
O trabalho extra-classe apresentou também um forte impacto sobre a integração entre os
alunos, professores e monitores. Isto se deve, principalmente ao inevitável contato entre os
alunos para a realização do mesmo. Os trabalhos foram executados em grupos de
aproximadamente cinco pessoas e mesclava proficiências práticas e teóricas. No geral,
obtivemos resultados instigantes, como apresentações artísticas (musicais, teatrais, etc.),
13
intervenções sociais e produções culturais. O resultado satisfatório pode ser explicado por
esse alto índice de integração estimulado. O comportamento ativo dos professores também
contribuiu para a promoção da integração entre os alunos, porém com menor intensidade. As
provas em dupla não apresentaram efeito positivo. A discussão das questões propostas pode
ter conflitos causando efeito reverso ao que estávamos buscando. Como esperado, as provas
online também não afetaram o nível de integração. Solucionadas em horário extracurricular,
provavelmente de forma individual, o estudante não aprimorou vínculos sociais com nenhum
professor ou colega nesta etapa.
Sexo, idade, tipo de instituição em que o estudante cursou o ensino médio, nota do ENEM e
área do conhecimento, não afetaram o desempenho do aluno dentro da disciplina. Neste caso,
muito se deve ao comportamento ativo dos professores, buscando a inserção do corpo
estudantil como um tudo. As características dos estudantes também não causaram efeito sobre
a efetividade das estratégias de ensino aplicadas dentro da disciplina.
Quando se trata do desempenho fora da disciplina, fatores como idade e área do conhecimento
repercutiram sobre a efetividade do trabalho extra-classe. Estudantes com faixa etária entre 19
e 24 anos foram os mais atingidos positivamente por esta estratégia. Podemos presumir que,
nesta faixa, o estudante se encontra mais engajado com sua formação universitária. Na faixa
de estudantes mais velhos, acima de 24 anos, o efeito foi negativo, mostrando que para estes
estudantes o extra-classe não é indicado.
Quanto à área do conhecimento do curso dos estudantes, os resultados mostram que esta
estratégia de ensino é particularmente interessante para estudantes de ciências exatas. Esse
resultado nos surpreendeu, e sugere que o esforço de relacionar o conteúdo às áreas
específicas dos cursos, por parte do professor, aliado à abordagem de aplicação, inerente ao
trabalho extra-classe, estimula o a pensar e relacionar conteúdos e conhecimentos extradisciplinares. Por ser uma disciplina distinta do conteúdo apresentado normalmente a estes
cursos, a Ecologia desperta grande interesse em muitos alunos de exatas, sendo que, ao
14
realizar o extra-classe, muitos destes mesclam conteúdos, expandindo assim os
conhecimentos captados de áreas do conhecimento. Para os alunos de biológicas ou agrárias,
o conhecimento adquirido na disciplina, pode ser considerado superficial e repetitivo, já que é
exposto de formas diversas em outras disciplinas da graduação, diminuindo assim o nível de
interesse nestes grupos.
CONCLUSÕES
Mostramos que estratégias pedagógicas de aprendizagem ativa influenciam positivamente no
aprendizado de alunos em disciplina de massa, segundo avaliação deles próprios. Além disso,
atividades extraclasse em grupo e individuais, extrapolam o âmbito da disciplina em si,
contribuindo para o aprendizado dos alunos fora da disciplina. Em oposição à aprendizagem
passiva, bancária, baseada na transmissão de informação, cria-se oportunidades para a
construção de conhecimento. As pedagogias ativas tiveram efeito positivo no desempenho
dentro e fora, com exceção de refacção de prova em duplas, mas não de forma indiscriminada.
Verificamos ainda que o trabalho extra-classe é particularmente importante para estudantes da
área de exatas e para estudantes mais novos (entre 19 e 24 anos), sendo pouco menos eficiente
para estudantes mais velhos (acima de 24 anos) e para estudantes da área de agrárias, porém
deve-se considerar que nem todos possuem facilidade para desempenhar um papel mais ativo
ou colaborativo durante o processo ensino-aprendizagem. Nossos resultados sugerem uma
ênfase no comportamento ativo dos professores, no trabalho extra-classe e em avaliações
online. Concluímos que a implementação de múltiplas estratégias de aprendizagem ativa e
cooperativa aumentam a eficiência de aprendizagem, na percepção dos alunos, mesmo se
tratando de disciplina de massa. Ensejamos que gradativamente o sistema educacional
superior se aproprie dessas ideais e as transforme em uma prática educacional e social
produtiva para os professores e alunos, haja vista que vivemos em um contexto em que somos
massacrados por informações desestruturadas, divergentes, de fácil acesso e massificadas.
15
REFERÊNCIAS
16
COELHO, Maria Teresa; JOSÉ, Elisabete da Assunção. Problemas de aprendizagem. São
Paulo: Ática, 1989.
COMIER, Dave. Rhizomatic Education: Community as Curriculum. Innovate: Journal of
Online Education, v. 4, n.5, Article 2, 2008.
FELDER, Richard M.; BRENT, Rebecca. Ensino efetivo: uma oficina. Viçosa:
Universidade Federal de Viçosa, 1999.
FREEMAN, Scott; EDDY, Sarah L.; MCDONOUGH, Miles; SMITH, Michelle K.;
OKOROAFOR, Nnadozie; JORDT, Hannah; WENDEROTH, Mary Pat. Active learning
increases student performance in science, engineering, and mathematics. Proceedings of the
National Academy of Science, v. 111, n.23, p. 8410–8415, 2014.
FREIRE, Paulo. Pedagogia do oprimido. (17a. ed.) Rio de Janeiro: Paz e Terra, 1987.
MOREIRA, Marco Antônio. Teorias da aprendizagem. São Paulo: EPU, 1942.
OSTERMANN, Fernanda; CAVALCANTI, Cláudio J. H. Teorias de Aprendizagem: uma
introdução. Porto Alegre: UFRGS, 2010.
R CORE TEAM. R: A language and environment for statistical computing. R Foundation
for Statistical Computing, Vienna, Austria. URL: https://www.R-project.org/. 2015
ZUANON, Átima Clemente Alves. O processo ensino-aprendizagem na perspectiva das
relações entre: professor-aluno, aluno-conteúdo e aluno-aluno. Revista Ponto de Vista, v. 3, p.
13-24, 2002.
ZUUR, A.F; IENO, E.N; WALKER, N.J, SAVELIEV, A.A & Smith. Mixed Effects Models
and Extensions in Ecology with R. Springer, New York: G.M., 2010