centro federal de educação tecnológica do paraná cefet-pr

CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DO PARANÁ
CEFET-PR
A APLICAÇÃO DO TOEIC EM SALA DE AULA:
UMA ANÁLISE DOS SEUS EFEITOS RETROATIVOS
CURITIBA
DEZEMBRO DE 2004
BEATRIZ CRISTINA DE SOUZA MOTTA
A APLICAÇÃO DO TOEIC EM SALA DE AULA:
UMA ANÁLISE DOS SEUS EFEITOS RETROATIVOS
Monografia apresentada como requisito
parcial
à
conclusão
do
Curso
de
Especialização em Ensino de Línguas
Estrangeiras
Modernas
do
Centro
Federal do Educação Tecnológica do
Paraná.
Orientadora: Profª Miriam Sester Retorta
Curitiba/PR
2004
TERMO DE APROVAÇÃO
BEATRIZ CRISTINA DE SOUZA MOTTA
A APLICAÇÃO DO TOEIC EM SALA DE AULA: UMA ANÁLISE DOS SEUS
EFEITOS RETROATIVOS
Monografia aprovada como requisito parcial para obtenção do título de Especialista,
pelo curso de Especialização em Ensino de Línguas Estrangeiras Modernas, do
Centro Acadêmico de Línguas Estrangeiras Modernas – Centro Federal de
Educação Tecnológica do Paraná, pela seguinte banca examinadora:
Orientador: Profª. Miriam Sester Retorta
Centro Federal de Educação Tecnológica do Paraná
Profª. Carla Barsotti
Centro Federal de Educação Tecnológica do Paraná
Profª. Eliane Regina Costa Oliveira
Centro Federal de Educação Tecnológica do Paraná
Coordenadora: Profª. Carla Barsotti, MSc.
Centro Federal de Educação Tecnológica do Paraná
Curitiba
2005
SUMÁRIO
LISTA DE ILUSTRAÇÕES......................................................................................a
RESUMO.................................................................................................................. i
ABSTRACT............................................................................................................. ii
INTRODUÇÃO.........................................................................................................1
1.HISTÓRICO DAS ABORDAGENS DE ENSINO E SUAS AVALIAÇÕES.......6
1.1 INTRODUÇÃO ..................................................................................................6
1.2 A ERA PRÉ-CIENTÍFICA – ANTERIOR AOS ANOS 40 ...............................7
1.3 A ERA PSICOMÉTRICA-ESTRUTURALISTA – DOS ANOS 40 AOS 60...9
1.4 A ERA PSICOLINGÜÍSTICA- SOCIOLINGÜÍSTICA – DOS ANOS 70......12
1.5 A TERRA PROMETIDA – FINAL DO SÉCULO XX ....................................14
1.6 SOBRE O EFEITO RETROATIVO ..................................................................16
2. PROCEDIMENTOS METODOLÓGICOS .........................................................20
2.1 A ESCOLA E O UNIVERSO PESQUISADO ..................................................20
2.2. A ESTRUTURA DO TOEIC ............................................................................21
2.3 PROCEDIMENTO ............................................................................................25
3. DISCUSSÃO E ANÁLISE DOS RESULTADOS ...............................................28
3.1 ANÁLISE DE DADOS ......................................................................................28
3.2 DISCREPÂNCIAS E EFEITOS RETROATIVOS .............................................36
4. CONSIDERAÇÕES FINAIS ...............................................................................43
REFERÊNCIAS........................................................................................................46
NOTAS......................................................................................................................49
ANEXOS..................................................................................................................51
RESUMO
Os testes de proficiência são utilizados como uma forma de analisar as
competências lingüísticas dos candidatos. A pesquisa teve como objetivo
analisar dois grupos de alunos pré-avançados e seu desempenho em relação
ao TOEIC, teste de proficiência voltado para a linguagem comercial. O
presente trabalho foi desenvolvido na Phil Young´s English School de Curitiba,
e foram analisados dois grupos com idades semelhantes mas com horários
diferenciados de aula. impacto do exame na sua primeira fase, a diferença de
desempenho na segunda fase, e o efeito retroativo benéfico em sala após a
aplicação da primeira fase do teste foram investigados. A metodologia
utilizada foi a pesquisa quantitativa e qualitativa, e com base na interpretação
de dados, a autora discute as discrepâncias dos resultados obtidos e como as
mudanças em sala de aula (efeito benéfico), partindo da figura do professor,
provocaram um melhor desempenho de seus alunos. Os resultados indicam
que é possível, a partir de um teste de proficiência, criar condições para que
as atividades
da sala de aula refletissem de uma maneira positiva no
desempenho dos alunos partindo de tal exame.
i
ABSTRACT
Proficiency tests are used as a way of analyzing examinees’ abilities in
a second language. The objective of this study was to analyze two groups of
pre-advanced students and their performance in relation to the TOEIC,
proficiency test which language focus is business language. This work has
been developed at Phil Young´s English School, in Curitiba, where two groups
of similar age but different class schedule were analyzed.The impact of the
test in its first phase, the difference in performance in its second stage, and the
positive washback effect after the first phase of the test were investigated. The
methodology used was the quantitative and qualitative ones, and based on the
interpretation of data, the author discusses the discrepancies of the results
obtained and how the classroom changes (positive washback effect) have
provoked a better performance on the students beginning from the teacher’s
attitude towards the students. The results show that it is possible to create
conditions so that classroom activities reflect on a positive way the
performance of the students from a proficiency test.
ii
Palavras- chave: TOEIC, efeitos retroativos, washback effect, testes de
proficiência, Abordagem Comunicativa
INTRODUÇÃO
Em um momento em que o mercado de trabalho está se tornando cada
vez mais competitivo, muitas pessoas sentem a necessidade de melhorar seu
perfil profissional buscando aperfeiçoamento em diversas áreas. As empresas
também estão ficando cada vez mais exigentes, os futuros funcionários que
almejam um cargo de mais prestígio precisam ter o domínio de uma língua
estrangeira. E para avaliar o desempenho dos candidatos em uma língua
estrangeira, algumas dessas empresas utilizam os testes de proficiência.
Testes de proficiência são testes que mostram a habilidade geral na
língua-alvo, ou mostram o quão capaz uma pessoa é em uma área específica,
por exemplo, a fala (Madsen, 1983). Estes testes também mostram se a
pessoa está preparada para certos tipos de trabalho ou currículo escolar.
Existem hoje no mercado testes de vários tipos e nomes. Testes de
proficiência para ingresso numa determinada faculdade (TOEFL), para futuros
diplomatas, para avaliar um aluno e seu grau de entendimento na língua
estrangeira, para ingresso no mercado de trabalho (TOEIC), enfim, há testes
para diversas as finalidades.
O objetivo deste trabalho é o de estudar as competências que o TOEIC
aborda e como tais competências são avaliadas. Após esta investigação
2
verificamos como o TOEIC pode propiciar um efeito retroativo em sala de
aula.
O TOEIC testa as competências lingüísticas nas habilidades de
compreensão auditiva e compreensão de textos. É um teste que foi
desenvolvido pelo Educational Testing Service ® (ETS®) em 1979, a pedido
do Ministério da Indústria e Comércio Internacional do Japão para que
organizações possam avaliar a proficiência em língua inglesa de seus
funcionários. O que o leva a ser
utilizado mundialmente no mercado de
trabalho nos dias de hoje.
Este estudo coloca o TOEIC dentro da abordagem comunicativa (AC),
que, segundo Hymes (1991), “trata de ensinar o aluno a se comunicar em
língua estrangeira (LE) e adquirir uma competência de comunicação”. A
eficácia desta abordagem, visando sempre uma competência comunicativa,
fica, na maioria das vezes, no entanto, restrita às atividades dentro da sala de
aula, sendo pouco ou nada cobrada nos testes. Saber comunicar significa ser
capaz de produzir enunciados lingüísticos de acordo com a intenção de
comunicação. O essencial de uma competência de comunicação reside,
portanto, nas relações entre diversos planos ou diversos componentes, como
pedir permissão para sair do local, ou até mesmo a situação de comunicação,
como o status social do interlocutor, para citarmos um exemplo. O erro, se
vier a acontecer durante a conversa, é visto como um processo natural da
3
aprendizagem, através do qual o aprendiz mostra que ele testa continuamente
as hipóteses que levanta sobre a língua (Germain, 1993).
E é neste ponto que as críticas sobre a AC tomam força, pois o discurso
teórico é muito forte, mas carece de tecnologia, procedimentos e exercícios
para uma prática na qual os alunos possam adquirir uma base para uma
comunicação com menos erros. O que nos leva a imaginar o impacto desta
abordagem em situações forçosamente reais, a começar com um teste de
proficiência da língua inglesa (LI), que pode avaliar o desempenho do
candidato através de exercícios em testes considerados diretos, nos quais a
situação do teste simula as mais possíveis ocasiões de uso autêntico da
língua e não itens isolados. Em contrapartida, temos os chamados testes
indiretos, nos quais os examinandos são avaliados por componentes isolados
da língua-alvo através de exercícios de múltipla-escolha, cloze para preencher
lacunas e afins. Neste trabalho, usaremos o TOEIC por ser uma avaliação
mais próxima da linguagem que os alunos irão usar após o término de seu
curso na LI. O TOEIC assume o formato de um teste indireto pela forma que
seus exercícios são montados, entretanto sua finalidade é a de se aproximar
o mais possível do processo do discurso.
O TOEIC é um meio de avaliar as habilidades de comunicação em um
ambiente de trabalho no qual a língua inglesa é utilizada.
A linguagem
apresentada pelo TOEIC é mais voltada para o comércio, negócios e
4
assuntos co-relacionados, enquanto que os testes de proficiência até então
aplicados normalmente pela escola refletem o que se chama de “inglês
acadêmico”, ou seja, pouco dessa língua é utilizado nas atividades diárias. Já
o teste estudado nesta investigação vem a ter sua função mais próxima da
realidade dos alunos, que em pouco tempo estarão usando o conhecimento
passado dentro da sala de aula no mercado de trabalho. De acordo com Weir
(1990:12),
“tests of communicative language ability should be as direct
as possible (attempt to reflect ‘ the real life’ situations) and
the tasks candidates have to perform should involve realistic
discourse processing”.i
A investigação se deu em Curitiba, Paraná, na Phil Young´s English
School, no bairro do Cabral, no segundo semestre do ano de 2004. A escola,
representada pelo seu diretor, Sr. Magdal Frigotto, gentilmente permitiu a
utilização dos testes de proficiência nesta investigação. Cedeu, ainda, espaço
durante as aulas para que a autora, enquanto pesquisadora, pudesse
trabalhar com alunos de nível pré-avançado, que embora pertencentes ao
mesmo nível, estudam em horários distintos: um grupo vespertino e outro
noturno (ver Anexo 1).
Para que pudéssemos verificar o desenvolvimento dos alunos na
relação Abordagem Comunicativa/desempenho no TOEIC, dividimos este
trabalho 3 capítulos. No 1°, tratamos do universo de material teórico e material
prático do referido teste, conceitos, discussões e experiências do teste, seu
5
efeito retroativo positivo e negativo na sala de aula. No 2°, a metodologia
empregada, instrumentos de coleta e procedimentos empregados, e a análise
de dados. No 3°, as discrepâncias entre os resultados e fatores que podem
interferir nos mesmos.
As considerações finais da investigação projetaram novos estudos que
podem vir a ser feitos baseados nos resultados obtidos neste trabalho.
6
1. Histórico das Abordagens de Ensino e suas Avaliações
1.1. INTRODUÇÃO
Desde muito, lingüistas e estudiosos têm dado definições sobre
diferentes abordagens de ensino de língua estrangeira, e, como veremos a
seguir, tais abordagens, ou métodos, mudam de acordo com o momento
histórico vivido. A definição de abordagem e método adotada neste trabalho
será a mesma utilizada por Leffa (1988:211-236):
“Abordagem é o termo mais abrangente e engloba os
pressupostos teóricos acerca da língua e da aprendizagem.
As abordagens variam na medida em que variam esses
pressupostos. O pressuposto, por exemplo, de que a língua
é uma resposta automática a um estímulo e de que a
aprendizagem se dá pela automatização dessas respostas
vai gerar uma determinada abordagem para o ensino de
línguas – que será diferente da abordagem gerada pela
crença de que a língua é uma atividade cognitiva e de que a
aprendizagem se dá pela internalização das regras que
geram essa atividade. O método tem uma abrangência mais
restrita e pode estar contido dentro de uma abordagem. Não
trata dos pressupostos teóricos da aprendizagem de línguas,
mas de normas de aplicação desses pressupostos.”
7
Ainda, não podemos falar em abordagens de ensino sem falarmos dos
testes a que cada uma delas corresponde. Segundo Spolsky (1976), há três
tipos de estágios pelos quais a história dos testes tem passado. Em seu artigo
‘Language testing: art or science’, ele descreve tais estágios como: a era précientífica,
a
era
psicométrica-estruturalista
e
a
era
psicolingüística-
sociolinguistica. Iremos retratar cada uma das eras separadamente a seguir.
1.2 A Era Pré-Científica – anterior aos anos 40
Até meados do século XX não houve mudanças profundas na
aprendizagem de língua estrangeira. Sua trajetória nos remete às conquistas
do Império Romano e à influência da Grécia no aspecto cultural. Assim, as
línguas latina e grega foram ensinadas em escolas até o século XVII.
Observamos que até a primeira metade do século XX a abordagem
predominante era a gramatical, com sua ênfase na escrita. Esse método ficou
conhecido como Método Clássico, onde as habilidades primordiais eram as
regras gramaticais, tradução de textos literários, exercícios de escrita e
memorização do vocabulário. Todos os exercícios eram desprendidos de uma
conexão em seus significados, sendo basicamente constituídos de frases
soltas, com exceção à tradução dos textos literários. A parte oral da
aprendizagem ficou totalmente negligenciada. Na medida em que o
conhecimento de outras línguas passou a ser sinônimo de refinamento social,
8
a partir dos séculos XVII e XIX, o Método Clássico sofreu algumas alterações,
passando a ser conhecido como Método da Gramática e da Tradução (MGT).
As mudanças consistiam basicamente no ensino da segunda língua pela
primeira. Toda a informação necessária para construir uma frase ou entender
um texto era dada através de explicações na língua materna do aluno. As
formas para a aprendizagem eram dadas através da memorização de uma
lista de palavras, o conhecimento das regras gramaticais necessárias para a
junção dessas palavras em frases e exercícios de tradução e versão. A
ênfase continuava sendo na forma escrita da língua, pronúncia e entonação
eram irrelevantes para a sala de aula. O livro-texto era o centro da aula,
fazendo com que o professor não necessitasse ter o domínio oral da língua. O
que o professor precisava era ter o domínio completo das regras gramaticais
e suas exceções, e saber responder prontamente às dúvidas de terminologia
gramatical levantadas pelos alunos. Em relação aos testes desta era, estes
envolviam basicamente regras gramaticais e traduções, sendo assim, muito
fáceis de serem corrigidos. Ainda hoje pode-se notar muitos destes testes
sendo utilizados por instituições de línguas.
O sucessor do MTG foi o tradicionalmente chamado Método Direto
(MD), no qual já podíamos notar uma ênfase na parte oral, onde a língua
estrangeira se aprendia utilizando a língua-alvo,
a língua materna nunca
deveria ser utilizada em sala de aula. O aluno deveria aprender a pensar
através da língua. A oralidade estava presente, mas a escrita podia ser
9
introduzida nas primeiras aulas. Pequenos diálogos situacionais (no
supermercado, no banco, por exemplo) e pequenos trechos de leitura eram o
ponto de partida para a compreensão oral, escrita, auditiva e de leitura. Os
exercícios deveriam ser integrados, levando o aluno a uma sistematização da
língua a que ele estava sendo exposto. No entanto, esse método não teve um
suporte didático para se manter, uma vez que as situações apresentadas em
sala de aula ainda não teriam uma relação direta com as situações
enfrentadas no cotidiano dos alunos. Os testes desse método eram, assim
como os de seu antecessor, desprovidos de coerência, e faziam com que o
professor, invariavelmente, acabasse por usar a não tão antiga fórmula do
MGT.
Há, ainda, nessa mesma fase, o Método da Leitura (ML), no qual seus
defensores acreditavam que a habilidade da fala era apenas um objetivo
secundário no ensino de línguas. Este deveria ser visto como um gosto pela
cultura e literatura do povo estudado. Para isto, procurava-se expandir ao
máximo o vocabulário dos alunos o mais rápido possível. A gramática
restringiu-se ao necessário para a compreensão da leitura, e os exercícios
mais usados para a prática da gramática foram basicamente os que
empregavam a transformação de frases.
10
Embora a era pré-científica tenha durado muitos anos, sua estrutura
estava para ser abalada com novos acontecimentos mundiais que iriam
mudar o foco da aprendizagem de língua estrangeira.
1.3. A Era Psicométrica-Estruturalista – dos anos 40 aos 60
O mundo se deparou com a Segunda Guerra Mundial, e isso fez com
que novos caminhos tomassem forma no que diz respeito ao aprendizado de
uma língua estrangeira. Os governos investiram em programas de
ensino/aprendizagem. Em particular, os Estados Unidos teve seus militares
dentro de salas de aula para que desenvolvessem suas capacidades de
comunicação orais e de audição em cursos intensivos de línguas, para que
pudessem se comunicar com os aliados e entender os inimigos. O método
então escolhido foi o MD, e ficou popularizado como “The Army Specialized
Training Program” (ASTP), ou simplesmente, o Método do Exército. Sua
principal característica era a atividade oral, a conversação, e para isso
nenhum esforço foi poupado: lingüistas e informantes nativos contratados,
turmas reduzidas ao número ideal de alunos, e um programa superintensivo
de aprendizagem, com nove horas de aulas diárias num espaço limitado de
tempo.
11
O método utilizado pelo exército foi refinado e passou a ser chamado
de Método Audiolingual (MA), termo utilizado pela primeira vez pelo professor
Nelson Brooks, da Universidade de Yale, no seu livro Language and Langue
learning: theory and practice, de 1964. O princípio do MA era ensinar as
habilidades lingüísticas na seguinte ordem: ouvir, falar, ler, e por último,
escrever. Este método atingiu seu ápice nos anos 60, nos Estados Unidos.
Acreditava-se que no audiolingualismo, não se aprendia errando. Acreditavase que quem errava acabava aprendendo com os próprios erros. Para isso, o
ensino era feito em pequenos passos, com a aprendizagem gradual das
estruturas, as quais eram apresentadas uma a uma. Estas estruturas
deveriam ser praticadas até a automatização, com exercícios de repetição. No
entanto, o que ocorreu foi a desmotivação por parte dos alunos pela
incapacidade do método de levar os mesmos a estágios mais avançados
devido às dificuldades de trazer uma expressão mais espontânea à língua. No
entanto, grandes mudanças ocorreram durante este período no que se refere
aos testes. Os testes aplicados até então eram basicamente de exercícios de
tradução, mas com o MA, a transformação do formato dos testes foi uma nova
acepção até então não questionada. Os testes passaram a ter exercícios de
respostas fechadas (múltipla-escolha, por exemplo) e assim depositavam
maior objetividade na correção, aumentando sua confiabilidade. Estes testes
eram chamados de ‘discrete-point objective tests’ii. É aí que surgem os testes
de itens isolados onde fragmentos da língua passaram a ser avaliados. O que
12
ocorre com este tipo de teste é que a linguagem pode ser fragmentada em
unidades a fim de ser analisada, ensinada e testada. Testes que avaliam
partes de linguagem são facilmente quantificáveis e as notas obtidas através
desses testes são confiáveis, uma vez que as questões são objetivas. Mas
tais testes apresentavam falhas quanto à integração aprendizagem/avaliação,
como bem menciona Oller (1986:212)
“Discrete point analysis necessarily breaks the elements of
language apart and tries to teach them (or test them)
separately with little or no attention to the way those
elements interact in a larger context of communication. What
makes it ineffective as a basis for teaching or testing
languages is that crucial properties of language are lost when
its elements are separated. The fact is that in any system
where the parts interact to produce properties and qualities
organizational constraints themselves become crucial
properties of the system, which simply cannot be found in the
part separately.”iii
Assim, as idéias da era psicométrica-estruturalista começaram a ser
deixadas para trás, já que a língua precisava de uma integração, e a
competência lingüística que todos queriam alcançar não poderia ser
fragmentada para ser aprendida. Estava na hora do surgimento de outro tipo
de abordagem.
1.4 A Era Psicolingüística-Sociolingüística – dos anos 70
13
Começava aqui uma série de estudos sobre as melhores formas de
ensinar uma segunda língua. Lingüistas renomados, como Chomsky, Hymes,
Halliday, Canale, Canale & Swain, Savignon, para citarmos alguns,
começaram a definir o que seria conhecido como competência comunicativa.
Para Chomsky (1966), a língua era adquirida a partir da competência
subjacente do aprendiz. Foi ele quem apresentou pela primeira vez a
concepção de competência e desempenho. Competência, para Chomsky,
refere-se ao conhecimento da gramática, e desempenho ao seu uso de fato.
Já para Hymes (1967), a concepção lançada por Chomsky não se adequava
ao que realmente acontecia ao se adquirir uma segunda língua, já que
expressar e fazer-se compreender não necessitavam estar ligadas à
gramática da língua estudada, salvo casos nos quais as regras de uso se
fazem necessárias num determinado contexto para que se possa entender o
que está sendo dito. Halliday (1970) afirmava que a língua era usada para
funções sociais, como ordenar, pedir, concordar, etc. A partir de Canale
(1980), e Canale & Swain (1983), o conceito de competência comunicativa se
formula. Dentro deste conceito há sub-competências, que são a gramatical, a
estratégica e a sociolingüística. A primeira dizia respeito às regras
propriamente ditas, a segunda às estratégias utilizadas pelos falantes para
suprir o não domínio da língua, e a terceira às regras socioculturais da língua,
ou seja, o contexto social no qual a língua está sendo utilizada. Savignon
(1983:22), completa o conceito de competência comunicativa afirmando que é
14
a “habilidade de funcionar num quadro verdadeiramente comunicativo”. Tais
conceitos fizeram com que os testes de línguas sofressem uma modificação,
e considerando as novas visões de competência comunicativa, profissionais
na área de ensino procuraram repensar suas metodologias e seus
procedimentos. Surgiram assim, os testes integradores, que podiam avaliar a
capacidade de unir as habilidades de uma forma mais próxima ao uso
lingüístico real (Oller, 1979). No entanto, Weir (1990:5-6), afirma que estes
tipos de testes nos dizem algo a respeito da competência lingüística do
candidato, e não sobre a habilidade de desempenho do mesmo.
Os testes integradores ainda não alcançariam a perfeição, dando
espaço para que novos caminhos fossem trilhados. É o início da Abordagem
Comunicativa
1.5 A Terra Prometida – final do século XX
A
história
da
Abordagem
Comunicativa
(AC)
surgiu
de
uma
necessidade de interação numa língua estrangeira. O foco no sentido e no
significado era a intenção dessa nova abordagem, que começou na Europa
nos anos 80, onde os lingüistas enfatizavam o estudo do discurso. Tal estudo
propunha não apenas a análise do texto oral e escrito, como também as
circunstâncias em que o texto era produzido e interpretado. Em sala de aula,
15
pôde-se dizer que o estudo tratava de ensinar o aluno a se comunicar em
língua estrangeira e adquirir uma competência de comunicação (Hymes,
1991).
Hoje, a Abordagem Comunicativa trabalha não somente com a
oralidade, mas também com a parte gramatical. No entanto, há uma quebra
de tradição quanto ao ensino da gramática como era entendido até então,
com suas regras ditadas e impostas pelo professor, intermináveis exercícios
de repetição e afins. A gramática de base na AC é a gramática das idéias, da
organização do sentido, onde as atividades gramaticais estão a serviço da
comunicação. Aquela gramática de exercícios formais e repetitivos foi
substituída por um novo conceito, onde os alunos são levados a descobrir por
si só as regras de funcionamento da língua. Hipóteses, reflexão e uma
liberdade de pensamento maior são fatores que exigem do aluno uma
participação mais ativa no processo de aprendizagem.
Sendo assim, a
importância da produção dos próprios alunos os ajuda a vencer seus
bloqueios de produção. Entretanto, a AC não descarta a possibilidade de criar
na sala momentos de explicitação de regras e de prática rotinizante dos
subsistemas gramaticais, como o dos pronomes, as terminações de verbos,
etc. (Almeida Filho, 1993).
Segundo Martins-Cestaro (1997), “a aprendizagem é centrada no aluno,
não só em termos de conteúdo como também de técnicas usadas em sala de
16
aula”. O trabalho em grupo, as dramatizações, a leitura de textos autênticos, o
professor como facilitador da matéria, e acima de tudo, uma atmosfera de
afetividade na sala de aula são as técnicas mais aplicadas numa aula onde a
AC é utilizada. Os testes simulam o que o aprendiz sabe numa situação do
dia-a-dia, de maneira que suas habilidades correspondam à vida real. Estes
testes oferecem a vantagem de mostrar a tarefa por desempenho partindo do
objetivo daquela avaliação (exame de proficiência, diagnóstico ou de
rendimento) (Morrow, 1979:150/51). O conteúdo da avaliação também é
considerado, há uma preocupação em perceber a língua.
A evolução no campo de avaliações veio a criar os testes por
desempenho, que segundo o modelo de Communicative Language Teaching,
ou ensino comunicativo, desenvolvido por David Nunan (1991:279) “tentam
relacionar o que se aprende em sala de aula com atividades que ocorrem fora
dela”.
Hoje, os testes integradores definidos por Oller assumem outro
significado dentro da AC, pois são testes que simulam tarefas que os
candidatos terão que desenvolver em situações futuras.
A Abordagem Comunicativa sabe também ser crítica de suas
antecessoras, questionando a falta de objetivos no ensino de língua
estrangeira até então trabalhados em sala de aula. Esta abordagem defende
que os cursos devem ser planejados de acordo com o interesse e
necessidade dos alunos. Realmente o que se vê hoje são inúmeros cursos
17
baseados com o que se convencionou a chamar em inglês de ESP, English
for Specific Purposes, ou seja, Inglês para Objetivos Específicos. Mas verificase que, além desses cursos, muitas escolas conseguiram trazer a AC para
dentro delas sem que se faça uso da ESP. Aplicam a AC
seguindo seu
método, sempre com o acompanhamento de um livro-texto, que corresponde
com as expectativas ditadas pela abordagem em questão. Isso pode gerar um
efeito retroativo em se tratando de testes de proficiência.
1.6 Sobre o Efeito Retroativo
De acordo com Retorta1 , o efeito retroativo “é definido pela literatura
em educação e em lingüística aplicada como sendo a influência que um
exame, seja ele de rendimento2 ou externo3, exerce sobre o ensino e a
aprendizagem.” Ainda, sobre o efeito retroativo, Brown (2004:29) afirma que:
“The challenge to teachers is to create classroom tests
that serve as learning devices through which washback is
achieved. Students’ incorrect responses can become
windows of insight into further work. Their correct
1
Retorta, M. Efeito Retroativo do Vestibular da Universidade Federal do Paraná no ensino de língua
estrangeira no Ensino Médio do Paraná: uma investigação em escolas públicas, particulares e cursos prévestibulares. Tese de doutorado a ser publicada, Unicamp, SãoPaulo.
2
De acordo com Retorta, “exames de rendimento são instrumentos que têm a função de diagnosticar o que o
aluno aprendeu ou deixou de aprender em sala de aula. O elaborador deste tipo de exame deveria utilizar tal
instrumento para apontar e corrigir falhas no ensino/aprendizagem que o precedeu.”
3
Ainda conforme Retorta, “exames externos são instrumentos de avaliação que ocorrem fora da instituição do
aluno tais como exame de entrada, como o vestibular, proficiência de uma língua, e que têm por objetivo
selecionar e classificar para vagas em instituições de ensino superior (...); ou ainda de proficiência lingüística
comunicativa.”
18
responses need to be praised, especially when they
represent accomplishments in a student’s inter-language.
Teachers can suggest strategies for success as part of
their “coaching” role. Washback enhances a number of
basic principles of language acquisition: intrinsic
motivation, autonomy, self-confidence, language ego,
interlanguage, and strategic investment, among others.”iv
O efeito retroativo, que no passado, já foi visto como “fenômeno determinista
por um grupo de especialistas” ( Retorta, 2005:3), pode ser hoje estudado
como positivo ou negativo, considerando fatores externos à situação isolada
dos testes que podem interferir no rendimento dos alunos.
O efeito retroativo positivo acontece quando das ocasiões em que o
ensino pode ser impróprio, mas as avaliações são capazes de exercer uma
influência benéfica. Hughes (1989:1-2), nos mostra um exemplo de efeito
retroativo positivo:
“I was once involved in the development of an English
language test for an English medium university in a nonEnglish-speaking country. The test was to be administered at
the end of an intensive year of English study there and would
be used to determine which students would be allowed to go
on to their undergraduate courses (taught in English) and
which would have to leave the university. A test was devised
which was based directly on an analysis of the English
language needs of first year undergraduate students, and
which included tasks as similar as possible to those which
they would have to perform as undergraduates. The
introduction of this test, in place of one which had been
entirely multiple choice, had an immediate effect on teaching:
the syllabus was redesigned, new books were chosen,
classes were conducted differently. The result of these
changes was that by the end of their year’s training, in
circumstances made particularly difficult by greatly increased
numbers and limited resources, the students reached a much
higher standard in English than had ever been achieved in
the university’s history.”v
19
Em contrapartida há o efeito negativo sobre o qual Hughes (op.cit p.
01) afirma:
“If the test content and testing techniques are at variance with
the objectives of the course, then there is likely to be harmful
backwash. An instance of this would be where students are
following an English course which is meant to train them in
the language skills (including writing) necessary for university
study in an English-speaking country, but where the
language test which they have to take in order to be admitted
to a university does not test those skills directly”vi
Não podemos esperar que as avaliações sigam as aulas, mas
podemos, sim, considerar um efeito retroativo grande dentro da sala de aula
se levarmos em consideração o que esperamos de nossos alunos. Para tal, o
professor/pesquisador fez as seguintes indagações que serviram de guia para
suas aulas:
• Meus alunos precisam melhorar suas habilidades orais? Escritas?
De compreensão auditiva? De leitura?
• Estou interessado(a) em resultados finais para saber se meus
alunos foram aprovados por nota ou se eles têm a competência
lingüística para seguirem em frente?
• Estou aberto(a) a perceber as influências externas às quais meus
alunos estão expostos, e, conseqüentemente, as trazem para a
sala de aula, e por que não?, aos resultados dos testes?
20
Estas perguntas podem servir para a reflexão de profissionais na área
de ensino/aprendizagem de uma segunda língua no sentido de buscarem um
efeito retroativo positivo para a sala de aula.
Neste trabalho, o efeito retroativo fica sobre algumas atividades,
basicamente restritas às técnicas utilizadas pelo professor durante as aulas
do semestre regular. Já em relação ao TOEIC, o efeito retroativo parece ser
positivo, como iremos observar no capítulo 3.
No capítulo seguinte trataremos da investigação da competência
comunicativa, qual a expectativa de verificar a Abordagem Comunicativa em
relação ao exame TOEIC e explicaremos os procedimentos adotados.
2. Procedimentos Metodológicos
No capítulo anterior falamos sobre as diferentes eras de abordagens,
suas características e seus testes, e tratamos da definição do fenômeno efeito
retroativo e como sua influência pode se refletir em sala de aula a partir de
atividades propostas pelo professor durante as aulas do semestre regular.
Aqui, veremos como o teste foi aplicado nas suas duas fases e os
procedimentos que o professor adotou em relação ao exame.
21
2.1. A Escola e o Universo Pesquisado
A Phil Young´s é um curso livre de língua inglesa, que oferece 12
(doze) semestres regulares, nos quais os alunos são encorajados a adquirir
uma competência comunicativa passando por testes escritos formais e
avaliação oral não-formal em sala a cada semestre. No semestre que estava
em andamento quando do início deste trabalho, os alunos previamente
selecionados teriam que ser expostos a uma simulação de um teste de
proficiência ao final do semestre, um pré-requisito da escola para alunos
cursando o 7° semestre. Este teste de proficiência não influencia diretamente
a produção dos alunos para com o semestre que estão cursando, mas é uma
referência de rendimento para o seguinte. Com isso, os professores que
trabalham com o nível avançado podem ter uma idéia mais clara do
rendimento dos alunos no semestre anterior e trabalhar em cima de áreas
deficitárias. Como este trabalho de análise do TOEIC foi feito pela primeira
vez na escola, e dividido em duas fases, a primeira já no início do semestre, o
professor das duas turmas analisadas pôde, no decorrer do semestre,
verificar os efeitos do teste em relação às aulas. Este efeito recebe o nome de
retroativo, ou washback effect, em inglês.
2.2 A Estrutura do TOEIC
22
Segundo Hughes (1989:10), a respeito de testes de proficiência,
“The function of these tests is to show whether candidates
have reached a certain standard with respect to certain
specified abilities”vii
Este trabalho investiga a relação entre os resultados apresentados pelo
TOEIC e a competência comunicativa para alunos pré-avançados de duas
turmas da Escola de Inglês Phil Young´s que participaram da investigação.
Sendo assim, é uma proposta inovadora para a instituição analisada, onde tal
avaliação está sendo feita pela primeira vez.
A expectativa é a de verificar a eficiência da AC utilizada pela
escola para um teste de proficiência como
o TOEIC. Os alunos que
participaram deste trabalho mostraram-se curiosos a respeito de uma nova
forma de avaliação das suas habilidades na língua e após o aval da direção e
coordenação da escola, e da menção da nova forma de avaliação em sala, o
teste foi feito, então, em 2 (duas) fases distintas. Na primeira fase do trabalho,
a expectativa do professor de um alto rendimento dos alunos pelo professor
não foi levada em consideração, já que este era o primeiro momento em que
os alunos teriam contato com a prova. Ao iniciar o estudo, verificou-se que a
disparidade entre a parte de compreensão auditiva e de texto durante as
aulas era significativa. Esperava-se que tal disparidade não se refletisse nos
testes a serem aplicados, uma vez que, mesmo sem utilizar anteriormente
23
muito material extra de apoio anteriormente, os alunos tiveram, durante 7
(sete) semestres, um contato até então considerado satisfatório em relação à
compreensão de textos nas aulas. No entanto esperava-se que pudesse
haver surpresas no que diz respeito à utilização dessa nova forma de
avaliação.
O total de horas disponíveis
dentro da sala de aula a contar da data
de aplicação da primeira fase do teste até o final do semestre é de 50 horas,
que não estavam dispostas somente para a execução de tarefas relacionadas
à melhoria do rendimento no teste, mas sim utilizadas dentro da carga horária
do semestre regular do curso de inglês, no qual os alunos ainda estavam
adquirindo conhecimento sobre a língua.
Os alunos que participaram deste estudo são alunos do 8° semestre,
considerados pré-avançados. No nível em que estavam estudando havia uma
simulação de teste de proficiência no final do semestre. O que o professor fez
foi, com a autorização da escola, substituir o referido teste por outro, também
de proficiência (TOEIC).
Os alunos selecionados estudaram no mesmo nível, mas em horários
distintos, um vespertino e outro noturno. Dentro da carga horária semestral
disponível do professor, as únicas possibilidades de fazer o experimento
foram com essas turmas, já que eram considerados grupos pré-avançados.
24
O tempo disponível para a aplicação do teste em si é de 120 minutos.
Em se tratando de uma aula normal com duração de 2h e 30 min., e sendo o
teste uma simulação, o professor dividiu o tempo total em duas partes: a
primeira, que correspondia à parte de compreensão auditiva, leva 45 minutos.
Depois desta parte, o professor deu 10 minutos de intervalo aos alunos.
Passado este tempo, os alunos iniciaram a segunda parte do teste, que
correspondia à parte de compreensão de gramática e leitura, que levou 75
minutos. Sendo a aula de 2 horas e 30 minutos, ainda restaram 20 minutos
para que a correção fosse feita em sala, através de gabarito.
A primeira fase do estudo foi aplicada com o semestre já em
andamento, com grupos de quarta e quinta-feiras, dias em que as turmas
noturnas e vespertinas, respectivamente, tinham aula. A escolha da data foi
aleatória, propiciando ao professor um prazo curto do início do semestre para
a data do teste apenas para que o professor pudesse se adaptar melhor às
turmas. Além da disponibilidade dos alunos, o professor contou com o apoio
da coordenação e da direção da escola, que lhe cederam a oportunidade de
inovar e assim, dar à escola também outro parâmetro de avaliação.
Por ser esta a primeira vez que os alunos faziam o teste, o professor
necessitou explicar aos mesmos como as perguntas eram formuladas, e como
eles deveriam responder às mesmas. A parte de compreensão auditiva
apresentou 100 (cem) questões, subdivididas em 4 (quatro) segmentos.
25
Todos os segmentos foram acompanhados pelos alunos através de uma fita
cassete que acompanhava o teste e que continha as conversações dos
exercícios. O teste era em formato de gabarito, e os alunos não deveriam
marcar nada na apostila, nas na folha-resposta.
A primeira parte da compreensão auditiva teve um total de 20 (vinte)
exercícios, acompanhados por fotos (ver anexo 2). Estes exercícios eram
formados de 4 (quatro) pequenos diálogos que os alunos deveriam interpretar
pelas fotos apresentadas e marcar a resposta correspondente, seja ela a); b);
c); ou d), na folha-resposta que acompanhava o teste. O segundo segmento
teve um total de 30 (trinta) exercícios que já não apresentavam nenhum
indicativo por fotos para auxiliar e/ou guiar o aluno, mas sim uma pergunta
seguida por 3 (três) alternativas de resposta dadas apenas no áudio (anexo
3). O terceiro segmento também teve um total de 30 (trinta) exercícios. Neste
segmento os alunos ouviram um diálogo mais longo na fita cassete e tinham a
pergunta correspondente ao diálogo com 4 (quatro) alternativas de respostas
descritas, todas, desta vez, na apostila (anexo 4). A quarta e última parte da
compreensão auditiva consistia em 20 (vinte) questões, nas quais as
conversas eram um pouco mais longas que o segmento anterior, mas os
alunos ainda tinham as perguntas e respostas descritas na apostila.
2.3 Procedimento
26
Depois de tomadas as devidas providências para a realização do teste,
que incluíram a organização das carteiras, a iluminação correta da sala de
aula, a temperatura da sala e o volume do áudio, os alunos entraram na sala
para fazer o teste, receberam as instruções sobre como agir durante o teste
simulado e como responder às questões. Eles receberam também a
estimativa de tempo (2 horas para um total de 200 perguntas, sendo
subdivididas em 2 partes: a primeira, com um total de 100 questões de
compreensão auditiva e a segunda com 100 questões de gramática e
compreensão de texto). Ao fim do teste, o professor recolheu as apostilas
juntamente com as folhas-respostas e iniciou a correção em sala através da
máscara gabarito.
Antes mesmo de ver o formato do teste, os alunos mostraram-se
excitados com a possibilidade de “medir” seu grau de conhecimento na língua
inglesa e ao mesmo tempo nervosos em ver o resultado. É importante
mencionar que nenhum material extra foi utilizado no decorrer do estudo para
que os alunos viessem a ter uma performance melhor de uma fase para outra
do teste. O que foi utilizado referiu-se somente ao conhecimento passado
através do professor com o auxílio do livro-texto (os alunos utilizam o livro
New Interchange, vol. 3, por Jack C. Richards) durante o semestre. Nenhum
outro material extra correspondente ao TOEIC estava sendo verificado,
justamente para tornar a abordagem empregada pela escola válida para o
estudo. A possibilidade de os alunos não obterem êxito em seu semestre
27
regular em conseqüência da preparação para as duas fases do teste foi
detalhe importante. A instituição, juntamente com o professor, preocupou-se
em saber o quão confortável os alunos se sentiriam ao longo da carga horária
caso tal hipótese viesse a se tornar real. Afastadas quaisquer possibilidades
de acúmulo de tarefas em função do estudo, o trabalho teve sua continuidade.
Na primeira fase do estudo o número de alunos em cada grupo era:
• Vespertino: 13 alunos, todos adolescentes;
• Noturno: inicialmente constituído de 8 alunos, entre adolescentes e
jovens adultos.
A escolha de alunos com idades semelhantes, mas em horários
diferentes foi proposital, em função da curiosidade em saber o quão efetiva a
Abordagem Comunicativa seria para pessoas que, embora estudando a
mesma matéria, tivessem um desempenho diferente em relação às atividades
em sala de aula e avaliações semestrais regulares na instituição participante.
A escolha do TOEIC foi, assim, válida, principalmente por se tratar de um
teste neutro para a escola, na qual nenhuma instrução em relação à parte
gramatical, ou auditiva, ou de compreensão de texto foi inserida durante o
semestre regular de aulas. Sendo assim, pôde-se refletir a partir dos
resultados obtidos na primeira fase do trabalho melhor em quão abrangente
era a competência comunicativa utilizada em sala da aula. Mostrou, ainda, de
28
uma forma mais realista, a capacidade dos alunos em compreender a língua
inglesa utilizada tanto em sala de aula como fora dela.
No capítulo 3, veremos a relação entre os resultados parciais e seu
efeito retroativo a partir dos dados obtidos.
3. Discussão e Análise dos Resultados
No capítulo anterior, discorremos sobre a competência comunicativa e o
reflexo da eficiência da Abordagem Comunicativa para candidatos que se
29
preparam para o teste de proficiência TOEIC. Mostraremos aqui os dados
obtidos a partir dos resultados das duas fases do exame e o efeito retroativo
positivo em sala verificado após a aplicação da primeira fase do trabalho.
3.1 Análise de dados
Por estarmos falando de competência comunicativa, temos que ter em
mente que os resultados obtidos nos testes de proficiência deste trabalho
refletem, de alguma forma, efeitos retroativos, pois para cada atividade
planejada pelo professor há uma expectativa de que seus alunos produzam o
efeito desejado. Por exemplo, se o professor planeja um exercício onde seus
alunos devem utilizar a fala na maior parte do tempo, o profissional espera
que seus alunos possam, ao final da atividade, produzir um resultado mínimo
esperado em relação à estrutura estudada. No teste em questão, o professor
utilizou material extra que pôde ser adaptado ao livro-texto, já que o currículo
da escola precisava ser cumprido. Acreditamos que seus efeitos tenham sido
benéficos em relação à sala de aula, mas buscaremos através da análise
dos resultados confirmar esta hipótese. Assim, mostramos a seguir o que foi
alcançado.
Na primeira fase do teste, aplicado aos grupos pré-avançados em
agosto de 2004, os alunos vespertinos (correspondentes ao tarde na tabela)
30
tiveram um desempenho melhor na parte que diz respeito à compreensão
auditiva do que os alunos do mesmo nível do no período noturno (noite),
como pode ser observado no gráfico abaixo:
fase 1 - agosto 2004 resultado parcial
geral auditivo
400
300
200
100
0
325
tarde
282,5
noite
figura 1 corresponde ao desempenho dos alunos referente à parte de compreensão
auditiva do teste. Resultado geral parcial das duas turmas. Os valores correspondem a uma
escala de 0 a 495, nota máxima do teste nesta seção
Vários fatores podem ter sido os causadores desta diferença, uma vez
que a abordagem do livro é feita da mesma maneira pelo professor para
esses dois grupos. Vale esclarecer que o teste foi um tanto longo, e o
rendimento dos alunos no período noturno é normalmente mais baixo nos
testes do semestre regular do que o dos alunos de outros horários.
Mais uma vez vale lembrar que os alunos não tiveram nenhum curso
específico para a preparação do teste, e o fizeram somente levando consigo a
bagagem lingüística adquirida durante o tempo em que têm estudado na
escola (aproximadamente 3 anos).
31
O resultado obtido nesta primeira parte do teste na sua primeira fase
foi, de uma certa forma, já o esperado pelo professor. Os alunos receberam,
durante todos os semestres anteriores, uma carga de informações muito
grande no que diz respeito à sua compreensão auditiva. Eles foram
constantemente expostos à conversas e exercícios de compreensão auditiva,
habilidades estas que foram parte do currículo do livro didático adotado pela
instituição. É claro que muitas alternativas apresentadas na simulação do
TOEIC não foram estruturas já estudadas pelos alunos, mas mesmo assim
seu resultado final para a primeira fase do teste não foi insatisfatório. O
mesmo não ocorreu com a segunda parte do teste, a de compreensão
gramatical e de interpretação de textos. O rendimento das duas turmas
apresentado na figura XXX foi abaixo do esperado, e muito abaixo do
desempenho apresentado na primeira parte do teste, como podemos observar
a seguir:
32
fase 1 - agosto 2004 resultado parcial
geral gramatical
400
300
200
177,3
165
tarde
noite
100
0
figura 2 corresponde ao desempenho dos alunos referente à parte de
compreensão gramatical e de texto do teste. Resultado geral parcial das duas
turmas. Os valores correspondem a uma escala de 0 a 495, nota máxima do teste nesta seção
Os fatores que podem ter desencadeado estas discrepâncias não são o
alvo deste trabalho, mas acreditamos que são fatos importantes para que
outras pesquisas venham a ser feitas em relação às diferenças de resultado e
seus efeitos em sala de aula.
Depois da primeira fase do teste TOEIC, os alunos seguiram seu
semestre regular, com atividades relacionadas somente ao livro-texto,
expostos a conversações, aulas de vídeo e também a exercícios gramaticais
referentes ao livro que estudam. Assim, o restante das horas disponível para
a conclusão do semestre se seguiu até o final de novembro, quando então foi
aplicada a segunda fase do TOEIC. Os mecanismos de procedimentos
adotados foram exatamente os mesmos da primeira fase, já descritos
anteriormente. No entanto, o que chamou a atenção do professor foi o
33
cansaço aparente nos alunos. A ansiedade de verificar se seu conhecimento
na língua inglesa havia melhorado foi o que motivou os alunos a continuarem
se submetendo à aplicação do teste. Fatores externos ao entendimento do
professor não poderiam ser controlados, mas poderiam refletir no resultado
final do trabalho. Mesmo assim a investigação prosseguiu e os resultados
obtidos na segunda e última parte do teste foram os seguintes: em relação à
compreensão auditiva, houve uma pequena alteração negativa no resultado
total do grupo vespertino (afternoon) e também do grupo noturno (evening);
quanto ao desempenho na parte gramatical e de compreensão de texto
houve uma alteração positiva. Ainda, em relação à primeira fase do teste,
houve uma alteração no número de alunos do grupo noturno, que passou de 8
(oito) para 10 (dez) alunos na segunda fase. Estes novos alunos, oriundos de
transferências de outras turmas, não tiveram acesso à primeira fase do
TOEIC, e receberam, individualmente, instruções de como proceder durante o
teste. Ambos os grupos tiveram um rendimento menor do que na primeira
fase do teste (verificar figuras 1 e 2), como podemos observar no gráfico a
seguir:
34
fase 2 - novembro 2004 resultado
parcial auditivo
400
300
200
100
0
320
273,5
tarde
noite
figura 3. Desempenho dos alunos na parte auditiva do TOEIC. Resultado parcial das
duas turmas. Os valores correspondem a uma escala de 0 a 495, nota máxima do
teste nesta seção
Quanto à parte gramatical e de compreensão de texto, os resultados
obtidos na segunda fase do teste também apresentam uma diferença em
relação à primeira fase do teste, mas os resultados mostram uma melhora no
rendimento por parte dos alunos conforme o gráfico a seguir:
fase 2 - novembro 2004 resultado parcial
gramatical
400
300
229,6
200
179,5
100
0
tarde
noite
figura 4. Desempenho dos alunos na parte gramatical e de compreensão de texto do
TOEIC. Resultado parcial das duas turmas. Os valores correspondem a uma
escala de 0 a 495, nota máxima do teste nesta seção
35
Esta melhora pode ter origem no fato de que os alunos foram expostos
a mais informações a respeito de regras e exercícios gramaticais no decorrer
do semestre, assim, puderam entender melhor o que era avaliado nos
exercícios do teste. Os fatores que podem ter desencadeado estas
discrepâncias são aqui citados de forma meramente especulativa. O que nos
interessa é ver
que a melhora na parte de compreensão de texto é
significativa, levando-se em consideração que os alunos não foram expostos
a atividades específicas relacionadas com o TOEIC.
Se compararmos as duas turmas e as duas fases do teste
separadamente, teremos uma idéia melhor da performance dos alunos:
tarde - compreensão auditiva resultado final
400
325
320
300
200
100
0
figura 5. corresponde ao desempenho de compreensão auditiva do grupo vespertino
nas duas fases do teste, a primeira em agosto (325 pontos) e a segunda em novembro
de 2004 (320 pontos). Os valores correspondem a uma escala de 0 a 495, nota máxima
do teste nesta seção
36
noite - compreensão auditiva resultado final
400
300
282,5
273,5
200
100
0
figura 6. corresponde ao desempenho de compreensão auditiva do grupo noturno
nas duas fases do teste, a primeira em agosto (282,5 pontos) e a segunda em
novembro de 2004 (273,5 pontos). Os valores correspondem a uma escala de 0 a 495,
nota máxima do teste nesta seção
A diferença visível também se encontra na parte de compreensão de
texto:
tarde - compreensão de textos resultado final
400
300
200
229,6
177,3
100
0
figura 7. corresponde ao desempenho de compreensão gramatical do grupo vespertino
nas duas fases do teste, a primeira em agosto (177,3 pontos) e a segunda em
novembro de 2004 (229,6 pontos) . Os valores correspondem a uma escala de 0 a 495,
nota máxima do teste nesta seção
37
noite - compreensão de textos resultado
final
400
300
200
165
179,5
100
0
figura 8. corresponde ao desempenho de compreensão gramatical do grupo noturno
nas duas fases do teste, a primeira em agosto (165 pontos) e a segunda em
novembro de 2004 (179,5 pontos). Os valores correspondem a uma
escala de 0 a 495, nota máxima do teste nesta seção
Com base nestes gráficos, discutiremos as possíveis discrepâncias a
seguir.
3.2 DISCREPÂNCIAS E EFEITOS RETROATIVOS
Observando os gráficos do capítulo anterior, podemos perceber que as
diferenças em relação ao rendimento do grupo vespertino são bem maiores
do que o noturno (fig. 5 a 8). Algumas influências clássicas já de
conhecimento do meio acadêmico mostram que isso é um fenômeno natural.
Alunos da turma vespertina vão para a escola regular no período matutino,
têm um tempo relativamente longo para almoçar e são, na maioria,
adolescentes com contato direto em livros, revistas e materiais didáticos.
38
Estes mesmos alunos têm, ainda, o restante do dia para descansar suas
mentes e se preparar mais eficazmente para os testes das suas respectivas
escolas.
Em contrapartida, os alunos que freqüentam o período noturno, na sua
grande maioria trabalham o dia inteiro, e precisam de uma língua estrangeira
porque estão à procura de uma posição melhor no mercado de trabalho. O
tempo disponível
que estes alunos que estudam à noite têm, para uma
dedicação maior à língua-alvo, é muito reduzido. Há, ainda, o agravante da
motivação. Embora os professores de língua estrangeira tentem ao máximo
fazer com que o rendimento de seus alunos no período noturno dentro da sala
de aula seja o melhor possível, fatores externos não permitem, muitas vezes,
que esses alunos tenham o mesmo desenvolvimento em sala do que seus
colegas do período vespertino. Problemas de origem familiar, de trabalho, ou
simplesmente cansaço fazem com que os alunos enfrentem uma certa
desmotivação em sala.
Tais motivos podem ter causado as discrepâncias percebidas nos
resultados obtidos nos testes. Mas se analisarmos os grupos separadamente
veremos que há uma mudança significativa de resultados obtidos durante o
semestre. Além da maior abrangência gramatical obtida através do livro-texto,
39
existe, ainda, o filtro afetivo4 (Krashen, 1988) que fez com que houvesse uma
mudança de comportamento tanto do professor como dos alunos.
A
motivação por parte dos alunos, sua autoconfiança, o maior interesse nos
pontos gramaticais do livro com intenção de melhorar seu desempenho na
parte gramatical da prova, uma maior atenção nos exercícios de leitura, e em
relação ao professor, uma determinação mais afinca para auxiliar seus alunos
em suas dificuldades fizeram com que o desempenho das turmas fosse mais
alto na segunda fase do teste. Com atitudes simples que puderam ser
facilmente adaptadas aos exercícios do livro-texto, na maioria das vezes
exercícios que envolviam leitura e compreensão gramatical, o professor pode
ajudar seus alunos a descobrirem as melhores formas de otimizar resultados.
Levando em consideração que a habilidade de compreensão auditiva dos
alunos era, desde o início, muito maior do que sua habilidade de
compreensão de textos, o professor tomou como princípio a hipótese de que
se os seus alunos não fossem punidos pelos erros, mas levados a pensar
sobre os mesmos e a tentarem desenvolver estratégias pessoais de
compreensão na parte de leitura, seus resultados ao final do semestre seriam
muito melhores.
4
A teoria do filtro afetivo diz que há um número de variáveis co-responsáveis pela aquisição
de uma segunda língua. Entre essas variáveis encontramos motivação, auto-confiança e
ansiedade. Segundo a teoria, alunos com tais características estão bem equipados para o
aprendizado de uma segunda língua. Variantes contrárias a estas, tais como baixa motivação,
baixa-estima e alto grau de ansiedade podem causar um bloqueio mental que impede a
aquisição de outra língua.
40
No segundo capítulo, falamos das competências lingüísticas exigidas
pelo exame TOEIC, e como tal exame provocou um efeito retroativo positivo
em sala de aula. O exame provocou a mudança de vários aspectos dentro da
sala de aula, dentre os quais: a motivação do professor, o enfoque da
gramática, as técnicas de leitura dos textos apresentados pelo livro-texto.
Como o trabalho foi dividido em duas partes distintas, o professor pôde, no
espaço de tempo entre o primeiro e o segundo teste, trabalhar em sala com
os alunos não as competências gramaticais isoladas do referido teste, mas
sim o contexto que envolvia um rendimento melhor no aspecto geral da
avaliação de línguas.
Após a aplicação da primeira parte do teste,
conversou-se com os alunos individualmente para fazê-los perceber as
maneiras como cada um poderia vir a melhorar seu desempenho durante as
aulas, não se preocupando com o resultado final dos testes do TOEIC
aplicados às turmas. A avaliação foi feita desta forma para que fosse
absolutamente informal, como sugere Brown (op.cit p. 29)
“Another form of washback that occurs more in classroom
assessment is the information that “washes back” to
students in the form of useful diagnoses of strengths and
weaknesses. Washback also includes the effects of an
assessment on teaching and learning prior to the
assessment itself, that is, on preparation for the
assessment. Informal performance assessment is by
nature more likely to have built-in washback effects
because the teacher is usually providing interactive
feedback. Formal tests can also have positive washback,
but they provide no washback if the students receive a
simple letter grade or a single overall numerical score.”viii
41
Desde o início deste trabalho falamos do TOEIC dentro da Abordagem
Comunicativa. O TOEIC pode provocar um efeito retroativo negativo em sala
de aula quando o professor trabalha o que se convencionou chamar de
facilitadores para testes, ou “test-wiseness techniques”, especialmente se os
exercícios do teste forem de múltipla-escolha. Para os grupos analisados
neste trabalho, não se intencionava melhorar os resultados do teste já que
não se podia deixar de lado o semestre regular no qual os alunos estavam
matriculados. O professor não pôde optar por dar ênfase total e direta à
preparação do teste. No entanto, a instituição na qual o estudo se fez preza
por um alto padrão de desempenho dos alunos nas avaliações e com isso, as
exigências da escola provocam uma certa pressão sobre os professores
quanto ao resultado dos testes. Como foi afirmado por Schneider,
“... administrators have been unwavering in one point: the
use of [TOEIC] gain scores as a key element in program
goal setting and evaluation……. It can be said there was
pressure…. From administrators to get scores moving
up”ix (Schneider 2001:35-36).
É fator de conhecimento público que a instituição obtém ótimos
resultados com seus alunos nos testes de proficiência internacionais oficiais,
mas isso pode causar um efeito retroativo negativo na sala, causando uma
pressão e certa angústia por parte do professor e dos alunos. Weir (op. cit
p.16) diz que:
“In case of proficiency tests, these tasks are seen as
inherent to the nature of the communication situation for
42
which candidates care being assessed. Caution, however,
demands that we wait until empirical evidence is available
before making such confident statements concerning the
identification of these tasks. It is only after examining if it is
feasible to establish suitable objectives, through empirical
research based on real people coping with real situations,
that there would be any grounds for claiming to have
selected a representative sample of operational tasks to
assess performance ability.”x
Os resultados obtidos nos testes nos mostram que as atividades que o
professor decidiu preparar para as aulas foram bem sucedidas. Retirando
textos de revistas na língua inglesa, o professor utilizou técnicas que variaram
entre simples exercícios de compreensão com origem no próprio text, até
atividades onde os alunos, a partir do primeiro parágrafo do original
produziram seus próprios textos. Alguns exercícios para que os alunos
achassem o sinônimo das palavras também foram utilizados para enriquecer
o vocabulário das turmas. Na maioria dos cursos livres de inglês, os
professores não dispõem de tempo para fazer um comentário construtivo a
cada um de seus alunos, não havendo uma interação nos grupos (Brown,
op.cit p. 29). Entretanto, como já mencionamos anteriormente, o professor
conversou com os alunos individualmente, e o resultado foi um acesso aberto
na relação professor-aluno. Neste trabalho, um feedback positivo, originado
pelo professor para seus alunos, a respeito de seus desempenhos nos testes
foi utilizado dentro da aula, e assim, uma segunda chance de ter uma
clarificação de dúvidas foi criada, fazendo com que os alunos viessem a
atingir uma meta apropriada a seus desempenhos futuros no semestre que
estavam cursando.
43
O que pudemos observar é que, independente das dificuldades que
alunos possam ter em relação a fatores não relacionados à aula, eles podem
alcançar uma melhora na sua competência comunicativa. As atividades
desenvolvidas e atitudes que foram tomadas dentro da sala fizeram com que
o desempenho dos alunos durante as aulas e também na segunda fase do
teste apresentasse uma diferença pequena, mas significativa, durante o
semestre regular.
44
4. CONSIDERAÇÕES FINAIS
Estamos vivendo um momento em que o mundo está cada vez mais
globalizado, onde o mercado de trabalho é cada vez mais competitivo e as
companhias fazem cada vez mais exigências de seus funcionários. Neste
contexto, o domínio de uma segunda língua é fundamental. Pensando desta
maneira, especialistas desenvolveram testes de proficiência para que
candidatos pudessem mostrar suas habilidades na língua-alvo para fins
acadêmicos e/ou profissionais.
O TOEIC é um destes testes, um meio de avaliação da linguagem
voltada para o comércio. Suas áreas testadas são a compreensão auditiva e a
compreensão textual. O desafio do teste é, então, verificar se as
competências comunicativas exigidas dos candidatos correspondem aos
aspectos que são utilizados em uma abordagem de ensino específica, onde a
45
língua-alvo é ensinada para que o aluno se comunique e adquira uma
competência de comunicação em uma língua estrangeira. Assim, este
trabalho nos mostra os efeitos retroativos benéficos provocados pela
aplicação do teste de proficiência em alunos de um curso livre de inglês,
onde o teste foi feito em duas fases distintas.
Este estudo foi feito de uma maneira preliminar, com dois grupos de
alunos, e as conclusões não devem ser vistas como definitivas, mas como
uma análise das mudanças visíveis no desempenho dos alunos graças ao
efeito retroativo positivo dentro da sala de aula a partir do resultado da
primeira fase do teste.
As atividades das quais o professor desses alunos teve acesso são,
integralmente, relacionadas com o livro-texto adotado pela instituição de
ensino, já que o professor não pôde ter um semestre totalmente disponível
apenas para o aperfeiçoamento de técnicas para o melhor desempenho no
teste. No caso do TOEIC, o formato dos exercícios é de múltipla-escolha,
mas o professor não teve a intenção de trabalhar dicas para um melhor
desempenho de seus alunos. As atividades subseqüentes à primeira fase do
teste foram as que sofreram alterações(exercícios de leitura), o professor
conseguiu criar uma atmosfera de maior aproximação com os alunos dentro
da sala de aula e tal mudança de atitude fez com que suas atividades fossem
bem sucedidas. Houve um ‘feedback’ muito positivo por parte dos alunos, que
46
também corresponderam muito positivamente nas aulas após a primeira fase
do exame.
Sendo esta a primeira vez que tal estudo foi feito na instituição, a
importância da análise de dados de uma fase a outra do teste é relevante. As
diferenças são significativas para um estudo mais detalhado sobre o efeito
benéfico causado após a primeira fase do teste. Quando
Alderson
e
Wall
(1993:117), afirmaram que “professores e alunos fazem coisas que não fariam
necessariamente senão por causa do teste”xi podemos verificar, através dos
resultados obtidos, que podemos concordar com tal afirmação. Entretanto,
para alargar os horizontes de nossas reflexões, seria interessante fazer um
estudo mais detalhado sobre como os testes de proficiência, sejam eles
acadêmicos ou voltados para a área de negócios, podem propiciar um efeito
retroativo positivo na sala de aula e quais as atividades mais indicadas para
que tal efeito se realize.
O TOEIC neste trabalho funcionou como um instrumento de avaliação
válido para que futuros pesquisadores possam ter uma referência sobre
efeitos retroativos dentro da sala de aula após a aplicação de um teste de
proficiência. Embora muito pouco estudo individual tenha sido feito a respeito,
acreditamos que esta é uma área fértil para ser explorada. As diferenças
apresentadas nos resultados sugerem uma gama extensa de possíveis
considerações que podem servir de ferramenta útil para estes estudos.
47
REFERÊNCIAS
ALDERSON, J.C. e WALL, D. Does Washback Really Exist? Applied
Linguistics. 1993,p.117
ALMEIDA FILHO, J. C. P de. Dimensões Comunicativas no Ensino de
Línguas. Campinas, SP: Pontes, 1993
BROWN, H.D. Language Assessment: Principles and classroom
practices. New York: Longman, 2004, p.29
48
CANALE, M. From Communictive Competence to Communicative
Language Pedagogy. In: Richards in Schmitt (eds). 1983, p.4
CANALE, M e SWAIN,M. Theoretical Bases of Communictive Approaches
to Second Language Teaching and Testing. Applied Linguistics 1: 47,
1980
CHOMSKY, N. Aspects of the Theory of Syntax. Cambridge: Mass. The MIT
Press, 1966
GERMAIN, C. Evolution de l’eiseignement des Langues: 5000 ans
d’histoire. Paris:Clé International, 1993. (Col. Didactique des langues
étrangèrs)
HALLIDAY,M.A . K. Language Structure and Language Function. In: J. Lyons,
ed, New Horizons in Linguistics. Harmondsworth: Penguin, 1970
HUGHES, Arthur. Testing for Language Teachers. Cambridge, Cambridge
University Press, 1989, p.1-10
49
HYMES, D.H. Vers une compétence de communication. Paris: Crédíf;
Hatier; Didier, 1991 (col. LAL)
KRASHEN, Stephen D. Second Language Acquisition and Second
Language Learning. Prentice-Hall International, 1988.
LEFFA, Vilson J. Metodologia de ensino de línguas. In BOHN, H.I.;
VANDERSEN, P. Tópicos em lingüística aplicada. O ensino de línguas
estrangeiras. Florianópolis: Ed. da UFSC, 1988, p.211-236
MADSEN, Harold S. Techiniques in Testing. New York: Oxford University
Press, 1983
MARTINS-CESTARO, S.A. O ensino da língua francesa nas escolas
públicas estaduais de Natal. Natal, 1997. Dissertação de Mestrado.
Inédito em livro.
MORROW, K. Communicative Language Testing: revolution os evolution? In:
Brumfit, C.J. and K. Johnson (eds), The Communicative Approach to
Language Teaching. Oxford: Oxford University Press, 1979, p.150-151
50
NUNAN, David. Communicative Tasks and the Language Curriculum.
Tesol Quarterly 25 (2), p. 279, 1991
OLLER, Jr. John. Language Tests in School. London: Longman, 1979
RETORTA, Miriam S. Efeito Retroativo do Vestibular da Universidade
Federal do Paraná no ensino de língua estrangeira no Ensino Médio
do Paraná: uma investigação em escolas públicas, particulares e
cursos pré-vestibulares. Tese de doutorado a ser publicado, Unicamp,
SãoPaulo.
SAVIGNON, S. J. Communicative Competence: theory and classroom
practice. Addison Wesley, Reading, MA, 19831, p.22
SCHNEIDER, D. Proficiency Testing and Gain Scores: a research
overview and use of the TOEFL at one Japanese college. Journal of
Aomori Public College 9/7 : 26-45
SHOHAMY, Elana. A Practical Handbook in Language Testing for the
Second Language Teacher. Tel-Aviv, 1985 ( edição piloto)
51
SPOLSKY, B. “Language Testing: art or science”, paper read at the Fourth
International Congress of Applied Linguistics. Stuttgart: HochSchulVerlag.
Germany, 1976
WEIR, Cyril. Communicative Language Testing. New Jersey: Prentice-Hall
International, 1990, p.5-6
i
Testes de proficiência da língua deveriam ser o mais diretos possíveis, e que as atividades
que os candidatos desempenham devem envolver um processo realista no discurso.
ii
Formatos de testes objetivos com questões de itens isolados.
iii
A análise de itens isolados quebra necessariamente os elementos da língua e tenta ensinálos (ou testá-los) separadamente com pouca ou nenhuma atenção ao modo que aqueles
elementos interagem num contexto maior de comunicação. O que os faz ineficientes como
base para o ensino ou avaliação da língua é que propriedades cruciais da língua são perdidas
quando os elementos são separados. O fato de que em qualquer sistema onde as partes
interagem para produzir propriedades e qualidades organizacionais se restringem e não podem
simplesmente ser achadas em partes separadas.
iv
O desafio para os professores é criar testes em sala de aula que sirvam de instrumentos de
aprendizagem através dos quais o efeito retroativo seja atingido. As respostas incorretas dos
alunos podem se tornar janelas de compreensão para trabalhos futuros. Suas respostas corretas
precisam ser elogiadas, especialmente quando elas representam realizações numa interlíngua
do aluno. Professores podem sugerir estratégias para o sucesso através de seu papel de
“técnicos”. O efeito retroativo realça um número de princípios básicos da aquisição da língua:
motivação intrínseca, autonomia, autoconfiança, o ego da língua, interlíngua, investimento
estratégico, entre outras.”
v
Estive envolvido no desenvolvimento de um teste de língua inglesa para uma universidade
média de um país cuja língua mãe era outra que não o inglês. O teste iria ser administrado ao
final de um ano de estudos de inglês intensivo, e seria usado para determinar quais alunos
seriam permitidos a continuar seus cursos e quais teriam que deixar a universidade. Um teste
foi planejado o qual foi baseado diretamente na análise da língua inglesa necessária para os
alunos do primeiro ano, que incluía tarefas tão similares quanto possíveis àquelas que os
alunos teriam que fazer durante seu tempo dentro da universidade. A introdução deste teste,
52
no lugar do prévio, que consistia de questões de múltipla-escolha, teve um efeito imediato no
ensino: o programa de aulas foi revisto, livros novos foram escolhidos, as aulas conduzidas de
maneira diferente. O resultado destas mudanças foi tal que ao final do ano de treinamento, em
circunstâncias particularmente difíceis pelo número limitado de recursos, os alunos
alcançaram um standard muito mais alto em inglês do que já havia sido registrado na história
da universidade.
vi
Se o conteúdo do teste e as técnicas empregadas estão em lados opostos aos objetivos do
curso, então há um efeito retroativo negativo. Um exemplo disto estaria onde os alunos
seguindo um curso de inglês que tem a finalidade de treiná-los nas habilidades da língua
(incluindo a escrita) necessárias para estudos universitários em um país de língua inglesa, mas
no qual o teste de língua que estes alunos têm que fazer para entrar na universidade não teste
essas habilidades diretamente.
vii
A função desse tipo de teste é mostrar se os candidatos alcançam um certo standard no que
diz respeito a certas habilidades específicas.
viii
Outra forma de efeito retroativo que ocorre mais em avaliações em sala de aula é a
informação que “lava” o aluno na forma de diagnósticos úteis de áreas fortes e fracas. O efeito
retroativo também inclui os efeitos de uma avaliação no ensino /aprendizagem antes da
avaliação propriamente dita, ou seja, na preparação para a avaliação. A avaliação da
performance informal é, por natureza, mais propícia a ter efeitos retroativos construtores
porque o professor está normalmente providenciando um feedback interativo. Testes formais
também podem tem efeito retroativo positivo, mas eles não provêm um efeito retroativo se os
alunos recebem apenas uma letra como nota, ou uma nota com um simples número genérico.
ix
Administradores têm sido firmes em um ponto: o uso do aumento dos resultados do
[TOEIC] como um elemento-chave no objetivo de avaliação do programa.... pode-se dizer
que houve pressão.... dos administradores para que os resultados continuem indo para cima.
x
No caso de testes de proficiência, estas tarefas são vistas como inerentes à natureza da
situação da comunicação na qual os candidatos estão sendo avaliados. Cautela, no entanto,
exige que nós esperemos até que evidências empíricas estejam disponíveis antes de fazer
afirmações no que diz respeito à identificação destas tarefas. Apenas depois de examinar se é
viável estabelecer objetivos adequados, através de pesquisa empírica baseada em pessoas
reais lidando com situações reais, que haverá algum campo para afirmarmos ter selecionado
um exemplo melhor de tarefas operacionais para avaliar a habilidade de desempenho.
xi
Teachers and learners do things they would not necessarily otherwise do because of the
test.