escala

PROMOVER 2012
MEDIDAS DE PROFICIÊNCIA
Arquimedes de Siracusa(em grego: Ἀρχιμήδης; Siracusa, 287 a.C. – 212
a.C.) foi um matemático, físico, engenheiro, inventor, e astrônomo grego.
Entre suas contribuições à Física, estão as fundações da hidrostática e da
estática, tendo descoberto a lei do empuxo e a lei da alavanca, além de
muitas outras. Ele inventou ainda vários tipos de máquinas para usos
militar e civil, incluindo armas de cerco, e a bomba de parafuso que leva
seu nome. Experimentos modernos testaram alegações de que, para
defender sua cidade, Arquimedes projetou máquinas capazes de levantar
navios inimigos para fora da água e colocar navios em chamas usando um
conjunto de espelhos.
Arquimedes é frequentemente considerado o maior matemático da
antiguidade, e um dos maiores de todos os tempos (ao lado de Newton,
Euler e Gauss). Ele usou o método da exaustão para calcular a área sob o
arco de uma parábola utilizando a soma de uma série infinita, e também
encontrou uma aproximação bastante acurada do número π.
Origem: Wikipédia, a enciclopédia livre.
“Há um limite para o que se pode
fazer com os números e há um
limite para o que se pode fazer
sem os números.”
Arquimedes de Siracusa.
Creio que ele quis dizer: FAÇA
BOM USO DOS NÚMEROS.
Falando de NÚMEROS:
Propriedades
Atributos
Operações
+-×÷
Valores
logarítmo
exponenciação
seno
cosseno
positivo
negativo
ZERO
Inteiro
Irracionais
Racionais
REAIS
Se a  R e b  R, então :
ab
ou
ab
ou
ab
e qualquer uma dessas situações
exclui as outras.
Reta Numérica
-4
-3
-2
-1
0
1
2
3
4
Não podemos evitar.
Parece que está no nosso
DNA. Comparamos tudo:
coisas objetivas e coisas
subjetivas
FAÇAMOS BOM USO
DAS COMPARAÇÕES.
Leitura 4º Ano do
Ensino Fundamental
Região 1
Região 2
Região 3
Leitura 7º Ano do
Ensino Fundamental
Região 1
Região 2
Região 3
Leitura 4º Ano do
Ensino Fundamental
Leitura 7º Ano do
Ensino Fundamental
-2
-1
Proficiência
Proficiência
Padronizada
Ano Escolar
207,2
5,4
4o Ano
217,7
4,6
7o Ano
0
1
2
3
4
5
6
4,6
4,6 < 5,4
5,4
Proficiência
Proficiência
Padronizada
Ano Escolar
207,2
5,4
4o Ano
217,7
4,6
7o Ano
4,6 < 5,4 como fica?
Estamos tratando com
escalas distintas
Um cão pesa 50 quilos
e um elefante pesa 4 toneladas
Proficiência
Proficiência
Padronizada
Ano Escolar
207,2
5,4
4o Ano
217,7
4,6
7o Ano
Proficiência => Escala SAEB, expressa o resultado do aluno do
Ensino Fundamental ou do Ensino Médio numa ÚNICA escala no
intervalo de 0 a 500, independentemente da série ou ano escolar.
Proficiência Padronizada 4º Ano EF=> expressa o resultado do
aluno do Quarto Ano Ensino Fundamental no intervalo de 0 a 10.
Proficiência Padronizada 7º Ano EF=> expressa o resultado do
aluno do Sétimo Ano Ensino Fundamental no intervalo de 0 a 10.
4º Ano EF
Banco
Itens
Comuns
Nacional
de Itens
7º Ano EF
Itens Comuns às Séries
Diferença
Relativa ao
4o Ano (%)
Número
de Itens
4o Ano
7o Ano
Diferença
Absoluta
Leitura
38,9
53,4
14,4
37,1
16
Matemática
34,3
53,5
19,2
56,0
17
Média
36,6
53,4
16,8
46,6
-
Disciplina
Teoria Clássica de Testes - TCT
Pontuação baseada na quantidade de acertos
TÓPICOS TRI
Itens Calibrados
Escala de Proficiência
Medidas de Evolução
A IDEIA DA TRI
TABULANDO RESULTADOS DE UM TESTE
IDADE
7,0
7,5
8,0
8,5
9,0
9,5
10,0
10,5
11,0
11,5
12,0
FREQ
55
57
60
61
60
61
60
55
60
62
56
IT1 IT2 IT3
0
0
0
8
0
9
10
5
5
12 12 15
20 16 22
26 23 28
30 31 29
35 30 33
54 40 41
59 54 53
56 56 56
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
TRATANDO O ITEM 1
IDADE
7,0
7,5
8,0
8,5
9,0
9,5
10,0
10,5
11,0
11,5
12,0
FREQ
55
57
60
61
60
61
60
55
60
62
56
IT1
0
8
10
12
20
26
30
35
54
59
56
PROPORÇÃO
0,00
0,14
0,17
0,20
0,33
0,37
0,50
0,67
0,85
0,92
1,00
PROPORÇÃO DE ACERTO NO ITEM 1
PROPORÇÃO
1,0
*
*
*
0,8
*
0,6
*
0,4
0,2
0,0
*7,0
*
*
*
7,5
8,0
8,5
*
9,0
*
9,5
10,0 10,5 11,0 11,5 12,0
IDADE
ACERTO NO ITEM 1
PROPORÇÃO
1,0
*
*
*
0,8
*
0,6
*
0,4
0,2
0,0
*
*
*
7,0 7,5
8,0
8,5
*
*
9,0
*
9,5
10,0 10,5 11,0 11,5 12,0
IDADE
CURVA CARACTERÍSTICA DO ITEM
CURVA CARACTERÍSTICA DO ITEM
P()
1
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
CURVA CARACTERÍSTICA DO ITEM
P()
1
c
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
CURVA CARACTERÍSTICA DO ITEM
P()
1
Item 1 tem
acerto ao
acaso maior
que item 2
1
c
2
c
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
CURVA CARACTERÍSTICA DO ITEM
P()
1
(1+c)
2
c
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
CURVA CARACTERÍSTICA DO ITEM
P()
1
(1+c)
2
c
0

b
 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
b = dificuldade
CURVA CARACTERÍSTICA DO ITEM
P()
1
1
Item 1 é
mais fácil
que item 2
2
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
b = dificuldade
CURVA CARACTERÍSTICA DO ITEM
P()
1
0
a

b
 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
a = discriminação
b = dificuldade
CURVA CARACTERÍSTICA DO ITEM
P()
1
1
Item 1
discrimina
mais que
item 2
2
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
c = probabilidade de acerto ao acaso
a = discriminação
b = dificuldade
CURVA CARACTERÍSTICA DO ITEM
P()
1
0

 = habilidade ou traço latente
P() = probabilidade de acerto no item
a = discriminação
b = dificuldade
c = probabilidade de acerto ao acaso
1-c
p(|a,b,c) = c + 1 + exp(-1.7a( - b))
CURVA CARACTERÍSTICA DO ITEM
P()
1
Estimar os
parâmetros
a, b e c é
chamado de
calibração dos
itens.
a
(1+c)
2
c
0
b

 = habilidade ou traço latente
P() = probabilidade de acerto no item
a = discriminação
b = dificuldade
c = probabilidade de acerto ao acaso
1-c
p(|a,b,c) = c + 1 + exp(-1.7a( - b))
M  N

rij   (1 rij   



L
p

q






  

 

j1  i 1


Determinar
a, b, c e θ que
a j , b j , c j  parâmetros do item j
maximizem L
  proficiênc ia ou habilidade latente
p  probabilid ade de acerto
q  probabilid ade de erro (1  p)
rij  resposta do aluno i ao item j (0 ou 1)
Na PROVA BRASIL, a equação do slide anterior
envolve aproximadamente 120.000.000 de parcelas
com a formulação abaixo:
 rij    (1 rij 

 p   q

Lembrando que p tem a expressão algébrica:
p=c+
1-c
1 + exp(-1.7a( - b))
Note-se que rij = 1 quando o aluno acerta o item e rij = 0
quando o aluno erra o tem. Portanto, a expressão
abaixo é igual a p em caso de acerto e é igual a q em
caso de erro. Isto quer dizer que tanto o erro quanto o
acerto do aluno são considerados no modelo, de forma
diferente, naturalmente.
 rij    (1 rij 

 p   q

Itens distintos têm valores distintos para p e q, ou seja,
contribuem de forma diferente no modelo. Em termos
mais objetivos: (1) se o aluno erra um item difícil é
menos penalizado que quando erra um item fácil e (2)
se um aluno acerta um item difícil é melhor pontuado
que quando acerta um item fácil.
Para o cálculo das proficiências dos
alunos, são rejeitados os itens:
- com discriminação baixa
- muito difíceis
- muito fáceis
- com acerto ao acaso alto
Na análise pedagógica, nenhum item é
rejeitado.
Itens Ordenados pela Dificuldade
Item 1
Item 2
0
Item 3
Item 4
Item 5
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Itens Ordenados pela Dificuldade
Itens 7º EF
Itens 4º EF
Item 1
Item 2
0
Item 3
Item 4
Item 5
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Proficiências dos Alunos
0
50 100 150 200 250 300 350 400 450 500
Prof 1
Prof 2
Prof 3
Prof 4
Prof 5
Prof 6
.........
.........
Proficiências dos Alunos
0
50 100 150 200 250 300 350 400 450 500
Prof 1
Prof 3
Prof 2
Prof 4
Alunos 4º EF
Prof 5
.........
Prof 6
.........
Alunos 7º EF
Escala de Proficiências
Dificuldade itens 7º EF
Dificuldade itens 4º EF
Item 1
Item 3
Item 2
0
Item 5
Item 4
.........
Item 6
.........
50 100 150 200 250 300 350 400 450 500
Prof 1
Prof 3
Prof 2
Prof 4
Proficiências 4º EF
Prof 5
.........
Prof 6
.........
Proficiências 7º EF
“Julgamento” da Escala
Matemática 4º Ano EF
Item 1
Item 3
Item 2
0
Item 5
Item 4
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Abaixo do Básico
Básico
Proficiente
Avançado
“Julgamento” da Escala
Matemática 7º Ano EF
Item 1
Item 2
0
Item 3
Item 5
Item 4
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Abaixo do Básico
Básico
Proficiente
Avançado
“Julgamento” da Escala SAEB
LINGUA PORTUGUESA
ABAIXO DO BÁSICO
MATEMÁTICA
5º ANO
9º ANO
5º ANO
9º ANO
<150
<200
<175
<225
BÁSICO
>150 e <200 >200 e <275
>175 e <225 ≥ 225 e <300
ADEQUADO
>200 e <250 >275 e <325
≥ 225 e <275 ≥ 300 e <350
AVANÇADO
≥250
≥325
≥275
≥350
“Julgamento” da Escala PROMOVER
LINGUA PORTUGUESA
ABAIXO DO BÁSICO
MATEMÁTICA
4º ANO
7º ANO
4º ANO
7º ANO
<135
<175
<150
<200
BÁSICO
>135 e <185 >175 e <250
>150 e <200 ≥ 200 e <275
PROFICIENTE
>185 e <235 >250 e <300
≥ 200 e <250 ≥ 275 e <325
AVANÇADO
≥235
≥300
≥250
≥325
“Julgamento” da Escala
Matemática 4º Ano EF
Item 1
Item 3
Item 2
0
Item 4
Item 5
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Abaixo do Básico
Em relação ao eixo Números e Operações, os alunos com
desempenho abaixo de 150 pontos demonstram uma
construção inicial das habilidades avaliadas.
“Julgamento” da Escala
Matemática 4º Ano EF
Item 1
Item 3
Item 2
0
Item 4
Item 5
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Básico
Os alunos que se encontram nesse intervalo utilizam e escrevem
corretamente números por extenso; escrevem a forma polinomial
de um número; realizam composições e decomposições de número;
reconhecem a representação gráfica de números racionais;
identificam a localização de números racionais na reta numérica;
resolvem situações-problema envolvendo mais de duas operações;
calculam divisões e resolvem problemas que exigem o uso de
divisões exatas com divisor de uma ordem.
“Julgamento” da Escala
Matemática 4º Ano EF
Item 1
Item 3
Item 2
0
Item 5
Item 4
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Proficiente
Os alunos, além de terem adquirido as habilidades citadas
no padrão anterior, demonstram ser capazes de calcular a
multiplicação de dois números, sendo o multiplicador de
dois algarismos; subtração de frações de denominadores
iguais e resolvem problemas envolvendo as diferentes
ideias da adição, subtração, multiplicação e divisão.
“Julgamento” da Escala
Matemática 4º Ano EF
Item 1
Item 2
0
Item 3
Item 4
Item 5
Item 6
.........
.........
50 100 150 200 250 300 350 400 450 500
Avançado
Nesse nível os alunos, além de terem adquirido as habilidades citadas
no padrões anteriores, realizam tarefas mais complexas, como calcular
o resultado de uma multiplicação de números naturais com multiplicando
de 3 algarismos e multiplicador de 2 algarismos. Efetuam, também,
divisão com divisor de dois algarismos. Resolvem situações-problema
envolvendo o cálculo simples de porcentagem (25%, 50%, 100%) e
compararam números racionais escritos na forma fracionária ou decimal.
“Julgamento” da Escala
Matemática 4º Ano EF
Proficiente
Avançado
Básico
Abaixo do Básico
0
50 100 150 200 250 300 350 400 450 500
Prof 1
Prof 2
Prof 3
Prof 4
Prof 5
Prof 6
.........
.........
Percentual de Participação, Proficiências e Padrões de Desempenho
Língua Portuguesa - 7º ano do Ensino Fundamental
Alunos
Proficiência
Padrão Porcentagem de Alunos por Padrão
de Desempenho
de
Desemp Abaienho na xo do Básic Profici- Avano
ente
çado
Região Básico
Previ
stos
Prese
ntes
Percentual
de
Presentes
Média
Padroni
zada
Desvio
Padrão
1818
1611
88,6
218,4
4,7
36,5
Básico
11,8
68,8
18,0
1,4
546
496
90,8
223,9
4,9
38,7
Básico
8,9
66,6
22,1
2,4
601
541
90,0
239,8
5,7
39,3
Básico
5,6
52,1
36,8
5,5
646
584
90,4
224,7
5,0
36,6
Básico
8,3
66,2
23,9
1,6
1106
986
89,2
218,3
4,7
41,7
Básico
17,9
58,2
21,1
2,8
690
599
86,8
217,7
4,6
36,8
Básico
13,2
67,2
18,2
1,5
141
121
85,8
209,1
4,2
35,4
Básico
18,5
71,2
10,3
-
698
621
89,0
212,1
4,4
38,2
Básico
18,3
64,4
16,1
1,2
Fonte: Banco de Dados da CONSULPLAN
Escola Padrão
O movimento Todos pela Educação estabeleceu cinco metas,
visando à melhoria da educação. Em uma delas determinou
que, pelo menos, 95% dos alunos tenham aprendido o que é
essencial para o(a) seu(sua) ano/série. Baseando-se nisso, foi
estabelecida uma distribuição percentual desejável dos níveis
da escala de proficiência, denominada “escola padrão”,
conforme tabela abaixo.
Escola Padrão segundo “Todos pela Educação”
Nível
Abaixo
do Básico
Percentual
de Alunos
5
Básico Proficiente
25
45
Avançado
25
Proficiência Padronizada
LÍNGUA PORTUGUESA
PP = Proficiência Padronizada
PF = Proficiência
Ano
Escolar
PP = 0
PP = 10
PP=PF x a + b
a
b
Proficiências
4o Ano menores ou
iguais a 100
Proficiências
maiores ou
iguais a 300
Demais
proficiências
0,05
-5,00
Proficiências
7o Ano menores ou
iguais a 125
Proficiências
maiores ou
iguais a 325
Demais
proficiências
0,05
-6,25
Proficiência Padronizada
MATEMÁTICA
PP = Proficiência Padronizada
PF = Proficiência
Ano
Escolar
PP = 0
PP = 10
PP=PF x a + b
a
b
Proficiências
4o Ano menores ou
iguais a 100
Proficiências
maiores ou
iguais a 300
Demais
proficiências
0,05
-5,00
Proficiências
7o Ano menores ou
iguais a 150
Proficiências
maiores ou
iguais a 325
Demais
proficiências
0,05714
-8,57143