Tradução e Estudo de Confiabilidade da Versão Brasileira do ESRD

Artigo Original
Tradução e Estudo de Confiabilidade da Versão Brasileira do
ESRD-SI (End Stage Renal Disease – Severity Index)
RESUMO
Objetivo: Traduzir o “End Stage Renal Disease – Severity Index (ESRD-SI)”
para a língua portuguesa e realizar o estudo de confiabilidade desta versão.
Material e Método: A tradução literal do ESRD-SI para o português foi feita por
um nefrologista, e a confiabilidade foi estimada pelo método de confiabilidade
entre diferentes avaliadores. Dois nefrologistas avaliaram, independentemente,
uma amostra de 20 pacientes inseridos em programa de hemodiálise crônica,
com intervalo máximo de dois dias entre a avaliação realizada por cada um
deles. Utilizou-se a estatística descritiva para caracterizar a amostra; para a
estimativa dos índices de confiabilidade utilizou-se o Coeficiente de Correlação
de Postos de Spearman, observou-se a concordância entre as classificações
em categorias e a concordância entre as pontuações totais obtidas nas
avaliações. Resultados: Obteve-se Coeficiente de Correlação de Spearman
de 0,994 (p< 0,001), concordância total (100%) na classificação das avaliações
em categorias e parcial (75%) quanto às pontuações totais. Conclusões: Os
resultados sugerem que a versão brasileira do ESRD-SI é confiável para ser
utilizada em pacientes com as características da amostra estudada. (J Bras
Nefrol 2005;27(2):57-62)
Descritores: Índice de gravidade de doença. Questionários. Tradução
(processo). Reprodutibilidade de resultados. Insuficiência renal. Diálise renal.
ABSTRACT
Translation and Inter-Rater Reliability of the Brazilian Version of the
ESRD-SI (End Stage Renal Disease – Severity Index).
Objective: Translate the End Stage Renal Disease – Severity Index (ESRD-SI)
questionnaire into Brazilian Portuguese and assess the reliability of the
translated version. Material and Methods: One nephrologist made the literal
translation of the ESRD-SI. The method of the inter-rater reliability was used to
evaluate the translated version: two nephrologists evaluated independently 20
patients with a diagnosis of End Stage Renal Disease that are part of a
haemodialysis program, with two days of maximum interval between
evaluations. To analyze the results between both evaluations and assess the
reliability of the instrument, we used Spearman’s Coefficient of Rank
Correlation, observing the agreement for total scores obtained in the ESRD-SI
by the evaluators and calculated summary statistics of the total scores. Results:
Spearman’s Coefficient of Rank Correlation was 0.994 (p< 0.001), total
agreement (100%) was obtained in the evaluation classification and partial in
the total scores (75%). Conclusions: The results obtained suggest that the
Patrícia Pinto Fonseca 1
AnaFrancisca F.de Oliveira 2, 3
MariadasGraçasdeOliveira 1, 4
José Alberto Del Porto 1
1 Departamento
de Psiquiatria e
Psicologia Médica da
Universidade Federal de São
Paulo (UNIFESP/EPM);
2 Departamento de Nefrologia da
Universidade Federal de São
Paulo (UNIFESP/EPM);
3 Departamento de Nefrologia da
Universidade de Alfenas, MG;
4 Departamento de Medicina
Preventiva da
Universidade de São Paulo
(USP)
Recebido em 26/11/2004
Aprovado em 23/05/2005
Este trabalho foi realizado através da Pós-Graduação do Departamento de Psiquiatria e Psicologia Médica da UNIFESP/EPM e a coleta
de dados foi realizada com pacientes inscritos no Programa de Hemodiálise do Hospital Santa Marcelina de São Paulo. Este estudo faz
parte de pesquisa de doutorado, em andamento, que recebeu verba de Auxílio Pesquisa da FAPESP.
Foi apresentado preliminarmente como pôster no 21º Congresso Brasileiro de Nefrologia, em setembro de 2002 na cidade de Brasília,
DF, com o título “Uma Escala Para a Avaliação Clínica Padronizada de Pacientes com Insuficiência Renal Crônica terminal: Tradução
e Estudo de Confiabilidade do ESRD-SI (End Stage Renal Disease – Severity Index)”.
ESRD-SI
58
Brazilian version of the ESRD-SI is reliable for use in
patients with the characteristics in the sample we
surveyed. (J Bras Nefrol 2005;27(2):57-62)
Keywords: Severity of illness index. Questionnaires.
Translating. Reproducibility of results. Kidney failure.
Renal dialysis.
INTRODUÇÃO
O Índice de Gravidade da Doença Renal Terminal
(ESRD-SI – End Stage Renal Disease – Severity Index)
foi desenvolvido por Craven, Littlefield, Rodin e Murray,
em trabalho conjunto dos Departamentos de Psiquiatria e
Nefrologia da Universidade de Toronto, Canadá, e
objetiva padronizar a avaliação médica, atentando para a
condição global do paciente. Foi criado para funcionar
como uma variável controlável, aplicável sobretudo em
estudos que envolvem a avaliação de fatores psicossociais
relacionados à Insuficiência Renal Crônica terminal (IRC
terminal). Além de sua utilidade em pesquisas, o ESRDSI é apropriado para o registro sistemático da evolução
clínica de pacientes em tratamento dialítico1.
Os estudos de validade e de confiabilidade realizados com o ESRD-SI na língua inglesa forneceram
resultados satisfatórios, atestando a consistência desse
instrumento1,2.
O ESRD-SI permite a realização de estudos metodologicamente mais rigorosos, pois possibilita a uniformidade da avaliação clínica e sua comparação com escalas psicológicas e sociais que venham a ser utilizadas.
Possibilita também, ao sistematizar o registro da gravidade da doença renal, o acompanhamento mais acurado
da evolução clínica de pacientes em programa de diálise
crônica. Vários estudos têm apontado para a alta prevalência de depressão em pacientes com Insuficiência Renal
Crônica (ESRD), sendo esta também associada à baixa
adesão ao tratamento e aumento de mortalidade3-5. O
ESRD-SI, ao padronizar a avaliação clínica, contribui
para o melhor desenvolvimento desses estudos e para a
detecção precoce de alterações clínicas que possam vir a
ser revertidas. Nesse sentido, o instrumento pode ser considerado um importante aliado para o exame e manutenção da qualidade do tratamento adotado para pacientes
com ESRD. Pela sua eficácia comprovada, o ESRD-SI
tem sido utilizado também como parâmetro na validação
de outros instrumentos 6-8.
Como não dispúnhamos de um instrumento equivalente na língua portuguesa, objetivamos neste trabalho
realizar a tradução do ESRD-SI e o estudo de confiabilidade da versão traduzida, procedimentos iniciais para
sua adaptação transcultural.
MATERIAL E MÉTODO
End Stage Renal Disease – Severity Index (ESRD-SI)
Consiste em 11 categorias que se referem às doenças, complicações e condições associadas mais comumente encontradas em pacientes com IRC terminal. Não
inclui distúrbios psiquiátricos e psicológicos, atendo-se a
alterações orgânicas. As categorias são: doenças cardiovasculares, doenças cérebro-vasculares, doença vascular
periférica, neuropatia periférica, doenças ósseas, doenças
respiratórias, danos visuais, neuropatia autonômica e distúrbios gastrointestinais, acesso e eventos em diálise, diabetes mellitus, e uma categoria residual (“outras”)1.
Cada categoria contém uma graduação de classificações possíveis que correspondem a valores numéricos
que foram calculados proporcionalmente para cada uma.
Essa proporção indica a gravidade orgânica do paciente
em cada categoria e é estabelecida de acordo com a pontuação obtida: zero – ausência de alterações, 1 a 3 pontos
– alteração bioquímica ou leve indicação de doença, 4 a 6
pontos – sinal físico de gravidade, desvantagem ou de
prognóstico moderado, 7 a 8 pontos – desvantagem física
ou prognóstico grave, e de 9 a 10 pontos – condição
iminentemente letal 1.
A gravidade global é obtida pela somatória das
pontuações obtidas nas 11 categorias e pode variar de
zero a 94, que são classificados assim: 0 ponto – ausência
de condição de doença (além da IRC terminal), 1 a 24
pontos – leve, 25 a 43 pontos – leve para moderada, 44 a
58 pontos – moderada, 59 a 76 pontos – moderada para
grave, 77 a 94 pontos – grave.1 A versão brasileira do
ESRD-SI pode ser observada ao final deste artigo
(anexo).
Tradução
Após contatados os responsáveis pelo instrumento
– A.C. Rydall e G. Rodin – e obtida a autorização para
utilizá-lo em nosso país, o ESRD-SI foi traduzido para o
português por um nefrologista.
Sujeitos
Uma amostra aleatória de 20 pacientes com diagnóstico de IRC terminal em Programa de Hemodiálise
Ambulatorial foi avaliada com o ESRD-SI. Os pacientes
avaliados foram os que chegavam ou saíam da sessão de
hemodiálise enquanto o médico fazia as avaliações em
sala próxima. Assim que se concluía a avaliação de um
paciente, o próximo a chegar ou deixar a hemodiálise era
convidado a passar pela avaliação. O segundo avaliador
J Bras Nefrol Volume XXVII - nº 2 - Junho de 2005
tinha que necessariamente abordar os mesmos pacientes,
seguindo a lista de nomes fornecida pelo primeiro avaliador e respeitando o limite de tempo estabelecido para a
ocorrência da segunda avaliação. Caso o limite de tempo
fosse ultrapassado, as avaliações não seriam incluídas na
amostra.
Estudo de Confiabilidade
Utilizando o método da confiabilidade entre diferentes avaliadores, dois nefrologistas avaliaram independentemente cada um dos 20 pacientes, com intervalo
máximo de dois dias entre as avaliações de um mesmo
paciente.
Análise Estatística
A amostra foi caracterizada em relação ao sexo,
idade e tempo de permanência em hemodiálise (em
meses). A observação do grau de concordância nas pontuações totais, da classificação em categorias entre as
duas avaliações e o Coeficiente de Correlação de Postos
de Spearman foi utilizada para aferir a confiabilidade da
versão brasileira do ESRD-SI.
59
Quanto à classificação nas categorias do ESRDSI, 16 (80%) pacientes obtiveram pontuação correspondente à categoria “leve” e 4 (20%), “leve para
moderado”; não houve divergência de classificação entre
os dois avaliadores em relação às categorias do
instrumento. Esses resultados podem ser observados
através da tabela 1.
Em relação à pontuação total obtida nas duas
avaliações, houve diferença quanto a 5 (25%) dos pacientes. Em 4 desses pacientes a pontuação nas avaliações teve variação de 2 pontos, e em 1 deles a variação foi de 4 pontos. A diferença de pontuação pode ser
observada na tabela 2. O valor da mediana obtida
através dos escores totais de cada avaliador foi o
mesmo (15). A média e desvio-padrão apresentaram
resultados diferentes, divergindo em 0,4 pontos na
média e 0,1 no desvio-padrão. O valor mínimo e
máximo do desvio-padrão foi o mesmo para ambos os
avaliadores. Esses dados podem ser observados através
da tabela 3.
O Coeficiente de Correlação de Spearman
calculado foi 0,994 (p< 0,001) e a figura 1 ilustra a
associação dos resultados obtidos independentemente
pelos 2 avaliadores. Não houve discordância quanto à
classificação em categorias (concordância= 100%).
RESULTADOS
Os pacientes apresentaram idades entre 17 e 80
anos, com média de 48 anos, mediana de 45,5 e desvio
padrão de 17,5. A amostra constituiu-se de 12 (60%)
pacientes do sexo feminino e 8 (40%) do sexo masculino.
O tempo médio em que estavam em hemodiálise foi de
29,5 meses, mediana de 21,5 meses e desvio-padrão de
29,61 (variação de 3 a 117 meses).
Tabela 3. Resumo estatístico dos escores totais obtidos pelos
avaliadores.
Média
Mediana
Desvio-padrão
Mínimo
Máximo
Avaliador 1
15,4
15,0
11,7
1,0
43,0
Avaliador 2
15,8
15,0
11,8
1,0
43,0
Tabela 1. Classificação dos pacientes nas categorias do ESRDSI pelos avaliadores.
Avaliador 1
Leve
Leve para moderado
Total
Leve
16
0
16
Avaliador 2
Leve para moderado
0
4
4
Total
16
4
20
Tabela 2. Pacientes com diferença de pontuação nas duas
avaliações.
Pacientes
Nº 03
Nº 08
Nº 12
Nº 13
Nº 14
Avaliador 1
27
23
11
10
17
Avaliador 2
29
21
13
12
21
Categorias do ESRD-SI
Leve para moderado
Leve
Leve
Leve
Leve
Figura 1. Correlação entre os escores totais obtidos pelo avaliador 1 e avaliador 2 no ESRD-SI.
ESRD-SI
60
DISCUSSÃO
O método da tradução direta foi adotado porque o
ESRD-SI consiste basicamente em termos objetivos que
nomeiam situações da doença, prescindindo assim do uso
da retro-tradução, procedimento de tradução mais rigoroso que visa garantir a equivalência semântica das versões de um instrumento9. Os responsáveis pela escala –
Rydall e Rodin – concordaram com o método de tradução
adotado.
Os pacientes foram avaliados individualmente
para que não houvesse possibilidade dos examinadores se
influenciarem no momento de seus registros. O intervalo
máximo de dois dias entre as duas avaliações de cada
paciente visou restringir as chances de alterações do
estado clínico a ser aferido. Assegurando-se que o modo
de aferição e as condições observadas se mantiveram
constantes, a confiabilidade do ESRD-SI, ou seja, o quanto este índice permite que um dado fenômeno seja precisamente mensurado, foi estimada através de medidas de
correlação e de concordância aplicadas aos resultados das
avaliações10-18.
Embora o uso da estatística Kappa (medida de
concordância para variáveis categoriais) seja a mais
indicada para se avaliar a confiabilidade de um instrumento, constatamos já ao tabular os dados que a concordância era absoluta (100%). Prescindiu-se, então, da aplicação do coeficiente de concordância Kappa, dado o
índice ter sido obtido diretamente. De fato, ao fazer-se o
cálculo observa-se que o resultado seria o mesmo (100%
de concordância para a classificação em categorias). Por
outro lado, apesar de o coeficiente de correlação não ser o
mais apropriado para se avaliar a confiabilidade de um
instrumento, ainda é muito utilizado e citado na literatura
científica. Optamos por utilizá-lo como forma de complementar nossa avaliação 19.
Os resultados dessas medidas apontaram para a
confiabilidade do instrumento (índices acima de 99%).
Em relação à concordância, observamos que foi absoluta
(100%) quanto à classificação em categorias do ESRD-SI
e parcial (75%) quando comparamos os resultados
numéricos obtidos pelos dois avaliadores (tabela 1). A
magnitude das diferenças encontradas nas pontuações foi
insuficiente para determinar a inclusão de um mesmo
paciente em categorias distintas e resultantes da ocorrência de erro casual, pois não se repetiram sistematicamente por toda a amostra ou entre os pacientes em que
houve diferença na pontuação total3,4.
Como a confiabilidade é inversamente proporcional à quantidade de erros existente, utilizar uma amostra pequena pressupõe adotar nível de significância mais
alto do que para amostras maiores, pois estão mais pro-
pensas à ocorrência de erro20. Norman e Streiner (1994)21
propõem uma fórmula para estabelecer valores mínimos
aceitáveis de correlações para amostras de diferentes
tamanhos, que podem ser obtidos nas tabelas de significância de correlações dos manuais estatísticos22. Assim,
o valor mínimo de correlação aceitável para uma amostra
de 10 pacientes seria de 0,75, para uma amostra de 30
seria de 0,52 e para uma amostra de 100 pacientes o valor
corresponderia a 0,31. Embora a amostra que estudamos
possa ser considerada pequena, ao adotarmos os
parâmetros referidos (p< 0,001 e valor de correlação
elevado) pudemos assegurar que os resultados seriam de
fato indicativos da confiabilidade do instrumento.
A amostra estudada, embora heterogênea (vide dados demográficos em resultados), não abrangeu classificações em todas as categorias possíveis do ESRD-SI,
concentrando-se em gravidades mais brandas (leve e leve
para moderado). É possível que pacientes com maiores
índices de gravidade encontrem-se em situação de internação hospitalar e por isso não tenham sido contemplados
em nossa amostra, que avaliou apenas pacientes em
hemodiálise ambulatorial. Nosso objetivo foi estimar a
precisão da versão brasileira do ESRD-SI quando utilizado por diferentes avaliadores e, assim, o quadro clínico
em si não era objeto de interesse do estudo realizado.
Supomos que os índices de confiabilidade obtidos se
manteriam similares com a inclusão da classificação nas
demais categorias, dada a concordância observada entre
os avaliadores quanto ao registro da avaliação clínica no
ESRD-SI. A rigor contudo, é necessário que esta hipótese
seja testada, realizando-se estudo cuja amostragem
contemple classificações em todas as categorias do
ESRD-SI.
CONCLUSÃO
A versão brasileira do ESRD-SI demonstrou ser
confiável para pacientes com as características da amostra
estudada, sendo viável sua utilização na prática clínica e
em pesquisas com populações similares.
AGRADECIMENTOS
Agradecemos ao Hospital Santa Marcelina de São
Paulo, ao Dr. Rui Antônio Barata, Dr. Alberto Fernandes
e equipe de enfermagem por permitirem e facilitarem a
avaliação de pacientes inscritos em seu Programa de
Hemodiálise; à Dra. Célia M.H. Watanabe pela colaboração na realização das avaliações, e aos pacientes pela
prontidão com que aceitaram participar desse estudo.
J Bras Nefrol Volume XXVII - nº 2 - Junho de 2005
61
ÍNDICE DE GRAVIDADE DA DOENÇA RENAL TERMINAL (ESRD-SI)
NOME:
DATA:
TEMPO DE DIÁLISE:
IDADE:
Por favor, classifique a severidade da(s) doença(s) orgânica(s) que você determinou estar(em) presente(s) neste paciente no momento. Guie-se pelos
exemplos dados, atribuindo uma classificação para cada uma das categorias preenchidas através de uma “marca” em cada uma das escalas dadas.
Coloque uma marca na coluna ausente se a doença for ausente. As classificações devem ser baseadas na natureza da doença orgânica subjacente e
devem ser feitas independentemente das reações do paciente à doença.
Categoria da Doença
Classificação da Gravidade
Doença Cardíaca
Ausente
Suave
Ex: Angina ocasional
aos esforços
Moderada
Ex: Angina com
ou sem falência cardíaca
Grave
Ex: Angina severa ou
falência cardíaca,
incapacidade aos
mínimos esforços
Doença Vascular
Cerebral
Ausente
Suave
Ex: TIA ocasional
ou amaurose fugaz
Moderada
Ex: TIA recorrente
Grave
Ex: (AVC) com déficit
Neuropatia Periférica
Ausente
Suave
Ex: Parestesia
Moderada
Ex: Desordens sensitivas
Grave
Ex: Miopatia
Doença Vascular
Cerebral
Ausente
Suave
Ex: TIA ocasional ou
amaurose fugaz
Moderada
Ex: TIA recorrente
Grave
Ex: (AVC) com déficit
Doença Óssea
Ausente
Suave
Ex: Mínimos sintomas,
alterações bioquímicas
e radiológicas
Moderada
Ex: Dor óssea sempre
presente: alterações
evidentes radiológicas
Grave
Ex: Fraturas patológicas
Doenças Respiratórias
Ausente
Suave
Ex: SOB com
períodos de bronquite
Moderada
Ex: SOB aos esforços
moderados, infecções
respiratórias freqüentes
Grave
Ex: SOB ao respouso
Dano Visual
Ausente
Suave
Ex: Visão não é clara
como antes, incapaz
de ver detalhes, pode
ler com pequeno esforço
Moderada
Ex: Não consegue dirigir
devido a dano visual,
capaz de ler “outdoors”
Grave
Ex: Incapaz de ler mesmo
letras grandes, incapaz
de se mover sem
apoio, não vê TV
Neuropatia Autonômica
& Distúrbios GI
Ausente
Suave
Ex: Náuseas,
sensação de
fraqueza pós-diálise
Moderada
Ex: Náuseas,
vômitos, síncope
ocasional
Grave
Ex: Vômito toda
diálise, síncope
pós-diálise
Acesso & Eventos da
Diálise
Ausente
Suave
Ex: Mal posicionamento
ocasional, facilmente
corrigível
Moderada
Ex: Peritonite, infecção
de cateter, baixo fluxo
Grave
Ex: Falência de membrana,
múltiplos surtos de
peritonite,trombose,
hemorragia pulmonar
Diabetes
Ausente
Suave
Ex: Não insulinodependente
Moderada
Ex: Hipoglicemia
ocasional,
glicemia elevada
Grave
Ex: Freqüente
hipoglicemia ou
cetoacidose
Outros (Especificar)
Ausente
Suave
Moderada
Grave
PONTUAÇÃO
Cada categoria da doença no ESRD-SI pode ser classificada em “Ausente” ou em um dos 5 pontos da escala de gravidade.
A pontuação mínima de cada categoria é “Zero”, a pontuação máxima é “Dez”.
A pontuação para cada classificação possível é ponderada. O ESRD-SI corresponde à soma das pontuações obtidas nas 11 categorias.
- Doença Cardíaca:
- Doença Vascular Cerebral
- Doença Vascular Periférica
- Neuropatia Periférica
- Doenças Ósseas
0
0
0
0
0
-
3
5
3
2
1
-
5
6
4
3
3
-
6
7
5
4
5
-
8
8
7
5
7
-
10
9
8
7
8
- Doenças Respiratórias:
- Dano Visual
- Neuropatia Autonômica & Distúrbios GI
- Acesso & Eentos da Diálise
- Diabetes
- Outros
0
0
0
0
0
0
-
3
2
2
1
1
1
-
5
4
4
4
3
2
-
6
5
5
6
5
4
-
8
6
7
7
7
6
-
10
8
8
9
9
8
Total de Pontos:_______
J. Craven, C. Littlefield, G. Rodin, M. Murray (1991). Departments of Psychiatry and Nefrology, Toronto Hospital, University of Toronto, Canadá.
Tradução e adaptação brasileira: Patrícia P. Fonseca / Ana F. F. de Oliveira.
ESRD-SI
62
REFERÊNCIAS
1. Craven J, Littlefield C, Rodin G, Murray M. The end-stage
renal disease severity index (ESRD-SI). Psych Med
1991;21:237-43.
2. Griffin KW, Friend R, Wadhwa NK. Measuring disease
severity in patients with end-stage renal disease: validity of
the Craven et al. ESRD Severity Index. Psych Med
1995;25:189-93.
3. Kimmel PL, Peterson RA, Weihs KL, Simmens SJ, Alleyne S,
Cruz I, et al. Psychosocial factors, behavioral compliance and
survival in urban hemodialysis patients. Kidney Int
1998;54:245-54.
4. Kimmel PL. Psychosocial factors in adult end-stage renal
disease patients treated with hemodialysis: correlates and
outcomes. Am J Kidney Dis 2000;35:132-40.
5. Kimmel PL, Peterson RA, Weihs KL, Simmens SJ, Alleyne S,
Cruz I, et al. Multiple measurements of depression predict
mortality in a longitudinal study of chronic hemodialysis
outpatients. Kidney Int 2000;57:2093-8.
6. Penley JA, Nwosu AN, Wiebe JS. Psychometric properties of
the Spanish Beck Depression Inventory-II in a medical
sample. Psych Assess 2003;15:569-77.
7. Maor Y, King M, Olmer L, Mozes B. A comparison of three
measures: the time trade-off technique, global health-related
quality of life and the SF-36 in dialysis patients. J Clin
Epidemiol 2001;54:565-70.
8. Devins GM, Mendelssohn DC, Barré PE, Binik YM.
Predialysis psychoeducational intervention and coping styles
influence time to dialysis in chronic kidney disease. Am J
Kidney Dis 2003;42:693-703.
9. Streiner DL, Norman GR. Health measurement scales: a
practical guide to their development and use. New
York:Oxford University Press, 1989.
10. Carmines EG, Zeller RA. Reliability and validity assessment.
2nd ed., USA:SAGE Publications, 1979. p. 5-71.
11. Rust J, Golombok S. Modern psychometrics: the science of
psychological assessment. 3rd ed., London:Routledge,
1995. p. 69-88.
12. Fletcher RH, Fletcher SW, Wagner EH. Epidemiologia
clínica: elementos essenciais. 3a ed., Porto Alegre:Artes
Médicas, 1996.
13. Bartko JJ, Carpenter WT. On the methods and theory of
reliability. J Nerv Mental Dis 1976;163:307-17.
14. Crocker L, Algina J. Introduction to classical and modern
test theory. USA:Harcourt Brace Javonovich Collegge
Publishers, 1986. p. 105-54.
15. Cronbach LJ. Fundamentos da testagem psicológica. 5e ed.,
Porto Alegre:Artes Médicas, 1996. p. 138-201.
16. Siegel S, Castellan Jr. NJ. Nonparametric statistics for the
behavioral sciences. 2nd ed., Singapore:McGraw-Hill
International Editions, 1988.
17. Cohen
BH.
Explaining
psychological
statistics.
USA:Brooks/Cole Publishing Company, 1996. p. 325-47.
18. Fleiss JL. Measuring agreement between two judges on the
presence or absence of a trait. Biometrics 1975;31:651-9.
19. Grove WM, Andreasen NC, McDonald-Scott P, Keller MB,
Shapiro RW. Reliability studies of psychiatric diagnosis. Arch
Gen Psych 1981;38:408-13.
20. Levin J. Estatística aplicada a ciências humanas. 2ª edição,
São Paulo:Harbra, 1987.
21. Norman GR, Streiner DL. Biostatistics the bare essentials.
USA:Mosby-Year Book Inc., 1994.
22. Anastasi A. Testes psicológicos. 2ª edição, São Paulo:EPU,
1977. p. 3-146.
Endereço para correspondência:
Patricia Pinto Fonseca
Rua Borges Lagoa 564, conjuntos 51 e 52
04038-001 São Paulo, SP
Telefone/fax: (11) 5549-5270
E-mail: [email protected] / [email protected]