Descoberta de Conhecimento em Prontuários Eletrônicos

Descoberta de Conhecimento em Prontuários Eletrônicos
Stanley Loh1,2, Maurício Almeida Gameiro4,6, Fábio Leite Gastal4,5, José
Palazzo M. de Oliveira3
1
Universidade Católica de Pelotas (UCPEL) – Escola de Informática
Universidade Luterana do Brasil (ULBRA) – Faculdade de Informática
3
Universidade Federal do Rio Grande do Sul (UFRGS) - Instituto de Informática
4
Clínica Olivé Leite, Pelotas – RS
5
Universidade Católica de Pelotas (UCPEL) – Escola de Medicina
6
Agência Nacional de Vigilância Sanitária (ANVISA) – Gerência Geral de Medicamentos
Genéricos
2
Resumo. Este trabalho apresenta uma estratégia para descoberta de conhecimento em
prontuários eletrônicos. Os prontuários contêm informações textuais sobre os pacientes. O
fundamento é identificar características dos pacientes nos textos, para depois realizar análises
estatísticas sobre as características extraídas. Isto permite explorar o conhecimento disponível
em textos para aquisição de conhecimento novo ou para validação do conhecimento contido
nos prontuários. Experimentos de descoberta de conhecimento foram realizados com
prontuários de uma clínica psiquiátrica. A validação da estratégia consistiu em embutir o
conhecimento descoberto num sistema automatizado de apoio à decisão e depois avaliar a
margem de erro deste sistema para classificação de novos casos.
Palavras-chave: análise de textos, prontuários eletrônicos, descoberta de conhecimento.
Abstract: This work presents an approach for knowledge discovery from electronic medical
records. Medical records have textual information about patients. The hypothesis is that
software tools can extract patient’s characteristics analyzing the texts and after that identify
statistical patterns. The benefit is to explore the knowledge available in textual records in order
to find new knowledge or to validate the knowledge codified in the records. Knowledge
discovery experiments were carried out with medical records of a psychiatric hospital. For
evaluating the approach, the discovered knowledge was embedded in an automated system
whose goal was to find the diagnosis of new cases.
Key-words: text analysis, electronic medical records, knowledge discovery.
Uma dificuldade para este tipo de análise
é que boa parte das informações em um
prontuário aparece de forma textual. Isto
não chega a ser anormal, já que 80% das
informações de uma organização estão
contidas em textos (TAN, 1999).
Na área de Informática, há estudos de
técnicas e ferramentas para Descoberta de
Conhecimento
em
Textos
(Knowledge
Discovery in Texts - KDT). Tais técnicas e
ferramentas permitem analisar textos e
descobrir conhecimento novo que encontrase implícito (FELDMAN & DAGAN, 1995).
Este trabalho apresenta uma estratégia
para análise qualitativa e quantitativa de
conhecimento
contido
em
prontuários
Introdução
Com o crescente uso de computadores
na área de saúde, como em hospitais e
clínicas, cada vez mais informações estão
sendo armazenadas em meios eletrônicos.
Um desafio especial é manter todas as
informações do paciente em um prontuário
eletrônico. Tal prontuário pode auxiliar na
tomada de decisões e no melhor controle do
tratamento de pacientes. Além disto, o
conjunto de informações disponíveis nos
prontuários pode ser analisado para a
descoberta de conhecimento novo ou
validação de informações.
1
eletrônicos de uma clínica psiquiátrica. Os
prontuários contêm informações sobre os
pacientes internados (laudos de internação
e evoluções) e são escritos em textos livres
por profissionais da área de saúde
(médicos, psicólogos, enfermeiros, etc.). A
análise qualitativa permite identificar sobre o
que os textos tratam. No caso dos
prontuários,
podem
ser
identificadas
características dos pacientes ou o que estes
mencionaram durante a entrevista de
avaliação inicial. Já a análise quantitativa
permite identificar padrões estatísticos sobre
estas características, de acordo com grupos
de pacientes (por exemplo, divididos por tipo
de diagnóstico).
A hipótese deste trabalho é que a
aplicação de ferramentas de software, mais
especificamente de KDT, sobre prontuários
textuais permite extrair conhecimentos
sobre doenças, padrões de preenchimento
dos
prontuários,
comportamento
dos
pacientes, perfil, entre outros. Neste artigo,
é discutida a aplicação da estratégia na
área de psiquiatria. A avaliação da
qualidade da estratégia foi feita através da
incorporação do conhecimento descoberto
em um sistema automático para apoio à
decisão. O rendimento satisfatório deste
sistema no diagnóstico de novos casos
confirma a hipótese inicial.
não possuem explicitamente conceitos, mas
sim palavras (SOWA, 2000), a extração de
conceitos deve ser feita analisando-se o
conjunto todo de termos presentes no texto.
Nas seções a seguir, estas etapas são
descritas em maiores detalhes. Os métodos
computacionais utilizados são discutidos em
LOH et al. (2001).
Análise Qualitativa
O objetivo desta etapa é identificar os
conceitos presentes nos textos. Este é um
processo semi-automático, ou seja, é
realizado por pessoas com auxílio de
ferramentas de software.
É necessário definir os conceitos
relevantes
e
as
regras
para
sua
identificação no texto.
A definição de um conceito deve ser feita
através de uma ou mais regras, nas quais
devem ser indicados termos positivos e
termos negativos. Para um conceito estar
presente numa frase, todos os termos
positivos devem estar presentes na frase e
nenhum termo negativo pode aparecer. Se
uma das regras for verdadeira para a rfase
sendo analisada, então o conceito está
presente na frase e, conseqüentemente, no
texto. Por exemplo, o conceito “alcoolismo”
pode ser definido em parte pelas regras (o
símbolo “–” indica um termo negativo):
(i) álcool –nega
(ii) hálito etílico
O termo negativo “nega” aparece para
eliminar frases como “o paciente nega uso
de álcool”.
Estratégia para Descoberta de
Conhecimento
A estratégia para descoberta de
conhecimento é dividida em duas etapas.
Primeiro é feita uma análise qualitativa dos
textos contidos nos prontuários eletrônicos,
procurando identificar conceitos do mundo
real, ou seja, que temas são mencionados
nos textos. A segunda etapa realiza a
análise quantitativa sobre os conceitos
identificados,
para
extrair
padrões
estatísticos.
O fundamento básico é aplicar técnicas
estatísticas sobre conceitos extraídos de
textos, ao invés de trabalhar diretamente
com as palavras dos textos. Palavras
podem gerar problemas de ambigüidade
devido ao uso de sinônimos, de termos
polisêmicos (com mais de um significado) e
de variações léxicas (gênero, número e
conjugações
verbais).
Conceitos
representam melhor que palavras os
objetos, eventos, sentimentos, ações, etc.
do mundo real. Entretanto, como os textos
Análise Quantitativa
Esta etapa aplica técnicas estatísticas
sobre os conceitos identificados na etapa
anterior. Duas técnicas específicas estão
sendo usadas nesta estratégia: a análise de
distribuição e a técnica associativa.
A técnica de análise de distribuição
verifica a freqüência com que ocorrem os
conceitos num conjunto de textos (pode ser
a coleção toda ou parte dela). O resultado é
uma lista de conceitos e suas freqüências.
Isto permite analisar que temas são mais
dominantes e quais aparecem menos.
Também é possível comparar uma lista com
outra (por exemplo, listas de duas subcoleções diferentes). Assim, podem ser
encontrados temas comuns em duas
coleções ou temas exclusivos e também
disparidades
ou
similaridades
nas
freqüências dos conceitos.
2
Já a técnica associativa descobre
relações ou associações entre conceitos.
Isto funciona como uma probabilidade
condicional, permitindo predizer a presença
de um conceito em função da presença de
outro.
Os resultados são expressos na forma
de regras do tipo X è Y (onde X pode ser
um ou mais conceitos e Y somente um
conceito). A regra significa que “se X está
presente em um texto, então Y também está
presente com um certo grau de certeza”.
O grau de certeza é dado por valores de
confiança (confidence) e suporte (support).
De acordo com a analogia proposta por LIN
et al. (1998), a interpretação do grau de
confiança (confidence) para uma regra
associativa do tipo X è Y é a proporção de
textos que possuem X e Y em relação ao
número de textos que possuem somente X.
Da mesma forma, o suporte da mesma
regra (support) é interpretado como o
número de textos onde X e Y estão
presentes (ou a proporção em relação à
coleção toda).
Para cada prontuário havia associado
um
diagnóstico,
para
representar
o
transtorno mental ou comportamental do
paciente, o qual foi definido por um médico
da clínica em um processo real e prévio de
diagnóstico. Entretanto, a indicação do
diagnóstico não estava explicitamente
expressa no texto. A classificação usada
para o diagnóstico segue a Classificação
Internacional de Doenças, décima revisão
(CID-10),
conforme
o
CENTRO
BRASILEIRO DE CLASSIFICAÇÃO DE
DOENÇAS (1989). Foram usadas somente
as classes de primeiro nível do CID-10, as
quais correspondem aos diagnósticos mais
freqüentes na clínica estudada, a saber:
a) esquizofrenia,
b) transtornos mentais orgânicos,
c) transtornos do humor (afetivos) e
d) transtornos
mentais
e
comportamentais devidos ao uso
de substância psicoativa.
Os conceitos foram selecionados e
definidos a partir do CID-10, o qual foi
refinado
com
termos
extraídos
de
dicionários técnicos. Além disto, foi
necessário ampliar o conjunto de termos
para identificação dos conceitos, uma vez
que termos muito específicos do local eram
usados.
Por
exemplo,
o
conceito
“alcoolismo” poderia aparecer em frases
como “o paciente faz uso de destilados”.
Neste caso, ferramentas automatizadas de
análise
léxica
puderam
auxiliar
na
identificação dos termos usados pelos
profissionais do local para descrição de
sintomas e sinais.
As definições finais dos conceitos e das
regras de extração foram validadas por
profissionais da área. Foram selecionados
65 conceitos referentes a características do
paciente e 32 conceitos referentes a
remédios.
Primeiro, a coleção de treino foi dividida
em 4 sub-coleções, correspondendo aos 4
grandes
grupos
de
diagnóstico
(esquizofrenia,
transtornos
orgânicos,
afetivos e devidos a substâncias). Cada
sub-coleção continha os textos referentes
aos laudos de internação de pacientes com
o determinado diagnóstico associado.
Depois,
foi
feita
a
descoberta
de
conhecimento
(análises
qualitativa
e
quantitativa) sobre cada sub-coleção de
textos (etapa de treino), resultando em listas
de distribuição de conceitos e associações
entre conceitos. Este resultados foram
tomados para representar as características
Experimentos e resultados
Experimentos foram realizados aplicando
a
estratégia
de
descoberta
sobre
prontuários
eletrônicos
da
Clínica
Psiquiátrica Olivé Leite. Foram utilizados os
laudos de internação dos pacientes da
clínica. Estes laudos contêm textos escritos
em linguagem natural livre pelos médicos a
partir de informações colhidas na entrevista
de internação do paciente. O laudo procura
especificar a histórica pregressa do
paciente, seu comportamento social e
familiar, seus hábitos e os sintomas e sinais
identificados pelo médico durante a
entrevista. Na entrevista, também pode
participar algum familiar ou a pessoa que
acompanha o paciente. Neste caso, o laudo
ainda contém impressões destas pessoas
sobre o paciente.
Foram
coletados
400
prontuários,
correspondendo a internações feitas na
clínica durante aproximadamente 4 meses.
Cada prontuário é referente a um único
paciente. A coleção foi dividida em duas
partes, com 200 textos cada. A primeira
parte foi usada para descoberta de
conhecimento (coleção de treino) e a
segunda sub-coleção foi utilizada para
avaliação do conhecimento descoberto,
através do sistema automatizado de apoio à
decisão (coleção de teste).
3
dos
pacientes
de
cada
grupo
de
diagnóstico.
Para
validação
do
conhecimento
descoberto, foram feitas as seguintes
avaliações:
- o grau de acerto na identificação dos
conceitos foi avaliado; e
- o conhecimento descoberto foi avaliado
indiretamente, sendo embutido num sistema
automatizado de apoio à decisão e este
sendo avaliado por seus resultados.
O sistema
automatizado é um
classificador que associa um diagnóstico a
textos da coleção de teste, analisando os
conceitos presentes no texto. Neste
processo de classificação, o sistema
automatizado
deveria
identificar
características (conceitos) nos textos e
compará-las com as que descrevem cada
grupo de diagnóstico.
A extração dos conceitos foi feita da
mesma maneira que na etapa de
descoberta do conhecimento (sobre a
coleção de treino).
Os resultados foram medidos utilizando
os graus de abrangência (recall) e precisão
(precision). O grau de abrangência (ABR) é
calculado
pelo
número
de
textos
corretamente associados a uma classe
dividido pelo número de textos que
realmente pertencem à classe. Já a
precisão (PR) é o número de textos
corretamente associados a uma classe
dividido pelo número de textos que foram
associados à mesma classe (LEWIS, 1991).
Admitindo que ambas as medidas são
igualmente importantes, utilizou-se ainda a
medida F-measure, calculada por
entre os valores de Microaveraging
measure e Macroaveraging F-measure.
F-
Avaliação da Identificação de
Conceitos
Especialistas do domínio analisaram 50
textos extraídos da coleção de teste,
tomados como amostra representativa desta
coleção. Os especialistas indicaram os
conceitos
específicos,
relativos
às
características
dos
pacientes,
que
apareciam em cada texto. Não foram
avaliados todos os conceitos, mas somente
os 12 mais complexos. Os demais conceitos
foram considerados simples por terem
descrições simples.
A média entre Microaveraging Fmeasure e Macroaveraging F-measure
resultou no valor de 91%, ou seja, a
identificação dos conceitos pela estratégia
obteve uma margem de erro menor que
10%.
Avaliação do Conhecimento
Descoberto
Diferentes métodos foram avaliados para
caracterizar cada grupo de diagnóstico.
Lembrando
que
os
resultados
da
descoberta de conhecimento (etapa de
treino) eram, para cada grupo de
diagnóstico, uma lista de conceitos e suas
freqüências e as associações entre
conceitos, diferentes combinações destes
conceitos poderiam ser usadas para
caracterizar os pacientes da classe.
A seguir são descritos os métodos
avaliados e apresentados os valores
resultantes
para
a
média
entre
Microaveraging
F-measure
e
Macroaveraging F-measure:
2 * PR * ABR / (PR + ABR)
conforme LEWIS & GALE (1994).
Uma vez que havia 4 classes, foram
também
utilizadas
as
medidas
de
microaveraging e macroaveraging (LEWIS,
1991) para se obter o resultado geral de
cada método para a coleção toda.
Microaveraging considera a coleção toda
como uma única classe e então avalia os
graus de abrangência e precisão sem
distinção de classes. Já a medida de
Macroaveraging primeiro calcula a precisão
e abrangência em cada classe e então
extrai os valores médios para a coleção
toda.
Para comparação dos resultados finais,
uma medida adicional foi usada para
encontrar o melhor desempenho: a média
a) utilizando todos os conceitos de cada
lista para caracterizar cada classe de
diagnóstico è 0,44;
b) usando apenas os conceitos menos
freqüentes (probabilidade < 50%) de cada
lista è 0,62;
c) usando pares de conceitos presentes
nas associações è 0,51;
d) usando pares de conceitos presentes
nas associações, mas somente os pares
exclusivos de cada classe è 0,57;
4
e) usando todos os conceitos de cada lista
mais os pares de conceitos extraídos das
associações è 0,52.
O trabalho também demonstrou ser
importante registrar informações sobre
pacientes em prontuários eletrônicos. Com
auxílio de ferramentas de KDT, é possível
descobrir conhecimento implícito nos textos.
Nos experimentos realizados, foi possível
descobrir conhecimento sobre diagnósticos.
Este conhecimento apresentava-se na
forma de distribuições e associações de
características presentes em pacientes com
determinado
diagnóstico.
Também
foi
possível identificar o perfil dos pacientes da
Clínica
estudada.
Tais
descobertas
permitem avaliar as decisões tomadas e
podem suportar decisões futuras.
Entre os planos para o futuro está o
estudo de técnicas de seqüência de tempo,
as quais analisam conceitos em coleções
contendo textos em seqüência. Desta forma,
espera-se descobrir conhecimento sobre a
internação dos pacientes analisando os
laudos de evolução contidos no prontuário
eletrônico. A hipótese é que deve haver
padrões nas seqüências de conceitos de
uma evolução para outra, durante a
internação do paciente.
O método que utiliza somente conceitos
exclusivos de cada lista não foi avaliado por
não terem sido encontrados conceitos
exclusivos (todos os conceitos apareciam
em mais de um grupo de diagnóstico).
O melhor método de caracterização
obteve uma média de 62% de acertos (uma
margem de erro próxima de 38%).
Apresentando estes resultados para os
médicos especialistas que participaram do
experimento,
eles
consideraram
os
resultados numéricos satisfatórios, uma vez
que desempenhos maiores que 60% são
melhores que algumas decisões de
especialistas humanos.
Conclusões
Este trabalho apresentou uma estratégia
para descoberta de conhecimento em
prontuários
eletrônicos.
Como
os
prontuários contêm informações em formato
textual, a estratégia utiliza ferramentas de
software, mais especificamente de KDT,
para
realizar
análises
qualitativa
e
quantitativa dos textos.
A
estratégia
identifica
padrões
estatísticos sobre conceitos identificados
nos textos. Conceitos referem-se a “coisas”
do mundo que foram mencionadas nos
textos. Na análise dos prontuários, os
conceitos representavam características dos
pacientes da clínica psiquiátrica.
Nos experimentos realizados, os textos
foram separados por diagnóstico. Isto
permitiu identificar características dos
grupos de pacientes, ou seja, o perfil dos
pacientes de cada diagnóstico.
Uma das vantagens da estratégia é
minimizar o esforço humano para codificar e
depois analisar informações em textos.
Assim, as pessoas podem gerar textos
livres, sem preocupações com formatos ou
estilos de linguagem, e estes podem depois
serem
analisados
com
auxílio
de
ferramentas automatizadas.
Os
resultados
das
avaliações
demonstraram que a estratégia é viável para
extrair conhecimento confiável de coleções
textuais. Uma margem de erro de 38% no
sistema automatizado utilizado para teste
confirma que o conhecimento descoberto (e
embutido no sistema) era de qualidade e
condizente com a realidade.
Agradecimentos
A Clínica Psiquiátrica Olivé Leite de
Pelotas, RS, desenvolve pesquisas com o
apoio
do
Fundo
de
Incentivo
ao
Desenvolvimento do Ensino e da Pesquisa
em Saúde (FIDEPS, Ministério da Saúde).
Referências Bibliográficas
CENTRO
BRASILEIRO
DE
CLASSIFICAÇÃO DE DOENÇAS Centro Colaborador da OMS para a
Classificação de Doenças em Português
(1989), Classificação Internacional de
Doenças e de Problemas Relacionados
a Saúde. 10. ver. São Paulo: EDUSP.
Feldman, Ronen & Dagan, Ido. (1995),
“Knowledge
discovery
in
textual
databases (KDT)”, Proceedings of the
International Conference on Knowledge
Discovery, Montreal, 1995.
Lewis, David D. (1991), “Evaluating text
categorization”, Proceedings of the
Speech
and
Natural
Language
Workshop, Asilomar, p.312-318, 1991.
5
Lewis, David D. & Gale, William A. (1994),
“A sequential algorithm for training text
classifiers”, Proceedings of the ACMSIGIR Conference on Research and
Development in Information Retrieval,
Dublin, p.3-12, 1994.
Lin, Shian-Hua et al. (1998), “Extracting
classification knowledge of Internet
documents
with
mining
term
associations: a semantic approach”,
Proceedings
of
the
ACM-SIGIR
Conference
on
Research
and
Development in Information Retrieval,
1998.
Loh, Stanley; Moreira, José P. M. ; Gastal,
Fábio L. (2001). "Knowledge discovery
in textual documentation: qualitative and
quantitative
analyses".
Journal
of
Documentation, v.57, n.5, Setembro,
pp.577-590.
Sowa, John F. (2000) Knowledge
representation: logical, philosophical,
and
computational
foundations.
Pacific Grove: Brooks/Cole Publishing
Co., 2000.
Tan, Ah-Hwee. (2001), “Text mining: the
state of the art and the challenges”,
Proceedings
of
the
Pacific-Asia
Workshop on Knowledge Discovery
from Advanced Databases, Beijing,
p.65-70, 1999.
Contatos
Os autores podem ser contatados pelos
seguintes endereços de e-mails:
Stanley Loh:
[email protected]
Maurício Almeida Gameiro:
[email protected]
Fábio Leite Gastal:
[email protected]
José Palazzo M. de Oliveira:
[email protected]
6