Uma ferramenta de mineração de imagens para suporte ao cálculo

Uma ferramenta de mineração de imagens para suporte ao
cálculo de idade gestacional de recém-nascidos
*
Bellon, Olga R. P.; Silva, Luciano; Cat, Mônica;
Vieira, Everton V.; Araújo, Anderson V.
Departamento de Informática – Grupo Imago – Universidade Federal do Paraná (UFPR)
Caixa Postal: 19.081 - CEP 81531-980 – Curitiba – PR – Brasil
{olga,luciano,anderson}@inf.ufpr.br, [email protected],
[email protected]
Abstract. The correct gestational age determination is one of the most used
measures to guide diagnostics of the specialists in neonatology to guarantee
the newborn surveillance. In this context, the FootScanAge system presents a
new alternative to actual methods, because it is a less invasive method and it
is based on features extracted from newborns plantar surface images. This
article presents the FootScanAge tool and its functionalities, emphasizing the
use of data mining algorithms on a database of image features, and how
image mining can help the determination of the final gestational age score.
Resumo. A correta determinação da idade gestacional é um dos principais
recursos utilizados pelos especialistas de Neonatologia para orientá-los nos
diagnósticos e medidas terapêuticas para garantir a sobrevida de recémnascidos. Neste contexto, o sistema FootScanAge se apresenta como uma
alternativa aos métodos atuais por ser um método menos invasivo baseado em
características extraídas das imagens de superfície plantar de neonatos. Neste
trabalho é demonstrado o sistema FootScanAge e suas funcionalidades,
enfatizando o uso de algoritmos de mineração de dados, em uma base de
características extraídas dessas imagens e as estratégias de apresentação dos
resultados para auxiliar no cálculo da idade gestacional.
1. Introdução
Os métodos atualmente em uso para determinação da idade gestacional (IG) de recémnascidos ainda são imprecisos, exigem muita manipulação dos neonatos e foram
baseados em pesquisas sobre populações que envolviam poucos prematuros [Cat 03].
Baseado em estudos iniciais que demonstraram a importância de dimensões do pé e de
suas sub-regiões, bem como, informações sobre cisuras e poros [Bellon et al. 05], foi
desenvolvido o método FootScanAge. Este método se propõe a ser menos invasivo e
menos subjetivo que os demais ao utilizar como referência as características da
superfície plantar de neonatos para sugerir uma idade gestacional.
*
Agradecimentos ao CNPq e FINEP pelo suporte financeiro ao projeto
33
Para servir de ferramenta ao método foi desenvolvido o sistema FootScanAge,
que combina Mineração de Dados e Processamento de Imagens, em uma técnica
conhecida como Mineração de Imagens [Zhang et al. 01]. Trata-se de um sistema de
suporte à decisão que permite a manipulação de uma base de características extraídas
das imagens dos pés de recém-nascidos e a análise desses dados através de algoritmos
de mineração de dados. De maneira resumida, o sistema FootScanAge processa as
imagens de superfície plantar, faz a extração de suas características, armazena-as em um
banco de dados e posteriormente utiliza algoritmos de mineração para identificar a
idade gestacional da nova instância sendo processada.
O objetivo deste trabalho é descrever a ferramenta de mineração de imagens do
FootScanAge, enfatizando o uso de algoritmos de mineração sobre uma base de
imagens, bem como, as estratégias de apresentação e avaliação dos resultados para
auxiliar no cálculo da idade gestacional. Na segunda seção serão apresentados os
conceitos de Mineração de Imagens e que técnicas foram adotadas no projeto
FootScanAge. Na seção seguinte, são descritos os passos de mineração e do
processamento de imagens dentro do sistema FootScanAge. Em especial, é apresentado
como os algoritmos de mineração são combinados e como os resultados da mineração
são utilizados para orientar a determinação da idade gestacional. Na quarta seção são
discutidos alguns testes preliminares com a ferramenta. O artigo se encerra com os
comentários finais de conclusão.
2. Conceitos
A essência do método FootScanAge é a obtenção de características relevantes da
superfície plantar de recém-nascidos para a construção de um modelo que oriente o
especialista para o cálculo de um escore definitivo de idade gestacional. Portanto, existe
a necessidade de construir uma base de dados para validação do método. A
fim
de
tornar viável essa validação e garantir a ampliação da base de dados, optou-se pela
construção de um sistema que também evoluísse junto com o método. A solução
adotada foi incorporação de técnicas de Mineração de Dados, integrando o usuário em
um processo que vai desde a aquisição dos dados até a aplicação do modelo de
mineração aprendido. Todavia, para obter os dados a serem minerados, é necessário
executar atividades de processamento de imagens, gerando um processo híbrido de
Mineração de Dados e Processamento de Imagens, conhecido como Mineração de
Imagens.
A Mineração de Imagens é um processo multidisciplinar que se relaciona com
várias outras áreas de conhecimento, tais como: Visão Computacional, Processamento
de Imagens, Mineração de Dados, Bancos de Dados, Aprendizado de Máquina e
Sistemas de Recuperação de Imagens (SRIC) [Vieira et al. 02]. Embora na Mineração
de Dados exista um processo de seleção e obtenção de atributos a partir de várias
tabelas ou bases de dados [Fayyad et al. 96] para gerar as instâncias a serem avaliadas,
na Mineração de Imagens a obtenção dessas características também utiliza técnicas de
Processamento de Imagens [Gonzales & Woods 00]. Assim, de uma maneira mais
formal, Mineração de Imagens [Zhang et al. 01] trata da extração de conhecimento
implícito, relacionamento entre dados de imagens, ou outros padrões não explicitamente
armazenados em banco de dados de imagens. Seu foco é determinar como a
representação de baixo nível (pixels) de uma imagem pode ser eficientemente e
34
efetivamente processada para identificar objetos e seus relacionamentos. De fato, a
Mineração de Imagens está contida em uma disciplina ainda mais abrangente, que seria
a Mineração de Dados Multimídia [Zaïane et al. 98].
Uma outra abordagem utilizada pelo sistema FootScanAge é a combinação de
classificadores, numa técnica conhecida como ensemble [Dietterich 00]. Nesta técnica,
vários algoritmos de classificação são executados sobre uma mesma base de
treinamento, partições da mesma base ou até dados gerados dinamicamente. Quando
uma nova instância precisa ser classificada, o ensemble utiliza um mecanismo de
votação que combina o resultado dos classificadores. No caso específico do
FootScanAge, o sistema permite a combinação de algoritmos provenientes de duas
estratégias de mineração: classificação e regressão [Witten & Frank 05]. Para a primeira
estratégia, as classes correspondem às idades gestacionais discretizadas e o resultado
utilizado pelo especialista pode ser tanto a classificação final sugerida pelo sistema
quanto à distribuição de probabilidade ou pertinência da imagem a cada classe. Para a
regressão, o resultado final é o escore calculado diretamente pelo sistema.
3 Arquitetura
3.1 Módulos
Para tornar mais robusta e flexível a sua implementação, o sistema foi dividido em 2
módulos integrados, FootScanAgeWeb e FootScanAgeDesktop, que compartilham uma
base de dados comum cuja modelagem é voltada não apenas para cálculo de IG, como
também para outras pesquisas na área de Pediatria e Neonatologia.
O primeiro módulo, FootAgeScanWeb, é voltado para a manutenção da base de
dados maternos, gestacionais e de neonatos incluindo diagnósticos e avaliações das
fases pré-natal e pós-parto. Este módulo é disponibilizado como uma aplicação
executada em um servidor Web utilizando o servidor de páginas Tomcat2 e
implementada em Java 3 com o auxílio da ferramenta JBanana4. O segundo módulo,
FootScanAgeDesktop, também desenvolvido em Java, é responsável pelo
processamento das imagens, mineração dos dados e o cálculo da IG. Para o
processamento de imagens foi utilizada a biblioteca JAI 5 (Java Advanced Imaging) e os
algoritmos de mineração foram obtidos da biblioteca WEKA [Witten & Frank 05].
3.2 Implementação
3.2.1 Processamento de Imagens
As características usadas pela mineração são produtos das etapas de processamento de
imagens descritos a seguir, conforme a figura 1:
Pré-processamento: elimina ruídos e rotaciona a imagem de entrada.
2
http://jakarta.apache.org/tomcat/ - Jakarta Apache Tomcat
3
http://java.sun.com - Java 2 Platform, Standard Edition (J2SE)
4
http://www.jbanana.org – JBanana Framework
5
http://java.sun.com/products/java-media/jai/index.jsp - Java Advanced Imaging API
35
Binarização: converte a imagem para o formato preto-e-branco. O usuário poderá
informar o valor do limiar ou escolher um algoritmo pré-definido.
Rotulação: a imagem binária passa por um algoritmo de detecção de regiões conexas,
com o objetivo de identificar e auxiliar a retirada dos dedos.
Retirada dos dedos: nesta fase aplica-se um algoritmo de corte que usa uma parábola
para eliminar os dedos da imagem.
Detecção das Regiões: já com a imagem do pé sem os dedos, nesta fase o sistema
determina 3 regiões dentro da imagem para auxiliar a extração de características.
Extração de características: cálculo de medidas e propriedades da imagem completa e
para cada sub-região.
A intervenção do usuário é feita apenas quando necessário - devido a imagens
de baixa qualidade ou com excesso de ruídos – através da modificação dos parâmetros
de cada fase do processamento ou através da validação do processamento feita antes da
conclusão. Como observado durante a validação do sistema, em apenas 10% das
imagens foi necessária alguma mudança dos parâmetros.
Figura 1. Etapas do processamento de imagens e geração de características
Ao final do processamento, as características são apresentadas ao especialista
que confirma os dados e os salva em banco. Inicialmente o sistema trabalha com
características como dimensões, áreas e percentuais de ocupação. Entretanto, a
variedade de características tende a aumentar com a evolução da ferramenta e do
método.
3.2.2 Cálculo da Idade Gestacional
A interface entre as características extraídas pelo processamento e o cálculo da idade é o
modelo de mineração, uma estrutura de dados que identifica os algoritmos de
mineração, bem como o conjunto de características e a consulta a ser executada no
banco para gerar as instâncias a serem mineradas.
Um modelo, para ser usado, deve passar por três etapas: geração; seleção, e;
aplicação. Na primeira fase, o usuário pode gerar vários modelos de classificação ou
regressão (ensemble) com diferentes combinações de atributos, instâncias e algoritmos.
36
Na segunda etapa, o modelo (de classificação e/ou regressão) gerado na fase anterior,
ou um outro modelo já existente, é selecionado pelo usuário. O modelo é então
aplicado, na terceira etapa, sobre os dados da nova imagem, gerando dois tipos de saída:
no caso do modelo de classificação, a distribuição de probabilidade por idade/classe; no
modelo de regressão, o valor sugerido é a idade gestacional propriamente dita.
Figura 2. Combinação de abordagens para cálculo da Idade Gestacional
O uso combinado de estratégias de mineração tem o intuito de modelar a
incerteza inerente ao processo de cálculo da IG, como também dar ao especialista a
flexibilidade de ponderar os valores calculados pelo sistema. É um processo análogo ao
de dispor da opinião de vários especialistas para gerar algum tipo de diagnóstico. Com
base na análise desses resultados, bem como da consulta de outros dados do recémnascido, o especialista indicará qual a idade gestacional para o neonato, conforme a
figura 2. Uma vez confirmada a avaliação, o escore é salvo em banco e o sistema poderá
usar essa nova imagem como base para geração de um novo modelo.
4. Análise
O aprendizado dos algoritmos de mineração depende de um atributo-alvo, que neste
caso é a própria idade gestacional. Entretanto, a IG ideal não é necessariamente a
indicada pelo especialista e sim o que é conhecido como idade gestacional padrão-ouro,
obtida a partir de gestações que tenham tido um acompanhamento pré-natal consistente.
Para realizar os testes preliminares, foi construída uma base de dados a partir de
259 imagens de recém-nascidos obtidas ao longo dos estudos iniciais do projeto, sendo
o atributo-alvo derivado a partir de idades calculadas por outros métodos. Nesta seção
são apresentados dois tipos de resultados: um comparativo de algoritmos e um exemplo
de resultado apresentado pela ferramenta.
4.1 Comparativo de algoritmos
A base de dados de referência foi exportada em 3 arquivos para ser analisada por meio
da ferramenta WEKA: um arquivo completo, para testes de validação cruzada (crossvalidation) [Schaffer 93]; um de treino, com 171 instâncias (66% do total) para o
aprendizado dos algoritmos, e; outro de testes, com as instâncias restantes. A tabela 1
mostra os resultados para os algoritmos de regressão M5P [Quinlan 92] e o
LinearRegression (Regressão Linear) [Witten & Frank 05].
Para utilizar os algoritmos de classificação foi necessário discretizar o atributoalvo em 3 classes, que representam o espaço de possibilidades das instâncias existentes
na base de dados: até 32 semanas, entre 32 e 37 semanas e maiores que 37 semanas. Na
37
tabela 2 estão os resultados dos algoritmos de classificação REPTree [Quinlan 93], J4.8
[Quinlan 93] e LMT [Landwehr et al. 03] e sua respectiva porcentagem de acerto.
Tabela 1. Resultados obtidos pelos algoritmos de regressão.
Algoritmo
M5P
LinearRegression
Base de Teste
1,5406
1,8656
Validação cruzada (10 conjuntos)
1,4385
1,6743
Os resultados se mostram promissores se comparados com outros métodos de
descoberta de idade gestacional. No caso da regressão, chegou-se a um valor próximo
de 1,5 semanas. Os desempenhos dos algoritmos de classificação são aparentemente
piores, mas isso se deve ao tipo de discretização. Com uma discretização mais granular
(vide próxima seção), observa-se que a distância entre a classe encontrada e a classe
correta é semelhante ao valor de erro da regressão.
Tabela 2. Resultados obtidos pelos algoritmos de classificação.
Algoritmo
REPTree
J4.8
LMT
Base de Teste
69,31%
63,63%
73,86%
Validação cruzada (10 conjuntos)
74,51%
74,13%
72,97%
Contudo, ainda existe uma gama de desafios e dificuldades a serem enfrentados
para tornar o método mais robusto e preciso: a necessidade uma coleta sistemática de
imagens de recém-nascidos, principalmente prematuros, para ampliar a base a ser
analisada; melhoria do processo de obtenção de impressões digitais dos neonatos,
(embora tenha havido uma grande evolução da qualidade dos métodos graças aos
estudos iniciais do projeto FootScanAge); necessidade de descoberta de novos atributos
que ampliem a precisão do método ou que ainda torne o método adaptável a diferentes
populações de recém-nascidos, e ; dificuldade de obtenção do padrão-ouro.
4.2 Visualização de resultados
Atuando como um sistema de suporte à decisão, a ferramenta FootScanAge tem como
objetivo gerar subsídios ao especialista para efetuar um cálculo de escore mais preciso.
O usuário final pode tomar a sua decisão com base na distribuição das probabilidades
dos algoritmos de classificação ou a partir do valor calculado pelos algoritmos de
regressão.
Na primeira abordagem, um ou mais algoritmos de classificação são aplicados
sobre as características do recém-nascido sendo avaliado e o sistema exibe para cada
classe de idade gestacional o percentual de probabilidade ou pertinência para cada
classe de IG. O sistema também sugere uma IG ponderando as classes retornadas por
cada algoritmo, somando-se a probabilidade calculada para cada classe e normalizandose os valores finais: a classe com maior valor é a idade sugerida. No caso da regressão,
um ou mais algoritmos podem ser executados e o escore sugerido final é a média dos
valores retornados.
38
Figura 3. Apresentação de resultados: exibição tabular das distribuições de
probabilidade e gráfico com resultados de regressão/classificação
Os resultados são apresentados em um formato tabular e gráfico, combinando as
duas abordagens. Embora o sistema calcule uma IG (uma para classificação e outra para
regressão), o sistema permite ao usuário avaliar conflitos e incertezas. Algumas
imagens, por exemplo, podem possuir características comuns a mais de uma idade
gestacional e essa similaridade é evidenciada pelos gráficos e tabelas apresentadas. Na
figura 3, é possível observar que cada algoritmo gera uma distribuição de probabilidade
diferente, mas a tendência é um idade gestacional em torno de 38-40 semanas.
5. Conclusão
O método FootScanAge é uma inovação em relação aos métodos tradicionais de
determinação de idade gestacional pois se trata de um método menos invasivo com
regras obtidas diretamente a partir de uma base de dados adaptada a realidade dos
hospitais. Para viabilizar a implantação do método, foi desenvolvido um sistema que
auxiliasse a execução de todas as etapas do processo e permitisse a manutenção e
evolução das regras que auxiliam o especialista no cálculo da idade gestacional.
De fato, um dos diferenciais do sistema é o uso da Mineração de Imagens por
meio da aplicação de algoritmos tradicionais de aprendizado de máquina a uma base de
dados multi-modal, utilizando técnicas de processamento de imagens para obtenção dos
atributos de mineração. É importante observar que essas características são derivadas a
partir dos dados de baixo nível da imagem (pixels) sem que o usuário complemente ou
altere os dados.
Outra contribuição da solução adotada é a liberdade de escolha de diferentes
algoritmos de mineração (tanto de classificação quanto regressão) e a combinação
desses resultados (ensemble). A apresentação combinada dos resultados da mineração,
de forma tabular e gráfica, também facilita a tomada de decisão do especialista. A
exibição da distribuição das probabilidades dos algoritmos de classificação para cada
classe de idade gestacional em conjunto com o valor determinado pelos algoritmos de
39
regressão servem de insumo para o especialista determinar o escore da idade
gestacional.
Desta maneira, o projeto FootScanAge fez um uso promissor e efetivo de
técnicas de Mineração de Imagens e, com uma evolução cuidadosa dos modelos de
mineração e a adoção do método em diferentes regiões ou países, o sistema tende a
aprender modelos cada vez mais robustos e precisos. Além disso, existe a possibilidade
de utilizar tanto as características das imagens como também diagnósticos e escores de
outros métodos para a geração dos modelos de mineração, permitindo um uso mais
amplo da ferramenta.
Referências
Bellon, O. R. P. Cat, M., Silva, L., Boyer, K. L. (2005) “Using computer vision to help
the determination of the gestational age of newborns”, Academic Radiology, v. 12, n.
5, p. 544-553
Cat, M. (2003) “Método FootScanAge para Determinação da Idade Gestacional”, Tese
de Doutorado em Medicina (Pediatria). Universidade Federal do Paraná, UFPR,
Brasil. Orientador: Olga Regina Pereira Bellon
Dietterich, T. G. (2000) “Ensemble Methods in Machine Learning”, Lecture Notes in
Computer Science, v.1857, p. 1-15
Fayyad, U. M., Piatestsky-Shapiro, G., Smyth, P. (1996) “From Data Mining to
Knowledge Discovery: An Overview”, In: Advances in Knowledge Discovery and
Data Mining, p. 1-34
Gonzales, R. C, Woods, R. E. (2000) “Processamento de imagens digitais”, Edgard
Blücher
Landwehr, N., Hall M., Frank, E. (2003) “Logistic Model Trees”, In: 14th European
Conference on Machine Learning, p. 241-252
Quinlan, R. (1992) “Learning with continuous classes”, In: Proceedings in AI'92,
Adams & Sterlings, World Scientific, Singapore, p. 343-348
Quinlan, R. (1993) “C4.5: Programs for Machine Learning”, Morgan Kaufmann
Publishers, San Mateo, CA
Schaffer, C. (1993) “Selecting a Classification Method by Cross-Validation”, Machine
Learning, v. 13, p. 135-143
Vieira, E.V.; Bellon, O. R. P., Silva, L. (2002) “Mineração de imagens”, Revista de
Informatica Teórica e Aplicada, Porto Alegre - RS, v. 9, n. 2, p. 67-96
Witten, I. H., Frank, E. (2005) “Data Mining: Practical machine learning tools and
techniques”, 2nd Edition, Morgan Kaufmann, San Francisco
Zaïane, O.R., Han, J, Li, Z. (1998) “Multimedia-miner: a system prototype for
multimedia data mining”, In: ACM SIGMOD Conference on Management Data, v.
27, n. 2, p. 581-583
Zhang, J., Hsu, W., Lee, M. L. (2001) “Image mining: issues, frameworks and
techniques”, In: Proceedings of the 2nd International Workshop on Multimedia Data
Mining, p. 13-20
40