SISTEMA PARA ANÁLISE COMPORTAMENTAL DE INSETOS

SISTEMA PARA ANÁLISE COMPORTAMENTAL DE INSETOS BASEADO NA FUSÃO
DE SENSORES: SOM E IMAGEM – PRIMEIROS RESULTADOS
Lúcio André de Castro Jorge
Embrapa Instrumentação Agropecuária, Rua 15 de Novembro, 1452, São Carlos- SP, 13560-970 – fone:
(16)33742477
[email protected]
Valentin Obac Roda
Faculdade de Engenharia Elétrica da Universidade de São Paulo, EESC-USP, Av. Trabalhador São-carlense, 400 13566-590, São Carlos – SP, Fone/Fax: (16) 3373 9371
[email protected]
Maria Carolina Blassioli Moraes, Raul Laumann, Miguel Borges
Laboratório de Bioecologia e Semioquímicos, Embrapa Recursos Genéticos e Biotecnologia
Parque Estação Biológica Final W5 Norte, 70.770-900 - Brasília – DF, fone: (61) - 3448 4683
[email protected]; [email protected]; [email protected]
Luiz Carlos Irber, Bruna Naira Milare
Embrapa Instrumentação Agropecuária, Rua 15 de Novembro, 1452, São Carlos- SP, 13560-970 – fone:
(16)33742477
[email protected]; [email protected]
Abstract
Modern decision-making processes rely on data coming from different sources. Intelligent
integration and fusion of information from distributed multi-source, multi-sensor network requires
another approach. New methods are required, which are capable of fully automated adjustment and
self-adaptation to fluctuating inputs and tasks. Neural Networks (NN), Fuzzy Logic and
Evolutionary algorithms (EA), have been used for solving complex problems in real world
applications. The evolutionary approach, NN and fuzzy systems provide a valuable alternative to
traditional methods used in information fusion, due to its inherent parallel nature and its ability to
deal with difficult problems. This paper attempts to give a brief description of a vision system that
use image and sound fusion to perform analysis of insects’ behavior and shows the first results of
video analysis for studies of the sense of smell of insects. This is a research area where integrated
biological studies, behavior and chemical for the employment of chemical uses in agro systems.
1. Introduction
A Ecologia Química Aplicada é definida como uma área de pesquisa onde estão integrados estudos
biológicos, comportamentais e químicos para o emprego de semioquímicos em agroecossistemas.
Após o advento, em 1959, da identificação do primeiro feromônio sexual, produzido pela mariposa
Bombyx mori (bicho-da-seda), vários trabalhos seguiram com identificação de feromônios de várias
outras espécies de insetos e vários caminhos para o seu emprego no manejo de pragas foram
estabelecidos. Atualmente seus produtos correspondem a um mercado de US$ 80 milhões, sendo
importantes no mercado de biopesticidas, correspondendo a 30% do mesmo. A evolução da
ecologia química foi acelerada na última década com o advento de tecnologias emergentes e
técnicas de instrumentação, tanto para análise como para diagnósticos. Dessa forma, esse trabalho
apresenta os primeiros resultados do software em desenvolvimento para análise de comportamento
de insetos através de imagens para estudos da olfação de insetos. O principal resultado deste sistema
é a obtenção da avaliação consistente dos compostos químicos no comportamento dos insetos.
Dessa maneira, pode-se determinar a composição precisa de uma mistura feromonal que induza
modificação no comportamento do inseto alvo, seja na atração e cópula, seja agregação ou
dispersão.
2. Revisão de literatura
A demanda social pelo meio ambiente e alimentos livres de pesticidas, herbicidas e reguladores do
crescimento têm imposto à ciência um novo paradigma de exploração dos recursos naturais à
disposição da agricultura. A descoberta das substâncias que intermediam as relações entre
organismos, denominadas semioquímicos, associada a estudos biológicos das espécies envolvidas,
pode permitir o desenvolvimento de novos produtos para uso no manejo integrado de pragas.
Pesquisas com semioquímicos para o controle biológico exigem não só a identificação e isolamento
do semioquímicos, mas também o estudo do comportamento dos insetos em relação a esses
semioquímicos.
Testes demonstrando a atividade comportamental dos componentes químicos são essenciais para a
compreensão completa da sua função e dos mecanismos comportamentais do inseto diante ao
estímulo químico, permitindo avaliar a viabilidade do uso destes semioquímicos no controle
biológico. Para isto é necessário monitorar o comportamento do inseto, o que, tradicionalmente, é
feito através da observação visual e registro manual pelo pesquisador.
A implementação de bioensaios manuais tem baixo custo e muitas vezes é a única forma de
documentar alguns experimentos. No entanto, para um estudo detalhado do comportamento dos
insetos esse processo é laborioso e sujeito a erros devido a grande subjetividade em que estão
envolvidas as conclusões obtidas. O registro preciso e a análise do movimento do inseto realizado
em resposta ao estímulo oferecido é difícil, particularmente se taxas de movimento e mudanças na
direção são de interesse.
Um sistema de alta eficiência para monitoramento do comportamento de insetos deve seguir os
movimentos do inseto em tempo real e armazenar todas as informações possíveis como: tempo de
residência em cada área da região monitorada, a velocidade, a tortuosidade e linearidade com que o
inseto caminha quando estimulado. Este tipo de monitoramento é praticamente impossível de ser
realizado por observação direta e registro simultâneo, sem a utilização de nenhum aparelho
específico.
Uma alternativa é utilizar softwares para o monitoramento do comportamento dos animais. Há
alguns softwares, que permitem o monitoramento em tempo real do inseto e medem uma série de
parâmetros importantes para a análise das respostas comportamentais. Entre eles o Ethovision da
Noldus (Noldus et al, 2000; 2002) e o X-bug (Colazza et al, 1999), são especialmente desenvolvidos
para pesquisas na área de entomologia. O primeiro é um software comercial, de custo muito alto,
com ferramentas que permite o estudo de até 16 animais ao mesmo tempo, o segundo é um software
desenvolvido pela equipe do Dr. Steffano Colazza , feito para ambiente Linux, mas com código
fonte não liberado e que apresenta algumas limitações como: somente insetos com comportamento e
tamanho próximo ao de vespas parasitas (0,1 a 15 mm) são monitorados com precisão e eficiência,
insetos maiores e com movimentos muito rápidos não são registrados.
A análise por computador através de imagens de vídeo de animais em movimento foi desenvolvida
por Miller et al. (1982). Desde então uma série de pacotes e ferramentas vêm sendo desenvolvidas
para diferentes animais.Vigneualt et al (1990) descreveu um sistema para medir bolhas em tempo
real que foi adaptado para o monitoramento de insetos. No entanto, este sistema requer um sistema
de iluminação relativamente caro e praticamente não é usado pelos pesquisadores. Hoy et al (1996)
desenvolveram um software cujo algoritmo tinha como base a obtenção de uma imagem referência
sem o inseto, que é usada como comparação para as imagens tomadas com o inseto, de forma que o
computador entende o inseto como um pixel. Este é o mesmo processo usado pelo software X-bug,
desenvolvido por Colazza et al, em 1999, e um dos processos disponíveis no Etheovison. Este
último tem três sistemas diferentes de monitoramento (Noldus et al 2002).
O objetivo deste trabalho foi apresentar o sistema de análise e monitoramento do comportamento de
insetos através de imagens, quando os mesmos estão expostos a estímulos de diferentes naturezas
(olfativos, visuais ou vibracionais). Este sistema faz parte de um sistema maior que pretende aplicar
a fusão de imagens e sons para descrever o comportamento de insetos.
3. Hardware e software
O desenvolvimento está sendo feito em em C++ em sistema operacional Windows e Linux. No
ambiente Windows toda a captura é obtida utilizando-se o DirectX da Microsfot, enquanto que no
Linux se utiliza GStreamer. Além do C++, utlizou-se também Phyton no ambiente Linux.
Uma câmera de vídeo CCD e uma WEBCAM são utilizadas para registrar a área na qual o inseto
está ou será inserido e a saída de vídeo é digitalizada por uma placa de captura de imagem em
computador. O software analisa cada “frame” para distinguir o objeto alvo do plano de fundo. Uma
vez detectado o objeto o software captura as coordenadas x e y e calcula o centro do objeto e sua
área superficial. Na figura 1, podem ser observados os componentes de um experimento de
monitoramento de insetos, e na figura 2 uma foto do olfatômetro em Y utilizado nos experimentos.
Python é uma linguagem de programação interpretada, criada por Guido van Rossum em 1990 e
atualmente é um projeto de código aberto gerenciado pela Python Software Foundation.
Como uma linguagem multi-paradigma, podem ser misturados códigos orientados a objetos,
estruturados, funcionais e outros paradigmas.
GStreamer é um ‘framework” livre, que facilita muito o desenvolvimento de aplicativos multimídia.
Uma vez que o GStreamer foi escrito em C (GObject, uma biblioteca GTK+ que implementa
orientação a objetos sobre o C) este é portável e está disponível para Linux, Solaris, MacOS e
Windows.
Uma das características destas Tecnologias é que são todas livres, código aberto.
Câmera CCD, videofilmadora
ou webcam.
Envio de imagens para o computador
Captura de “frames”
Digitalização e processamento
de imagens.
Arena ou olfatômetro de experimentação
Figura 1: Diagrama de um sistema de monitoramento de insetos
Amplificador
do som
Entrada
do
computador
Base
de
isopor
Alto falante
Cone
de
Membrana
de acetato
ligada
ao
cone
através de
fios
de
cobre
Figura 2: Foto de um olfatômetro real em forma de Y onde é feita a tomada das imagens e
simulação do som dos insetos
3. Algoritmo de detecção de movimentos
Uma das abordagens mais simples para detecção de movimento, e adotada neste trabalho, é a
simples detecção de mudanças entre duas imagens obtidas seqüencialmente num vídeo. Sejam as
imagens f(x,y,ti) e f(x,y,tj) obtidas nos tempos ti e tj, respectivamente, é feita a comparação das
imagens pixel a pixel pela diferença dada pela seguinte equação:
1
para f ( x, y, t i ) − f ( x, y, t j ) > θ
d ij (x, y ) = 
0 caso contrário
onde o θ é o limiar. O valor de d ij ( x, y ) é 1 para todos pixels (x,y) somente quando as diferenças
entre as duas imagens naquele ponto for acima do valor estabelecido no limiar.
Neste trabalho, o limiar é determinado não apenas para cada pixel isolado, mas sim pelo valor
médio de uma janela w, proporcional ao tamanho do inseto. Dependendo do tamanho do inseto,
utiliza-se o valor médio de todos os pixels de uma janela w do mesmo tamanho na comparação entre
as imagens.
Na figura 3, apresenta-se a imagem de olfatômetro, ou arena, com um inseto em movimento. Pode
ser observada a janela w sobre a qual é determinado o limiar. Esta janela é proporcional ao tamanho
do inseto em estudo.
Figura 3: Olfatômetro com um inseto em movimento e a sua detecção,
Uma vez detectado em tempo real o movimento do inseto, o mesmo é registrado sobre numa cópia
da imagem de entrada, e pode ser vista na figura 4.
Figura 4: Trilha gerada após processamento dos frames de vídeo
O software possui ferramentas para monitorar diferentes tamanhos de insetos em diversas situações
e permite analisar parâmetros comportamentais como velocidade angular e linear, tortuosidade,
tempo de permanência em alguma área, deslocamento total. A tortuosidade é como sendo a razão
entre a máxima distância percorrida pelo inseto e o comprimento linear mais longo entre dois
pontos da trilha percorrida.
Uma imagem da tela principal do software pode ser vista na figura 5.
4. Resultados de um monitoramento
Até o presente momento, o projeto apenas testou a captura e detecção de movimento de insetos de
diferentes tamanhos, variando de 1mm até 3cm. O que se busca neste estudo de comportamento de
movimentos dos insetos é encontrar um descritor comportamental que também leve em conta o
comportamento perante os estímulos de som, cheiro e imagem.
Pretende-se estudar o som padrão emitido pelas fêmeas, machos e os respectivos predadores para
então correlacionar com os comportamentos visuais manifestados nas imagens. Para o som
pretende-se utilizar sistemas neurais e para a descrição de comportamento sistemas evolutivos.
Para os comportamentos estudados, conforme apresentado nos gráficos da figura 6, para uma
espécie de praga das lavouras de soja e milho no Brasil, foi constatado que a detecção do
comportamento através do método de diferenças é suficiente para o presente estudo.
Figura 5: Interface do software para monitoramento de insetos em movimento
Tratamento
Controle
Tratamento
Controle
Mudança de direção (n/s)
Distância percorrida (cm)
Velocidade média (cm/s)
Tempo de residência (s)
Tortuosidade
10
8
6
4
2
0
2
4
6
8
10
500
400
300
200
100
0
100
200
300
400
500
Figura 6: Exemplos de resultados de bioensaios utilizando o software desenvolvido
5. Referencias Bibliográficas
Colazza, S., Fuccarino, A., Peri, E., Salerno, G., Conti, E. And Bin, F. 1999. A video tracking and
motion analysis system for Linux. Procedings of XII International Entomophagous Insect
Workshop, Asilomar, CA, U.S.A. 26-30.
Hoy, J.B., Koehler, P.G. and Patterson, R.S. 1996. A microcomputer-based system for real-time
analysis of animal movement. J. of Neuroscience Methods 64: 157-161.
Miller, D.C., Lang, W.H., Greaves, J.O.B. and Wilson, R.S. 1982. Investigation in aquatic
behavioural toxicology using a computerized video quantification system. In: J.G. Pearson, R.B.
Foster and W.E. Bishop (Eds.) Aquatic Toxicology and Hazard Assesment: Fifth Conference,
ASTM STP 766, American Society for Testing and Materials, ppp. 106-220.
Noldus, L.P.J.J., Spink, A.J. and Tegelenbosch, R.A.J. 2002. Computerised vídeo tracking,
movement analysis and behaviour recognition in insects. Computers and Electronics in Agriculture
35:201-227.
Noldus, LPJJ, Trienes, RJH, Hendriksen, AHM, Jansen, H and Jansen, RG. 2002. The Observer
Video-Pro: New software for the collection, management, and presentation of time-structured data
from videotapes and digital media files. BEHAVIOR RESEARCH METHODS INSTRUMENTS &
COMPUTERS 32 (1): 197-206.
Vigneault, C. Panneton, B., Rahavan, G.S.V. 1990. Real-time digitizing system applied to air
bubble gnerator characterization. ASAE Paper 90-3535. ASAE, Dt. Joseph, MI.