IEEE Paper Template in A4 (V1)

Técnicas de Pré-Processamento Digital de Imagens na Faixa Espectral do
Infravermelho Distante
Thiago de Morais Gonçalves Bittencourt
Centro Tecnológico do Exército
[email protected]
ABSTRACT
The digital image processing of uncooled LWIR thermal
detectors is one of the main steps in the research and
development of thermal cameras. The study of this technology
is a strategic issue for military and civil areas, considering
that thermal imaging equipment have dual application. This
paper aims to design and develop a pipeline of all processing
steps required to obtain high performance images with low
noise and high contrast. In addition to the digital processing
algorithms, this paper presents some results of electro-optical
characterization on the assembled system, indicating the main
figures of merit that guide the study of this technology.
1. INTRODUÇÃO
A capacidade de visão noturna é um fator preponderante
para as áreas de Defesa Nacional e Segurança Pública, que,
por sua vez, garantem a soberania do país. Equipamentos que
permitam visão em ambientes sem nenhuma iluminação, de
emprego individual, coletivo ou embarcado, são elementos
essenciais na dotação das tropas sob o ponto de vista
estratégico.
Muitos países desenvolvidos já detêm o conhecimento em
tecnologias de equipamentos de imagem térmica e não as
disponibilizam por razões estratégicas e econômicas.
A consolidação da capacidade de desenvolver e sustentar
esta tecnologia somente pode vir de sua aplicação dual, isto é,
da aplicação em produtos civis e militares. Dentre as
aplicações civis, destacam-se (HUDSON, 1969): vigilância;
medicina, através da realização de exames preventivos contra
cânceres e tumores, na detecção de problemas vasculares e
inflamações; manutenção preventiva de equipamentos
aviônicos e automotivos; monitoramento de tubulações e
inspeção de construções civis; manutenção de redes elétricas
de média e alta tensão; na área de eletrônica, através de
inspeção de placas de circuito impresso; e em outras indústrias,
como a indústria ferroviária, de prospecção de petróleo,
satélites, entre outras.
Portanto, a pesquisa de algoritmos de pré-processamento
que viabilizem, de forma inédita no Brasil, o desenvolvimento
dessa área do conhecimento, gera inovação, no sentido de
dirimir óbices provenientes de décadas de hiato tecnológico, o
que representa uma questão de soberania nacional.
O principal objetivo deste trabalho é estruturar e
desenvolver algoritmos de pré-processamento em imagens
oriundas de detectores microbolométricos, não refrigerados,
na faixa espectral de 8µm a 14µm, visando o tratamento de
Adilson Gonzaga
Universidade de São Paulo
[email protected]
degradações inerentes dessa tecnologia, gerando uma imagem
nítida, coerente, de baixo nível de ruído e de alto contraste.
2. METODOLOGIA
O desenvolvimento de algoritmos de pré-processamento
compreende rotinas de manipulação de imagens térmicas a
fim de compensar a presença de ruído e corrigir algumas
deficiências do detector. Os elementos sensores na matriz de
plano
focal
apresentam
respostas
à
radiação
significativamente diferentes e que devem ser corrigidas.
Além disso, imagens capturadas por uma câmera de imagem
térmica possuem, geralmente, baixo contraste em comparação
com imagens obtidas a partir de câmeras no espectro visível.
Imagens de baixo contraste são mais sensíveis ao ruído e às
flutuações nas respostas dos elementos sensores.
A Figura 1 ilustra as etapas de pré-processamento de
imagens obtidas no infravermelho distante.
Figura 1 - Etapas de processamento de vídeo de uma câmera
de imagem térmica.
Em câmeras de imagem térmica, Figura 2, as operações de
pré-processamento são implementadas em hardware. Contudo,
a implementação de algoritmos em hardware é uma tarefa
difícil e demorada, sendo mais vantajoso, para fins de
pesquisa, a implementação dos algoritmos em software para
se obter resultados de forma rápida e para facilitar a validação
dos códigos computacionais.
Dessa forma, foi desenvolvido um software capaz de
interfacear com um detector microbolométrico, capturar o
sinal de vídeo proveniente deste detector e exibí-lo, com todas
as etapas de pré-processamento, a uma taxa de quadros de 30
fps, com uma resolução de 640x480 ou 320x240 pixels,
podendo ainda se desativar cada uma dessas etapas a fim de se
analisar os seus desempenhos.
1) Posicionar o corpo negro diferencial de área
estendida, a uma temperatura T 1, em frente ao detector, de
forma que toda a matriz do detector enxergue uma cena
uniforme;
2) Obter N quadros e realizar a média temporal dos
quadros, ou seja, obter um quadro resultante (W 1) onde cada
pixel seja igual a:
Figura 2 - Diagrama em blocos do sistema de imagem térmica.
3) Repetir os procedimentos (1) e (2) utilizando
temperatura T2;
4) Calcular o valor médio dos pixels nos quadros
resultantes W1 e W2, isto é:
2.1.
PRÉ-PROCESSAMENTO DIGITAL
2.1.1.
CORREÇÃO DE NÃO UNIFORMIDADE (NUC)
Cada elemento sensor presente na matriz de plano focal tem
uma variante em sua resposta mediante um estímulo de
radiação uniforme, o que leva à presença de um ruído fixo
padrão bidimensional (MOONEY, 1991) nas imagens. Os
melhores métodos de calibração para a correção de nãouniformidade deste tipo de detector são baseados no uso de
fontes uniformes de radiação infravermelha, ou seja, corpos
negros. Estes métodos são denominados como sendo técnicas
de correção de não-uniformidade baseadas em referências,
sendo mais utilizado o método de calibração de dois pontos,
que emprega, pelo menos, duas fontes de corpo negro em
diferentes temperaturas para calcular o ganho e o offset de
cada pixel.
A imagem obtida diretamente de um detector termal, Figura
3, não pode ser utilizada sem nenhum processamento. Uma
razão para a diferença de resposta entre os pixels é a dispersão
inerente ao processo de fabricação do detector; tal dispersão,
também conhecida como diferença de responsividade
(BLUZER, 1988), pode estar atrelada a não uniformidade do
material sensível a radiação, a não linearidade do sistema
eletrônico de leitura, a fluxos parasitas (internos ao detector
ou devido ao sistema óptico), e ainda, a efeitos da variação de
temperatura na matriz de pixels.
Figura 3 - Imagem sem Correção de Não Uniformidade (NUC).
O pipeline do procedimento para se calcular os parâmetros
de ganho e offset do método de calibração de dois pontos é:
5)
Para cada pixel do detector haverá um valor de ganho,
, que será usado para a calibração:
6)
Para cada pixel do detector haverá um valor de offset,
, que será usado para a calibração:
7) O valor de cada pixel após a calibração, ou seja, após
aplicar o método de calibração de dois pontos é:
Uma vez calculada a tabela de NUC, esta é aplicada a cada
quadro obtido, a uma velocidade de 30 fps.
Dessa forma, observa-se que a tabela de ganho e offset
calculada não será mais válida caso se altere as condições de
contorno do sistema, ou seja, alterando-se o tempo de
integração e a temperatura de operação do detector, os
parâmetros de ganho e offset também deverão ser recalculados.
2.1.2.
CORREÇÃO DE OFFSET
A correção de não uniformidade (NUC), ao contrário do
que se esperava, não elimina completamente o ruído fixo
padrão bidimensional (FPN) da imagem, pois a
responsividade do pixel é uma função não linear. Obseva-se
que o NUC apenas corrige com exatidão os pontos de
temperatura de calibração T 1 e T2, para as demais
temperaturas continua ocorrendo um pequeno valor de FPN,
que é denominado FPN residual.
Cada vez que ocorrem mudanças significativas da
temperatura ambiente, variação do tempo de integração do
detector ou variações significativas do fluxo de radiação
incidente, faz-se necessária uma nova correção da imagem.
Alguns parâmetros previamente calculados podem se alterar
com a modificação das condições de contorno: aparecimento
de novos pixels defeituosos, aumento do fluxo parasita e
variação da temperatura do plano focal do detector.
Dessa forma, a correção de offset ajusta apenas a variação
do nível de offset dos pixels, sem modificar os valores dos
coeficientes de ganho calculados no NUC.
O pipeline do procedimento para se calcular os novos
parâmetros de offset para o método de correção de offset é:
1) Posicionar um obturador em frente ao detector, de
forma que bloqueie toda radiação incidente e que toda a
matriz de sensores do detector enxergue uma cena uniforme e
homogênea;
2) Obter N quadros e realizar a média temporal dos
quadros, ou seja, obter um quadro resultante (W 1), onde o
valor de cada pixel seja:
implementadas e executadas em hardware, foi elaborada uma
manipulação algébrica para facilitar sua implementação.
Observa-se que esta manipulação insere um erro estimado de
0,39% em relação a simples média. Dessa forma,
considerando-se, sem perda de generalidade, o pixel
defeituoso, seu novo valor será:
3) Aplicar a cada pixel W1(x,y) os coeficientes de ganho
e de offset previamente calculados no método de calibração de
dois pontos para o NUC;
Se o pixel defeituoso estiver numa borda da matriz, este
deve ser substituído pela média de seus 5 vizinhos.
Novamente, ocorre a problemática de se implementar divisões
por
em hardware. Dessa forma, elabora-se a mesma
manipulação algébrica já citada, inserindo-se um erro
estimado de 0,39% em relação a simples média. Considerando
o pixel defeituoso na posição
, o valor
do novo pixel, sem perda de generalidade, será:
4)
Calcular o valor médio dos pixels no quadro
resultante
:
5)
será:
O valor do novo coeficiente linear para cada pixel
Este método deve ser executado sempre que se ligar o
detector e de forma periódica enquanto este for mantido
ligado. Este período de atualização do coeficiente linear
depende do detector empregado e deve ser avaliado de forma
empírica.
2.1.3.
SUBSTITUIÇÃO DE PIXELS DANIFICADOS
Detectores microbolométricos, não refrigerados, que atuam
na faixa de 8µm a 14µm apresentam, geralmente, pixels não
operacionais, ou simplesmente, defeituosos. Para ser
considerado um pixel defeituoso, este deve apresentar valor de
responsividade 20% abaixo ou acima da responsividade média
de todo plano focal ou, ainda, apresentar valor de NETD
(noise equivalent temperature difference), ver secção 3.2,
acima de 50% do NETD médio do detector. Contudo, em
detectores comerciais, o índice de operabilidade de todo o
plano focal deve ser superior a 99,5%.
Dessa forma, o pré-processamento digital deve contemplar
um algoritmo de substituição de pixels defeituosos a fim de
otimizar a qualidade da imagem. O pipeline deste algoritmo
(EQUITZ et al, 2004) baseia-se na interpolação de pixels
vizinhos de forma a otimizar um eventual desenvolvimento
em hardware.
Para matrizes de plano focal MxN, seja o pixel
dado
por
Deve-se subdividir a matriz em 3
regiões: vértices {
},
bordas {
} e centro {
}.
Se o pixel defeituoso estiver no vértice da matriz, este deve
ser substituido pela média de seus 3 vizinhos. Como divisões
por
são relativamente custosas para serem
P
Se o pixel defeituoso estiver no centro da matriz, este deve
ser substituído pela média de seus 8 vizinhos. Como não há
impeditivos, o valor do novo pixel
será dado pela
média aritmética dos elementos
2.1.4.
AUMENTO DE CONTRASTE DA IMAGEM
A geração de histograma é uma ferramenta fundamental
para se analisar o nível de contraste de uma imagem. Imagens
com baixo contraste têm valores de pixel concentrados dentro
de uma faixa estreita e necessitam de técnicas de realce a fim
de redistribuir o histograma para melhorar o nível de contraste.
Neste trabalho empregou-se a técnica de ajuste contínuo,
que é um tipo de controle automático de ganho. Neste método,
utiliza-se a função histograma para corrigir adaptativamente
os valores de brilho e contraste da imagem de forma a evitar
cintilações.
Com o histograma da imagem de entrada montado, o
algoritmo procura pelos índices de início e fim do histograma,
ou seja, é feita uma varredura, partindo do valor mínimo de
intensidade pré-definido (K1) até o valor máximo de
intensidade pré-definido (K2). Esses valores pré-definidos
garantem uma mínima faixa de contraste a fim de suprimir
efeitos de ruído. O processo sempre verifica a quantidade de
pixels para cada valor de intensidade e se esse número de
pixels for maior do que um limiar estabelecido (T), o
algoritmo marca esse valor de intensidade como ponto de
início. A partir daí o processo procura o ponto de fim, que é
marcado quando uma intensidade possui menos pixels que o
limiar (T). O algoritmo pode encontrar mais de um ponto de
fim, contudo, apenas o último é considerado. Este processo
está representado na Figura 4.
imagem e ajusta essa diferença para 256 níveis de cinza. A
Tabela 1 ilustra o LUT utilizado.
Figura 4 - Exemplo de busca em histograma.
Uma vez analisado o histograma, o algoritmo retorna o
valor do índice de início, que é a translação que será aplicada
ao histograma, e um valor de ganho, que atua como fator
multiplicativo para magnificar, aumentando ou diminuindo, a
distribuição do histograma. O valor de ganho é relacionado
com os índices de início e fim calculados e com a
profundidade, em bits, do sinal de entrada (N bits).
Dessa forma, sendo
o histograma da imagem de
entrada e
o histograma após o método de ajuste
contínuo, tem-se:
Contudo, implementar esta divisão em hardware é um
processo custoso. Definiu-se, então, a utilização de um Lookup-Table (LUT) para realizar esta operação. Esse LUT possui
entradas, que correspondem à diferença "fim início", e palavras de N bits.
2.1.5.
COMPRESSÃO DO ENOB
Os algoritmos de pré-processamento digital em sistemas de
imagem térmica processam os sinais digitais oriundos do
detector, geralmente, com ENOB (effective number of bits)
que varia de 10 a 16 bits, dependendo do conversor A/D
utilizado. No entanto, a maioria dos monitores funcionam com
faixa dinâmica de 8 bits. Dessa forma, um algoritmo de
compressão é utilizado a fim de melhor explorar, de forma
eficiente, o sistema visual humano, que pode detectar uma
diferença perceptível apenas quando o contraste é maior do
que 1%. Se o sinal é linearmente digitalizado, então o
contraste para cada nível digital é 1/DN, onde DN é o número
digital (varia de 0 a 255 para um sistema de 8 bits). Para
valores de DN muito pequenos, o contraste é grande e as
imagens aparecem com contornos. Para valores de DN muito
grandes, o contraste pode ser inferior a percepção visual
humana, indicando que a codificação foi ineficiente.
O algoritmo de compressão utiliza um LUT que permite
mapear o sinal de entrada de N bits em uma escala
monocromática de 8 bits, conforme ilustrado na Figura 5. Esse
processamento verifica a maior diferença de temperatura da
Figura 5 - Compressão de N bits para 8 bits.
Tabela 1 - Look-up-Table (LUT)
LUT
Intensidades de Entrada
0 a 399
400 a 799
...
2.1.6.
Intensidade de Saída
1
2
...
255
CORREÇÃO GAMMA
O uso do algoritmo de correção gamma é fundamental caso
se deseje exibir, com precisão, imagens em visores e
monitores.
A resolução 709 da ITU (International Telecommunications
Union) estabelece que se estenda a faixa do preto e se
comprima a faixa do branco, para se criar um sinal
perceptivelmente uniforme. Imagens que não são corrigidas
corretamente podem se apresentar desbotadas, ou, o que é
mais provável, muito escuras (HOLST, 2008).
Dessa forma, se o sinal de entrada é digital, com ENOB de
8 bits, tem-se que:
Onde
. É importante ressaltar que após se aplicar a
correção gamma, a relação entre o sinal digital de entrada e o
de saída não é mais linear. Esta relação não linear afeta todo o
conjunto de dados coletados e pode ser matematicamente
quantificada e removida.
3. RESULTADOS
A análise de desempenho de uma câmera de imagem
térmica inclui figuras de mérito que avaliam, no contexto da
imagem, características eletro-ópticas, tais como: ruídos
espaço-temporais, potência espectral de ruído (noise
equivalent power, NEP), responsividade dos pixels (signal
transfer function, SiTF), relação sinal-ruído (noise equivalent
temperature difference, NETD), entre outras.
15,04
15,07
22,00
35,59
3.1.
RUÍDO ESPAÇO-TEMPORAL E POTÊNCIA
ESPECTRAL DE RUÍDO
Existem 7 componentes de ruído que definem o
desempenho
de
imagens
em
câmeras
térmicas
(D`AGOSTINO, WEBB, 1955), ver Tabela 3. As
componentes temporais ( ,
,
e
) quantificam o
nivel de ruído num determinado pixel que varia de quadro
para quadro. Este ruído temporal é inserido na imagem devido
ao sistema eletrônico de leitura da matriz de pixels do detector
ou decorrente das técnicas de pré-processamento digital da
imagem. Já as componentes espaciais (
,
e
)
representam resultados do nível de ruído dos pixels dentro de
um mesmo quadro, sem variação temporal. Este ruído espacial
é inserido na imagem devido a não uniformidade dos pixels ou
proveniente do sistema eletrônico de leitura da matriz de
pixels do detector. Matematicamente, as componentes de
ruído são os desvios padrão de conjuntos de dados obtidos por
manipulação algébrica dos níveis DC de cada pixels da
imagem.
A Tabela 2 mostra a relação entre os valores das
componentes de ruído medidas no sistema e valores
padronizados para detectores de plano focal matricial. Estes
valores foram obtidos imediatamente após a calibração e com
a temperatura de fundo da imagem próxima a temperatura de
calibração. (HOLST, 2008).
O resultado indica que a imagem está pouco ruidosa
apresentando apenas alterações na média das colunas sem
variação com tempo (linhas verticais).
3.2.
NETD
NETD (Noise Equivalent Temperature Difference), indica a
minima diferença de temperatura que gera um sinal igual a
variância do ruído, ou seja, SNR = 1 (HOLST, 2008). Esta
figura de mérito mede o desempenho de sistemas de imagem
térmica, pois é função da responsividade, da largura de banda
de ruído e do tempo de integração do detector. A Figura 6
mostra o histograma de distribuição dos valores de NETD ao
longo de toda a matriz de plano focal. Verifica-se que o
histograma medido segue uma distribuição normal, o que está
de acordo, uma vez que toda a estatística de probabilidade
vinculada com o cálculo desta métrica baseia-se em
distribuição Gaussiana.
O NETD médio calculado foi de 87,22 mK@ F/1, 300K,
30Hz. O valor de referência para o detector utilizado é NETD
< 100 mK.
Tabela 2 - Relação entre as componentes de ruído.
Ruído
Relativo
Valor
Medido
0,31
0,02
0,06
0,34
0,58
Pouco
Ruído
0,2
0
0
0,2
0,2
Ruído
Moderado
0,5
0
0
0,5
0,5
Muito
Ruído
1a2
0
0
1a2
1a2
A Tabela 3 mostra os valores de densidade espectral de
ruído (NEP) para as componentes de ruído calculadas,
considerando o tamanho do pixel 25µm x 25µm, largura de
banda de 8µm a 14µm,
e temperatura de 300K.
Tabela 3- Densidade Espectral de Ruído.
Componente
de Ruído
NEP (nW)
13,97
7,52
17,33
0,58
Figura 6 – Histograma do NETD na matriz do plano focal.
3.3.
RESPONSIVIDADE (SITF)
A função básica de um sensor térmico é transformar a
radiação incidente em um tipo conveniente de sinal de saída.
Neste caso, o sinal gerado é elétrico, sendo na forma de tensão.
A responsividade, ou SiTF (Signal Transfer Function), é a
relação entre o sinal gerado e a radiação incidente (VINCENT,
1989).
A Figura 8 é a função SiTF medida no sistema de imagem
térmica. O valor de responsividade média do detector é o
coeficiente angular da região linear da curva.
Figura 7 - Imagens após processamento.
refrigerado, na faixa espectral de 8µm a 14µm. O software
desenvolvido permite avaliar todas as etapas sem a
necessidade de implementação em hardware. O desempenho
dos algoritmos de pré-processamento, realizado por meio de
cálculo de figuras de mérito, mostrou que as imagens geradas
são nítidas, coerentes, de baixo nível de ruído e de alto
contraste.
AGRADECIMENTOS
Os autores agradecem a empresa Opto Eletrônica S.A. e ao
Centro Tecnológico do Exército pelo suporte e incentivo à
produção acadêmica em suas dependências.
REFERÊNCIAS
Figura 8 - SiTF do sistema de imagem térmica.
A Figura 7 mostra imagens obtidas pelo sistema de imagem
térmica montado utilizando as técnicas de pré-processamento
digital de imagem.
4. CONCLUSÃO
A pesquisa e o desenvolvimento de tecnologia de
imageamento na região espectral do infravermelho distante é
incipiente no Brasil. Devido a razões estratégicas e
econômicas, a divulgação da metodologia e das técnicas de
pré-processamento é insólita e escassa. Neste sentido, este
trabalho inova em definir e implementar todas as rotinas
necessárias para o pré-processamento de imagens térmicas.
Foi desenvolvida uma plataforma computacional de
aquisição de sinais digitais, processamento de imagem e
caracterização eletro-óptica de detector microbolométrico, não
[1].
HUDSON, R.D. Infrared System Engineering.
John Wiley and Sons, New York: 1969.
[2].
EQUITZ, W. et al, System and Method for
Efficient
Improvement
of
Image
Quality
in
Cameras.USPATENT 2004/0239782 A1, Dec. 2, 2004.
[3].
HOLST, G.C. Electro-optical imaging system
performance. JCD Publishing, 2008
[4].
D`AGOSTINO, J.; WEBB, C. 3-D Analysis
Framework and Measurement Methodology for Imaging
System Noise., 1955.
[5].
MOONEY, J.M. Effect of Spatial Noise on the
Minimum resolvable Temperature of a Staring Array.
Applied Optics, Vol.30, 1991.
[6].
VINCENT, J.D. Fundamentals of Infrared
Detector Operation and Testing. Wiley Interscience, 1989.
[7].
BLUZER, N. Sensitivity limitations of IRFPAs
imposed by detector nonuniformities. In: Infrared Detectors
and Arrays, SPIE Proceedings, Vol. 930. 1988.