UNIVERSIDADE FEDERAL DO PARÁ PRÓ

UNIVERSIDADE FEDERAL DO PARÁ
PRÓ-REITORIA DE PESQUISA E PÓS-GRADUAÇÃO
DEPARTAMENTO DE PESQUISA
PROGRAMA INSTITUCIONAL DE BOLSAS DE INICIAÇÃO CIENTÍFICA – PIBIC CNPq e PIBIC
UFPA
RELATÓRIO TÉCNICO – CIENTÍFICO
Período: agosto de 20141 a agosto de 2015
( ) PARCIAL
(x) FINAL
IDENTIFICAÇÃO DO PROJETO
Título do Projeto de Pesquisa:
“Desenvolvimento de métricas e metodologias para avaliação de qualidade visual
de imagens e vídeos digitais”
Nome do Orientador:
Ronaldo de Freitas Zampolo
Titulação do Orientador:
Doutor em Engenharia Elétrica (UFSC, 2003)
Departamento:
Faculdade de Engenharia da Computação e Telecomunicações
Unidade:
Instituto de Tecnologia
Laboratório:
Laboratório de Processamento de Sinais – LaPS
Título do Plano de Trabalho:
“Desenvolvimento de métricas e metodologias para avaliação de qualidade visual
de imagens e vídeos digitais”.
Nome do Bolsista: Luana Gonçalves
Tipo de Bolsa :
(X) CNPq
( ) PIBIC/UFPA
INTRODUÇÃO:
Em diferentes aplicações, tais como aquisição, transmissão, reprodução,
armazenamento e compressão, a imagem digital resultante de um sistema de
processamento apresenta alterações de variados níveis em relação a uma imagemreferência. Como grande parte dos sistemas que lidam com imagens são destinados ao
consumo humano (fotografia digital, banco de imagens na Internet, imagens médicas,
etc.), esses sistemas deveriam ter seus parâmetros ajustados de forma a fazer com que
as respectivas imagens produzidas apresentassem uma boa relação entre custo e
qualidade percebida por seus consumidores.
Basicamente existem duas formas de avaliação de qualidade de imagens. Pode-se
citar primeiramente a chamada avaliação subjetiva, que consiste da apresentação de um
conjunto de imagens-teste a uma certa quantidade de indivíduos, os quais emitirão uma
opinião sobre sua qualidade. Tal procedimento é o mais seguro para verificação da
qualidade percebida, contudo demanda muito tempo e possui um alto custo relativo
quando utilizado, por exemplo, no desenvolvimento de novos equipamentos ou algoritmos
de processamento de imagem.
A outra forma de avaliação da qualidade de imagens é a denominada avaliação
objetiva, quando os avaliadores humanos são substituídos por funções matemáticas que
produzirão um número representando a qualidade da imagem fornecida como parâmetro
de entrada. Tal estratégia apresenta menor custo que a subjetiva, podendo as referidas
funções matemáticas, ou métricas, ser ou não baseadas em experimentos subjetivos.
Este projeto trata da avaliação de desempenho e do desenvolvimento de métricas,
bem como da investigação de metodologias para a coleta dedados experimentais
subjetivos em qualidade visual aplicada a imagens e vídeos digitais.
As primeiras métricas utilizadas para avaliação de qualidade de imagens eram
baseadas apenas em características da imagem-erro (diferença entre imagem-teste e
imagem-referência), como por exemplo a energia. A razão sinal-ruído de pico (peak
signal-to-noise ratio – PSNR) segue esse tipo de abordagem. A PSNR possui como
virtude a baixa complexidade computacional, porém não considera vários outros fatores
que interferem na percepção da qualidade da imagem como: a distância entre usuário e
dispositivo de visualização; iluminação ambiente; resolução de monitores, painéis e
impressoras; eventuais deficiências visuais do usuário, etc.
Atentos às necessidades do mercado de sistemas digitais e também às
possibilidades oferecidas pelos atuais processadores de sinais digitais (digital signal
processor – DSP), pesquisadores vêm desenvolvendo métricas baseadas em dados
obtidos em avaliações subjetivas, com o objetivo de obter modelos que produzam
resultados de grande correlação com avaliações humanas, considerando, eventualmente,
as características do ambiente de visualização e do usuário. São exemplos as métricas:
fidelidade de informação visual (visual information fidelity - VIF) [Bov2] e similaridade
estrutural média (mean structural similarity – MSSIM).
JUSTIFICATIVA :
O desenvolvimento de métricas para avaliação de qualidade de imagens é uma
área de pesquisa de grande atividade atual, com muitas questões em aberto.
A análise de desempenho de uma métrica não se restringe apenas à correlação de
seus resultados com os dados subjetivos obtidos experimentalmente, mas incluem
também considerações sobre a sua complexidade computacional. Esses dois fatores
devem ser ponderados na verificação de viabilidade para uma dada aplicação.
Nesse contexto, não só o desenvolvimento de novas métricas, mas a avaliação
comparada de métricas já propostas aplicadas a diferentes tipos de situações é de
expressiva relevância.
OBJETIVOS :
Os objetivos principais do projeto são:
Implementar um aplicativo que realize avaliação de desempenho de métricas de
qualidade visual segundo as recomendações do ITU.;
 Adquirir conhecimentos nas áreas de processamento de imagens e avaliação de
qualidade visual;
 Implementação e testes de métricas
 Estudo sobre recomendações do ITU sobre avaliação de desempenho de métricas
de qualidade visual.
MATERIAIS E MÉTODOS :
Para o desenvolvimento do projeto considerou-se a existência de bases de
imagens de domínio público, tais como [LeC, She]. O material teórico estudado foi
baseado principalmente em artigos e livros, tais como [Bov1, Bov2, Kee, Wan1, Wan2].
Para a elaboração do software de automatização do experimento e análise dos
resultados, utilizou-se a linguagem de programação PYTHON.
Durante o decorrer do projeto, houve o acompanhamento do orientador através de
reuniões regulares, quando dúvidas eram dirimidas e estratégias de prosseguimento da
pesquisa eram elaboradas.
RESULTADOS :
A partir do estudo do material contido em [Bov1, Bov2, Kee, Wan1, Wan2], houve
um bom avanço no conhecimento do bolsista em relação ao tema do referido projeto.
Foram testadas métricas de regressão linear e também coeficientes de correlação
linear – como o coeficiente de Spearman e coeficiente de Pearson - em vetores
aleatórios, também foi implementado uma métrica para detecção de outliers.
Figura 1. Exemplo de gráfico gerado pelo software desenvolvido. Scatter plot e cálculo dos coeficientes de
correlação de Pearson e de Spearman.
Figura 2. Exemplo de gráfico gerado pelo software desenvolvido. Teste de detecção de outliers.
Foi realizado um primeiro experimento de avaliação de imagens, usando as
seguintes métricas: MSE (erro quadrático médio, do inglês mean square error), PSNR
(razão sinal-ruído de pico, do inglês peak sinal-to-noise ratio), MSSIM (média da medida
de similaridade estrutural, do inglês mean structural similarity index). Esse grupo foi
escolhido por conter tanto métricas que são baseadas apenas em informações da
imagem-erro (MSE e PSNR), quanto métricas inspiradas em dados de avaliações
subjetivas (MSIM).
Para o experimento de comparação, primeiramente, foram utilizadas imagens em
tons de cinza de [LeC]. Foram escolhidas as imagens no formato png. Para cada uma
dessas, foram produzidas 5 versões degradadas com diferentes níveis de degradação,
mediante adição de ruído gaussiano, compressão jpeg, mudança de luminosidade, adição
de ruído de distribuição uniforme e borramento. E, em seguida, métricas mencionadas
acima foram usadas.
As avaliações subjetivas foram obtidas a partir de bancos de imagem previamente
avaliados e disponíveis publicamente como o LIVE.
A partir da aplicação das métricas de avaliação objetiva nas imagens do banco de
dados, foi criado um arquivo para armazenar essas informações, onde o próximo passo
foi correlacionar as duas avaliações, objetiva e subjetiva, iniciando assim a etapa de
análise de desempenho das métricas. Tal análise foi feita com o auxílio dos bancos de
imagens onde foram comparados os valores de avaliação subjetivos, fornecidos pelo
banco de imagens, com as métricas já testadas, PSNR e MSSIM.
Figura 3. Exemplo de gráfico gerado pelo software desenvolvido. Scatter plot entre métricas e dados
subjetivos, respectivamente, PSNR e OS (opinion scores).
Figura 4. Exemplo de gráfico gerado pelo software desenvolvido. Scatter plot entre métrica e dados
subjetivos, respectivamente, MSIM e OS (opinion scores).
Nota-se nos dois gráficos visível relação entre as métricas usadas e os dados
provenientes da avaliação subjetiva, de tal maneira que se possa aproximar tal relação
por uma função.
A análise da correlação foi através da implementação dos coeficientes de Pearson
e Spearman nos valores de avaliações, objetiva e subjetiva. Onde foi analisado o nível de
dispersão entre as mesmas, entretanto, para esta análise o valor adotado foi a média de
todas as avaliações subjetivas para cada imagem, ou seja, MOS (mean opinion score).
Figura 5. Exemplo de gráfico gerado pelo software desenvolvido. Scatter plot entre métricas objetivas e
média de avaliações subjetivas, respectivamente, MSIM e MOS.
De acordo com o software desenvolvido, a correlação entre o MOS e MSIM,
segundo o Coeficiente de Pearson é de, aproximadamente, 0.96; o Coeficiente de
Spearman para o mesmo caso é aproximadamente 0.95; a razão de outliers sobre o
número total de pontos é aproximadamente 0.003.
Figura 6. Exemplo de gráfico gerado pelo software desenvolvido. Scatter plot entre métricas objetivas e
média de avaliações subjetivas, respectivamente, PSNR e MOS.
A partir dos scatter plots pode-se proceder à aproximação por funções, através de
dois métodos, regressão linear e a função logística.
Figura 6. Exemplo de gráfico gerado pelo software desenvolvido. Scatter plot e aproximação entre métricas
objetivas e média de avaliações subjetivas, respectivamente, MSIM e MOS.
PUBLICAÇÕES:
Não houve desenvolvimento de artigos para submissão em congressos.
CONCLUSÃO:
O presente relatório final apresentou o desenvolvimento das atividades da bolsista
do programa de iniciação científica PIBIC-UFPA Luana Gonçalves no período de agosto
de 2014 a agosto de 2015. Dentre o relatado, ressalta-se o desenvolvimento de um
software para avaliação de qualidade de imagens; a geração de um conjunto de teste de
imagens, com o objetivo de avaliar imagens degradas; teste e comparação entre métricas
subjetivas e objetivas; implementação das funções necessárias para medir o desempenho
das métricas de qualidade visual e a análise dos resultados experimentais obtidos.
REFERÊNCIAS BIBLIOGRÁFICAS
[Bov1]
N. Damera-Venkata, T. D. Kite, W. S. Geisler, B. L. Evans, A. C. Bovik,
Image Quality Assessment Based on a Degradation Model , IEEE
Transactions on Image Processing, v. 9 , n. 4, pp. 636 – 650, April 2000.
[Bov2]
H.R.Sheikh, A.C. Bovik, Image information and visual quality. IEEE
Transactions on Image Processing, v. 15, n. 2, pp. 430 – 444, February
2006.
[Kee]
B. W. Keelan, Handbook of Image Quality, Marcel Dekker, 2002.
[LeC]
P. Le Callet, F. Autrusseau, Subjective quality assessment irccyn/ivc
database, 2005, http://www.irccyn.ecnantes.fr/ivcdb/
[She]
H. R. Sheikh, Z. Wang, L. Cormack, and A. C. Bovik, Live image quality
assessment database, 2006, http://live.ece.utexas.edu/research/quality.
[Wan1]
Z. Wang, A. C. Bovik, Modern Image Quality Assessment, Morgan &
Claypool Publishers, 2006.
[Wan2]
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, Image quality
assessment: From error visibility to structural similarity, IEEE Trans. Image
Processing, v. 13, n. 4, pp. 600 – 612, April 2004.
DIFICULDADES :
O fato dessa pesquisa tratar de assuntos normalmente não explorados no nível de
graduação, naturalmente exigiu do bolsista considerável tempo e esforço na assimilação
dos conceitos específicos da área de avaliação de qualidade de imagem trabalhados no
período e no desenvolvimento do software de apoio à coleta e análise de dados
experimentais.
PARECER DO ORIENTADOR:
Segundo a minha percepção, a bolsista apresentou ao longo do período de
desenvolvimento do seu plano de trabalho bastante esforço e dedicação na execução das
atividades a ela designadas. Considero que houve substantiva evolução no que tange sua
competência e conhecimentos técnicos, obtendo sucesso no estudo e na implementação
das etapas básicas para avaliação de desempenho de métricas de avaliação de qualidade
visual.
DATA :