SM - Sistemas Multimédia INTRODUÇÃO

SM - Sistemas Multimédia
INTRODUÇÃO
4.º / 6.º semestre LEIC
(verão 2016/2017)
Sumário
•
•
•
•
•
•
Multimedia
Conceitos gerais sobre codificação
Sistema Auditivo Humano
Sistema Visual Humano
Medidas de semelhança e de distorção
Técnicas de codificação
•
•
•
•
Texto
Imagem
Vídeo
Áudio
Multimédia: uma definição
• Em https://en.wikipedia.org/wiki/Multimedia:
• Multimedia is content that uses a
combination of different content
forms such as text, audio, images,
animation, video and interactive content
• Multimedia contrasts with media that use
only rudimentary computer displays such
as text-only or traditional forms of printed
or hand-produced material.
Multimédia: uma definição
• Em https://www.priberam.pt/dlpo/multimedia :
•
multimédia | adj. 2 g. 2 núm. | s. 2 g.
mul·ti·mé·di·a (inglês multimedia)
adjectivo de dois géneros e de dois números
1. Que utiliza ou se refere a vários suportes de difusão de informação, nomeadamente
imagem e som.
2. Que utiliza ou combina som e imagem.
substantivo de dois géneros
3. Suporte de difusão de informação que utiliza ou combina som e imagem.
• Nota: no português do Brasil, é mais comum multimídia, com género feminino.
Palavras relacionadas: multimídia, MMS, mídia-mix, HDMI, grupo, podcast
Serviços e Sistemas Multimédia
Broadcasting
Video on demand
Video
CD
TV
The Internet
DVD
Telephony
Mobile computing
Processing/storage
Network computing
Network PC
Communications
Caraterísticas para cada domínio
Broadcasting
Standardization
High resolution
Random acess
Real time
Packet communication
Processing/storage
Communications
High processing speed
Conceitos Gerais
• Codificação eficiente dos símbolos de um
ficheiro conduz à compressão da informação
• As razões de uso da compressão?
• Menor espaço ocupado
• Menor tempo de transmissão
• Codificação sem perda (lossless encoding)
• Os dados descodificados são exatamente iguais aos
originais
• Codificação com perda (lossy encoding)
• Os dados descodificados não são exatamente iguais
aos originais
7
Conceitos Gerais
• Codificação sem perda (lossless encoding)
• Também conhecida como compactação de dados
• Os dados descodificados são exatamente iguais aos
originais
• Codificação com perda (lossy encoding)
• Os dados descodificados não são exatamente iguais aos
originais
• A perda é introduzida, tendo em conta as caraterísticas
de perceção:
• Sistema Visual Humano (SVH)
• Sistema Auditivo Humano (SAH)
8
Conceitos Gerais
• Fatores de avaliação do processo de codificação e
descodificação:
• Medida de compressão
• Existem quatro medidas de utilização comum
•
•
•
•
Tempo de codificação
Tempo de descodificação
Memória utilizada na codificação
Memória utilizada na descodificação
9
Conceitos Gerais
• Medidas de compressão
1)
2)
3)
4)
Razão de compressão ou taxa de compressão
Percentagem removida
Bit por byte
N:1
• Considera-se:
• do, a dimensão do ficheiro original
• dc, a dimensão do ficheiro codificado
10
Conceitos Gerais
11
Conceitos Gerais
12
Sistema Auditivo Humano
[wikipedia.org]
Sistema Auditivo Humano
• Cada ouvido tem cerca de 23500 sensores na cóclea
• Existem cerca de 30000 fibras no nervo auditivo para
ligação ao cérebro
• Aproximadamente 30 Mbit se todas ativadas.
• Na prática a transmissão é à volta de 100 kbit/s
• Gamas audíveis, de frequência:
•
•
•
•
Homem, 20 Hz – 20 kHz
Baleia, 2 Hz – 20 kHz
Golfinho, 20 Hz – 200 kHz
Morcego, 16 Hz – 200 kHz
Sistema Auditivo Humano
• Limiar de audição para um tom puro (sinusóide)
Limiar de audição
Limiar de audição para tom sinusoidal
Aproximação: thi = 3.64 (fi/1000)-0.8 - 6.5 exp(-0.6 (fi/1000-3.3)2) + 10-3 (fi/1000)4
60
threshold of hearing (dB)
50
40
Threshold of hearing
0
Rustle of leaves
10
Very quiet room
20
Average room
40
Conversation
60
Busy street
70
Loud radio
80
Train trough station
90
Riveter
100
Threshold of discomfort
120
Threshold of pain
140
Damage to ear drum
160
30
20
10
0
-10
2
10
3
10
frequency (Hz)
4
10
Sistema Visual Humano
cone
[wikipedia.org]
bastonetes
Axónios de células
do nervo óptico
Sistema Visual Humano
Na retina, existem cerca de:
• 6 milhões de cones, sensíveis à cor,
• 100 milhões de bastonetes que são sensíveis à
luminosidade.
O nervo ótico para ligação ao cérebro tem cerca de 1 milhão de
fibras.
Os neurónios podem ser activados cada milissegundo.
A comunicação entre o olho e o cérebro é feita a 1 Gbit por
segundo, aproximadamente.
Sensibilidade à cor
[J. M. Brisson Lopes]
Luz visível
• Tacto (nervos da pele)
Perceção
• Existem cerca de 5 milhões de sensores na pele
• Poucos Mbit por segundo
• Na ponta dos dedos existem sensores espaçados de 1 mm
• Olfacto (pituitária dentro do nariz)
• Os humanos distinguem cerca de 10000 cheiros diferentes
• Comunicação a alguns kbit por segundo.
• Alcance máximo: humano 1 m; cão 100 m; traça 5 km; elefante 3 km
• Audição (ouvido)
• Cada ouvido tem cerca de 23500 sensores na cóclea
• Existem cerca de 30000 fibras no nervo auditivo para ligação ao cérebro
• Aproximadamente 30 Mbit se todas ativadas
• Na prática a transmissão é à volta de 100 kbit /s.
Homem: 20 Hz – 20 kHz; Baleia: 2 Hz – 20 kHz; Golfinho 20 Hz – 200 kHz;
Morcego: 16 Hz – 200 kHz
• Paladar (língua)
Perceção
• As papilas gustativas são estruturas compostas por células sensoriais
que são capazes de discernir entre quatro sabores primários:
• o amargo
• o ácido
• o salgado
• o doce
• Enviadas algumas dezenas de bit por segundo para o cérebro
• Visão (olhos)
• Na retina, existem cerca de 6 milhões de cones, sensíveis à cor, e 100
milhões de bastonetes que são sensíveis à luminosidade
• O nervo ótico para ligação ao cérebro tem cerca de 1 milhão de fibras.
• Os neurónios podem ser ativados cada milissegundo.
• A comunicação entre o olho e o cérebro é feita a 1 Gbit/s,
aproximadamente
Perceção Humana: Ilusões
Perceção Humana: Ilusões
Perceção Humana: Ilusões
Perceção Humana: Ilusões
Conceitos Gerais
27
Conceitos Gerais
28
Conceitos Gerais
29
Conceitos Gerais
•
Distorção - diferença entre o conteúdo original e o
descodificado
30
31
Conceitos Gerais
•
•
Curvas de distorção, em função da compressão obtida
Comparação de codificadores – imagem natural
32
Conceitos Gerais
•
Imagem gerada a computador (computer graphics)
33
Conceitos Gerais
•
Imagem médica
34
Codificação JPEG e JPEG2000
Conceitos Gerais
•
As técnicas de codificação exploram a existência de
redundância e irrelevância nos dados
•
A redundância consiste em componentes que não são
estritamente necessárias porque não têm informação
própria associada:
•
•
•
•
Por exemplo, na leitura das palavras iniciadas por “h”
Nas palavras “que…”, “qua…”, a seguir ao “q” temos sempre o “u”
A seguir a “ç” temos “ça” ou “ço”
As Línguas (Português, Inglês,…) são muito redundantes
36
Conceitos Gerais
•
As técnicas de codificação exploram a existência de
redundância e irrelevância nos dados
•
A irrelevância refere-se a componentes que podem ser
removidas do sinal multimédia, sem afetar a perceção do
mesmo
•
Por exemplo, num sinal de fala a presença de componentes de
alta frequência é irrelevante para a perceção da mensagem
37
Conceitos Gerais
•
As técnicas de codificação sem perda procuram
representar os dados, minimizando a redundância
•
•
Procura-se obter uma representação eficiente, minimizando
o número de bits, para representar cada símbolo
As técnicas de codificação com perda procuram
eliminar as componentes irrelevantes
•
As componentes fora da perceção do SAH e do SVH são
eliminadas na fase de codificação
38
Técnicas de codificação
1. Codificação sem perda. Teoria da informação,
codificação de fonte e compressão universal de
fonte
2. Codificação de imagem sem e com perda.
3. Codificação de vídeo com perda.
4. Codificação de áudio sem e com perda.
Tópicos principais
Parte 1
Teoria da informação, codificação de fonte e
compressão universal de fonte
Tópicos principais
Compressão Lempel-Ziv
Tópicos principais
Compressão Lempel-Ziv
Tópicos principais
Parte 2
Codificação de imagem
Tópicos principais
Codificação JPEG
Tópicos principais
Lena 256 × 256
H(X) = 7,46 bit/símbolo
Codificador
Compressão
(bpp)
Relação
sinal/ruído
SNR (dB)
Huffman
7,51
infinita
Huffman Adaptativo
7,49
infinita
Aritmético
7,48
infinita
Aritmético ordem 1
6,26
infinita
JPEG
2,07
26,16
JPEG
1,42
22,77
JPEG
0,96
19,92
JPEG
0,85
19,09
JPEG
0,63
17,32
JPEG
0,35
13,68
Tópicos principais
Original
0,85 bpp 19,09 dB
2,07 bpp 26,16 dB
0,63 bpp 17,32 dB
0,96 bpp 19,92 dB
0,35 bpp 13,68 dB
Tópicos principais
Tópicos principais: JPEG - qualidade
Original
22.5 dB
26.2 dB
JPEG
JPEG2000
0.5 bit per pixel
compression ratio of 6.25 %
Tópicos principais: JPEG - qualidade
Original
16.1 dB
23.2 dB
JPEG
JPEG2000
0.3 bit per pixel
compression ratio of 3.75 %
Tópicos principais: imagem
• Formatos PNG, GIF e JPEG
PNG tem suporte a três tipos de cor (truecolor, greyscale e
pallete-based)
GIF suporta apenas pallet-based
JPEG suporta truecolor e greyscale
PNG e JPEG apresentam maior precisão de cor
relativamente ao GIF
Imagens pallete-based vs imagens truecolor
Tópicos principais: imagem
Imagem GIF - 256 cores (8 bits)
GIF
JPEG
Imagem JPEG - truecolor (24 bits)
PNG
Tópicos principais: imagem
JPEG – 30KB
Imagem JPEG
GIF – 58KB
Imagem JPEG
com factor de
ampliação de
800%
PNG – 152KB
Tópicos principais
Parte 3
Codificação de vídeo
Tópicos principais
Tópicos principais
H261
As diferenças entre frames consecutivas são reduzidas
Tópicos principais
H261
Tópicos principais
Parte 4
Codificação de áudio
Tópicos principais
Codificação de áudio MP3
Tópicos principais
Codificação de áudio MP3
Tópicos principais
Código Morse
A
.-
J
.---
S
...
1
.----
Period
.-.-.-
Comma
--..--
B
-...
K
-.-
T
-
2
..---
Hyphen
-....-
Colon
---...
C
-.-.
L
.-..
U
..-
3
...--
Question mark
..--..
D
-..
M
--
V
...-
4
....-
Apostrophe
.----.
E
.
N
-.
W
.--
5
.....
Parenthesis
-.--.-
F
..-.
O
---
X
-..-
6
-....
Quotation mark
.-..-.
G
--.
P
.--.
Y
-.--
7
--...
Fraction bar
-..-.
H
....
Q
--.-
Z
--..
8
---..
Delete prior word
I
..
R
.-.
0
----
9
----.
End of
transmission
........
.-.-.
Código de comprimento variável (símbolos: ., -, pausa entre letras e pausa entre palavras).