Análise Discriminante

ANÁLISE
DISCRIMINANTE
Objectivo:
Encontrar uma função discriminante que
permita distinguir grupos de amostras,
conhecidos a priori (traning set). Esta
função pode depois ser usada para
classificar amostras anónimas.
2
Habitualmente em Análise Discriminante
consideram-se dois grupos de indivíduos,
A e B, caracterizados por p propriedades.
Training set sobre o qual
assenta a discriminação
O objectivo é encontrar um eixo U (ou função discriminante, construída
como uma combinação linear das propriedades de partida) que maximize o
quociente de projecções (sobre U) entre a inércia inter-classes (B, de
Between) e a inércia intra-classes (W, de Within).
3
Seja a matriz de dados X, de termo geral xij, constituída por n indivíduos e por p
propriedades, segmentada em dois blocos A e B, de dimensão nA e nB:
j
p
1
1 n
x j   xij
n i
é a média geral por coluna
1 nA
x Aj   xij
nA i
é a média geral por coluna em A
1 nB
xBj   xij
nB i
é a média geral por coluna em B
A
X
nA
i
1
B
nB
n=nA+nB
Centros de gravidade
4
A matriz B tem como termo geral









nA
nB
b jj ' 
x Aj  x j x Aj '  x j ' 
xBj  x j xBj '  x j '
n
n

A matriz W tem como termo geral


nB

1  nA
wij '   xij  x Aj xij '  x Aj '   xij  xBj xij '  xBj ' 
n i
i

5
Os eixos discriminantes serão calculados de modo a maximizar o quociente entre a inércia inter-grupos
e a inércia intra-grupos.
Pelo Teorema de Huygens, maximizar B/W é o mesmo que maximizar B/T, onde T é a matriz de
inércia (matriz variância-covariância) de X, de termo geral:


1 n
tij '   xij  x j xij '  x j '
n i

A solução do problema discriminante para variáveis quantitativas, é dada pela diagonalização da
matriz T-1B, cujo vector próprio é U e cujo valor próprio mede o poder discriminante e é dado por:
U ' BU

U ' TU
A matriz T tem uma função meramente normativa, para que  esteja contido em [0,1]. Quanto mais
próximo  for de 1, maior a parte da inércia total T que é explicada por B, e mais “perfeita” é a
discriminação.
6
Caso da Discriminação em 2 Classes:
Para o caso da matriz X estar segmentada apenas em 2 classes (k=2), existe um só eixo discriminante
(U), o qual pode ser obtido sem diagonalizar T-1B.






nA
nB
b

x

x
x

x

xBj  x j xBj '  x j ' ), pode escreverAj
j
Aj '
j'
A matriz B (de termo geral: jj '
n
n
se, para o caso de duas classes de centros de gravidade Y1 e Y2 e efectivos n1 e n2, do seguinte modo:




n1n2
B  2 y1  y2 y1  y2
n
Fazendo em B o vector C dado por:
C
n1  n2
n
y
1
 y2

vem,
B  CC'
7
Tomando agora a equação que dá U (T-1BU=U) e substituindo B por CC’, vem:
T-1CC’U=U
Pré-multiplicando por C’, vem:
C’T-1CC’U=C’U
C’T-1C
Em resumo, o problema da Análise Discriminante em duas classes resolve-se calculando:
C
n1  n2
n
y
1
 y2

e
T-1
8