06 slides por folhas - DCA

Sumário
•
•
•
•
•
•
•
•
•
•
Processos Estocásticos
Luiz Affonso Guedes
Probabilidade
Variáveis Aleatórias
Funções de Uma Variável Aleatória
Funções de Várias Variáveis Aleatórias
Momentos e Estatística Condicional
Teorema do Limite Central
Processos Estocásticos
Análise Espectral
Filtragem e Predição Estocástica
Processos Markovianos
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Uma V.A. X para o caso contínuo, é uma
variável (domínio da função) pertencente aos
reais.
• V.A. mapeia R1 em R1.
• Para o caso multidimensional, temos que n V.A.
(contínuas), são o domínio da função distribuição de
probabilidade pertencente aos reais.
• V.A. multidimensional mapeia Rn em R1.
S
S
P(X,Y)
X(e)
e
P(X)
e
Y(e)
X(e)
X(e)
Variáveis Aleatórias Multidimensionais
• Estatística Conjunta de V.A.:
– Interesse de se estudar simultaneamente várias
características num determinado experimento.
– Interesse de estudo da inter-relação dessas
variáveis.
• Definição:
– Sejam X1, X2, ..., Xn v.a. definidas em S, um
ponto nesse conjunto n-dimensional mapeia um
único ponto no espaço unidimensional.
X(e)
Y(e)
Variáveis Aleatórias Multidimensionais
• Estatística Conjunta de V.A.:
– Exemplos:
• Numa pesquisa de opinião de votos, coleta-se além da
intenção de voto, idade, sexo e renda: tridimensional
f(Idade, Sexo, Renda).
• Experimento de se lançar uma moeda (X) e um dado
(Y) simultaneamente: bidimensional f(X,Y)
– Deseja-se basicamente obter-se as inter-relações
ou independências entre as diversas v.a.
envolvidas no experimento.
• 0≤ P(x1,x2, ..., xn) = k ≤ 1
1
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Para o caso de V.A. bidimensional:
– X Æ Fx(x) = P(X≤x)
– Y Æ Fy(y) = P(Y ≤ y)
– Fx,y(X,Y) = P(X≤x; Y ≤ y) Æ Probabilidade conjunta de
X e Y.
– P(x1 ≤ X≤x2; y1 ≤ Y ≤ y2) = ?
Y
• Para o caso de V.A. discretas, temos uma
tabela de n+1 colunas.
X1
X2
a1
b1
a2
b2
...
...
...
P(X1=x1, X2=x2, ...)
k1
k2
...
• Para o caso de V.A. bidimensional:
– Caso Discreto:
• Fx,y(x,y) = P(X≤x; Y ≤ y) = ΣiΣj P(X=xi, Y=yj)
– Caso Contínuo:
• Fx,y(x,y) = P(X≤x; Y ≤ y) = ∫-∞,y ∫-∞,x f(x,y) dx dy
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:
– Caso n-dimensional:
• Dada F(x1,x2,...,xn) calcular a distribuição marginal de X1.
• Caso discreto: P(X1 = x1) = Σx2...Σxn P(X1=x1, ..., Xn=xn)
• Caso contínuo: fx1(x1) = ∫x2... ∫xn f(x1,...,xn) dx2...dxn
y2
em X e Y.
y2
y1
y1
...
Variáveis Aleatórias Multidimensionais
– E[X + Y] = E[X] + E[Y]
Volume cuja base
é dada pelos limites
Y
x1
x2
X
x1
X
x2
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:
– Caso bidimensional:
• Dada F(x,y), calcular a distribuição de X, independentemente
do valor de Y Æ Distribuição Marginal de X.
• Fx(x) = Fxy(x,+∞) ; {y<+ ∞}
• FY(y) = Fxy(y,+∞) ; {x<+ ∞}
• Caso discreto: P(Y=yj) = Σi P(X=xi, Y=yj)
• Caso contínuo: fx(x) = ∫-∞,+∞ f(x,y) dy
P[(X,Y)∋D] = ∫ ∫D f(x,y) dxdy
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:
– Propriedades:
•
•
•
•
•
•
Fxy(x,-∞) = 0;
Fxy(-∞,y) = 0;
Fxy(+∞,+∞) = 1
P(x1 ≤ X≤x2; Y ≤ y) = Fxy(x2,y) - Fxy(x1,y)
P(X≤x; y1≤Y ≤ y2 ) = Fxy(x,y2) - Fxy(x,y1)
P(x1 ≤ X≤x2; y1≤Y ≤ y2 ) = Fxy(x2,y2) - Fxy(x2,y1) -Fxy(x1,y2)
+ Fxy(x1,y1)
• fx(x) = ∫-∞,+ ∞fx,y(x,y)dy
2
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:
• Distribuições Marginais:
– Exemplo: sejam (X,Y) uma v.a. bidimensional cuja
densidade de probabilidade é dada por:
– Exemplo: Determine as distribuições marginais
de X e Y.
X\Y
1
2
3
4
1
0,10
0,05
0,02
0,07
2
0,08
0,05
0,10
0,19
3
0,10
0,20
0,04
0,00
P(Y)
P(X)
4
Y
•
•
•
•
•
f(x,y) = (3/80) (x2+xy), 0<x<2 e 0<y<4
f(x,y) = 0, para as outras regiões
Determine as densidades marginais de X e Y.
Calcular a probabilidade de P[X+Y<3].
Resp.=21/80
Determinar F(x,y).
3
1
2
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:
– Exemplo: sejam (X,Y) uma v.a. bidimensional cuja
densidade de probabilidade é dada por:
•
•
•
•
f(x,y) = 8xy, 0<x<y<1
f(x,y) = 0, para as outras regiões
Determine as densidades marginais de X e Y.
Calcular a probabilidade de P[0<X<0,5; 0<Y<0,5].
Resp.=0,0625
1
3
X
Variáveis Aleatórias Multidimensionais
• Função Densidade de Probabilidade Conjunta
– fxy (x,y) = ∂ 2 Fx,y(x,y)/∂dx ∂dy
– ∂ Fx,y(x,y)/∂dx = ∫-∞,yfx,y(x,v)dv
– fx1, ...,xn (x1,..., xn) = ∂ n Fx1 ...,xn (x1,..., xn)/∂dx1... ∂dxn
Y
0,5
0,5
1
X
Variáveis Aleatórias Multidimensionais
• V.A. Independentes:
As v.a. X1, ..., Xn são ditas independentes
se para todos os seus valores tivermos:
– P[X1=x1, ..., Xn=xn] = P[X1=x1] ... P[Xn=xn]
Variáveis Aleatórias Multidimensionais
• V.A. Independentes:
Conseqüências:
•
•
•
•
Fx,y(x,y) = Fx(x) . Fy(y)
fx,y(x,y) = fx(x) . fy(y)
E[XY] = E[X] E[Y]
Var(X+Y) = Var(X-Y) = Var(X) + Var(Y)
– Se as v.a. são independentes, então a distribuição
conjunta é dada pelo produto das distribuições
marginais.
3
Variáveis Aleatórias Multidimensionais
• Covariância
– Sejam as v.a. X e Y. As suas variâncias fornecem
uma medida de dispersão em relação às suas
médias.
– A covariância fornece uma medida de dispersão
de uma v.a. bidimensional em relação ao ponto
(E[X], E[Y]).
– Cov(X,Y) = E{ (X-E[X]) (Y-E[Y]) }
Variáveis Aleatórias Multidimensionais
• Covariância
– Conseqüências:
• Var(X+Y) = Var(X) + Var(Y) +2Cov(X,Y)
• Se X e Y são independente ÆCov(X,Y) = 0
• Se X e Y tendem a variar no mesmo sentido, a
Cov(X,Y) será positiva.
• Se X e Y tendem a variar em sentidos opostos, a
Cov(X,Y) será negativa.
Variáveis Aleatórias Multidimensionais
• Covariância
– Cov(X,Y) = E{ (X-E[X]) (Y-E[Y]) }
– Cov(X,Y) = ΣiΣj (xi-mx) (yi-my) P(X=xi, Y=yj)
– Cov(X,Y) = ∫y∫x (xi-mx) (yi-my) f(x,y) dx dy
– Cov(X,Y) = E[XY] – E[X] E[Y]
– Cx,y = Rx,y - mx.my ;
– Rx,y = ∫y∫x xi yi f(x,y) dx dy ÆCorrelação
Variáveis Aleatórias Multidimensionais
• Covariância e Coeficiente de Correlação
– Sejam duas V.A. X e Y. Se X’= aX e Y’= bY:
• Cov(X’,Y’) = ab Cov(X,Y)
– Cov(X,Y) = E[XY] – E[x] E[Y]
• Então, a covariância depende das escalas das v.a.
• Seria interessante se trabalhar com uma
medida de dispersão independente de escala!
Variáveis Aleatórias Multidimensionais
• Coeficiente de Correlação
– ρ(X,Y) = Cov(X,Y)/ ( σ(X) σ(X) )
– | ρ(X,Y) | ≤ 1 Æ normalização da covariância
– Se X’= aX e Y’= bY:
• Cov(X’,Y’) = ab Cov(X,Y)
• ρ(X’,Y’) = ab Cov(X,Y)/ ( a σ(X) bσ(X) )
= ρ(X,Y)
Variáveis Aleatórias Multidimensionais
• Descorrelação
– Cov(X,Y) = Cx,y = 0 Æ ρ(X,Y) = 0;
– E[XY] = E[X] E[Y]
• Ortogonalidade:
– E[XY] = 0 Æ X e Y são ortogonais.
– Se Y = aX + b Æ ρ(X,Y) = signal(a) . 1
4
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• X = [X1,X2,...,Xn]
• Rn = R11 ... R1n  Å Matriz de Correlação
...
Rn1 ... Rnn
• Cn= C11 ... C1n  Å Matriz de Covariância
...
Cn1 ... Vnn
• Distribuição n-dimensional conjutamente
normal:
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Cn=Rn – ΝxΝxt
• f(x1, ...,xn) = (2π)-n/2 |[Cx]-1|1/2 exp{-0.5 [x-X]t [Cx]-1[x-X]}
• Exemplo para o caso bidimensional.
• f(x,y) = (2π)-1 (σxσy)-1 (1-r2)-1/2 .
exp{-0.5 (1-r2)-1/2 [(x-ηx)2 /σx2 +(y-ηy)2 /σy2 +
- 2r(x-ηx)(y-ηy)/ σx σy] }
; Nxt = [ηx1 ηx2 ... ηxn]
• Distribuições de Funções de V. A.
• Distribuições de Funções de V. A.
– Sejam X e Y com distribuição conjunta dada por
F(x,y) e densidade de probabilidade f(x,y).
– Caso 1: Z=X+Y
Y
• Dz = {(x,y): x+y ≤ z}
• Gz(Z) = ∫∫Dzf(x,y)dxdy
= ∫-∞, ∞ {∫- ∞,z-x f(x,y)dy}dx
• Fz(Z) = ∫-∞, ∞ {∫- ∞,z f(x,u-x)du}dx
• F(x,y) ÅÆ f(x,y) ?
– Outra questão importante:
X
z=x+y
– u=x+y Æ y = u - y
• Dado f(x,y) e se Z= g(X,Y) Æ f(z)?
• G(Z) = P[Z ≤ z] = P[(X,Y) ∋ Dz];
• Fz(Z) = ∫- ∞,z {∫-∞, ∞ f(x,u-x)dx}du Å integrando não negativo
• fz(z) = {∫-∞, ∞ f(x,z-x)dx}
• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– Dz = {(x,y):g(x,y) ≤ z}
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Æ Integral de Convolução
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Distribuições de Funções de V. A.
• Distribuições de Funções de V. A.
– Caso 1: Z=X+Y
– Caso 1: Z=X+Y
• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Æ Integral de Convolução.
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Æ Integral de Convolução.
• Exemplo 1: fz(z) = fx(x) ⊗ fy(y)
• Exemplo 2: fz(z) = fx(x) ⊗ fy(y)
f(x)
f(x)
a
X
f(z)
1/a
a
f(y)
b
X
f(z)
f(y)
a
a
Y
2a
a+c
Z
c
d
b+d
Z
Y
5
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Distribuições de Funções de V. A.
• Distribuições Condicionais
– Caso 1: Z=X+Y
• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– Caso Bidimensional: Sejam X e Y v.a. conjuntas.
– P[Y=y|X=x] = P[X=x,Y=y] / P[X=x]
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Æ Integral de Convolução.
• Exemplo 3: fz(z) = fx(x) ⊗ fy(y)
– P[Y≤y|x<X ≤ x+∆x] =
P[x<X ≤ x +∆x,Y=y] / P[x<X ≤ x+∆x]
f(x)
a
f(z)
X
f(y)
1/a
a
a
2a
2a
3a
Z
– f(y/x) = f(x,y) / f(x) Æ f(x,y) = f(y/x) . f(x)
– Exemplo: f(x,y) = 21x2.y3 para 0<x<y<1 e 0 para outros valores.
Determine f(x), f(y), f(x|y) e f(y|x).
Y
Variáveis Aleatórias Multidimensionais
• Distribuições Condicionais
– Caso Bidimensional: Esperança condicional
• E[Y|X=x] = ∑y y. P[Y=y|X=x] Æ para cada x há uma
esperança correspondente.
• E[Y|X=x] = ∫-∝,+∝ y. f(y|x)dy
• Exemplo: Obter E[Y|X=x] pra a exemplo anterior.
– f(y|x) = 4y3 / (1-x4) ; para 0<x<y<1.
– E[Y|X=x] = ?
Teorema do Limite Central
• Se as v.a. Xi são independentes, então sob
condições gerais, a densidade f(x) da sua
soma (x = x1+x2+ ...+xn) normalizada
apropriadamente, tende para a curva normal
quando n tende a infinito.
• Se n é suficientemente grande:
Æ f(x) ≈ (1/σ√2π) . exp{-(x-η)2/2σ2}
Variáveis Aleatórias Multidimensionais
• Distribuições Condicionais
– Caso N-dimensional:
– f(xn|xn-1,...,x1) = f(xn,xn-1,...,x1) / fxn-1,...,x1 (xn-1,...,x1)
– f(xn,xn-1 |xn-2,...,x1)= f(xn,xn-1,...,x1) / fxn-2,...,x1(xn-2,...,x1)
– E[Xn|Xn-1=xn-1..., X1=x1] = ∫-∝,+∝ xn . f(xn|xn-1,...,x1)dxn
Teorema do Limite Central
• Se as v.a. forem independentes:
– Se x = x1 + x2 +... +xn
– Então, f(x) = f1(x1) ⊗ f2(x2) ⊗ ... fn(xn)
– Para n suficientemente grande, f(x) tende a uma
distribuição normal.
– Se xi’s têm média η e desvio padrão σ:
• E[x] = n. η
• Var[x] = n. σ
6
Teorema do Limite Central
• Exemplo:
– Um dado é lançado 2.500 vezes. Calcular a
probabilidade de que a soma dos pontos obtidos seja
menor que 8.850.
Como n = 2.500 é muito grande Æ aproximação normal.
X = X1+X2+ ...+ X2500
P(Xj=i) = 1/6 ; i é a número da face no j-ésimo lançamento.
E[Xj] = 1/6=3,5 ; Var[Xj] = 2,92 Æ σ(Xj) = 1,71
E[X] = 2.500 * 3,5 = 8.750; Var[X] = 2.500 * 2,92 =7.310 Æ
σ(X) = 85,5
• P[X<8.850] = P[Z< (8.850-8.750)/85,5] = P[Z<1,17] = 0,879
•
•
•
•
•
Z = (X –médiax)/ σ Å normalização para N(0,1).
Teorema do Limite Central
• Exemplo:
– X = X1 + X2 +... +Xn
– Xi’s são independentes entre si.
– Xi’s têm distribuição uniforme entre 0 e T.
•
•
•
•
•
E[Xi] = η = T/2
σ2[Xi] = E[(Xi- η)] = T2/12 Æ σ[Xi] = T/ (12)1/2
E[X] = n. E[Xi] = n . η = n . T/2
σ2[X] = n . E[(Xi- η)] = n . T2/12
Para o caso de T = 1 e n = 12
– E[X] = 6 e σ2[X] = 1.
7