Econometria: 4 - Regressão Múltipla em Notação Matricial

Econometria:
4 - Regressão Múltipla em
Notação Matricial
Prof. Marcelo C. Medeiros
[email protected]
Prof. Marco A.F.H. Cavalcanti
[email protected]
Pontifícia Universidade Católica do Rio de Janeiro
PUC-Rio
Sumário
„
O modelo de regressão linear múltipla em
notação matricial
„
„
Definição e terminologia
„
Estimação
„
Qualidade do ajuste
„
Propriedades Algébricas
„
Propriedades Estatísticas
Referências bibliográficas
„
Wooldridge, apêndice E
„
Stock e Watson, capítulo 16
2
Regressão Múltipla
Definição e Terminologia
„
Considere o modelo de regressão linear
múltipla
y i = β 0 + β 1 x 1 i + β 2 x 2 i + L + β k x ki + u i
onde:
„
y é a variável dependente;
„
x1, ..., xk são variáveis explicativas;
„
u é o erro (ou distúrbio); e
„
βo, ..., βk são parâmetros a serem estimados.
3
Regressão Múltipla
Definição e Terminologia
„
O modelo anterior pode ser escrito na seguinte
forma matricial:
 y1 
y 
 2
M 
y 
 n
=
1 x11
1 x
12

M M
1 x

1n
n ×1
L
L
O
L
xk 1 
xk 2 

M 
xkn 
n × ( k +1 )
 β0 
β 
 1
 M 
β 
 k
( k +1)×1
+
 u1 
u 
 2
M
u 
 n
n ×1
ou
y = Xβ + u
onde:
„
X é a matriz de dados.
„
Observe que a 1a coluna de X é um vetor de 1’s,
referente ao termo constante (intercepto) de cada
equação.
4
Regressão Múltipla
Definição e Terminologia
„
Nosso objetivo será, como antes, obter as
“melhores estimativas possíveis” do vetor de
parâmetros desconhecidos.
„
O critério a ser usado continua sendo o de
minimização da soma dos quadrados dos
resíduos.
„
Definindo o vetor de valores ajustados:
ˆ = Xβˆ
Y
e o vetor de resíduos:
ˆ = Y−Y
ˆ = Y − Xβˆ
U
o problema consiste em minimizar
n
2
ˆ
ˆ
ˆ
u
=
U
'
U
∑ i
i =1
5
Regressão Múltipla
Definição e Terminologia
„
Note que a matriz X é formada por k+1 vetorescoluna:
1 x11
1 x
12
X=
M M

1 x1n
L xk 1 
L xk 2 
 = [x 0
O M 

L xkn 
x 1 ... x k ]
Logo, o vetor de valores ajustados pode ser
reescrito assim:
ˆ = x βˆ + x βˆ + ...+ x βˆ
Y
0 0
1 1
k k
ou seja, o vetor de valores ajustados é dado por
uma combinação linear dos (k+1) vetores-coluna
da matriz X.
6
Regressão Múltipla
Definição e Terminologia
„
Em termos geométricos, fica claro que os pesos
de cada vetor xi nessa combinação linear devem
ser escolhidos de modo a gerar a projeção de y
no (sub)espaço vetorial definido pelas colunas da
matriz X.
„
No gráfico abaixo, qual das 2 combinações
lineares consideradas gera o menor vetor de
resíduos na regressão de y em x1 e x2?
y
û
û
x1
^
y
^
y
x2
7
Regressão Múltipla
Hipóteses de Gauss-Markov
„
Algumas hipóteses importantes:
„
(H1) Modelo populacional é linear
y = β 0 + β 1 x1 + β 2 x 2 + L + β k x k + u
„
(H2) Uma amostra aleatória de tamanho n
{( x1 i , x 2 i , K , x ki y i ) : i = 1, K , n }
pode ser construída a partir do modelo
populacional.
„
(H3) Média condicional nula
E( U | X ) = E( U ) = 0
 u1   E(u1 | X)  0
 E(u | X)  0
u
= =0
E(U | X) = E  2 | X =  2
 :
 
:
:
  
 

u
u
X
E(
|
)
 0 
 n   n
8
Regressão Múltipla
Hipóteses de Gauss-Markov (continuação)
„
(H4) O posto de X é k+1.
„
As colunas de X são linearmente independentes.
„
Não há multicolinearidade perfeita
„
Os valores observados de x1,... , xk não são
todos
iguais
(caso
contrário,
a
coluna
correspondente de X seria um múltiplo da
primeira)
„
n > k+1 (número de observações > número
de variáveis explicativas)
„
(H5) Homocedasticidade
cov(u1 , u 2 )
 var(u1 )
cov(u , u )
var(u 2 )
2
1
Var(U) = 

M
M

cov(u n , u1 ) cov(un , u 2 )
L cov(u1 , u n ) 
L cov(u 2 , u n )

O
M

L
var(un ) 

L E[u1 − E(u1 )][u n − E(un )]
E[u1 − E(u1 )]2


M
O
M
=

2
E[un − E(u n )][u1 − E(u1 )] L

E[un − E(u n )]


= E[U − E(U)][U − E(U)]' = E(UU' )
σ 2

M
=
0

 0
0

σ2 L M 
= σ 2I n
L O 0

L 0 σ 2 
0
L
9
Regressão Múltipla
Estimação
„
Da mesma forma que na regressão linear
simples os estimadores
βˆ 0 , βˆ 1 , βˆ 2 , K , βˆ k
são chamados de estimadores de mínimos
quadrados e podem ser estimados por meio
da minimização da soma do quadrado dos
resíduos:
n
∑
i =1
„
n
uˆ i2 = ∑ ( y i − βˆ 0 − βˆ 1 x1 i − L − βˆ k x ki ) 2
i =1
As condições de primeira ordem são
n
∑ ( y i − βˆ 0 − βˆ 1 x1i − L − βˆ k x ki ) = 0
i =1
n
∑
i =1
x1 i ( y i − βˆ 0 − βˆ 1 x 1 i − L − βˆ k x ki ) = 0
M
n
∑
i =1
x ki ( y i − βˆ 0 − βˆ 1 x 1 i − L − βˆ k x ki ) = 0
10
Regressão Múltipla
Estimação (continuação)
„
Em notação matricial, as condições de
primeira ordem podem ser escritas da
seguinte forma:
(
)
X' y − Xβˆ = 0
ou
(X' X )βˆ = X' y
„
Estas são as “equações normais”.
„
Verifique que se trata exatamente do
mesmo sistema de k+1 equações visto
anteriormente.
11
Regressão Múltipla
Estimação (continuação)
„
Vejamos as “equações normais” em maior
detalhe:
 n

∑ x1i
 :

∑ xki
„
∑x
∑x
1i
2
1i
:
∑ x1i xki
∑x
∑x x
 βˆ 0   ∑ yi 
 ˆ  

x1i yi 
∑
1i ki  β1 

=
:  :   : 


2  ˆ 
∑ xki  βk  ∑ xki yi 
..
ki
..
:
..
Para o caso de apenas um regressor (além
do intercepto):
 n

∑ x1i
„
∑x
∑x
ˆ





y
β
∑
1i
i
0
=

2 ˆ 
1i  β1 
∑ x1i yi 
Você reconhece essa expressão?
12
Regressão Múltipla
Estimação (continuação)
„
Note que, pelas equações normais:
(
)
X' uˆ = X' y − Xβˆ = 0
o que significa que o vetor de resíduos é
ortogonal em relação a todos os vetorescoluna de X. Isso faz sentido? (Lembre que
se trata de um problema de projeção)
„
Finalmente, obtemos:
ˆβ = (X' X )−1 X' y
„
Importante: para que a matriz X’X seja
invertível é necessário que o posto de X
seja k+1.
13
Mínimos Quadrados Ordinários
Propriedades Estatísticas dos Estimadores
„
Teorema 1: sob as hipóteses (H1) - (H4) os
estimadores
de
mínimos
quadrados
ordinários são não-tendenciosos, isto é
(
)
E βˆ | X = β
Prova:
ˆβ = (X' X )−1 X' Y = (X' X )−1 X' (Xβ + U )
= (X' X ) (X' X )β + (X' X ) X' U
−1
−1
= β + (X' X ) X' U
−1
( )
−1
E βˆ | X = β + (X' X ) X' E(U | X ) = β
14
Mínimos Quadrados Ordinários
Propriedades Estatísticas dos Estimadores
„
Teorema 2: sob as hipóteses (H1) - (H5)
( )
−1
2
ˆ
Var β | X = σ (X' X )
Prova:
( )
[
= Var[(X' X )
]
[
−1
−1
Var βˆ | X = Var (X' X ) X' Y | X = Var (X' X ) X' (Xβ + U ) Var
−1
(X' X )β + (X' X )−1 X' U | X]
[
= Var[β | X] + Var (X' X ) X' U | X
[
= Var (X' X ) X' U | X
−1
−1
]
]
= (X' X ) X' Var[U | X]X(X' X )
−1
−1
( )
= (X ' X ) X ' σ 2 I X (X ' X )
−1
−1
= σ 2 (X' X ) X' X(X' X )
−1
−1
= σ 2 (X ' X )
−1
15
]