MOQ-13 PROBABILIDADE E ESTATÍSTICA

MOQ-13 PROBABILIDADE
E ESTATÍSTICA
Professor: Rodrigo A. Scarpel
[email protected]
www.mec.ita.br/~rodrigo
Programa do curso:
Semanas
Conteúdo
1
Introdução à probabilidade (eventos, espaço amostral, axiomas, propriedades, probabilidade condicional e independência).
2
Teorema da probabilidade total e teorema de Bayes. Variáveis aleatórias. Distribuições de probabilidade. Funções massa,
densidade, e distribuição acumulada. Funções de variáveis aleatórias.
3
Valor esperado e variância. Momentos de uma variável aleatória. Função geradora de momentos. Principais distribuições de
probabilidade discretas (Bernoulli, Binomial e Poisson).
4
Principais distribuições de probabilidade contínuas (Exponencial negativa e Normal).
5
Feriado (2/4)
6
Variáveis aleatórias conjuntas, função distribuição conjunta e marginal. Independência estatística. Covariância e Coeficiente
de Correlação.
7
Prova
8
Princípios de estatística. Estimadores e estimativas. Estimação pontual de parâmetros (Métodos dos momentos e da máxima
verossimilhança). Estatística Descritiva.
9
Amostras aleatórias. Distribuições amostrais. Teorema do limite central.
10
Propriedades dos estimadores. Intervalos de confiança (estimação por intervalo). Tamanho da amostra. Princípios de testes
de hipóteses.
11
Testes de Hipóteses. Inferência baseada em 2 amostras (entre parâmetros de populações distintas).
12
Testes não-paramétricos (associação, independência e de aderência).
13
Feriado (4/6)
14
Prova
15 e 16
Regressão linear simples e correlação.
Aplicações de modelos de regressão linear.
PRINCÍPIOS DA
ESTATÍSTICA
Professor: Rodrigo A. Scarpel
[email protected]
www.mec.ita.br/~rodrigo
Probabilidade x Estatística:
PROBABILIDADE
POPULAÇÃO
AMOSTRA
ESTATÍSTICA
Em probabilidade assume-se que população em estudo é conhecida
Em estatística, amostras são utilizadas para se chegar a conclusões
Princípios da Estatística:
Em probabilidade estudamos os modelos probabilísticos que auxiliam na
redução da realidade:
TESTAR
ADERÊNCIA
REALIDADE
MODELO
HIPÓTESES
ESTIMAÇÃO
DOS
PARÂMETROS
FAZER INFERÊNCIAS
EM RELAÇÃO À
REALIDADE
Princípios da Estatística:
No procedimento descrito:
A REALIDADE é a POPULAÇÃO (totalidade das observações na qual
estamos interessados)
Na redução da realidade a HIPÓTESE é que cada observação em uma
população é um valor de uma variável aleatória X, com distribuição de
probabilidade f(x). Assim,
Quando nos referirmos a uma população f(x) queremos dizer uma
população cujas observações são valores de uma variável aleatória que
tem uma distribuição de probabilidade f(x)
O valor esperado e a variância da variável aleatória é o valor esperado e
a variância da população correspondente
Princípios da Estatística:
Objetivo: Fazer inferências em relação à população (caracterizar e
eventualmente definir regras de decisão sobre uma população conhecendo
apenas parte dela)
TESTAR
ADERÊNCIA
POPULAÇÃO
AMOSTRA
HIPÓTESES
ESTIMAÇÃO DOS
PARÂMETROS
FAZER INFERÊNCIAS EM
RELAÇÃO A POPULAÇÃO
Princípios da Estatística:
Def: Amostra é um subconjunto da população.
O processo de amostragem deve assegurar a representatividade da amostra
em relação à população de onde foi retirada.
Métodos de amostragem:
Amostragem aleatória: iid
Amostragem estratificada
Amostragem por agrupamentos
Princípios da Estatística:
Def: Ao selecionar uma amostra de tamanho n de uma população f(x),
define-se a variável aleatória Xi, i =1,…,n, para representar o i-ésimo valor
amostral. As variáveis aleatórias X1, X2, …, Xn serão uma amostra aleatória
da população f(x), com valores numéricos x1, x2, …, xn se os valores
amostrais foram obtidos repetindo-se o experimento n vezes
independentemente, sob as mesmas condições. Portanto:
Os Xi’s são independentes
Todas Xi tem a mesma distribuição de probabilidade
Quando as amostras são feitas com reposição ou de uma população
“infinita”, essas condições são satisfeitas (as amostras são iid).
Princípios da Estatística:
Distribuição de probabilidade de uma amostra aleatória:
Como X1, X2, …, Xn é uma amostra aleatória da população f(x), sua
distribuição de probabilidade conjunta é
f (x1 , x 2 ,...x n ) = f (x1 ). f (x 2 )... f (x n )
POPULAÇÃO
AMOSTRA
HIPÓTESES:
f(x) e
independência
ESTIMAÇÃO DOS
PARÂMETROS
Portanto, essa distribuição é caracterizada pelos parâmetros populacionais
E[X] e Var[X] que são constantes não afetadas ou influenciadas pelas
observações da amostra aleatória.
MÉTODOS DE
ESTIMAÇÃO DE
PARÂMETROS
Professor: Rodrigo A. Scarpel
[email protected]
www.mec.ita.br/~rodrigo
Métodos de estimação pontual de parâmetros:
Um método de estimação de parâmetros sugere como obter estimadores
em casos específicos (quando faz-se alguma hipótese sobre a distribuição
da população, por exemplo).
Dois dos métodos mais utilizados em estimação de parâmetros são:
Método da máxima verossimilhança
Método dos momentos
Método da máxima verossimilhança:
O MLE é um método para estimação dos parâmetros a partir de uma
amostra aleatória proposto por Fisher em 1912.
Def: Função de Verossimilhança: seja X1,…,Xn uma amostra aleatória com
f.d.p. conjunta f(x1,…,xn ; θ1,…, θm) em que θ1,…, θm tem valores
desconhecidos. Quando x1,…,xn são os valores observados e a f.d.p.
conjunta é vista como em função de θ1,…, θm esta é chamada de função de
verossimilhança.
^
^
Procedimento: a estimativa de máxima verossimilhança de θ1,…, θm são os
^
valores de θi que maximizam a função de verossimilhança.
Por esse método obtém-se os valores de θ1,…, θm que maximizam o valor
que torna a amostra observada a “mais provável”.
Método dos momentos:
A idéia básica deste método é igualar os parâmetros obtidas a partir das
amostras aos parâmetros esperados da população (por exemplo, a média
amostral ao valor esperado populacional).
Def: Momento populacional: seja X1,…,Xn uma amostra aleatória de uma
população com f.d.p. f(x). Para k=1,2,3,… o k-ésimo momento populacional
(ou seja, da distribuição f(x)) é E[Xk].
Def: Momento amostral: seja X1,…,Xn uma amostra aleatória de uma
população com f.d.p. f(x). Para k=1,2,3,… o k-ésimo momento amostral é
N
∑
Mk =
X ik
i =1
N
Método dos momentos:
Procedimento:
Seja X1,X2,…,Xn uma amostra aleatória de uma distribuição com
f.d.p. f(x;θ
θ1,…, θm), em que θ1,…, θm são parâmetros cujos valores são
desconhecidos.
^
Os estimadores de momento θ1,…, θ^m são obtidos igualando-se os
primeiros m momentos amostrais aos m momentos populacionais
correspondentes e resolvendo para θ1,…, θm.
DISTRIBUIÇÃO
E[X]
VAR[X]
Binomial [X~Bin(n,p)]
n.p
n.p.(1-p)
Poisson [X~Poi( λ )]
λ
λ
2
µ
σ2
Normal [X~N(µ ,σ )]
Uniforme [X~Uni(a , b )] (a +b)/2 (b-a )2/12
Exponencial [X~Exp( λ )]
1/λ
λ
1/λ
λ2
Gamma [X~Gamma(a ,b)] a .b
a .b2
m
1
1
2
2
1
2
Obs: n é conhecido
ESTATÍSTICA
DESCRITIVA
Professor: Rodrigo A. Scarpel
[email protected]
www.mec.ita.br/~rodrigo
Análise exploratória de dados:
Uma vez coletados, é necessário fazer sua análise exploratória com
o objetivo de:
Checar sua qualidade (presença de outliers). Formas:
Estatísticas de sumarização (de posição e de dispersão)
Análise gráfica (histograma, box-plot)
A análise exploratória de dados é importante pois além de
proporcionar o maior entendimento do problema e dos dados
coletados, previne contra erros (conclusões equivocadas).
Histograma:
- Gráfico de barras contíguas;
- Base é proporcional ao intervalo da classe;
- Área é proporcional a frequência da classe;
- Pode-se usar tanto a frequência (ni) como a frequência relativa (fi)
Histograma:
Detecção de outliers
Medidas de posição:
São utilizadas quando se quer resumir os dados apresentando
apenas um ou alguns valores que sejam representativos de toda
série.
Média (aritmética): é a soma das observações divididas pelo número
delas, ou seja,
k
n
X =
njX j
∑ Xi ∑
j =1
i =1
n
=
n
em que n é o número de obsevações,
x1,...,xn são as observações,
k
=∑ fjX
j =1
j
nj é o número de informações iguais a xj,
fj é a frequência relativa da observação xj.
Mediana: realização que ocupa a posição central da série de
observações, quando estão ordenadas em ordem crescente.
Medidas de posição:
Média
Mediana
A comparação entre a
média e a mediana indica
a assimetria da
distribuição.
MEDIANA: Muito interessante para grande massa de dados.
Menos suscetível a valores extremos (mais indicada que
a média em casos de grande dispersão)
Medidas de dispersão:
São utilizadas quando se quer dar informação sobre a variabilidade
do conjunto de observações.
n
2
(
)
∑ Xi − X
Variância:
s2 ( X ) =
i =1
n −1
n
2
(
)
X
−
X
∑ i
Desvio padrão: s ( X ) =
i =1
n −1
= s2 ( X )
Quantis e box-plot:
QUARTIS: Q1, Q2, Q3 – Dividem os valores ordenados em quatro
subconjuntos com iguais números de elementos.
DECIS: D1, D2, …, D10 – Dividem os valores em 10 subconjuntos.
PERCENTIS:P1,P2, …,P100–Dividem os valores em 100 subconjuntos.
Para casa:
• Lista de Exercícios 6 (site: www.mec.ita.br/~rodrigo/)
• Leitura: Devore – caps. 1 e 6.2 (Métodos de Estimativa Pontual)
ou Walpole et al. – caps. 1 e 9.14 (Estimação de MV)