Conceitos Básicos de Estatística Aula 2 ISCTE - IUL, Mestrados de Continuidade Diana Aldea Mendes [email protected] 13 de Setembro de 2011 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 1 / 65 Estatística Aplicada (Revisões) DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 2 / 65 Programa Introdução Estatística Aplicada Medidas de estatística descritiva com destaque para as medidas de assimetria e de curtose. Variáveis aleatórias. Distribuições: Normal, Qui-quadrado, t-Student e F-Snedecor. Intervalos de con…ança e testes de hipóteses. DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 3 / 65 Estatística Descritiva A Estatística Descritiva consiste na apresentação, análise e interpretação de um conjunto de dados (amostra), através da criação de instrumentos adequados: representação grá…ca (séries temporais, dispersão, caixas de bigodes, etc) distribuições de frequências cálculo de valores numéricos que caracterizam os dados de uma forma global: medidas de estatística descritiva. Essas medidas designam-se por parâmetros, quando os dados se referem a uma população e por estatísticas, quando os dados dizem respeito a uma amostra DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 4 / 65 Estatística Descritiva A estatística incide sobre as características relevantes dos elementos que constituem as amostras e as populações. Cada característica é geralmente representada por uma variável, pois os elementos podem ter diferentes posicionamentos relativamente a essa característica. Variáveis Discretas Contínuas A escolha da técnica mais adequada para o tratamento estatístico está condicionada pela natureza das variáveis: dados qualitativos e quantitativos. DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 5 / 65 Estatística Descritiva Distribuições de frequências (grá…cos de barras) para uma variável discreta e para uma variável contínua 28 Series: PETROLEO Sample 1986M01 2003M11 24 Observations 215 20 16 12 8 4 Mean 20.94995 Median 19.96000 Maximum 39.53000 Minimum 10.25000 Std. Dev. 5.271820 Skewness 0.823380 Kurtosis 3.524400 Jarque-Bera 26.75686 Probability 0.000002 0 10 DMQ, ISCTE-IUL ([email protected]) 15 Estatística 20 25 30 35 40 13 de Setembro de 2011 6 / 65 Medidas de Estatística Descritiva Medidas de tendência central (posição, localização): identi…cam o centro de uma distribuição Média (mean, average) Mediana (median) Moda (mode) Medidas de tendência não-central (posição, localização): apontam para outras posições da distribuição Quartis (Qi , i = 1, 2, 3, 4) Decis (Di , i = 1, 2, ..., 10) Percentis (Pi , i = 1, 2, ..., 100) Medidas de dispersão (variabilidade) variância (variance) desvio padrão (standard deviation) DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 7 / 65 Medidas de tendência central A média denota-se por µ para uma população e por x̄ para uma amostra Média de uma amostra (x1 , x2 , ..., xn ) onde n é o tamanho da amostra e xi é o valor da observação i na amostra, é dada por n x̄ = x1 + x2 + ... + xn = n ∑ xi i=1 n , Exemplo: Dada uma amostra de 5 observações 90, 95, 80, 60, 75, a média é: 400 90 + 95 + 80 + 60 + 75 = = 80. x̄ = 5 5 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 8 / 65 Medidas de tendência central 100 95 90 média 85 80 75 70 65 60 55 50 1 1.5 2 2.5 3 3.5 4 4.5 5 mean = 80; std = 13.6931 = median DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 9 / 65 Medidas de tendência central 2.5 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -2.5 0 10 DMQ, ISCTE-IUL ([email protected]) 20 30 40 50 Estatística 60 70 80 90 100 13 de Setembro de 2011 10 / 65 Medidas de tendência central LOGVOL vs. T 8 6 LOGVOL 4 2 0 -2 -4 0 100 200 300 400 500 T DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 11 / 65 Medidas de tendência central Mediana: Me - é um outro nome atribuido ao percentile 50% e representa o centro posicional da distribuição Cálculo da mediana de um amostra ordenar os dados em ordem crescente: do mais pequeno para o maior se n (o número de dados na amostra) é ímpar, então a mediana é o número do meio (central) Me = x n+1 2 se n é par, então a mediana é a média dos dois números do meio (centrais) x n+2 + x n 2 Me = 2 2 Exemplo 1: amostra com um número ímpar de dados: 2, 8, 3, 4, 1 ordenar os dados: 1, 2, 3, 4, 8, logo Me = 3 Exemplo 2: amostra com um número par de dados: 2, 8, 3, 4, 1, 8 ordenar os dados: 1, 2, 3, 4, 8, 8 logo Me = (3 + 4)/2 = 3.5 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 12 / 65 Medidas de tendência central A moda (Mo) é o valor ou categoria que ocorre com a maior frequência Exemplo: a moda da amostra: 9, 2, 7, 11, 14, 7, 2, 7 é o 7, pois a sua frequência é 3 As distribuições podem ser: Unimodais – 1 valor de Mo Bimodais – 2 valores de Mo Multimodais – vários valores de Mo Amodais – Não regista qualquer valor de destaque DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 13 / 65 Medidas de dispersão Variância: 2 ∑ni=1 (xi µ) n 2 n ∑ (x x) = Var (x) = i=1 i n 1 σ2 = Var (x) = população s2 amostra Desvio padrão (Standard Deviation): é a mais comum medida de variabilidade. De…ne-se para uma população (σ) e para uma amostra (s) como a seguir: s s 2 2 ∑ni=1 (xi µ) ∑ni=1 (xi x) σ= e s= n n 1 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 14 / 65 Outras medidas Momento Estatístico Se x1 , x2 , ..., xn são os n valores assumidos pela variável X, de…nimos o momento de ordem t dessa variável como: mt = ∑ni=1 xti n Note que se t = 1 temos a média aritmética. O momento de ordem t centrado em uma constante K, com K 6= 0 é de…nido como: t ∑ni=1 (xi K) mK = t n DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 15 / 65 Assimetria Assimetria (skewness) é o grau de afastamento que uma distribuição apresenta do seu eixo de simetria. Este afastamento pode acontecer do lado esquerdo ou do lado direito da distribuição, chamado de assimetria negativa ou positiva respectivamente. Coe…ciente do momento de assimetria sk = m3 =r s3 1 n ∑ni=1 (xi 1 n ∑ni=1 (xi x)3 x)2 3 Temos então 8 distribuição simétrica < sk = 0 sk > 0 distribuição assimétrica positiva : sk < 0 distribuição assimétrica negativa DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 16 / 65 Assimetria Distrib. simétrica 6 4 2 0 1 2 3 4 5 6 7 8 9 8 9 Assim. positiva (enviesada à esquerda) 8 6 4 2 0 1 2 3 4 5 6 7 Assim. negativa (enviesada à direita) 6 4 2 0 1 DMQ, ISCTE-IUL ([email protected]) 2 3 4 5 Estatística 6 7 8 13 de Setembro de 2011 17 / 65 Curtose Curtose é o grau de achatamento da distribuição. Ou o quanto uma curva de frequência será achatada em relação a uma curva normal de referência. Para o cálculo do grau de curtose de uma distribuição utiliza-se o coe…ciente do momento de curtose k= m4 = s4 1 n ∑ni=1 (xi x)4 1 n ∑ni=1 (xi x)2 2 Temos então 8 < k = 3 distribuição mesocúrtica k > 3 distribuição leptocúrtica : k < 3 distribuição platicúrtica DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 18 / 65 Curtose Curtose 0.8 0.7 leptocúrtica 0.6 f(x) 0.5 0.4 mesocúrtica 0.3 platicúrtica 0.2 0.1 x=0.13333 0 -6 -4 DMQ, ISCTE-IUL ([email protected]) -2 0 x Estatística 2 4 6 13 de Setembro de 2011 19 / 65 Output Eviews (PSI20): distribuição não-normal, assimétrica positiva (sk > 0) e platicúrtica (k < 3) PT 350 600 300 500 250 400 200 300 Series: PT Sample 1/02/1990 5/12/2008 Observations 4790 pt 200 150 100 100 Mean Median Maximum Minimum Std. Dev. Skewness Kurtosis 149.5132 151.5150 312.1800 58.83000 66.51653 0.384446 2.054050 Jarque-Bera Probability 296.5841 0.000000 0 50 80 90 92 94 96 98 00 02 DMQ, ISCTE-IUL ([email protected]) 04 06 120 160 200 240 280 320 t Estatística 13 de Setembro de 2011 20 / 65 Probabilidade de um Acontecimento Um tratamento estatístico é sempre um tratamento numérico, mesmo que a natureza das variáveis envolvidas não o seja. Assim, torna-se necessário encontrar um processo que permita atribuir valores reais aos resultados elementares de qualquer experiência aleatória. Fazer tais atribuições de valores, não é mais do que de…nir funções reais no espaço de acontecimentos Ω No entanto, não podem ser quaisquer funções. Têm que ser de…nidas de modo a que, ao trabalhar com elas, não se perca nenhuma informação sobre a forma como se distribuiam as probabilidades, em relação aos acontecimentos da experiência aleatória inicial; Tem que se poder estar seguro em relação à interpretação de qualquer intervalo ou valor real, e ainda assegurar a validade das operações entre acontecimentos. DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 21 / 65 Probabilidade de um Acontecimento Se uma experiência é repetida um número grande de vezes, n, e o acontecimento A é observado nA vezes, então a probabilidade de A é P (A) ' nA , se n é su…cientamente grande n onde nA é a frequência do acontecimento A e relativa de A. nA n é a frequência Considere uma experiência aleatória cuja espaço de amostragem é S e com pontos de amostragem E1 , E2 , .... Para cada acontecimento Ei 2 S de…ne-se um número P(Ei ) (a probabilidade do Ei ) que satisfaz as seguintes três condições: 0 P(Ei ) 1 para todo o i P(S) = 1 Propriedade de aditividade ∑S P (Ei ) = 1 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 22 / 65 Variáveis Aleatórias De…nição: uma variável aleatória (v.a.) é uma regra (função) que asigna um valor numérico (x) a cada resultado possível de uma experiência aleatória (ω ), isto é X : Ω!R ω ! X (ω ) = x Uma variável aleatória é discreta se só assume um número …nito ou in…nito numerável de valores distintos Uma variável aleatória diz-se contínua se assumir um número in…nito não numerável de valores distintos A função (densidade) de probabilidade de uma v.a. X é uma função fX que associa a cada valor possível x de X a sua probabilidade de ocorrência: fX (x) = P (X = x) . Tem-se que 0 fX ( x ) 1 e ∑ fX (xi ) = 1. xi DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 23 / 65 Variáveis Aleatórias Variável aleatória Discreta DMQ, ISCTE-IUL ([email protected]) Contínua Estatística 13 de Setembro de 2011 24 / 65 Variáveis Aleatórias A distribuição de probabilidades pode ainda ser descrita através da função de distribuição cumulativa F(x), que, para cada x, dá a probabilidade da v.a. assumir um valor inferior ou igual a x : F (x) = P (X x) (probabilidade acumulada até x), onde 0 F (x) 1, F (x) é não-decrescente lim F (x) = 0 e lim F (x) = 1 x! ∞ DMQ, ISCTE-IUL ([email protected]) x!+∞ Estatística 13 de Setembro de 2011 25 / 65 Variáveis Aleatórias Se X é uma variável aleatória contínua, então, se existe uma função não-negativa fX (x) 0, 8x 2 R e integrável com Z +∞ ∞ fX (x) dx = 1 tal que P (a X b) = Z b a fX (x) dx, 8a, b 2 R então denotamos a função fX (x) por função densidade de probabilidades (fdp) da v.a. X. Também podemos descrever a distribuição de probabilidades através da função de distribuição cumulativa F (x) = P (X DMQ, ISCTE-IUL ([email protected]) x) = Z x ∞ fX (t) dt ) F0 (x) = fX (x) Estatística 13 de Setembro de 2011 26 / 65 Variáveis Aleatórias Experimento: Lançar 2 Moedas. Seja X = # cabeças. Determinar P(x) , i.e., P(X = x) , para todo o x: 4 possibilidades T H H T Valor de x H T H 1/4 = .25 1 2/4 = .50 2 1/4 = .25 Statistics for Business and Economics, 6e © 2007 Pearson Education, Inc. DMQ, ISCTE-IUL ([email protected]) Probabilidade 0 Probability T Distribuição de probabilidades Estatística .50 .25 0 1 2 x Chap 5-1 13 de Setembro de 2011 27 / 65 Variáveis Aleatórias fX Área a sombreado = P (a < X < b) a DMQ, ISCTE-IUL ([email protected]) b x Estatística 13 de Setembro de 2011 28 / 65 Variáveis Aleatórias - Valor esperado e Variância De…nição: o valor esperado (média) de uma v.a. X denota-se por µ e é de…nida como a seguir: µ = E (X ) = ∑ x fX ( x ) = ∑ x P ( x ) , x µ = E (X ) = Z +∞ ∞ X discreta x x fX (x) dx, X contínua De…nição: Se X é uma variável aleatória com média µ, então a variância de X é de…nida por σ2 = Var (X) = ∑ (x µ ) 2 fX ( x ) = x ∑ x2 fX (x) µ2 = E (X O desvio padrão de X de…ne-se por r q q σ = Var (X) = ∑ (x µ)2 fX (x) = ∑ x2 fX (x) µ )2 µ2 x DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 29 / 65 Variáveis Aleatórias Example Continuação da experiência de lansamento de 2 moedas: temos a seguinte tabela x P (x) 0 0.25 1 0.5 2 0.25 Calcular o valor esperado E (X ) = 0 ∑ x P (x) = (|{z} x DMQ, ISCTE-IUL ([email protected]) x1 0.25 ) + (|{z} 1 |{z} P(x1 ) Estatística x2 0.50 ) + (2 |{z} 0.25) = 1 P(x2 ) 13 de Setembro de 2011 30 / 65 Variáveis Aleatórias Teorema: Se fX (x) é a função probabilidade de uma variável aleatória X e g (X) é alguma função de variável X, então o valor esperado da função g é dado por E (g (X)) = ∑ g (X ) fX (x) x DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 31 / 65 Variáveis Aleatórias Propriedades E (c) = c E (cX) = cE (X) E (aX + bY) = aE (X) + bE (Y) E (XY) = E (X) E (Y) + cov(X, Y) (se X, Y são independentes, então E (XY) = E (X) E (Y)) Var (X) = E X2 (E (X))2 Var (c) = 0 Var (aX + b) = a2 Var (X) Var(X Y) = Var(X) + Var(Y) 2cov(X, Y) (se X e Y são independentes, então Var(X Y) = Var(X) + Var(Y)) DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 32 / 65 Variáveis Aleatórias Bidimensionais Usa-se quando há interesse por dois resultados simultâneos (por exemplo, altura X e peso Y de duas pessoas) Sejam E um experimento aleatório e Ω o espaço amostral associado a E e sejam X = X(ω ) e Y = Y(ω ) duas funções, cada uma associando um número real a cada resultado ω 2 Ω. Então o par (X, Y) designa-se variável aleatória bidimensional. Para (X, Y) variável aleatória bidimensional e para 8 (x, y) 2 R2 de…ne-se a função de distribuição conjunta de (X, Y) por: FX,Y (x, y) = P (X x, Y y) = ∑ ∑ PX,Y xi , yj , (discreto) xi x yj y FX,Y (x, y) = P (X DMQ, ISCTE-IUL ([email protected]) x, Y y) = Estatística Z x Z y ∞ ∞ PX,Y (x, y) dxdy, (contín 13 de Setembro de 2011 33 / 65 Variáveis Aleatórias Bidimensionais Propriedades da função de distribuição conjunta 0 FX,Y (x, y) 1, 8 (x, y) 2 R2 FX,Y x + 4x , y + 4y FX,Y (x, y) , 84x , 4y lim FX,Y (x, y) = 1 x,y!+∞ lim FX,Y (x, y) = 0 e x! ∞ DMQ, ISCTE-IUL ([email protected]) 0 lim FX,Y (x, y) = 0 y! ∞ Estatística 13 de Setembro de 2011 34 / 65 Variáveis Aleatórias Bidimensionais Seja (X, Y) uma variável aleatória bidimensional. Então PX,Y (x, y) = P (X = x, Y = y) , 8 (x, y) 2 R2 diz-se a função (densidade) de probabilidade conjunta de (X, Y). PX,Y (x, y) 0, 8 (x, y) 2 R2 ∑x ∑y PX,Y (x, y) = 1 (discreto) R +∞ R +∞ PX,Y (x, y) dxdy = 1 (contínuo) ∞ ∞ DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 35 / 65 Variáveis Aleatórias Bidimensionais A partir do conhecimento do comportamento conjunto de (X, Y) é também possível analisar separadamente X e Y uma vez que lim FX,Y (x, y) = FY (y) x!+∞ e lim FX,Y (x, y) = FX (x) y!+∞ Função (densidade) de probabilidade marginal de X; pX (x) pX (x) = P (X = x, Y qualquer) = ∑ PX,Y (x, y) pX (x) = P (X = x, Y qualquer) = Z +∞ y ∞ PX,Y (x, y) dy Função (densidade) de probabilidade marginal de Y; pY (y) pY (y) = P (X qualquer, Y = y) = ∑ PX,Y (x, y) pY (y) = P (X qualquer, Y = y) = Z +∞ x DMQ, ISCTE-IUL ([email protected]) Estatística ∞ PX,Y (x, y) dx 13 de Setembro de 2011 36 / 65 Variáveis Aleatórias Bidimensionais Dada uma variável aleatória bidimensional (X, Y), diz-se que as v.a. unidimensionais que a integram, X e Y, são independentes, se a sua função de probabilidade conjunta, PX,Y (x, y), for igual ao produto das funções de probabilidade marginais correspondentes, isto é: PX,Y (x, y) = pX (x) pY (y) , 8 (x, y) 2 R2 Teorema: Se X e Y são variáveis aleatórias independentes então as variáveis aleatórias U = g(X) e V = h(Y) são também independentes DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 37 / 65 Variáveis Aleatórias Bidimensionais Sejam X e Y duas variáveis aleatórias discretas. A função probabilidade condicionada (condicional) da v.a. Y exprime a probabilidade de Y assumir o valor y quando é especi…cado o valor x para X. De…ne-se por P (Y = y j X = x) = P (x, y) P (X = x, Y = y) = X,Y P (X = x) pX ( x ) Tem-se analogamente P (X = x j Y = y) = DMQ, ISCTE-IUL ([email protected]) P (X = x, Y = y) P (x, y) = X,Y P (Y = y) pY ( y ) Estatística 13 de Setembro de 2011 38 / 65 Variáveis Aleatórias Bidimensionais De…ne-se a covariância entre X e Y, e denota-se por Cov(X, Y), como sendo Cov(X, Y) = E[(X = ∑ ∑ (x x µX )(Y y = E (XY) µX )(y µY )] µY )PX,Y (x, y) E (X ) E (Y ) A covariância mede a intensidade da relação linear existente entre duas variáveis e assume valores reais. Teorema: Se X e Y forem independentes então Cov(X, Y) = 0 O recíproco não é, em geral, verdadeiro, isto é: Cov(X, Y) = 0 não implica que X e Y sejam v.a. independentes DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 39 / 65 Y Y a) Relação linear positiva X Y Y b) Relação linear negativa Y d) Relação não-lin. posit. X DMQ, ISCTE-IUL ([email protected]) X c) Ausência de relação X Y e) Relação linear positiva X com menor grau de relação que em a) Estatística X f) Relação linear positiva Com maior grau de relação que em a). 13 de Setembro de 2011 40 / 65 Distribuição normal: caracterizada por dois parâmetros: média µ e desvio-padrão σ e dada pela função densidade de probabilidades (fdp) f (x) = 1 p e σ 2π (x µ)2 /2σ2 , ∞<x<∞ Uma v.a. normalmente distribuída com µ = 0 e σ = 1 diz-se que tem uma distribuição normal padrão (standard). Denota-se por Z e a 2 ∞<z<∞ sua fdp é dada por f (z) = p1 e z /2 , 2π Trata-se de uma função em forma de sino, simétrica em relação a média com área abaixo do grá…co =1. Notação: X N µ, σ2 e Z N (0, 1) Padronizar uma variável aleatória normal: z-score Z= X DMQ, ISCTE-IUL ([email protected]) µX σX , X = µX + σX Z, µZ = 0, σ2Z = 1. Estatística 13 de Setembro de 2011 41 / 65 Distribuições Contínuas Distribuição normal Distribuição normal 0.8 0.7 0.6 sigma=0.57, mu=0.1 0.5 f(x) sigma=1.36, mu=0.1 0.4 sigma=1.7, mu=0.1 0.3 0.2 0.1 x=0.13333 0 -6 -4 DMQ, ISCTE-IUL ([email protected]) -2 0 x Estatística 2 4 6 13 de Setembro de 2011 41 / 65 Distribuições Contínuas Distribuição Qui-Quadrado Seja um conjunto de k variáveis Zi (i = 1, ..., k) tal que: cada variável Zi segue uma distribuição normal padronizada, Zi N (0, 1) as variáveis Zi são mutuamente independentes A variável aleatória X = ∑i Z2i , segue uma Distribuição Qui-quadrado com k graus de liberdade quando a sua função densidade de probabilidades tem a forma f (x) = 1 2k/2 Γ (k/2) Notação: X = ∑i Z2i e x/2 (k/2) 1 x , Γ função gamma χ2(k) Média: µ = k e Variância: σ2 = 2k É uma distribuição assimétrica, que se aproxima da distribuição normal, à medida que k aumenta DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 42 / 65 Distribuições Contínuas Distribuição Qui-Quadrado DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 43 / 65 Distribuições Contínuas Distribuição t-Student Sejam duas variáveis independentes Z N (0, 1) e V De…ne-se a nova variável Z . X= p V/k χ2(k) . A variável X tem uma distribuição t de Student com k graus de liberdade se a sua função densidade de probabilidades tem a forma Γ k+2 1 f (x) = p kπΓ 2k x2 1+ k k +1 2 , ∞ < x < ∞, k > 0 Notação: X t(k) Média: µ = 0 para k > 1 e Variância: σ2 = k k 2 para k > 2 Distrib. simétrica em relação à origem, que se aproxima da distrib. normal à medida que k aumenta; DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 44 / 65 Distribuições Contínuas Distribuição t-Student DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 45 / 65 Distribuições Contínuas Distribuição F de Snedecor χ2(k1 ) e V2 Sejam duas variáveis independentes V1 De…ne-se a nova variável X= χ2(k2 ) . V1 /k1 . V2 /k2 A variável X segue uma distribuição F com k1 e k2 graus de liberdade se a sua função densidade de probabilidades tem a forma f (x) = Notação: X Média: µ = k1 + k2 2 Γ Γ k1 2 Γ k1 k2 k2 2 k1 2 k1 x2 ( k2 + k1 x ) 1 k1 +k2 2 F(k1 ,k2 ) k2 k2 2 para k2 > 2 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 46 / 65 Distribuições Contínuas Distribuição F de Snedecor Variância: σ2 = 2k22 (k1 +k2 2) k1 ( k2 2 ) 2 ( k2 4 ) para k2 > 4 É uma distribuição positiva e assimétrica e os seus valores encontram-se em tabelas DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 47 / 65 Inferência Estatística (Estatística Inferencial, Indutiva) A inferência estatística tem como objectivos tirar conclusões sobre os parâmetros da população a partir da recolha, tratamento e análise dos dados de uma amostra, obtida dessa população. População (desconhecida) Inferência estatística Amostragem aleatória Amostra (conhecida) DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 48 / 65 Inferência Estatística Parâmetro – Medida usada para descrever a distribuição da população a média µ e a variância σ2 são parâmetros de uma distribuição Normal Estatística – Função de uma amostra aleatória que não depende de parâmetros desconhecidos Média amostral, Variância amostral Num problema de inferência estatística a estimação dos parâmetros pode ser pontual (estatística, estimador = é a v.a. que estima (pontualmente) um parâmetro (populacional) ) por intervalos (intervalos de con…ança) Estimação pontual: procedimento que vai permitir obter um valor que seja o “melhor” (de acordo com algum critério) para um parâmetro desconhecido θ. Um estimador de θ é uma v.a. com uma dada distribuição. Chama-se estimativa de θ e representa-se por θ̂, um valor concreto DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 49 / 65 Inferência Estatística - Propriedades dos estimadores O estimador Θ̂ do parâmetro θ, diz-se centrado ou não enviesado se e só se E(Θ̂) = θ. Dados dois estimadores centrados para θ, Θ̂ e Θ̂0 diz-se que Θ̂ é mais e…ciente do que Θ̂0 se Var[Θ̂] Var[Θ̂0 ]. Um estimador diz-se su…ciente, quando utiliza toda a informação disponível na amostra. Seja X1 , ..., Xn uma amostra aleatória de dimensão n extraída de uma população com média µ e variância σ2 . Então, X= Xi X ∑n ∑ni=1 Xi e S2 = i=1 n n 1 2 são estimadores centrados de µ e σ2 , respectivamente. DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 50 / 65 Inferência Estatística - Estimação por Intervalos Na estimação por intervalos, em vez de se indicar um determinado valor estimado para certo parâmetro da população, constrói-se um intervalo que, com certo grau de certeza, previamente …xado, o contenha. Um intervalo de con…ança para um parâmetro θ, a um grau de con…ança 1 α, é um intervalo aleatório (Linf , Lsup ) tal que: P(Linf < θ < Lsup ) = 1 α, α 2 (0, 1) onde α deve ser um valor muito reduzido por forma a temos con…anças elevadas. α é o nível de con…ança (signi…cância), ou seja o erro que estamos a cometer DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 51 / 65 Intervalo de con…ança IC para a média quando a variância é conhecida Seja X1 , ..., Xn uma amostra aleatória de dimensão n. Consideramos que a v. a. X tem um distribuiçao normal, i.e., X N µ, σ2 . Se σ é conhecido, então considere-se a nova variável Z= X µ p σ/ n N (0, 1) . Fixamos α (o nível de signi…cância) e notamos por zα/2 o valor crítico de Z tal que P (Z > zα/2 ) = α/2. Então P ( zα/2 < Z < zα/2 ) = 1 α,P e portanto o intervalo a (1 α) X DMQ, ISCTE-IUL ([email protected]) zα/2 < X µ p < zα/2 σ/ n 100% de con…ança para µ é σ σ zα/2 p < µ < X + zα/2 p n n Estatística 13 de Setembro de 2011 =1 (1) 52 / 65 α Intervalo de con…ança IC para a média quando a variância é desconhecida Se a variância σ é desconhecida e a amostra é grande, então podemos substituir σ ! S Se a amostra é pequena, a variável obtida no caso anterior já não é normal. Mas, se a população é normal, então a variável aleatória X µ p S/ n T= tem distribuição t-Student com n Então, o intervalo a (1 x tα/2,(n DMQ, ISCTE-IUL ([email protected]) α) t(n 1) 1 graus de liberdade. 100% de con…ança para µ é s < µ < x + tα/2,(n n 1) p Estatística s n 1) p 13 de Setembro de 2011 53 / 65 Intervalo de con…ança Diminuindo o grau de con…ança de 99% a 95%, aumentamos o risco de estar errados: de 1% de risco passamos a 5% de risco, ou seja temos mais possibilidades (5/100 em vez de 1/100) de que o IC não contenha a média populacional. Ao aumentar o risco, o intervalo deve ser mais preciso DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 54 / 65 Testes (ensaios) de hipóteses Decisão estatística: tomar uma decisão baseando-nos numa amostra Exemplos: Veri…car se mais de metade da população irá consumir um novo produto lançado no mercado; Testar se um sistema educacional é melhor em média que outro Decidir se um novo medicamento cura ou não uma certa doença Uma hipótese estatística é uma a…rmação acerca dos parâmetros de uma ou mais populações (testes paramétricos) ou acerca da distribuição da população (testes de ajustamento, não-paramétricos). Os testes de hipóteses têm como objectivo decidir, com base na informação fornecida pelos dados de uma amostra, sobre a aceitação ou não de uma dada hipótese (conjectura sobre aspectos desconhecidos da(s) população(ões)). DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 55 / 65 Testes de hipóteses Formular duas hipóteses: hipótese nula H0 (aqui se especi…ca o valor do parâmetro ou a distribuição a veri…car) hipótese alternativa H1 A resposta num teste de hipóteses é dada na forma rejeição ou não rejeição de H0 Os pontos de fronteira chamam-se valores críticos DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 56 / 65 Testes de hipóteses A tomada de decisões no processo de inferência posui riscos, o que determina a aparição dos erros de decisão Tipos de erros: Erro do tipo I: rejeitar H0 sendo H0 verdadeira (erro de rejeição); Erro do tipo II: não rejeitar H0 sendo H0 falsa (erro de não-rejeição). De…nem-se α = P(erro do tipo I) = P (Rejeitar H0 jH0 é verdadeira), onde α chama-se nível de signi…cância do teste. Em geral, atribuir-se um valor muito baixo à probabilidade do erro do tipo I (0.05 ou 0.01) β = P(erro do tipo II) = P(Não-rejeitar H0 jH0 é falsa), onde 1 β chama-se potência do teste DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 57 / 65 Testes de hipóteses Procedimento Geral dos Testes de Hipóteses (Testes de Signi…cância ou Teste Estatístico) Pelo contexto do problema identi…car o parâmetro de interesse Especi…car a hipótese nula H0 e a hipótese alternativa apropriada H1 Escolher o nível de signi…cância, α Escolher uma estatística de teste adequada (variável aleatória utilizada para decidir: por exemplo média amostral) De…nir a região crítica ou região de rejeição – RC Determinar o valor real da estatística de teste Decidir sobre a rejeição ou não de H0 Se o valor calculado 2 RC rejeita-se H0 Se o valor calculado 2 / RC não se rejeita H0 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 58 / 65 Testes de hipóteses 0.4 0.35 0.3 0.25 0.2 Região de aceitação 0.15 Não rejeitar H0 Região crítica Região crítica 0.1 Rejeitar H0 Rejeitar H0 0.05 0 -5 -4 -3 -2 -1 0 Valor crítico DMQ, ISCTE-IUL ([email protected]) 1 2 3 4 5 Valor crítico Estatística 13 de Setembro de 2011 59 / 65 Testes de hipóteses Teste bilateral: H0 : µ = µ0 H1 : µ 6= µ0 Teste unilateral à direita: H0 : µ = µ0 H1 : µ > µ0 Os valores da estatística de teste que nos levarão a rejeitar H0 e concluir que µ > µ0 , também nos levarão a rejeitar qualquer valor menor do que µ0 . Teste unilateral à esquerda H0 : µ = µ0 H1 : µ < µ0 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 60 / 65 Testes de hipóteses Testes unilaterais 0.4 0.4 0.35 0.35 0.3 0.3 H1: mu > mu0 H1: mu < mu0 0.25 0.25 0.2 0.2 0.15 0.15 Região crítica Região crítica 0.1 0.1 Não rejeitar H0 Rejeitar H0 Não rejeitar H0 Região de aceitação 0 -5 Rejeitar H0 0.05 0.05 -4 -3 -2 -1 0 1 2 Região de aceitação 3 4 5 0 -5 -3 -2 -1 0 1 2 3 4 5 Valor crítico Valor crítico DMQ, ISCTE-IUL ([email protected]) -4 Estatística 13 de Setembro de 2011 61 / 65 Testes de hipóteses A indicação do valor observado da estatística do teste, seguido da consulta de uma tabela para a procura de um valor crítico, tem sido recentemente “substituído” pelo cálculo de: a probabilidade de se observar um valor igual ou mais extremo do que o observado, se a hipótese nula é verdadeira – chama-se a isto valor de prova; valor p ( p-value, possível calcular com ajuda do qualquer software ) Podemos interpretar o valor do p-value como o maior nível de signi…cância que levaria à não rejeição da hipótese nula (ou o menor que levaria à rejeição). Assim, quanto menor for o p-value, menor é a consistência entre os dados e a hipótese nula (Quanto mais baixo for o valor-p maior é a evidência contra a hipótese nula.) Habitualmente adopta-se como regra de decisão: rejeitar H0 se p-value DMQ, ISCTE-IUL ([email protected]) Estatística α 13 de Setembro de 2011 62 / 65 Testes de hipóteses Examples Máquina de encher pacotes de açúcar. O peso de cada pacote deve ser 8g (isto é, µ = 8). Será que a máquina está a funcionar correctamente? Solution Temos então a hipótese nula H0 : µ = 8 contra a hipótese alternativa H1 : µ 6= 8. Seja X - variável aleatória que representa o peso de um pacote de açúcar, com E (X) = µ e Var (X) = 1. Vamos considerar que numa amostra aleatória de 25 observações: X1 , ..., X25 observou-se x = 8.5. Quer-se saber se, ao nível de signi…cância de 5%, se pode a…rmar que a máquina continua a…nada. DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 63 / 65 Testes de hipóteses Estatística do teste: Z0 = X p 8 1/ 25 e para α = 0.05 ! a = 1.96 donde se obtem a região crítica: Z0 < 1.96 ou Z0 > 1.96. Com x = 8.5 obtém-se 8.5 8 p = 2.5. 1/ 25 Como z0 > 1.96 rejeita-se H0 , ou seja existe evidência (ao nível de signi…cância considerado) de que a máquina está desa…nada. Considerando agora um valor-p, temos que: quando z0 = 2.5, para este valor H0 não é rejeitada se z0 = α 2 (1 Φ (2.5)) = 0.0124 ou seja, p = 0.0124. DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 64 / 65 DMQ, ISCTE-IUL ([email protected]) Estatística 13 de Setembro de 2011 65 / 65