Clique para editar o estilo do título mestre Seminário: Flávio,Genildo, Mozart e Petrúcio Clique para editar o estilo do subtítulo mestre Disciplina: Probabilidade e Inferência Professor: Dr. Luis Cláudius Coradine 1 • Intuitivamente ou não, todas as pessoas conhecem e utilizam de alguma forma Clique para editar o estilo do estatística. título mestre • Necessidades de uso ... Clique para editar o estilo do • Uma empresa adquiriu 100.000 rebites. subtítulo mestre • Qual a proporção de rebites defeituosos? 2 População estimar Amostra Clique para editar o estilo do título mestre • Distribuição Amostral Função de distribuição de Probabilidade Parâmetros Populacionais Média = μ Desvio padrão = σ Variância σ² Proporção de determinado evento = P • Estatísticas (variável aleatória) Clique para editar o estilo do subtítulo mestre A inferência estatística consiste em generalizar para a população aquilo que se observou na amostra com o objetivo de tirar conclusões. 3 Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 4 • • • • • As estimativas de parâmetros populacionais são realizadas a partir dos resultados (dados) de uma variável aleatória de uma amostra representativa extraída dessa população. Clique editar o estilo do As estimativas para das amostras dependem dos valores amostrados, sendo necessário conhecer a distribuição de Probabilidade da amostra. título mestre A partir da distribuição de probabilidade do parâmetro, tem-se condições de avaliar o grau de incerteza das inferências realizadas a partir de amostras aleatórias. Clique para editar o estilo do Dada uma amostra aleatória (X1,X2,...Xn), estimador ou estatística é qualquer subtítulo mestre variável aleatória função dos elementos amostras. Estimativa valor numérico de um estimador. 5 Estimativas Pontuais • Seja a variável aleatória X, com distribuição de probabilidade f(x), e seja que os valores dos parâmetros populacionais da média μ e da variância σ² são desconhecidos. Clique para editar o estilo do título mestre • Se a amostra representativa daovariável aleatória Xé Clique para editar estilo do extraída da população, a média Х¯ e a variância S² dessa amostrasubtítulo podem ser usadas mestrecomo estimadores pontuais dos parâmetros populacionais μ e σ². 6 Critérios e Características de um Estimador Clique para editar o estilo do Teorema 1 título mestre A média da distribuição amostral das médias, denotada por µ (x), é igual à média populacional µ. Isto é: Clique para editar o estilo do subtítulo mestre X (x ) 7 Critérios e Características de um Estimador Clique para editar o estilo do Teorema 2 título mestre Se a população é infinita, ou se a amostragem é com reposição, então a variância da distribuição amostral das médias, denotada por 2(x), é dada por: Clique para editar o estilo do subtítulo mestre 8 Critérios e Características de um Estimador Clique para editar o estilo do Teorema 3 título mestre Se a população é finita, ou se a amostragem é sem reposição, então a variância da distribuição amostral das médias, denotada por 2(x), é dada por: Clique para editar o estilo do 2 subtítulo N n mestre 2 (x) n N 1 9 Critérios e Características de um Estimador Clique para editar o estilo do Teorema do Limite Central título mestre Se a população tem ou não distribuição normal com média µ e média 2, então a distribuição das amostras será normalmente distribuída. Clique para editar o estilo do subtítulo mestre 10 Distribuição Amostral da Média • Uma distribuição amostral das médias indica a probabilidade de ocorrência de uma média amostral. • Clique para editar o estilo do As médias tendem a agrupar-se em torno da média populacional. título mestre Clique para editar o estilo do subtítulo mestre 11 Distribuição Amostral da Média Clique para editar o estilo do título mestre • A média das médias amostrais é igual a média populacional E [ Х¯] = μ • Clique para editar o estilo do O desvio padrão da distribuição amostral das médias será dado por: subtítulo mestre σx = σ / Raiz(n) 12 Estimativas através de Intervalo de Confiança Consiste em gerar um intervalo, centrado na estimativa pontual, no qual se admite que esteja o parâmetro populacional. Clique para editar o estilo do Quanto maior a amplitude do intervalo, maior a confiança título mestre (probabilidade) de estimar corretamente o verdadeiro parâmetro populacional. Clique para editar o estilo do subtítulo mestre 13 Estimativas através de Intervalo de Confiança • Existe uma probabilidade (1 – α) de que o parâmetro populacional esteja contido no intervalo Clique para editar o estilo do P { L ≤ μ ≤ U} = 95% título mestre • Para diversas amostras aleatórias, 95% desses intervalos iriam incluir o verdadeiro valor da média populacional. Clique para editar o estilo do subtítulo mestre P { L ≤ μ } = (1 – α) P { μ ≤ U } = (1 – α) 14 Critérios para Estimativas Seja X uma variável aleatória cuja distribuição dependa do paramento ө; Clique para editar o estilo do Seja x1, ...,xn umatítulo amostra aleatória de X mestre Seja ө^ uma função da amostra Clique para editar o estilo do Diz-se que ө^ é uma estimativa não tendenciosa de ө se: subtítulo mestre E (ө^) = ө^, para todo ө. 15 Critérios para Estimativas Seja ө uma estimativa não tendenciosa de ө. Diremos Clique para editar o estilo do título mestre que ө^ é uma estimativa não tendenciosa, de variância mínima de ө, se todas as estimativas de ө*, tais que E (ө*) = 0, tivermos V(ө^) ≤ V (ө*) pata todo ө. A variância de uma variável aleatória mede a Clique para editar o estilo do variabilidade da variável aleatória em torno do seu valor subtítulo mestre esperado. 16 Critérios para Estimativas Seja ө uma estimativa do parâmetro ө. Diremos que ө^ é umapara estimativa coerente de ө,se: do Clique editar o estilo Lim. Prob.título | ө^ - ө mestre | > e = 0; e > 0 Clique do Lim. Prob. para | ө^ - editar ө | ≤ e o= estilo 1; e > 0 subtítulo mestre A medida que o tamanho da amostra n aumenta, a estimativa converge para ө. 17 Critérios para Estimativas Seja x1,x2,...,xn uma mostra de X; ө uma função de Clique para editar o estilo do Diz-se que ө é a melhor estimativa não tendenciosa linear de ө, se: título mestre (x1,x2,...xn). a) E (ө^) = 0; Clique para editar o estilo do b) ө^ = ∑ aixi, ө é uma função linear da amostra subtítulo mestre c) V(ө^) ≤ V (ө*) , onde ө é qualquer outra estimativa de ө que satisfaça (a) e (b). 18 Intervalo de confiança para média, variância conhecida Seja X uma variável aleatória qualquer que siga a distribuição Normal XN(,) e seja xp ..., xn uma amostra aleatória desse processo. A partir do teorema do limite central, sabe-se que a distribuição da média segue a distribuição normal Clique para editar o estilo do X N ( , / n ) título mestre Mais ainda, para n suficientemente grande este resultado é válido mesmo que aClique distribuição de origem não seja Normal do para editar o estilo subtítulo mestre Seja que uma variável aleatória X tenha média desconhecida e variância conhecida. E seja que amostra dessa população apresentem média igual a X 19 Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre De acordo com t de Student 20 Intervalo de confiança para média desconhecida e variância conhecida Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 21 Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 22 Erro de Estimação Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre X 23 Erro de Estimação Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 24 Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 25 Intervalo de confiança para média, variância desconhecida Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 26 Clique para editar o estilo do título (Somarmestre Valores da amostra) / (nº de amostras) Desvio Padrão Student 5% Clique para Teditar o (20-1) estilo do subtítulo mestre 27 Intervalo de confiança para variância Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 28 Clique para editar o estilo do Variância título mestre Qui-quadrado Clique para editar o estilo do subtítulo mestre 29 Intervalo de confiança para o parâmetro da Binomial Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 30 Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 32 Introdução a regra de Bayes Apesar da distribuição a posteriori de um parâmetro θ conter toda a informação probabilística a respeito deste parâmetro algumas vezes é necessário resumir a informação contida na posteriori através de alguns valores numéricos; Clique para editar o estilo do título mestre Em Bayes, um problema de decisão fica completamente especificado pela descrição dos seguintes espaços: para editarda onatureza estiloΘ; do • EspaçoClique do parâmetro ou estados • Espaço dos resultados possíveismestre de um experimento Ω; subtítulo • Espaço de possíveis ações Α; •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 33 Introdução a regra de Bayes Clique para editar o estilo do Regra de decisão: δ: Ω → Amestre título Uma regra de decisão δ é uma função definida em Ω que assume valores em Α; A cada δ e a cada possível parâmetro θ podemos associar uma perda: L(δ, Clique θ) Assumindo valores positivos. paraObs.: editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 34 Risco de Bayes É a perda esperada a posteriori; O risco de L(δ, θ) é dado por: Clique para editar o estilo do título mestre Regra de decisão δ* épara ótima seeditar tem riscoomínimo: Clique estiloR(δ*) do < R(δ) subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 35 Exemplo Um laboratório farmacêutico deve decidir pelo lançamento ou não de uma nova droga no mercado. Supondo que foi possível construir a seguinte tabela de perdas levando em conta a eficiência da droga: Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 36 Solução Parâmetro θ está associado aos estados: • “droga é eficiente” (θ1 = 1); • “droga não é eficiente” (θ2 = 0); Clique para editar o estilo do mestre E a regra de decisãotítulo δ está associado as ações: • • “lança a droga” (δ1 = 1); “ não lança a droga” (δ2 = 0); Clique para editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 37 Solução Supondo π uma incerteza para P(θ = 1): 0 < π < 1; Clique para editar o estilo do Para δ fixo, L(δ, θ) terá dois valores: π e 1 - π; título Usando a definição de risco paramestre δ = δ = 1: 1 R(δ1) = E(L(1, θ)) = π (-500) + (1 - π) 600 = -1100π + 600 Cliquedepara editar Usando a definição risco para δ = δ2 =o0:estilo do R(δ2) = E(L(0, θ))subtítulo = π (1500) + (1 - π) 100 = 1400π + 100 mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 38 Solução Dado o valor de π é possível informar se será lançado a droga; É possível verificar que as duas ações levarão ao mesmo risco: Clique para editar o estilo do título mestre Além disso: • π < 0.2, R(δ = 0) < R(δ = 1) e a regra de Bayes consiste em não Clique para editar o estilo do lançar a droga; • π > 0.2, R(δ = 1) subtítulo < R(δ = 0) e a mestre regra de Bayes consiste em lançar a droga; •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 39 Inferência Bayesiana Criada por Bayes em 1763; Clique para editar o estilo do título mestre Enfoques: • Inferência estatística que exige a adoção de princípios teóricos muito bem especificados; • Teoria freqüentista (ou clássica); Crítica: Possibilidade de replicar dados na teoria freqüentista; Clique para editar o estilo do Contribuições (evoluções): subtítulo mestre • Bernoulli, 1713; • Laplace, 1812; • Jeffreys, 1939; •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 40 Inferência Bayesiana Supor uma amostra observada (x1, x2, ..., xn) de uma população normal N(μ, δ2); Clique para editar o estilo do Fazer inferênciastítulo baseadosmestre nas n observações; Como? Selecionar estimadores (utilizando-se de algum Clique para editar o estilo do procedimento); mestre x = (x1, x2, ..., xn)’ Obs.: Ser função do subtítulo vetor de observações: •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 41 Inferência Bayesiana Admitir que os parâmetros μ e δ2 podem ser descritos por distribuição de probabilidade p(μ, δ2); Clique para editar o estilo do mestre Teremos: θ = (μ, título δ )’ 2 Na teoria Clique bayesiana, μ é fixo; para editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 42 Inferência Bayesiana Se temos um θ, ou seja, temos alguma informação anterior; Então teremos uma distribuição de probabilidade, ou distribuição a priori de θ, p(θ); Seja θ = {θ1, θ2, ..., θr}; Onde: P(θ= θi) = p(θ1), i = 1, 2, ..., r; Chamando de y a nova informação; Pelo teorema de Bayes, teremos: Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 43 Exemplo Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 44 Solução Calculando as probabilidade conjuntas (p(θ)p(y|θ) = p(y,θ)), teremos: Clique para editar o estilo do título mestre Lembrando que do teorema de Bayes teremos a posteriori de θ e θ : a) p(y1,θ1) = 6/15 e p(y1,θ2) = 2/15; b) p(y2,θ1) = 3/15 e p(y2,θ2) = 4/15; 1 2 Clique para editar o estilo do subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 45 Solução Para y1(y>0), teremos: p(y1) = 6/15 + 2/15 = 8/15; Para y2(y<0), teremos: p(y2) = 3/15 + 4/15 = 7/15; Clique para editar o estilo do Dessa forma para rendimentos positivos (y>0), teremos: título mestre e Dessa forma análoga parapara rendimentos negativos (y<0), do teremos: Clique editar o estilo e subtítulo mestre Resultados e inferências para “mercado em alta” (θ1) e “mercado em baixa” (θ2) a partir da probabilidade posteriori (modelo estático): •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Exemplos; 46 Estimadores de Bayes Tendo uma amostra aleatória x1, x2, ..., xn de p(x|θ), onde θ é desconhecido; Se θ Є Θ, então: estimador δ(x) Є Θ; Erro: δ(x) – θ Para cada θ existirá uma possível estimativa α Є Θ; Perda: L(α, θ); Obs.: Quanto maior a distância entre α e θ maior a perda. Clique para editar o estilo do título mestre Perda esperada posteriori: Clique para editar o estilo do subtítulo mestre A partir de agora: Escolher a estimativa que minimiza esta perda esperada; •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Estimadores de Bayes; 47 Estimadores de Bayes Função perda quadrática: L(α, θ) = (α - θ)2; Clique para editar o estilo do título mestre Em alguns casos o estimador de Bayes para o parâmetro θ será a média de sua distribuição atualizada, exemplo: Suponha que queremos estimar a proporção θ de itens defeituosos em um grande lote. Para isto será tomada uma amostra aleatória x1, ..., xn de uma distribuição de Bernoulli com parâmetro θ. Usando uma priori conjugada Beta(α, β) sabemos queeditar após observar a amostra a distribuição a Clique para o estilo do posteriori é Beta(α + t, β + n - t), onde: subtítulo mestre A média desta distribuição Beta é dada por: (α + t)/(α + β + n) Portanto o estimador de Bayes de θ usando perda quadrática é: •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Estimadores de Bayes; 48 Estimadores de Bayes A função de perda absoluta: L(α, θ) = |α – θ| Clique para editar o estilo do Introduz punições que crescem linearmente com o erro de título mestre estimação; Pode-se mostrar o estimador Bayes Cliqueque para editar ode estilo doassociado é a mediana da distribuição atualizada de θ. subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Estimadores de Bayes; 49 Estimadores de Bayes Para reduzir ainda mais o efeito de erros de estimação grandes: Clique para editar o estilo do título mestre Associa uma perda fixa a um erro cometido, Clique para editar o estilonão doimportando sua magnitude. subtítulo mestre •Regra de Bayes; •Risco de Bayes; •Inferência Bayesiana; •Estimadores de Bayes; 50 Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 51 É um método estatístico popular usado para calcular o melhor caminho para ajustamento Clique para editardeoalguns estilo do do modelo matemático dados. título mestre Modelar Dados Reais pelo Maximum Likelihood Gerar parâmetros do modelo para prover uma ótima ajustagem. Clique para editar o estilo do subtítulo mestre 52 Pioneiro Clique para R.editar A. Fishero estilo do título mestre (Geneticista e Estatístico) Clique para editar o estilo do Período:1912 e 1922 subtítulo mestre •Pioneiros; •Conceitos; •Filtragem adaptativa; •Filtro de Wiener; •Algoritmo adaptativo; 53 •Modelos Lineares e Generalização de Modelos Lineares; Clique para editar o estilo do •Modelagem de Equações Estruturais título mestre •Psychometrics and econometrics; •Detecção de Eletromagnetismo ou Acústica por editar o estilo do time-delay Clique of arrivalpara (TDOA); mestre •Muitas situações subtítulo no contexto de Teste de Hipótese etc. •Introdução; •Áreas Utilização •Filtragem adaptativa; •Filtro de Wiener; •Algoritmo adaptativo; 54 Clique para editar o estilo do título mestre • EXEMPLO: Clique para editar o estilo do subtítulo mestre 55 • Interesse na altura de uma população; • Possuímos uma amostra de um número desta população (Ñ totalidade); • Anotamos os dados; • Dizemos que eles são normalmente distribuídos (desconhecidos: mean e variância); • A amostra mean é a máxima estimativa do Likelihood do mean desta população; Clique para editar o estilo do • A variância é a mais próxima para a estimação do Likelihood da subtítulo mestre variância desta população. Clique para editar o estilo do título mestre 56 • Considere uma familia Dθ de distribuição de probabilidade parametrizada por um parâmetro θ desconhecido associado a uma função densidade de probabilidade, denotada como fθ. • Se temos um conjunto de n valores desta distribuição, e usando fθ nós podemos computar a densidade de probabilidade desta multivariável associado aos dados observados. Clique para editar o estilo do título mestre • Como a função de θpara com x1, editar ..., xn fixos, é o likelihood Clique oeste estilo do function. subtítulo mestre • O método do maximum likelihood estima θ encontrando o valor de θ que maximiza. Assim a estimação maximum likelihood(MLE) de θ: 57 • Obs: É importante considerar que os dados da distribuição sejam independentes e identicamente distribuídos com parâmetros desconhecidos, Isto simplifica consideravelmente o problema, pois o likelihood pode ser escrito como um produto de n densidades de probabilidade univariáveis. Clique para editar o estilo do título mestre • Clique para editar o estilo do E a monotonia do logaritmo não afeta as transformações. subtítulo mestre Chegamos a expressão: 58 • BIAS • O bias da estimativa maximum-likelihood pode ser um número próximo ao resultado real. • Clique para editar o estilo do Considere um casotítulo onde n tickets são enumerados de 1 ate n e são mestre colocados em uma caixa. Um deles é escolhido por sorteio. Clique para omaximum-likelihood estilo do • Se n é desconhecido, então aeditar estimativa de n é o valor descrito no ticket, mesmo conhecendo que a expectativa é subtítulo mestre apenas (n+1)/2. • Em estimativas o número máximo n, será certamente maior ou igual ao número de tickets escolhidos. 59 • Asymptotics • Clique para editar o estilo do Quando as medidas de conjunto de elementos apresentam-se de forma identicamente independente, podemos por exemplo adquirir título mestre elementos repetitivos ou adquiridos ao acaso. Neste caso é interessante se obter o comportamento daquele conjunto de estimativas a medidapara que se editar aproximam infinito. do Clique odoestilo subtítulo mestre 60 • O MLE possui muitas caracteristicas que podem ser interpretadas para representar o que é "asymptotically optimal". Estas características incluem: • The MLE é asymptotically unbiased,(imparcial) i.e., seu bias tende a zero com o número de amostras tendendo ao infinito. • The MLE é asymptotically efficient, (eficiente)i.e., ele completa o Cramér-Rao lower bound quando o número de amostras tende ao infinito. Significa que este método possui menor erro mean squared ao MLE. Clique para editar o estilo do subtítulo • O MLE is asymptotically normal. mestre Com o número de amostras crescentes, a distribuição do MLE tende para distribuião Gaussiana com mean θ e a matriz de covariância igual ao inverso da matrix de informação de Fisher. Clique para editar o estilo do título mestre 61 Pioneiro Clique para editar oeestilo do Harald Cramér título mestre Calyampudi Radhakrishna Rao Clique para editar o estilo do subtítulo mestre •Pioneiros; •Conceitos; •Filtragem adaptativa; •Filtro de Wiener; •Algoritmo adaptativo; 62 • Na sua forma mais simples, a variância para qualquer estimativa imparcial é pelo menos tão elevado quanto o inverso da informação Clique para editar o estilo do Fisher. Uma estimativa impessoal que completa com êxito o lower bound é chamada eficiente. Desta maneira a solução conclui o mais título mestre baixo erro mean squared entre todos os métodos imparciais e é consequentemente a mínima variância imparcial. • Clique para editar o estilo do O Cramér–Rao bound possui 3 casos gerais. Um caso em que o subtítulo mestre parâmetro é escalar e sua estimativa é impessoal. Caso multivariado e caso geral escalar. • Todos os casos possuem regularidades em suas condições que mantém comportamento bem distribuído. 63 • Suponha θ sendo um parâmetro determinístico desconhecido que será mensurado e estimado ao valor de x, distribuído de acordo com algumas funções de densidade de probavilidade f(x;θ). A variancia de qualquer estimativa imparcial de θ é então “saltado” pelo inverso da informação de Fisher I(θ): Clique para editar o estilo do título mestre • Onde a informação Fishereditar I(θ) é definida por: Cliquedepara o estilo do subtítulo mestre • E é o logarítmo natural da função likelihood e denota o valor esperado. 64 • A eficiencia é uma estimativa imparcial que mensura o quao próximo esta variância da estimativa se aproxima deste lower bound; a eficiencia estimativa é definida como: Clique para editar o estilo do título mestre • No mínimo possivel de variância para uma estimativa imparcial dividida por sua atual variância. O Cramér–Rao lower bound deste para editar o estilo do modo nosClique dá: subtítulo mestre 65 REFERÊNCIAS • Devore, J. L. Probabilidade Estatística para Engenharia e Ciências, Ed. Thomson, 6ª edição, 2006 • Freud J.E. & Simon G.A., Estatística Aplicada economia administração e contabilidade, Ed. Bookman, 9ª edição, 2000 • Meyer P.L, Probabilidade aplicações a Estatística, 2ª edição, Ed. LTC. • Papoulis A. & Pillai S.U; Probability, Random Variables and Clique para estilo do Stochastic Processes, Ed. editar Mc GrawoHill subtítulo • Bussab W.O. & Morettin P.A.; mestre Estatística Básica; 5ª edição, ed. Saraiva, 2004 Clique para editar o estilo do título mestre 66