Tempo de Parada para Palavras e a Abordagem de - IME-USP

Tempo de parada para a ocorrência
de palavras e a abordagem de martingais
Renato Jacob Gava
Universidade Federal de São Carlos
[email protected]
21o Simpósio Nacional de Probabilidade e Estatística (SINAPE)
Natal - Rio Grande do Norte
Prefácio
Entrei em contato com o tema Ocorrência de Palavras em Séries Aleatórias
graças a Danilo Salotti, amigo dos tempos de pós-graduação no IME-USP. Desde
então meu interesse pelo assunto só aumentou e passou a ser um de meus objetos
de pesquisa.
O público alvo deste trabalho são os pesquisadores e os estudantes de pósgradução em Estatística e Matemática familiarizados com Probabilidade e Processos Estocásticos. Entretanto, qualquer estudante de graduação aplicado e que
já tenha feito ao menos um curso de Processos Estocásticos pode aventurar-se e
enfrentar o texto. Se você é um deles, não sinta medo. Vá em frente! Você vai
encontrar problemas interessantes que podem ser enunciados a qualquer pessoa.
O objetivo deste texto é divulgar um pouco da pesquisa recente envolvendo a
área de Patterns and Runs, tema tão caro à Probabilidade Aplicada. Espero ter
sido didático o suficiente para que o leitor não familiarizado com o assunto possa
apreciá-lo. Não gostaria de restringir-me aos probabilistas apenas. Também
procurei tornar o texto autosuficiente, de modo que o leitor não precise buscar
outras fontes para entender conceitos e definições.
Dispus o conteúdo do seguinte modo. No Capítulo 1, enuncio formalmente o
problema de tempo de espera para ocorrência de palavras e faço um breve apanhado sobre o tema. No Capítulo 2, introduzo algumas questões iniciais e resolvo
alguns problemas envolvendo a ocorrência de apenas uma palavra. No Capítulo
3, apresento a teoria de martingais a tempo discreto necessária à abordagem utilizada no Capítulo 4. No Capítulo 4, introduzo a abordagem de martingais para
a ocorrência de palavras. Inicialmente, mostro como calcular a média do tempo
de espera até que uma palavra qualquer ocorra; nas seções seguintes, demonstro como computar a média do tempo de espera até que uma de várias palavras
ocorra, como calcular a probabilidade de que uma dada palavra seja a primeira
i
ii
a ocorrer e, por fim, encontro a função geradora de probabilidade do tempo de
espera para várias palavras. Na Conclusão, cito sucintamente algumas das extensões às questões apresentadas nestas notas e alguns problemas em aberto. Em
todos os capítulos, procurei dar exemplos e exercícios que ilustram os resultados e as proposições que enuncio e provo. Além disso, evitei dar a prova de
resultados clássicos, como o lema de Borel-Cantelli ou do Teorema 3.9; ambas as
demonstrações podem ser encontradas em livros que fazem parte das referências.
Agradeço à Associação Brasileira de Estatística e à Comissão Organizadora
do 21o SINAPE pelo convite e oportunidade de expor, por meio destas notas,
parte do meu trabalho. Também agradeço à Fundação de Amparo à Pesquisa do
Estado de São Paulo (processo 2012/01432-9) pelo auxílio financeiro.
Sumário
1 Introdução
1
2 Problemas preliminares
5
3 Martingais e tempo de espera
11
4 A abordagem de martingais
15
4.1
4.2
Tempo de espera médio para uma palavra . . . . . . . . . . . . .
Tempo de espera médio para várias palavras . . . . . . . . . . . .
15
18
4.3
Probabilidades de parada . . . . . . . . . . . . . . . . . . . . . . .
20
4.4
Função geradora de probabilidades . . . . . . . . . . . . . . . . .
22
5 Conclusão
27
Referências bibliográficas
29
iii
Capítulo 1
Introdução
Considere uma sequência de lançamentos de moedas em que denotamos o resultado de cada lançamento por H, se der cara, ou por T , se der coroa. Forme
uma palavra apenas com H’s e T ’s, por exemplo, HHHHH ou HT HT H. Quantas vezes temos de arremessar uma mesma moeda até que a palavra HHHHH
apareça? Por exemplo, dadas as sequências
T H T H H H H H e T T H T T H H H H H,
então o número de vezes de vezes que arremessamos a moeda até que HHHHH
ocorra pela primeira vez é 8 e 10, respectivamente. Esse exemplo induz as seguintes perguntas: o tempo de espera até que HHHHH ocorra será sempre finito, ou
teremos de esperar indefinidamente? Qual o tempo esperado até que HHHHH
ocorra? Qual das duas palavras HHHHH e HT HT H ocorre mais facilmente,
isto é, qual delas tem a maior probabilidade de ocorrer primeiro?
Agora introduzamos o modelo formalmente. Considere uma variável aleatória discreta X que assume valores num alfabeto finito A. Seja {Xn }n≥1 uma
sequência de variáveis aleatórias independentes, identicamente distribuídas com
a mesma distribuição de X. Chamamos de palavra qualquer sequência finita de
elementos de A. Considere a palavra A1 = l1 . . . lm . Denotamos por τA1 o tempo
de espera até que a A1 surja pela primeira vez na sequência {Xn }n≥1 , ou seja,
τA1 = min {n ≥ 1; Xn = lm , Xn−1 = lm−1 , . . . , Xn−m+1 = l1 } .
(1.1)
Em seguida, considere uma coleção finita C = {A1 , . . . , Ak } de palavras em A.
1
2
CAPÍTULO 1. INTRODUÇÃO
Defina o seguinte tempo de espera
τ = min{τA1 , . . . , τAk }.
(1.2)
Estamos interessados em obter uma maneira de calcular a esperança E(τ ), a
função geradora de probabilidades E(ατ ) e as probabilidades de parada
P(τ = τAi ), i = 1, . . . , k.
(1.3)
A fim de tornar (1.2) bem-definido e evitar os casos em que duas palavras de C
ocorram simultaneamente, assumimos que nenhuma palavra de C contém outra
palavra como sub-palavra. Mais claramente, não consideraremos casos em que
A1 = HT HT T e A2 = HT T , ou A3 = T T T HHHT T e A4 = T HHH. Esta
hipótese nos garante que P(τ = τi ) > 0, para i = 1, . . . , k, e que
k
X
P(τ = τi ) = 1.
i=1
Para responder às perguntas do parágrafo anterior, usaremos a abordagem de
martingais introduzida por Li [15] e Gerber e Li [7]. Nestes artigos, considera-se
{Xn }n uma sequência de v.a.’s i.i.d.. Vinte cinco anos mais tarde, a técnica de
martingais ganha novo fôlego nos artigos [8, 14] e é adaptada para cadeias de
Markov como podemos observar em [6, 16].
Apenas para realçar o avanço da abordagem de martingais de [15] em relação
a outros artigos do ínicio dos anos 80, olhemos para [1] e [2]. Todos os três tratam
o problema do ponto de vista probabilístico. Em [1], calcula-se o tempo médio
de espera para uma palavra qualquer; em [2], calcula-se a esperança do tempo
de espera para um coleção de palavras C, a função geradora de probabilidades
para τ e as probabilidades (1.3). Entretanto, há a forte limitação de que todas as
palavras de C tenham mesmo tamanho e o ensaios sejam v.a.’s com distribuição
uniforme em A. Nenhuma dessas hipóteses é exigida no enunciado acima.
Uma grande motivação para a resolução de problemas envolvendo tempos
de espera de palavras vem do sequenciamente genético do DNA, como podemos ver em [3] e suas referências. Muitos outros autores têm estudado problemas de tempos de parada para escolhas gerais e específicas de C e sua funções
geradoras de probabilidade. Em vez do mínimo τ , alguns estudam a variável
max{τA1 , . . . , τAk }, outros a intermitência com que as palavras ocorrem. Várias
técnicas distintas têm sido usadas para enfrentar esses problemas tanto para o
3
caso em que os ensaios são independentes como também para o caso em que
{Xn }n≥1 é uma cadeia de Markov. Feller [4] dedica algumas de suas seções ao
estudo da ocorrência de palavras em ensaios de Bernoulli independentes através
do uso da teoria de eventos recorrentes; em [18] alguns de seus resultados são
generalizados, mas não se olha para τ ; observa-se a ocorrência de palavras para
um número n deteminístico de ensaios. O livro de Fu e Lou [5] fornece uma introdução à técnica de imersão da cadeia de Markov para o estudo da distribuição
das palavras, abordagem que tem gerado até hoje muitos artigos. Veja suas referências. Outra abordagem frutífera é a de Combinatória, introduzida por Guibas
e Odlyzko em [11, 12]. Para outros artigos envolvendo Patterns and Runs e suas
conexões com Passeios Aleatórios, Confiabilidade, etc, indicamos o livro [9].
4
CAPÍTULO 1. INTRODUÇÃO
Capítulo 2
Problemas preliminares
Neste capítulo, exibimos alguns problemas introdutórios sobre a ocorrência de
palavras, muitos deles ou encontrados ou inspirados nos livros de Feller [4] e de
Gut [10].
Comecemos com a questão que segue. Será que se lançarmos uma mesma
moeda (honesta ou não) infinitas vezes teremos infinitas ocorrências de caras
(H) e coroas (T )? No caso em que a moeda é honesta, o senso comum diz que
sim, e ele está de acordo com as ferramentas matemáticas que confirmam essa
afirmação. Mas a afirmação também é válida para moedas viciadas. Por outro
lado, olhemos para a palavra HHT HH, por exemplo, e refaçamos a pergunta:
se lançarmos essa moeda infinitas vezes, a palavra HHT HH ocorrerá infinitas
vezes? Abaixo apresentamos o lema de Borel-Cantelli, o instrumento matemático
que nos garante uma resposta positiva para essa pergunta.
Antes, porém, precisamos da seguinte definição. Seja {En }n≥1 uma sequência
de eventos. Abreviamos a expressão infinitas vezes por i.v.. Definimos o evento
{En ocorre para um número infinito de n’s}, resumidamente, {En i.v.}, por
∞
{En i.v.} = ∩∞
n=1 ∪k=n Ek .
Lema 2.1 (Lema de Borel-Cantelli) Seja {En }n≥1 uma sequência de eventos
P
independentes num espaço de probabilidade (Ω, F, P). Se ∞
n=1 P(En ) = ∞, então
P(En i.v.) = 1
Prova Omitida. Veja a página 200 de [13].
5
6
CAPÍTULO 2. PROBLEMAS PRELIMINARES
Exemplo 2.2 Lance uma moeda honesta repetidamente. Considere o evento En
= {o n-ésimo lançamento dá cara}. Observe que P(En ) = 1/2 para todo n ≥ 1.
Daí,
∞
X
P(En ) = ∞.
n=1
Como os eventos En são independentes, isto é, a ocorrência de cara ou coroa
num determinado lançamento não interfere no resultado dos próximos lançamentos, podemos usar o lema de Borel-Cantelli e concluir que P(En i.v.) = 1. Em
palavras, teremos a ocorrência de infinitas caras com probabilidade 1.
Exercício 2.3 Lance uma moeda honesta infinitas vezes. Defina o evento En
= {o n-ésimo e o n + 1-ésimo lançamentos dão cara}, para n ≥ 1. Mostre que
P(En i.v.) = 1, isto é, o evento duas caras consecutivas ocorre infinitas vezes com
probabilidade 1.
Exercício 2.4 Seja {Xn }n≥1 uma sequência de variáveis aleatórias i.i.d. tal que
P(X = H) = p e P(X = T ) = 1 − p, com p ∈ (0, 1). Defina adequadamente o
evento En para mostrar que a palavra HHT HH ocorre infinitas vezes com probabilidade 1. Conclua que qualquer palavra ocorre infinitas vezes com probabilidade
1.
Os exercícios e os exemplos anteriores nos levam às perguntas: quanto tempo
teremos de esperar até que ocorra a palavra de interesse? Qual é a distribuição do
tempo de espera? Podemos calcular a esperança do tempo de espera? Teremos
de esperar um tempo infinito?
Abaixo mostramos que o tempo de espera para qualquer palavra tem esperança finita e, portanto, tem probabilidade nula de ser infinito.
Seja A o nosso alfabeto finito e seja A = l1 . . . lm . Denote por τA o tempo de
espera até que a A surja pela primeira vez na sequência {Xn }n≥1 . Defina
T = min q ≥ 1; Xm(q+1) = lm , Xn−1 = lm−1 , . . . , Xmq+1 = l1 .
A variável T observa a primeira ocorrência de A a cada bloco de m de variáveis.
Note que
τ ≤ mT
(2.1)
e que T tem distribuição geométrica. Logo, E(τ ) < ∞, o que por sua vez implica
que P(τ = ∞) = 0.
7
Exercício 2.5 Mostre que T tem distribuição geométrica de parâmetro p, onde
p = p1 p2 . . . pm e pi = P(Xn = li ), i = 1, . . . , m.
Sabendo que a esperança do tempo de espera de qualquer palavra é finita,
cabe agora perguntar qual o seu valor. Abaixo apresentamos alguns exemplos.
Eles dão uma ideia de quão complexo pode ser o cálculo.
Exemplo 2.6 Seja {Xn }n≥1 uma sequência de variáveis aleatórias independentes, identicamente distribuídas tais que P(X = H) = P(X = T ) = 1/2. Sejam
A1 = T H e A2 = HH. Calculemos a) E(τA1 ), b) E(τA2 ) e P(τA1 < τA2 ).
a) Observemos que toda ocorrência de A1 = T H é da seguinte forma: um
sequência H’s (possivelmente nenhum) seguidos por uma sequência de T ’s (ao
menos um) até a aparência do primeiro H, ou seja,
HH
. HHT} T
. T T H} .
| . .{z
| T . .{z
G1
G2
Note que G1 e G2 são variáveis aleatórias independentes com distribuição geométrica de parâmetro 1/2, isto é,
P(Gi = x) = (1/2)x−1 (1/2) para x = 1, 2, . . . e i = 1, 2.
Logo,
E(τA1 ) = E(G1 ) + E(G2 ) = 2 + 2 = 4.
b) Para a palavra A2 = HH, apresentamos uma solução baseada no condicionamento do resultado dos dois primeiros lançamentos. Observemos que
i) se o primeiro lançamento dá T , significa que recomeçar a lançar a moeda
como se fosse do zero;
ii) se os dois primeiros lançamentos dão HT , significa recomeçar do zero;
iii) se os dois primeiros lançamentos dão HH, paramos de arremessar a moeda.
Daí,
τA2 = (1 + τ 0 )1{X1 =T } + (2 + τ 00 )1{X1 =H,X2 =T } + 2 1{X1 =H,X2 =H} ,
8
CAPÍTULO 2. PROBLEMAS PRELIMINARES
onde τ 0 e τ 00 tem a mesma distribuição de τA2 e são independentes de X1 e X2 .
Tomando a esperança de ambos os lados, temos
E(τA2 ) = (1 + E(τA2 )) ×
1
1
1
+ (2 + E(τA2 )) × + 2 × ,
2
4
4
o que implica E(τA2 ) = 6.
c) Dadas as palavras A1 = T H e A2 = HH, observe que a única realização
da sequência {Xn }n≥1 em que A2 aparece antes de A1 é a realização em que os
dois primeiros ensaios dão HH. Caso contrário, assim que ocorrer o primeiro T
realizamos uma série de ensaios até a ocorrência do primeiro H. Daí,
P(τA2 < τA1 ) =
1
4
3
e P(τA1 < τA2 ) = .
4
Exercício 2.7 Refaça o exemplo anterior considerando P(X = H) = p e P(X =
T ) = 1 − p, onde p ∈ (0, 1).
Exercício 2.8 Seja A = HHHHH. Use a abordagem da parte b) do exemplo
prévio para mostrar que E(τA ) = 62.
Exemplo 2.9 Aqui apresentamos as respostas de um problema clássico encontrado nos capítulos VIII.1 e XIII.8 de Feller [4]. Seja {Xn }n≥1 uma sequência de variáveis aleatórias independentes, identicamente distribuídas tais que
P(Xn = H) = p e P(X = T ) = q, onde p ∈ (0, 1) e q = 1 − p. Sejam A1 a
palavra formada α H’s consecutivos e A2 a palavra formada β T ’s consecutivos,
ou seja,
. . T T} .
A1 = HH
. . HH} e A2 = T
| T .{z
| .{z
α vezes
β vezes
Considere τA1 e τA2 como antes e defina τ = min{τA1 , τA2 }. Feller lança mão da
teoria de eventos recorrentes (que apenas citamos) para chegar às fórmulas abaixo
P(τ = τA1 ) =
pα−1 (1 − q β )
(1 − pα )(1 − q β )
e
E(τ
)
=
.
pα−1 + q β−1 − pα−1 q β−1
pα q + pq β − pα q β
Exercício 2.10 Suponha P(X = H) = p e P(X = T ) = 1 − p, onde p ∈ (0, 1).
Sejam A1 = HT T T T e A2 = T T T T T . Mostre que
P(τA2 < τA1 ) =
1
25
e P(τA1 < τA2 ) = 1 −
1
.
25
9
Até agora os problemas que apresentamos envolvem apenas uma palavra e alfabeto A com dois elementos. Uma questão que naturalmente se põe é a seguinte:
se o alfabeto puder assumir qualquer tamanho finito e se tivermos uma coleção
maior de palavras, digamos, C = {A1 , . . . , Ak }, como responder às perguntas
contidas em (1.1), (1.2), (1.3)? Olhemos novamente para o exemplo 2.6. Claro
está que, mesmo nas condições do exemplo, se fizermos as mesmas indagações
para palavras como B = HT HT HT T e C = T T HT HT HT HH as estratégias
para calcular o tempo de espera médio nas letras a) e b) ou não funcionarão ou
serão muito custosas, demandando muitos cálculos. Além disso, como calcular
P (τB < τC )? Mesmo a abordagem de Feller [4], uma espécie de primeiro passo
rumo a questões mais gerais, se aplica apenas a um alfabeto de tamanho 2 e não
responde às perguntas da frase anterior. Para tanto, precisamos de uma teoria
que aborde as questões de modo geral. No próximo capítulo, introduzimos a teoria de martingais a tempo discreto. No capítulo 4, introduzimos a abordagem
de martingais para o problema, primeiramente para apenas uma palavra e em
seguida para várias palavras. Esta abordagem responde às perguntas em (1.1),
(1.2), (1.3).
10
CAPÍTULO 2. PROBLEMAS PRELIMINARES
Capítulo 3
Martingais e tempo de espera
Nesta capítulo apresentamos algumas definições e resultados (apenas para o
caso discreto) que serão fortemente usados nos próximo capítulo para encontrar
a média de (1.1) e de (1.2) e para calcular as probabilidades de (1.3).
Evitaremos a notação de σ-álgebra e de filtração para trabalhar com martingais. Optamos pela abordagem de [17]. A intenção é usar a notação e os exemplos
mais intuitivos possíveis para que o estudante não acostumado ao assunto possa
ler o texto sem se assustar. Ao leitor mais interessado recomendamos a leitura
de [19]. Vários dos exemplos que apresentamos a seguir são retirados de ambos
os livros.
Definição 3.1 (Martingal) Seja {Mn }n≥1 uma sequência de variáveis aleatórias tal que E(|Mn |) < ∞ para todo n ≥ 1. Chamamos {Mn }n≥1 de martingal
se
E(Mn+1 /M1 , . . . , Mn ) = Mn para todo n ≥ 1.
Intuitivamente, a definição de martingal nos diz que, dada a informação sobre
os valores do processo {Mn }n≥1 até o instante n, em média, no instante n + 1, o
processo terá o mesmo valor do instante anterior.
Exemplo 3.2 Seja {Xn }n≥1 uma sequência de variáveis aleatórias não-negativas
e independentes com E(Xn ) = 1 para todo n ≥ 1. Defina M0 = 1 e
Mn = X1 X2 . . . Xn .
11
12
CAPÍTULO 3. MARTINGAIS E TEMPO DE ESPERA
Então, para n ≥ 0
E(Mn+1 /M0 , . . . , Mn ) = E(X1 . . . Xn Xn+1 /M0 , . . . , Mn )
= E(X1 . . . Xn Xn+1 /X1 , . . . , Xn )
= X1 X2 . . . Xn E(Xn+1 ),
= Mn .
ou seja, Mn é martingal.
Exemplo 3.3 (Passeio aleatório simples em Z) Seja {Xn }n≥1 uma sequência de variáveis aleatórias i.i.d. tal que P(Xn = 1) = p e P(Xn = −1) = 1 − p.
Considere S0 = 0 e, para n ≥ 1, defina
Sn =
n
X
Xn .
i=0
A sequência {Sn }n≥0 é chamada passeio aleatório simples de parâmetro p. Podemos imaginar que Sn descreve a posição de uma partícula no tempo n: em n = 0,
ela está posicionada na origem e, a cada instante de tempo n ≥ 1, ela dá um
passo à esquerda de tamanho 1 com probabilidade 1 − p ou dá um passo à direita de tamanho 1 com probabilidade p. A palavra simples refere-se ao tamanho
unitário do salto da partícula a cada instante de tempo.
Observe que E(Sn ) = n(2p − 1) e que Sn+1 = Sn + Xn . Defina Mn = Sn −
n(2p − 1) para n ≥ 0. Mostremos que {Mn }n≥0 é martingal.
E(Mn+1 /M0 , . . . , Mn ) = E(Mn + Xn+1 − (2p − 1)/M0 , . . . , Mn )
= Mn + E(Xn+1 ) − (2p − 1)
= Mn .
Exercício 3.4 Seja {Mn }n≥1 um martingal. Dadas duas variáveis aleatórias X
e Y , use o fato de que E(X) = E(E(X/Y )) para mostrar que
E(Mn ) = E(M1 ) para todo n ≥ 1.
Agora introduzimos o conceito de tempo de parada, que no Capítulo 1 foi
chamado de tempo de espera ao definir as variáveis (1.1) e (1.2).
13
Definição 3.5 (Tempo de parada) Uma variável aleatória inteira não-negativa τ é um tempo de parada para o processo {Xn }n≥1 se o evento {τ ≤ n} depende
apenas das variáveis aleatórias X1 , . . . , Xn , isto é, se conhecermos uma realização
das variáveis X1 , . . . , Xn , então saberemos a ocorrência ou não de {τ ≤ n}.
Exemplo 3.6 As variáveis definidas em (1.1) e (1.2) são tempos de parada, já
que a ocorrência ou não de uma das k palavras A1 , . . . , Ak até o tempo n depende
apenas dos n-primeiros ensaios.
Exemplo 3.7 (Passeio aleatório simples simétrico em Z) Seja {Xn }n≥1
uma sequência de variáveis aleatórias i.i.d. tal que P(Xn = 1) = 1/2 = P(Xn =
−1). Considere S0 = 0 e, para n ≥ 1, defina
Sn =
n
X
Xn .
i=0
Já vimos que Sn é um passeio aleatório simples; quando p = 1/2, dizemos que o
passeio é simétrico. Além disso, Sn é martingal.
Agora considere max{∅} = 0 e defina
γ = max{n ≤ 15; Sn = 1}
A variável γ nos diz a última visita ao vértice 1 para n ∈ {0, 1, . . . , 15}. Observe
que o evento {γ ≤ 5} não depende apenas dos 5 primeiros ensaios, mas sim dos
15 primeiros ensaios. De modo geral, {γ ≤ i} não depende apenas dos i primeiros
ensaios. Potanto, γ não é tempo de parada.
Exercício 3.8 Sejam τ1 e τ2 tempos de parada para {Xn }n≥1 . Mostre que τ1 +τ2 ,
min{τ1 , 10} e min{τ1 , τ2 } também são tempos de parada.
Teorema 3.9 Sejam τ um tempo de parada e {Mn }n≥1 um martingal para o
processo {Xn }n≥1 . Se E(τ ) < ∞ e existe um número real K > 0 tal que
|Mn+1 − Mn | ≤ K para todo n,
então Mτ é integrável e
E(Mτ ) = E(M1 ).
14
CAPÍTULO 3. MARTINGAIS E TEMPO DE ESPERA
Prova Omitida. Pode ser vista na página 100 de [19].
Observação 3.10 O teorema do tempo de parada generaliza o exercício 3.4 para
instantes de tempo aleatórios.
Exemplo 3.11 (Equação de Wald) Seja {Xn }n≥1 uma sequência de v.a.’s i.
i.d. tais que |Xn | ≤ K para algum K > 0. Seja N um tempo de parada para
{Xn }n≥1 tal que E(N ) < ∞, então
N
X
E(
Xi ) = E(N )E(X).
(3.1)
i=1
Considere que X e Xn tem a mesma distribuição. Agora ponha E(Xn ) = µ.
Note que (prove-o)
n
X
Mn =
(Xn − µ) é martingal.
i=1
Ademais, |Mn+1 − Mn | ≤ 2K. Daí, pelo Teorema 3.9,
E(MN ) = E(M1 ) = E(X1 − µ) = 0,
isto é, E(
PN
i=1
Xi − N µ) = 0, e a igualdade (3.1) está provada.
Exemplo 3.12 Considere novamente o passeio aleatório simples simétrico em Z
do exemplo 3.7. Já vimos que {Sn }n≥0 é martingal, onde S0 = 0. Defina
τ = min{n ≥ 1; Sn =
n
X
Xi = 1}.
i=1
Como {τ ≤ n} depende apenas de X1 , . . . , Xn , então τ é tempo de parada. Entretanto, observe que P(Sτ = 1) = 1 e que
1 = E(Sτ ) 6= E(S1 ) = 0.
Portanto, não podemos aplicar o Teorema 3.9. O motivo pelo qual ele não se
aplica está ligado ao fato de que, embora P(τ < ∞) = 1, aqui temos E(τ ) = ∞, o
que contraria as hipóteses do teorema. As duas afirmações anteriores não serão
provadas nestas notas, porém podem ser encontradas em livros que tratam de
passeios aleatórios, como [4] e [19].
Capítulo 4
A abordagem de martingais
4.1
Tempo de espera médio para uma palavra
Nesta seção introduziremos a abordagem de martingais desenvolvida por Li
[15]. Inicialmente lidaremos com apenas uma palavra A1 = l1 . . . lm e calcularemos
E(τA1 ). Na próxima seção, trataremos do caso em que há várias palavras, como
em (1.2). Para que faça sentido calcular a esperança de τA1 , suponhamos que
P(Xn = li ) > 0 para i = 1, . . . , m. Se P(Xn = li ) = 0 para algum i ∈ {1, . . . , m},
então P(τA1 = ∞) = 1 e E(τA1 ) = ∞.
Exercício 4.1 Mostre que se P(Xn = li ) = 0 para algum i ∈ {1, . . . , m}, então
P(τA1 = ∞) = 1.
Lancemos mão da ideia de times de apostas para construir nosso martingal.
Suponha que estamos num casino e que Xn denote o resultado da n-ésima rodada,
para n = 1, 2, . . .; o jogo acaba no momento aleatório τA1 em que a palavra
A1 aparece pela primeira vez. Atribuímos um time de apostas (formado por
jogadores) para a palavra A1 da seguinte maneira: suponha que um novo jogador
entre no jogo a cada instante de tempo n = 1, . . .. Ele aposta 1 real no evento
Xn = l1 .
Se ele perde, deixa o jogo com 0 reais. Se ele ganha, obtém como prêmio a quantia
de 1/P(X = l1 ) reais. Em seguida, ele aposta todo esse dinheiro que
Xn+1 = l2 .
15
16
CAPÍTULO 4. A ABORDAGEM DE MARTINGAIS
Novamente, se perde, ele deixa o jogo com 0 reais. Se ele ganha pela segunda vez
consecutiva, sua fortuna passa a ser de
1
1
×
P(X = l1 ) P(X = l2 )
reais,
e assim prossegue o jogador até que ou ele perca ou ele acerte as m letras da
palavra. Neste último caso, ele deixa o jogo com
1
1
1
×
× ... ×
P(X = l1 ) P(X = l2 )
P(X = lm )
reais.
Exercício 4.2 Explique por que para todo n ≥ 1 há no máximo m jogadores
apostando.
Observemos que se trata de um jogo justo no seguinte sentido: se logo após o
instante n o jogador possui c reais e no instante n + 1 os aposta na letra l, então
sua fortuna Fn+1 no instante n + 1 satisfaz a igualdade
Fn+1 = 0 1{Xn+1 6=l} +
c
P(Xn+1 = l)
1{Xn+1 =l} .
Daí, após tomar a esperança de ambos os lados,
E(Fn+1 ) =
c
P(Xn+1 = l)
P(Xn+1 = l) = c,
ou seja, o jogador espera ter a mesma quantidade de dinheiro após apostar. Esta
é a igualdade chave que nos garante a construção do martingal.
Seja Sn a quantidade de dinheiro acumulada pelo casino de todos os jogadores
até o tempo n(incluindo n). Dado que o número de apostas na n-ésima rodada
depende somente da história até o tempo n − 1 e o jogo é justo, a sequência
{Sn }n≥0 com S0 = 0 é um martingal, ou seja,
E(Sn+1 /S1 , . . . , Sn ) = Sn para todo n ≥ 0.
Exercício 4.3 Mostre que
S1 = 1{X1 6=l1 } − 1 −
e que, portanto, E(S1 /S0 ) = E(S1 ) = 0.
1
1{X1 =l1 }
P(X = l1 )
4.1. TEMPO DE ESPERA MÉDIO PARA UMA PALAVRA
17
Introduzimos agora uma medida que pondera a sobreposição entre duas palavras. Sejam B = b1 . . . bp e, como antes, A = l1 . . . lm . Para cada (i, j), escreva

1


se 1 ≤ i ≤ m, 1 ≤ j ≤ p e li = bj ;
P(X = bj )
δij =
(4.1)


0,
caso contrário.
Em seguida, defina a função
A ∗ B = δ11 δ22 . . . δmm + δ21 δ32 . . . δmm−1 + . . . + δm−11 δm2 + δm1 .
(4.2)
O lucro líquido do casino no momento τA é dado por
SτA = τA − A ∗ A.
Para compreender a fórmula, observe que τA é quantidade de dinheiro arrecadada
pelo casino até o tempo τA e A ∗ A é quantidade de dinheiro paga pelo casino ao
time de apostadores da palavra A.
Já sabemos que E(τA ) < ∞ (veja (2.1) e exercício 2.5). Ademais, i) para todo
tempo n há um no máximo m jogadores que apostam e ii) o ganho total de cada
jogador está limitado por
m
Y
i=1
1
.
P(X = li )
Isto é, as condições do Teorema do Tempo de Parada 3.9 estão satisfeitas. Logo,
0 = E(S0 ) = E(SτA ) = E(τA ) − A ∗ A.
Donde concluímos a seguinte proposição.
Proposição 4.4
E(τA ) = A ∗ A.
Exercício 4.5 Mostre que |Sn+1 − Sn | ≤ K para todo n ≥ 0, onde
K=m
m
Y
i=1
1
< ∞.
P(X = li )
18
CAPÍTULO 4. A ABORDAGEM DE MARTINGAIS
Exemplo 4.6 Considere o alfabeto A = {H, T } e as probabilidades P(Xn =
H) = P(Xn = T ) = 1/2 para n ≥ 1. Defina as palavras A1 = HHHHH e
A2 = HT HT H. Calculemos E(τA1 ) e E(τA2 ).
Para A1 , primeiramente note que δij =
1
1/2
= 2 para todo i, j = 1, . . . , 5.
Usando (4.2) e a Proposição 4.4, temos
E(τA ) = 25 + 24 + 23 + 22 + 21 = 62.
Para A2 , temos que
(
δij =
2,
se (i, j) ∈ {1, 3, 5}2 ∪ {2, 4}2
0,
se (i, j) ∈
/ {1, 3, 5}2 ∪ {2, 4}2
Daí,
E(τA2 ) = 25 + 0 + 23 + 0 + 21 = 42.
É curioso observar que, embora A1 e A2 tenham mesmo tamanho e mesma
probabilidade de ocorrência em 5 lançamentos consecutivos, essas palavras apresentam tempo de espera médio bem distintos. Basicamente, isso se deve ao fato
de que, como no exemplo 2.6, a sobreposição de A1 dificulta sua ocorrência.
Exercício 4.7 Considere como alfabeto as letras do DNA humano, ou seja, A =
{A, C, G, T } Além disso, suponha que {Xn }n é sequência de v.a. i.i.d. tal que
P(Xn = A) = 1/3, P(Xn = C) = 1/4, P(Xn = G) = 1/4 e P(Xn = T ) = 1/6 para
n ≥ 1. Sejam A1 = ACGT AC, A2 = CAACG e A3 = AACCGT T . Calcule
E(τA1 ), E(τA2 ) e E(τA3 ).
4.2
Tempo de espera médio para várias palavras
Nesta seção, generalizamos a Proposição 4.4 para o caso em que há k palavras
concorrendo pela primeira ocorrência na série {Xn }n≥1 . Aqui seguiremos os passos
de [14], que simplificaram a abordagem de [15] para o problema.
Considere uma coleção finita C = {A1 , . . . , Ak } de palavras em A. Para que
tenhamos apenas uma palavra vencedora, supomos que nenhuma palavra é subpalavra de uma outra. Lembremos que o tempo de parada τ é definido por
τ = min{τA1 , . . . , τAk }.
4.2. TEMPO DE ESPERA MÉDIO PARA VÁRIAS PALAVRAS
19
Observe que τ ≤ τAi para i = 1, . . . , k. Logo, por (2.1), temos que E(τ ) < ∞.
Assuma agora que temos k times de apostadores, um para cada palavra. Em
vez de 1 real como na seção 4.1, suponha que cada jogador do time i (associado
a palavra Ai ), i = 1, . . . , k, aposte yi reais no momento em que entra no jogo.
Como antes, seja Sn a quantidade de dinheiro acumulada pelo casino de todos
os jogadores até o tempo n(incluindo n) e de todos os times de apostas. Observe
que Sn corresponde a soma de k martingais, um para cada time de apostas. Dado
que o número de apostas na n-ésima rodada depende somente da história até o
tempo n−1, que o jogo é justo e que a soma de martingais é martingal, a sequência
{Sn }n≥0 com S0 = 0 é um martingal.
Exercício 4.8 Mostre que a soma de martingais é martingal.
No tempo de parada τ , temos que


(y1 + . . . + yk )τ − y1 (A1 ∗ A1 ) + . . . + yk (A1 ∗ Ak ) , se τ = τA1 ,




 (y1 + . . . + yk )τ − y1 (A2 ∗ A1 ) + . . . + yk (A2 ∗ Ak ), se τ = τA ,
2
Sτ =
..
..

.
.




 (y + . . . + y )τ − y (A ∗ A ) + . . . + y (A ∗ A ) , se τ = τ ,
1
k
1
k
1
k
k
k
Ak
isto é, a quantia que o casino arrecada junto aos apostadores até o tempo τ menos
a quantia que ele paga a cada time de apostas no momento τ . Reescrevendo a
igualdade acima de modo curto, obtemos
Sτ = (y1 + . . . + yk )τ −
k
X
y1 (Ai ∗ A1 ) + . . . + yk (Ai ∗ Ak ) 1{τ =τAi }
(4.3)
i=1
Defina agora µi = P(τ = τAi ) para i = 1, . . . , k, e escreva µ = (µ1 , . . . , µk )> ,
e Y = (y1 , . . . , yk )> . Definimos também a matriz P de lucros de cada um dos k
times de apostas:

A1 ∗ A1 A1 ∗ A2 . . . A1 ∗ Ak

 A2 ∗ A1 A2 ∗ A2 . . . A2 ∗ Ak
P =
 ...
...
...
...

Ak ∗ A1 Ak ∗ A2 . . . Ak ∗ Ak



.


(4.4)
Recordemos a hipótese de que em C nenhuma palavra é sub-palavra de uma
outra. Esta suposição nos garante que no momento τ somente uma das palavras
20
CAPÍTULO 4. A ABORDAGEM DE MARTINGAIS
em C ocorre. Ainda, os mesmos argumentos da seção 4.1 são válidos para (4.3).
Após tomarmos a esperança em ambos os lados de (4.3), obtemos
0 = E(Sτ ) = (y1 + . . . + yk )E(τ ) − µ> P Y,
(4.5)
A partir deste ponto, utilizaremos a relação (4.5) para obter resultados explícitos para E(τ ) e µ = (µ1 , . . . , µk )> , isto é, escolheremos as apostas (y1 , . . . , yk )
convenientemente a fim de conseguir calcular E(τ ) e µ = (µ1 , . . . , µk )> .
Observação 4.9 Em [7], Gerber e Li provam que a matriz P em (4.4) é invertível. Portanto, existem soluções únicas para os sistemas lineares da Proposição
4.10 e da Proposição 4.11, logo abaixo apresentadas.
Proposição 4.10 Se existe uma solução Y ∗ = (y1∗ , . . . , yk∗ )> para o sistema linear
P Y = 1, onde 1 = (1, . . . , 1)> , então
E(τ ) =
y1∗
1
.
+ . . . + yk∗
Prova Observemos que
>
µ AY =
k
X
µi = 1.
i=1
Daí,
0 = (y1∗ + . . . + yk∗ )E(τ ) − 1,
o que encerra a demonstração.
4.3
Probabilidades de parada
De posse da esperança de τ , podemos escolher as apostas de modo a obter as
probabilidades de parada µ = (µ1 , . . . , µk )> , onde, lembremos, µi = P(τ = τAi ),
i = 1, . . . , k.
Proposição 4.11 O vetor de probabilidades µ = (µ1 , . . . , µk )> satisfaz a equação
P > µ = E(τ )1, onde 1 = (1, . . . , 1)> .
4.3. PROBABILIDADES DE PARADA
21
Prova Para j = 1, . . . , k, considere o seguinte vetor de apostas
Y j = (0, . . . ,
, 0, . . . , 0)> .
1
|{z}
j−ésima posição
Daí, o produto P Y j nos dá a j-ésima coluna de P , isto é, (4.5) implica que
0 = E(Sτ ) = E(τ ) − (A1 ∗ Aj , . . . , Ak ∗ Aj )> µ,
(4.6)
para todo j ∈ {1, . . . , k}. Logo, o resultado segue.
Exemplo 4.12 Voltemos ao exemplo 4.6. Lá temos que A = {H, T } e as probabilidades P(Xn = H) = P(Xn = T ) = 1/2 para n ≥ 1. Vimos que se
A1 = HHHHH e A2 = HT HT H, E(τA1 ) = 62 e E(τA2 ) = 42.
Seja τ = min{τA1 , τA2 }. Inicialmente, encontraremos a matriz de lucros P .
Neste caso, temos que
"
P =
62
A1 ∗ A2
A2 ∗ A1
42
#
.
Calculemos A1 ∗ A2 . Como δi2 = 0 para i ∈ {1, . . . , 5} e δ51 = 2, então
A1 ∗ A2 = 0 + 0 + 0 + 0 + 2 = 2. Por outro lado, temos que A2 ∗ A1 = 2, já que
δ2i = δ4i = 0 para i ∈ {1, . . . , 5} e δ51 = 2.
Para encontrar E(τ ), temos de resolver o sistema linear
"
#"
# " #
62 2
y1
1
=
,
2 42
y2
1
cuja solução única é dada por y1∗ = 10/650 e y2∗ = 15/650. Usando a Proposição
4.10, temos que E(τ ) = 26.
Para achar µ = (µ1 , µ2 )> , de acordo com a Proposição 4.11, temos de resolver
o sistema
"
62
2
2
42
#"
µ1
µ2
#
"
=
26
26
#
,
cuja solução única é dada por µ1 = 26/65 = 0, 4 e µ2 = 39/65 = 0, 6.
Exercício 4.13 Retomemos as condições do exercício 4.7, qual seja, o alfabeto
é dado por A = {A, C, G, T } e as probabilidades por P(Xn = A) = 1/3, P(Xn =
22
CAPÍTULO 4. A ABORDAGEM DE MARTINGAIS
C) = 1/4, P(Xn = G) = 1/4 e P(Xn = T ) = 1/6 para n ≥ 1. As palavras são A1 = ACGT AC, A2 = CAACG e A3 = AACCGT T . Defina
τ = min{τA1 , τA2 , τA3 }. Calcule E(τ ) e as probabilidades de parada P(τ = τAi ),
i = 1, 2, 3.
Exercício 4.14 Voltemos ao exemplo 2.9 e suas hipóteses. Use a abordagem de
martingais apresentada acima para mostrar que, se
A1 = HH
. . HH} e A2 = T
. . T T} ,
| .{z
| T .{z
α vezes
β vezes
então
(1 − pα )(1 − q β )
pα−1 (1 − q β )
e E(τ ) = α
.
P(τ = τA1 ) = α−1
p
+ q β−1 − pα−1 q β−1
p q + pq β − pα q β
4.4
Função geradora de probabilidades
Lembremos a definição de função geradora de probabilidade antes de obtermos
a função geradora para o tempo de parada τ .
Definição 4.15 Seja Y uma v.a. inteira e não-negativa. A função geradora de
probabilidade de Y é definida por
Y
G(s) = E(s ) =
∞
X
si P(Y = i), para s ∈ [−1, 1].
i=0
Observe que E(sY ) é uma série de potências com raio de convergência maior ou
igual a 1. Além disso,
P(Y = i) =
G(i) (0)
, para i ≥ 0,
i!
(4.7)
isto é, G determina unicamente a distribuição de Y .
Exercício 4.16 Seja Y uma v.a. com distribuição de Poisson de parâmetro λ >
0. Mostre que a) E(sY ) = eλ(s−1) e b) verifique a relação (4.7).
Para encontrar a função geradora para τ , temos de mudar os valores das
apostas. Adaptamos os argumentos e a prova de [16] em que {Xn }n≥1 é uma
cadeia de Markov para o nosso caso, em que as v.a.’s são i.i.d..
4.4. FUNÇÃO GERADORA DE PROBABILIDADES
23
Considere α ∈ [0, 1]. Continuamos com k times de apostadores, mas agora
supomos que cada jogador do time i que inicia sua aposta no instante n aposta
αn yi , i = 1, . . . , k. Neste caso, a quantia paga pelo casino ao time de apostas j
caso a palavra Ai seja a primeira a ocorrer é uma função de α e é proporcional
a ατ yj . Assim, escrevemos essa quantidade da forma ατ yj Ai ∗ Aj (α) , onde
Ai ∗ Aj (α) é uma função de α, mas não é variável aleatória.
Dadas duas palavras A = a1 . . . am e B = b1 . . . bp , definamos claramente
A ∗ B(α):
A ∗ B(α) =
δ11 δ22 . . . δmm δ21 δ32 . . . δmm−1
δm−11 δm2
+ δm1 ,
+
+
.
.
.
+
αm−1
αm−2
α
(4.8)
onde δij está definida em (4.1). Aqui a matriz de lucros P (α) é da forma


A1 ∗ A1 (α) A1 ∗ A2 (α) . . . A1 ∗ Ak (α)


 A2 ∗ A1 (α) A2 ∗ A2 (α) . . . A2 ∗ Ak (α) 
.

P (α) = 

...
...
...
...


Ak ∗ A1 (α) Ak ∗ A2 (α) . . . Ak ∗ Ak (α)
Ademais, a fortuna do casino no instante τ é dada por
Sτ = (α + . . . + ατ )
k
X
yi −
i=1
=α
k
τ X
1−α
1−α
yi −
i=1
k
X
1{τ =τAi } ατ
i=1
k
X
i=1
1{τ =τAi } ατ
k
X
yj Ai ∗ Aj (α)
j=1
k
X
yj Ai ∗ Aj (α) .
j=1
Tomando a esperança em ambos os lados da igualdade acima, temos
0 = E(Sτ ) = α
k
k
k
X
X
1 − E(ατ ) X
yi − E(ατ )
P(τ = τAi )
yj Ai ∗ Aj (α)
1 − α i=1
i=1
j=1
k
1 − E(ατ ) X
yi − E(ατ )µ> P (α)Y,
=α
1 − α i=1
(4.9)
onde Y = (y1 , . . . , yk )> .
Proposição 4.17 Se existe uma solução Z ∗ = (z1∗ , . . . , zk∗ )> para o sistema linear
P (α)Z ∗ = 1, onde 1 = (1, . . . , 1)> e 0 ≤ α ≤ 1, então
P
α ki=1 zi∗
τ
E(α ) =
.
P
1 + α( ki=1 zi∗ − 1)
(4.10)
24
CAPÍTULO 4. A ABORDAGEM DE MARTINGAIS
Prova Observemos que
E(ατ )µ> P (α)Z ∗ = E(ατ ).
Assim, a expressão em (4.9) se torna
k
0=α
1 − E(ατ ) X ∗
zi − E(ατ ),
1 − α i=1
o que implica a igualdade (4.10).
Observação 4.18 Problema em aberto: será que a matriz P (α) é invertível para
todo α ∈ [0, 1]? Observe que P (1) = P , onde P é a matriz de lucros da seção
anterior e que, de acordo com [7](leia a Observação 4.9), é invertível. Como todos
os elementos de P (α) são polinômios em α, então ao menos numa vizinhança de 1
P (α) é não-singular. Caso a resposta para a pergunta seja sim, podemos afirmar
que sempre existirá uma única solução para o sistema linear da Proposição 4.10.
Exemplo 4.19 Seja A = {H, T } nosso alfabeto e seja P(Xn = H) = P(Xn =
T ) = 1/2 para n ≥ 1. Considere A1 = HHHHH. Encontremos E(ατA1 ).
Neste caso, a matriz P (α) é 1×1 e resume-se ao termo A1 ∗A1 (α). Calculemos
α (A1 ∗ A1 (α)):
τ
ατ (A1 ∗ A1 (α)) = ατ −4 25 + ατ −3 24 + ατ −2 23 + ατ −1 22 + ατ 2
24
23
22
25
= ατ 4 + 3 + 2 + 1 + 2 ,
α
α
α
α
ou seja,
A1 ∗ A1 (α) =
25
24
23
22
+
+
+
+ 2.
α4 α3 α2 α1
Por (4.10), temos que
τ
E(α ) =
α A1 ∗ A1 (α)
−1
−1
1 − α + α A1 ∗ A1 (α)
α5 α6 α7 α8 α9
= 5 + 6 + 6 + 6 + 6 + O(α10 )
2
2
2
2
2
Na expressão acima, O(α10 ) significa que na vizinhança de 0 os demais termos
da série de Taylor são dominados por M α10 , onde M > 0 é uma constante.
4.4. FUNÇÃO GERADORA DE PROBABILIDADES
25
Observe-a atentamente. É um polinômio em α com o termo de grau mínimo
igual a 5. Isso implica que se aplicarmos (4.7) em E(ατ ), teremos G(s)(i) = 0
para i = 1, 2, 3, 4, como se esperava. Afinal, uma palavra de tamanho 5 não pode
ocorrer antes que ao menos 5 ensaios tenham sido realizados.
Exercício 4.20 Encontre a função geradora de probabilidade para a v.a. τ do
exemplo 4.12.
Exercício 4.21 Encontre a função geradora de probabilidade para a v.a. τ do
exercício 4.13.
Observação 4.22 Ao leitor mais interessado indicamos simular computacionalmente os exemplos e exercícios desta capítulo. A simulação ajudará a fixar os
resultados e a "comprovar"a validade dos resultados através da Lei dos Grandes
Números.
26
CAPÍTULO 4. A ABORDAGEM DE MARTINGAIS
Capítulo 5
Conclusão
Nestas notas, mostramos a abordagem de martingais para a ocorrência de
palavras no caso em que os ensaios {Xn }n são i.i.d.. Mas podemos refazer as
perguntas do Capítulo 1 para sequências mais gerais. Por exemplo, podemos usar
a técnica de martingais quando {Xn }n é uma cadeia de Markov? Nesta caso, as
respostas para as médias de (1.1) e (1.2) e para as probabilidade de (1.3) foram
dadas em [8], para cadeias de Markov com apenas dois estados, e em [6, 16],
para cadeias de Markov com um número finito qualquer de estados. Nos três
artigos, não se exige que a cadeia seja irredutível ou que a distribuição inicial seja
estacionária: apenas pedimos que, dada uma palavra A = a1 . . . am , as transições
de uma letra à outra sejam possíveis, isto é, P(Xn+1 = ai |Xn = ai−1 ) > 0; caso
contrário, o tempo de espera será infinito quase certamente.
Assim como no caso i.i.d., também no caso em que temos uma cadeia de Markov temos de resolver sistemas lineares. Naquele caso, Gerber e Li [7] mostram
que a matriz de lucros P de (4.4) é não-singular; nesse caso, ainda permanece
em aberto saber se a matriz de lucros correspondente é invertível ou não. Esse
é um possível problema a ser estudado. Outro problema em aberto é estudar
a aplicação da técnica para cadeias de Markov de ordem r. Um questão ainda
mais interessante é verificar se nossa abordagem pode ser aplicada a um processo
de renovação, o que generalizaria todos os resultados anteriores. Por fim, outra
questão também muito instigante é tentar pensar numa maneira de adaptar a
abordagem para palavras bidimensionais.
27
28
CAPÍTULO 5. CONCLUSÃO
Referências Bibliográficas
[1] Blom, G. (1982). On the mean number of random digits until a given sequence occurs J. Appl. Prob. 19, 136–143.
[2] Blom, G.; Thorburn, D. (1982). How many random digits are required
until given sequences are obtained? J. Appl. Prob. 19, 518–531.
[3] Daudin, J.J.; Robin, S. (1999). Exact distribution of word occurrences in
a random sequence of letters. J. Appl. Prob. 36, 179–193.
[4] Feller, W.(1971). An introduction to the probability theory and its applications, vol.1, 2nd edn., Wiley, New York.
[5] Fu, J. C., Lou,W. Y.W. (2003). Distribution Theory of Runs and Patterns,
World Scientific Publishing, Singapore.
[6] Gava, R.J., Salotti, D.(2014). Stopping probabilities for patterns in Markov chains. J. Appl. Prob. 51, 287–292.
[7] Gerber, H., Li, S.Y.R.(1981). The ocurrence of sequence patterns in repeated experiments and hitting times in a Markov chain. Stoch. Process. Appl.
11, 101–1086.
[8] Glaz, J., Kulldorff, M., Pozdnyakov, V., Steele, J.M.(2006).
Gambling teams and waiting times for patterns in two-state Markov chains.
J. Appl. Prob. 43, 127–140.
[9] Godbole, A.P.; Papastavridis, S.G. (1994) Runs and Patterns in Probability: Selected Papers (Mathematics and Its Applications), Kluwer Academic
Press.
29
30
REFERÊNCIAS BIBLIOGRÁFICAS
[10] Gut, A.(2009). An intermediate course in probability 2nd edn., Springer,
New York.
[11] Guibas, L., Odlyzko, A.(1981). Period of strings. J. Combin. Theory Ser.
A30, 19–42.
[12] Guibas, L., Odlyzko, A.(1981). String overlaps, patterns matching and
nontransitive games. J. Combin. Theory Ser. A30, 183–208.
[13] James, B.(2006). Probabilidade: um curso em nível intermediário, 3. ed.,
Coleção projeto Euclides, Rio de Janeiro.
[14] Kulldorff, M., Pozdnyakov, V.(2006). Waiting times for patterns and
a method of gambling teams . Amer. Math. Monthly. 113, 134–143.
[15] Li, S.Y.R.(1980). A martigale approach to the study of ocurrence of sequence patterns in repeated experiments. Ann. Prob. 8, 1171–1176.
[16] Pozdnyakov, V.(2008). On ocurrence of patterns in Markov chain: method
of gambling teams. Stat. Probab. Letters. 78, 2762–2767.
[17] Ross, S.(1996) Stochastic Processes, 2nd edn., Wiley, New York.
[18] Schwager, S.J.(1983). Run probabilities in sequences of Markov-dependent
trials. J. Am. Stat. Assoc. 78, 168–175.
[19] Williams, D.(1991). Probability and Martigales, Cambridge University
Press, Cambridge.