Capítulo 9 Teoria Assintotica
9.1 Convergência de séries não aleatórias
Exemplo de uma série não convergente \[f(N)=N^2\]
f = function(x) x^2
N = 1:30
plot(N, f(N), type="l", col="lightblue", lwd=4)
Série convergente
\[g(N)=10x^{-99/100}sin(x)+pi\]
g = function(x) 10*x^(-99/100) * sin(x) + pi
N = 1:100
plot(N, g(N), type="l", lwd=2)
e1 = 2
plot(N, g(N), type="l", lwd=2)
abline(h=pi+e1, lwd=2, col="darkred")
abline(h=pi-e1, lwd=2, col="darkred")
e2 = .5
plot(N, g(N), type="l", lwd=2)
abline(h=pi+e2, lwd=2, col="darkblue")
abline(h=pi-e2, lwd=2, col="darkblue")
e3 = .1
plot(N, g(N), type="l", lwd=2)
abline(h=pi+e3, lwd=2, col=rgb(.3,.6,1,.5))
abline(h=pi-e3, lwd=2, col=rgb(.3,.6,1,.5))
N = 100:200
plot(N, g(N), type="l", lwd=2)
e3 = .1
abline(h=pi+e3, lwd=2, col=rgb(.3,.6,1,.5))
abline(h=pi-e3, lwd=2, col=rgb(.3,.6,1,.5))
9.2 Convergência em Probabilidade e Lei Fraca dos Grandes Números
Definição Uma variável aleatória converge em probabilidade para \(c\) quando \(n \to \infty\), denotado por \(Z_n \xrightarrow[p]{} c\) ou \(plim_{n \to \infty} Z_n = c\) se para todo \(\delta > 0\),
\[lim_{n \to \infty} P{|Z_n - c| \leq \delta]} = 1\]
De forma mais simples, o conceito de convergência em probabilidade se refere a uma sequência de variáveis aleatórias concentrando ao redor de um ponto na medida em que o tamanho amostral cresce.
A=matrix(NA,100,30)
for(i in 1:30){
A[,i]=replicate(100,expr = mean(rnorm(i*10)) )
}
boxplot(A)
A=matrix(NA,100,30)
for(i in 1:30){
A[,i]=replicate(100,expr = mean(rnorm(i*10,10)) )
}
boxplot(A)
Definição A Lei Fraca dos Grandes Números: se \(X_i\) é independente e identicamente distribuído e \(E|X| < \infty\), então, quando \(n \to \infty\)
\[\bar{X_n} = \frac{1}{n} \sum_{i = 1}^n \xrightarrow[p]{} E[X] \]
Portanto, a Lei Fraca dos Grandes Números diz que a média amostral converge em probabilidade para a média populacional. Um estimador que converge em probabilidade para o verdadeiro parâmetro populacional é um estimador consistente.
par(mfrow = c(2, 2))
#loop em n
for (nn in c(5, 10, 50, 100)) {
xbarra = replicate(n = 1000, expr = mean(runif(nn, 0, 5)))
hist(xbarra, col="blue", breaks = 20, xlim = c(0,5), main = paste("n=",nn))
}
xbarra = replicate(n = 1000, expr = mean(runif(5, 0, 5)))
plot(density(xbarra), ylim=c(0,3), xlim = c(0,5))
#loop em n
for (n in c(10, 50, 100)) {
xbarra = replicate(n = 1000, expr = mean(runif(n, 0, 5)))
lines(density(xbarra)) # Draws a plot of the empirical CDF (see below)
}
par(mfrow = c(2, 2))
#loop em n
for (nn in c(50, 100, 500, 1000)) {
xbarra = replicate(n = 1000, expr = mean(runif(nn, 0, 5)))
hist(xbarra, col="blue", breaks = 20, xlim = c(0,5), main = paste("n=",nn))
}
9.2.1 Viés x consistência
set.seed(16)
par(mfrow = c(2, 2))
pop = 1000
for (i in c(20,100,1000,10000)){
fo = replicate(n = pop, expr = rnorm(i)[1])
plot(density(fo),
col = 'green',
lwd = 2,
ylim = c(0, 2),
xlab = 'estimates',
main = 'Estimador Não viesado e Não Consistente')
abline(v=0)
}
set.seed(16)
par(mfrow = c(2, 2))
pop = 100
for (i in c(20,100,1000,10000)){
fo = replicate(n = pop, expr = mean(rnorm(i)) - 0.99^i )
plot(density(fo),
col = 'green',
lwd = 2,
xlab = 'estimates',
xlim = c(-1,1),
main = 'Estimador Viesado e Consistente')
abline(v=0)
}
set.seed(16)
par(mfrow = c(2, 2))
pop = 1000
for (i in c(20,100,1000,10000)){
fo = replicate(n = pop, expr = mean(rnorm(i)))
plot(density(fo),
col = 'green',
lwd = 2,
xlab = 'estimates',
xlim = c(-1,1),
main = 'Estimador Não viesado e Consistente')
abline(v=0)
}
Definição: Teorema do Mapeamento Contínuo - Se \(Z_n \xrightarrow[p]{} c\) quando \(n \to \infty\) e \(h(.)\) é contínua em \(c\), então \(h(Z_n) \xrightarrow[p]{} h(c)\) quando \(n \to \infty\)
set.seed(16)
par(mfrow = c(2, 2))
pop = 1000
for (i in c(20,100,1000,10000)){
x = replicate(n = pop, expr = mean(2 + 5*(rnorm(i,1))))
plot(density(x),
col = 'green',
lwd = 2,
xlab = 'estimates',
xlim = c(0,10),
main = 'Estimador Não viesado e Consistente')
abline(v=0)
}
9.3 Convergência em Distribuição e Teorema Central do Limite
Um outro tipo de convergência importante no estudo das propriedades de um estimador é a convergência em distribuição. Vimos que a média amostral converge em probabilidade para a média populacional, mas para realizar inferência estatística é necessário conhecer o comportamento assintótico da distribuição da média amostral.
Definição Seja \(Z_n\) uma variável aleatória com distribuição \(G_(u) = P[Z_n \leq u]\). \(Z_n\) converge em distribuição para Z quando \(n \to \infty\), denotado por \(Z_n \xrightarrow[d]{} Z\), se para todo \(u\) em que \(G(u) = P[Z \leq u]\) é contínua, \(G_n(u) \to G(u)\) quando \(n \to \infty\).
Média Amostral: A média amostral \(\bar{X}_n\) é uma função da distribuição \(F\) das observações e do tamanho amostral \(n\). O objetivo é encontrar a distribuição assintótica de \(\bar{X}_n\), ou seja, queremos mostrar que \(\bar{X}_n \xrightarrow[d]{} Z\). Pela li dos Grandes Números sabemos que \(\bar{X}_n \xrightarrow[p]{} \mu\). Desde que convergência em probabilidade para uma constante é o mesmo que convergência em distribuição, isso implica que \(\bar{X}_n \xrightarrow[d]{} \mu\). No entanto, esta não é uma distribuição útil pois o limite da distribuição é degenerado. Para obter uma distribuição não degenerada precisamos reescalonar \(\bar{X}_n\). Lembre que \(var(\bar{X}_n - \mu) = \frac{\sigma^2}{n}\). Isso implica que \(var(\sqrt{n}(\bar{X}_n - \mu)) = \sigma^2\). Portanto, esse resultado sugere uma normalização da estatística:
\[Z_N = \sqrt{n}(\bar{X}_n - \mu)\]
Feito isso, temos que \(E[Z_n] = 0\) e \(var(Z_n) = \sigma^2\). Portanto a média e a variância da distribuição amostral do estimador da média estão estabelecidos. Portanto, o próximo passo é encontrar a distribuição assintótica de \(Z_n\).
Definição Teorema Central do Limite: se \(X_i\) representa uma amostra i.i.d e \(E[X^2] < \infty\), então, quando \(n \to \infty\)
\[\sqrt{n}(\bar{X}_n - \mu) \xrightarrow[d]{} N(0,\sigma^2)\]
reps <- 10000
sample.sizes <- c(5, 20, 75, 100)Distribuição Normal
par(mfrow = c(2, 2))
for (n in sample.sizes) {
x=replicate(1000,expr = sqrt(i)*mean(rnorm(i)))
plot(density(x))
}
Distribuição Poison
par(mfrow = c(2, 2))
set.seed(123)
lambda = 1
for (n in sample.sizes) {
x=replicate(1000,expr = sqrt(n)*(mean(rpois(i,lambda)-lambda)))
plot(density(x))
}
Distribuição Binomial
par(mfrow = c(2, 2))
set.seed(123)
for(i in c(10,100,500,1000)){
x=replicate(1000,expr = sqrt(i)*(mean(rbinom(i,1,0.5)-0.5)/0.5))
plot(density(x))
} 
Distribuição Uniforme
par(mfrow = c(2, 2))
set.seed(123)
par(mfrow = c(2, 2))
for(i in c(1,5,10,50)){
x=replicate(1000,expr = sqrt(i)*(mean(sample(1:6,i,replace = TRUE)-3.5)))
plot(density(x))
}
Jogar um dado
par(mfrow = c(2, 2))
for(i in c(1,5,10,50)){
x=replicate(1000,expr = sqrt(i)*(mean(sample(1:6,i,replace = TRUE)-3.5)))
plot(density(x))
}
Distribuição Uniforme discreta
par(mfrow = c(2, 2))
for(i in c(1,5,10,50)){
x=replicate(1000,expr = sqrt(i)*(mean(sample(1:50,i,replace = TRUE)-25.5)))
plot(density(x))
}