Teoria da estimação

  

A teoria da estimação é um ramo da estatística que trata da estimação dos valores de parâmetros com base em dados empíricos medidos que possuem uma componente aleatória. Os parâmetros descrevem um cenário físico subjacente de modo que seu valor afeta a distribuição dos dados medidos. Um estimador tenta aproximar os parâmetros desconhecidos utilizando as medições. Duas abordagens são geralmente consideradas:

• A abordagem probabilística (descrita neste artigo) pressupõe que os dados medidos sejam aleatórios, com uma distribuição de probabilidade dependente dos parâmetros de interesse.
• A abordagem de associação a conjuntos pressupõe que o vetor de dados medidos pertence a um conjunto que depende do vetor de parâmetros.

Exemplos

Por exemplo, deseja-se estimar a proporção de uma população de eleitores que votará em um determinado candidato. Essa proporção é o parâmetro procurado; a estimativa é baseada em uma pequena amostra aleatória de eleitores. Alternativamente, deseja-se estimar a probabilidade de um eleitor votar em um determinado candidato, com base em algumas características demográficas, como a idade.

Ou, por exemplo, em radares, o objetivo é encontrar o alcance de objetos (aviões, barcos etc.) analisando o tempo de trânsito de ida e volta dos ecos recebidos de pulsos transmitidos. Como os pulsos refletidos estão inevitavelmente imersos em ruído elétrico, seus valores medidos são distribuídos aleatoriamente, de modo que o tempo de trânsito precisa ser estimado.

Como outro exemplo, na teoria da comunicação elétrica, as medições que contêm informações sobre os parâmetros de interesse estão frequentemente associadas a um sinal com ruído.

Noções básicas

Para um determinado modelo, vários "ingredientes" estatísticos são necessários para que o estimador possa ser implementado. O primeiro é uma amostra estatística – um conjunto de pontos de dados obtidos a partir de um vetor aleatório de tamanho N. Colocados em um vetor, $$\mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.$$ Em segundo lugar, existem M parâmetros $${\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},$$ cujos valores devem ser estimados. Em terceiro lugar, a função de densidade de probabilidade contínua (fdp) ou sua contraparte discreta, a função massa de probabilidade (fmp), da distribuição subjacente que gerou os dados deve ser declarada condicional aos valores dos parâmetros: $$p(\mathbf {x} |{\boldsymbol {\theta }}).\,$$ Também é possível que os próprios parâmetros tenham uma distribuição de probabilidade (por exemplo, na estatística bayesiana). É necessário, então, definir a probabilidade bayesiana $$\pi ({\boldsymbol {\theta }}).\,$$ Após o modelo ser formado, o objetivo é estimar os parâmetros, com as estimativas sendo comumente denotadas por ${\hat {\boldsymbol {\theta }}}$, onde o "chapéu" indica a estimativa.

Um estimador comum é o estimador de erro quadrático médio mínimo (MMSE), que utiliza o erro entre os parâmetros estimados e o valor real dos parâmetros. $$\mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}$$ como base para a otimização. Em seguida, esse termo de erro é elevado ao quadrado e o valor esperado desse valor ao quadrado é minimizado para o estimador MMSE.

Estimadores

Ver artigo principal: Estimador

Os estimadores (métodos de estimação) mais utilizados e os tópicos relacionados a eles incluem:

• estimadores de máxima verossimilhança
• Estimadores Bayesianos
• Estimadores do método dos momentos
• Limitante Inferior de Cramér-Rao
• Mínimos quadrados
• Erro quadrático médio mínimo (MMSE), também conhecido como erro quadrático mínimo Bayesiano (BLSE)
• Máxima a posteriori (MAP)
• Estimador não viesado de variância mínima (MVUE)
• Identificação de sistemas não lineares
• Melhor estimador linear não viesado (BLUE)
• Estimadores não viesados — veja viés do estimador .
• Filtro de partículas
• Cadeia de Markov Monte Carlo (MCMC)
• Filtro de Kalman e seus diversos derivados
• Filtro Wiener

Exemplos

Constante desconhecida no ruído branco gaussiano aditivo

Considere um sinal discreto recebido, $x[n]$, de $N$ amostras independentes que consistem em uma constante desconhecida $A$ com ruído branco gaussiano aditivo (AWGN) $w[n]$ com média zero e variância conhecida $\sigma ^{2}$ ( ou seja, ${\mathcal {N}}(0,\sigma ^{2})$ ). Como a variância é conhecida, o único parâmetro desconhecido é $A$ .

O modelo para o sinal é então $$x[n]=A+w[n]\quad n=0,1,\dots ,N-1$$

Dois possíveis (dentre muitos) estimadores para o parâmetro $A$ são:

• ${\hat {A}}_{1}=x[0]$
• ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ que é a média da amostra

Ambos os estimadores têm uma média de $A$, o que pode ser demonstrado através da determinação do valor esperado de cada estimador. $$\mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A$$ e $$\mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A$$

Neste ponto, esses dois estimadores parecem ter o mesmo desempenho. No entanto, a diferença entre eles torna-se aparente ao comparar as variâncias. $$\mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}$$ e $$\mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}$$

Ao que tudo indica, a média amostral é um estimador melhor, visto que sua variância é menor para cada N > 1.

Probabilidade máxima

Ver artigo principal: Máxima verossimilhança

Continuando o exemplo usando o estimador de máxima verossimilhança, a função de densidade de probabilidade (pdf) do ruído para uma amostra $w[n]$ é $$p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)$$ e a probabilidade de $x[n]$ torna-se ( $x[n]$ pode ser considerado um ${\mathcal {N}}(A,\sigma ^{2})$ ) $$p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)$$ Por independência, a probabilidade de $\mathbf {x}$ torna-se $$p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)$$ Tomando o logaritmo natural da função de densidade de probabilidade (pdf), aplicamos o logaritmo natural. $$\ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}$$ e o estimador de máxima verossimilhança é $${\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)$$

Calculando a primeira derivada da função de log-verossimilhança $${\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]$$ e definindo-o como zero. $$0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA$$

Isso resulta no estimador de máxima verossimilhança. $${\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$$ que é simplesmente a média da amostra. A partir deste exemplo, constatou-se que a média amostral é o estimador de máxima verossimilhança para $N$ Amostras de um parâmetro fixo e desconhecido, corrompidas por ruído branco gaussiano aditivo (AWGN).

limite inferior de Cramér-Rao

Para encontrar o limite inferior de Cramér-Rao (CRLB) do estimador da média amostral, é necessário primeiro encontrar o número de informação de Fisher. $${\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]$$ e copiando de cima $${\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]$$

Tomando a segunda derivada $${\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}$$ e encontrar o valor esperado negativo é trivial, já que agora se trata de uma constante determinística. $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$

Finalmente, inserindo as informações de Fisher em $$\mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}$$ resultados em $$\mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}$$

Comparando isso com a variância da média da amostra (determinada anteriormente), observa-se que a média da amostra é igual ao limite inferior de Cramér-Rao para todos os valores de $N$ e $A$ . Em outras palavras, a média amostral é o estimador eficiente (necessariamente único) e, portanto, também o estimador não viesado de variância mínima (MVUE), além de ser o estimador de máxima verossimilhança .

Máximo de uma distribuição uniforme

Ver artigo principal: Problema dos tanques alemães

Um dos exemplos não triviais mais simples de estimação é a estimação do máximo de uma distribuição uniforme. É utilizado como exercício prático em sala de aula e para ilustrar os princípios básicos da teoria da estimação. Além disso, no caso de estimativas baseadas em uma única amostra, isso demonstra questões filosóficas e possíveis mal-entendidos no uso de estimadores de máxima verossimilhança e funções de verossimilhança .

Dada uma distribuição uniforme discreta $1,2,\dots ,N$ Com um máximo desconhecido, o estimador UMVU para o máximo é dado por $${\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1$$ onde m é o máximo da amostra e k é o tamanho da amostra, amostragem sem reposição. Esse problema é comumente conhecido como o problema dos tanques alemães, devido à aplicação da estimativa de máximo às estimativas da produção de tanques alemães durante a Segunda Guerra Mundial .

A fórmula pode ser entendida intuitivamente como:

"O máximo amostral somado à lacuna média entre as observações na amostra",

A lacuna é adicionada para compensar o viés negativo do máximo da amostra como estimador do máximo da população.

Isso tem uma variância de $${\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N$$ portanto, um desvio padrão de aproximadamente $N/k$, o tamanho médio (populacional) de uma lacuna entre amostras; comparar ${\frac {m}{k}}$ acima. Isso pode ser visto como um caso muito simples de estimativa de espaçamento máximo .

O valor máximo da amostra é o estimador de máxima verossimilhança para o valor máximo da população, mas, como discutido acima, ele é enviesado.

Aplicações

Inúmeras áreas requerem o uso da teoria da estimação. Algumas dessas áreas incluem:

• Interpretação de experimentos científicos
• Processamento de sinais
• Ensaios clínicos
• Pesquisas de opinião
• Controle de qualidade
• Telecomunicações
• Gerenciamento de projetos
• Engenharia de software
• Teoria de controle (em particular, controle adaptativo )
• Sistema de detecção de intrusão de rede
• Determinação da órbita

Os dados medidos provavelmente estão sujeitos a ruído ou incerteza, e é por meio da probabilidade estatística que se buscam soluções ótimas para extrair o máximo de informações possível dos dados.

Ver também

• Melhor estimador linear não enviesado (BLUE)
• Completude (estatística)
• Teoria da detecção
• Eficiência (estatística)
• Algoritmo de maximização da expectativa (algoritmo EM)
• Problema de Fermi
• Modelo de caixa cinza
• Teoria da informação
• Análise espectral de mínimos quadrados
• Filtro casado
• Filtro de Wiener
• Monte Carlo via Cadeias de Markov
• Estimação espectral de máxima entropia
• Parâmetro de incômodo
• Equação paramétrica
• Princípio de Pareto
• Regra de três (estatística)
• Estimador de estado
• Processamento estatístico de sinais
• Suficiência (estatística)

Referências