Bayesian de aprendizagem, o modelo Naive Bayes
Naïve Bayes é um classificador probabilístico simples baseado na aplicação de teorema de Bayes com suposição de independência entre as características.
Explicação da regra de Bayes:
Regra de Bayes afirma que p (h | e) = p (e | h) * p (h) / p (e)
A probabilidade de uma hipótese ou evento (h) ocorrendo pode ser previsto com base em evidências (e) que podem ser observados a partir de eventos anteriores.
Alguns termos importantes são:
Priori probability- A probabilidade de p (h) caso, antes da prova é observado.
Posterior probabilidade - A probabilidade de p (h | e) caso, após a prova é observado.
Bays ingênuos podem ser usados em áreas como a classificação de documentos (filtragem de spam, a classificação do site, etc ..) e também para eventos que 's características pode-se seguramente assumir independente ou que a criação de dependência com ser muito caro.
Seja H o caso de "febre" e E a evidência da "dor de garganta", então temos
P (febre | dor de garganta) = P (dor de garganta | febre) * P (febre) / P (nuvem escura)
P (dor de garganta | febre) é a probabilidade de que a pessoa tem "dor de garganta", dado ou durante uma "febre".
P (febre) - é a probabilidade de Prior. Isto pode ser obtido a partir dos prontuários de estatística como o número de pessoas que tiveram uma febre quando visitar o médico este ano.
P (dor de garganta) é a probabilidade de provas ocorrendo, que pode ser obtido a partir dos prontuários estatísticas, como o número de pessoas que tiveram uma ferida gargantas quando visitar o médico este ano.
Como se pode observar a partir do exemplo acima, podemos prever um resultado de alguns eventos, observando algumas evidências; os mais evidências a melhor previsão. Quando a inclusão de mais evidências para a construção de nosso modelo NB, poderíamos deparar com um problema de dependências. Por exemplo, incluindo as provas "tosse excessiva" pode ser devido a "dor de garganta" pode tornar o modelo complicado. Assim, assumimos que todas as evidências são "independentes" do outro, portanto, "ingênuo".
Regra de Bayes para várias evidências com independência
P (H | E 1 , E 2 , ..., E n ) = P (E 1 | H) x P (E 2 | H) x ... P (E n | H) x P (H)
P (E 1 , E 2 , ..., E n )
Exemplo 1: Vamos tentar construir um modelo NB. Usando exemplo tempo do livro "Data Mining, práticas ferramentas e técnicas de Aprendizado de Máquina"
Preveja se a equipa vai "brincar" dadas as características "outlook, temperatura, umidade e vento"
Vamos construir a tabela de diferentes evidências por característica e resultado classificação de frequência.
A tabela acima, tabula todos os dados em um único lugar, a fim de fazer uma comparação um pouco mais fácil cada valor de característica, como o Outlook = ensolarado tem freqüência de Sim versus não Sem classificação. A parte inferior tem a frequência relativa expressa em frações, como p (Outlook = ensolarado | Jogar = yes) = 2/9 p (Outlook = ensolarado | Jogar = não) = 3/5.
Agora que criamos o modelo NB através da tabela acima, podemos utilizar este modelo para prever a probabilidade de eventos "jogo" com base em diferentes valores em evidências. Por exemplo,
P [yes | outlook = chuvoso, temperatura = fresco, umidade = alta, ventoso = false] =
P [chuvoso | yes] * P [leve | yes] * P [high | yes] * P [falso | yes] * P [Sim] / P [chuvoso * legal * high falsa *] =
3/9 * 4/9 * 3/9 * 6/9 * 9/14, podemos ignorar P [Evidências] = 0,02116448
Também probabilidade de:
P [nenhum | outlook = chuvoso, temperatura = fresco, umidade = alta, ventoso = false] = 3/9 * 4/9 * 3/9 * 6/9 * 5/14 = 0,01175778
Finalmente irá converter os cálculos de probabilidade acima em probabilidade de normalização
P [Sim] = 0,02116 / (0,01175 + 0,02116) = 0,6431 ou cerca de 64,31% de chance de chover, dadas as evidências
P [No] = 0,01175 / (0,01175 + 0,02116) = 0,3568 ou cerca de 36,68% de chance de chuva dado evidências
Como lidar com zero de freqüência em nossos dados, tais como P (nublado | play = não) = . 0/5 Para estar no cofre do minerador de dados não deve indicar que uma hipótese ou evento nunca poderia ocorrer, a menos que haja verdadeira evidência científica que suporte uma probabilidade zero. Para resolver a frequência zero, usamos uma técnica conhecida como "estimativa de Laplace", adicionando uma constante " m "em todos os aspectos.
Explicação acima da estimativa foi de Laplace Haruechaiyasak, Choochart. "Um tutorial sobre Naive Bayes Classificação.".
Referências
2. -Haruechaiyasak, Choochart. "Um tutorial sobre Naive Bayes classificação." . Np, 16 08 2008 Web. 31 de outubro de 2013.
3. Jurafsky, Dan. " A classificação de texto e Naïve Bayes . " . Universidade de Stanford. Web. 31 de outubro de 2013.
Fonte: (Blog compscidata)
BONS ESTUDOS!!
