quinta-feira, 8 de janeiro de 2009

Qual a utilidade do filtro de Bayes?

filtro bayesiano é o processo de usar métodos estatísticos para classificar documentos por categorias. O filtro de Bayes foi definido depois do documento de Paul Graham,Plan of Spam,  e transformou-se num mecanismo popular para distinguir um e-mail ilegítmo conhecido como spam de um e-mail legítimo.

Muitos programas de e-mail como Mozilla Thunderbird utilizam a filtragem de spams por meio do método Bayesian.

 O filtro bayesiano utiliza o Teorema de Bayes , no contexto do Spam, diz que a probabilidade que um email

 seja um Spam, percebido em determinadas palavras dentro dele, é igual à probabilidade de encontrar aquelas determinadas palavras  no e-mail de Spam, cronometrando a probabilidade que todo e-mail 

é Spam, dividido pela probabilidade de encontrar aquelas palavras em qualquer e-mail:


As palavras particulares têm probabilidades particulares de ocorrer no e-mail do Spam e no email legítimo. Por exemplo, a maioria dos usuários de email encontrarão freqüentemente a palavra Viagra no email de Spam, mas verão raramente no e-mail legítimo. O filtro não sabe das probabilidades adiantado, o usuário terá que orientá-lo, treinando o filtro a excluir automaticamente as probabilidades em sua base de dados.

Thomas Bayes

Considerando a sua imensa importância atual, sabemos pouco sobre Thomas Bayes. Ele foi um reverendo presbiteriano que viveu no início do século 18 (1701?-1761) na Inglaterra. Estudou teologia na Universidade de Edimburgo (Escócia), de onde saiu em 1722. Em 1731 assumiu a paróquia de Tunbridge Wells, no condado de Kent, a 58 km de Londres. No mesmo ano apareceu na Inglaterra um livro anônimo – hoje creditado a Bayes – chamado Benevolência divina. Cinco anos depois, publicou seu primeiro e único livro de matemática, chamado The doctrine of fluxions (A doutrina dos fluxions) – o nome fluxionfoi dado pelo matemático e físico Isaac Newton (1642-1727) para a derivativa de uma função contínua (que Newton chamava de fluent). 

Com base nesse livro e em outras possíveis contribuições sobre as quais não temos dados precisos, Bayes foi eleito em 1752 para a Royal Society, sociedade científica britânica criada em 1645. Dois anos após sua morte, um amigo, o filósofo Richard Price (1723-1791), apresentou à Royal Society um artigo que aparentemente encontrou entre os papéis do reverendo, com o nome 'An essay towards solving a problem in the doctrine of chances’ (‘Ensaio buscando resolver um problema na doutrina das probabilidades’). Nesse artigo estava a demonstração do famoso teorema de Bayes. Price acreditava que o artigo fornecia uma prova da existência de Deus. Após sua publicação, o trabalho caiu no esquecimento, do qual só foi resgatado pelo matemático francês Pierre-Simon de Laplace (1749-1827), que o revelou ao mundo.

Nenhum comentário: