inteligência artificial - fuzzy - mineração

Inteligência Artificial

Prof. Charles Fortes

Fuzzy Mineração de dados

Inteligência ArtificialProf. Charles Fortes

Charles Fortes


Charles FortesLíder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors


Charles Fortes

Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors

SlideShare: http://pt.slideshare.net/charleswellingtonfortesLinkedin: http://br.linkedin.com/in/charlesfortes/Twitter: @CharlesFortes

http://pt.slideshare.net/charleswellingtonfortes

http://br.linkedin.com/in/charlesfortes/


Charles Fortes

Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors

Desenvolvimento Web – MVC – Angular.JS – JQuery – SQLServer – MySQL – HTML5 – NoSQL


Sistemas Fuzzy


• Vago• Indistinto• Incerto• Nebuloso• Difuso

Fuzzy


Criada por Aristóteles em mais de 300 antes de cristo, usava uma linha de raciocínio lógico baseada em premissas e conclusões onde a declaração é verdadeira ou falsa.

Lógica Binária


Premissa1: todo ser vivo é mortalPremissa2: Sarah é um ser vivoConclusão: Sarah é mortal

Lógica Binária

Sarah não pode ser um pouco mortal


O conceito da dualidade, onde algo pode coexistir com seu oposto.

Lógica difusa

“Entre a certeza de ser e a certeza de não ser, existem infinitos graus de incerteza”


• Aquele homem é alto ou baixo? • A taxa de risco para aquele empreendimento é grande ou

pequena? • Hoje o dia esta parcialmente nublado!• Preciso perder alguns quilos para ficar bem!

Lógica difusa


Lógica que suporta os modos de raciocínio que são aproximados, ao invés de exatos.

Ela está baseada na teoria dos conjuntos nebulosos e difere dos sistemas lógicos tradicionais em suas características e detalhes.

Lógica difusa


O objetivo da lógica Fuzzy é gerar uma saída lógica a partir de um conjunto de entradas não precisas, com ruídos ou até mesmo faltantes

Lógica difusa


Lógica Fuzzy tem por essência gerar valores de a saídas sem a necessidade de entradas precisas

Lógica difusa


Precisão vs importância

Desloque-se 3,75 metros a sudoeste, um objeto metálico de

3.782kg está se deslocando a uma velocidade de 72metros por

seguno na direção de sua cabeça


Sai daí!Uma bigorna vai cair na

sua cabeça!

Precisão vs importância


Teoria dos conjuntos fuzzy


Algoritmos de aproximação de string

Dice coeficientLeveinshtein Distance

Longest Common SubsequenceDouble Metaphone

Você quis dizer....


Comparação pela fonética Jensn

Double Metaphone for Jensn: ANSN

ATMS metaphone for Adams PNSN metaphone for Benson JRLT metaphone for Geralds AHNS metaphone for Johannson ANSN metaphone for Johnson ANSN metaphone for Jensen ARTN metaphone for Jordon MTSN metaphone for Madsen STTR metaphone for Stratford FLKN metaphone for Wilkins

Metaphone


Encontrar a maior subsequência comum entre os elementos Jensn

.04000, s against Adams .33333, ensn against Benson .05714, es against Geralds .08889, jnsn against Johannson .17143, jnsn against Johnson .56667, jensn against Jensen .06667, jn against Jordon .13333, en against Madsen .02222, s against Stratford .11429, ns against Wilkins

Longest common subsequence


Mede a distancia entre duas sequencias. Simplificando é a medição do menor número de edições (inserir, deletar, editar) necessários para fazer uma palavra virar a outra Jensn

4 against Adams 2 against Benson 5 against Geralds 5 against Johannson 3 against Johnson 1 against Jensen 4 against Jordon 4 against Madsen 8 against Stratford 6 against Wilkins

Levenshtein distance


Comparação estatística entre duas sequencias Jensn

.00000 against Adams .46154 against Benson .00000 against Geralds .37500 against Johannson .42857 against Johnson .76923 against Jensen .30769 against Jordon .30769 against Madsen .00000 against Stratford .14286 against Wilkins

Dice coeficient


As respostas aceitáveis devem estar acima de 33%, sendo que abaixo de 20% são inaceitáveis, sendo o o intervalo de 33 a 20 duvidoso.

Dice coeficient


Usa “n”gramas para fazer a análise bigramas, trigramas, ngramas....

Dice coeficient

var str2 = "chalk";

var str = "chlk";

%cchhllkk#

%cchhaallkk#


Dice coeficient

%cchhllkk#

%cchhaallkk#

4 elementos iguais

(2 * ElementosIguais) / QtdLista1+QtdLista2

(2*4) / 6+5 = 8 / 11 = 0,7272


https://github.com/tylerjensen/duovia-fuzzystrings

Code sample





Mineração de dados


A informatização dos meios produtivos permitiu a geração de grandes volumes de dados:

• Transações eletrônicas.• Novos equipamentos científicos e industriais para observação e

controle.• Dispositivos de armazenamento em massa.• Computadores mais baratos e poderosos.

Aproveitamento da informação permite ganho de competitividade através do conhecimento.


Abra a img!


Processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou seqüências temporais, para detectar relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados

Data Mining


Conjunto de ferramentas e técnicas que através do uso de algoritmos de aprendizagem ou classificação baseados em redes neurais e estatística, são capazes de explorar um conjunto de dados, extraindo ou ajudando a evidenciar padrões nestes dados e auxiliando na descoberta de conhecimento.

Data Mining


- Extração não-trivial de informação implícia, previamente desconhecidos e potencialmente útil a partir dos dados

- Exploração e análise, por meios automáticos e semi-automáticos de grandes quantidades de dados com o objetivo de descobrir padrões significativos

Data Mining


Data Mining

Mineração de Dados(Data Mining)

CONHECIMENTO

Dado

Dado Dado

Dado

Dado

Dado

DADOS


Data Mining

Documentos históricos da empresa, Internet, banco de dados, notícias

Data Warehouse,Data Marts


• Mineração de dados é um processo que permite compreender o comportamento dos dados e prever resultados.

• Mineração de dados analisa os dados usando técnicas de aprendizagem para encontrar padrões e regularidades nestes conjuntos de dados.

• Mineração de dados é multidisciplinar, envolve inteligência artificial, estatística, reconhecimento de padrões etc..

• Mineração de dados pode ser bem aplicado em diversas áreas de negócios.

Data Mining


• Previsão• Associação• Análise de grupos• Detecção de anomalias

Data Mining


O processo de criação de um modelo de mineração de dados pode ser definido utilizando as seguintes etapas:• Definir o problema.• Preparar os dados.• Explorar os dados.• Criar os modelos.• Explorar e validar os modelos

Modelo de mineração


Modelo de mineração

Preprocessamento Limpeza dos dados, onde informações julgadas

desnecessárias são removidas. Reconfiguração dos dados para assegurar

formatos consistentes (identificação)– Ex. : sexo = “F” ou “M”

sexo = “M” ou “H”

Transformação

Transformam-se os dados em formatos utilizáveis.


Modelo de mineraçãoMineração de Dados

É a extração dos padrões de comportamento dos dados

Interpretação e Avaliação

Identificado os padrões pelo sistema, estes são interpretados em conhecimentos, os quais darão suporte a tomada de decisões humanas.

42

Exemplos ReaisWalmart

• Walmart colocou cervejas ao lado das fraldas.• O que as cervejas tem a ver com as fraldas?

• Homens casados, entre 25 e 30 anos; compravam fraldas e/ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa.• Walmart otimizou às gôndolas nos pontos de vendas,

colocando as fraldas ao lado das cervejas;• Resultado: o consumo de cerveja cresceu 30% .

43

Exemplos Reais Lojas Brasileiras (em 1998)• Aplicou 1 milhão de dólares em técnicas de data mining.• Reduziu de 51.000 produtos para 14.000 produtos oferecidos em

suas lojas.• Exemplo de anomalias detectadas:

–Roupas de inverno e guarda chuvas encalhadas no nordeste

–Batedeiras 110v a venda em Santa Catarina onde a corrente elétrica é 220v

Encerrou as operações em 1999 após uma série de prejuízos que vinham ocorrendo desde 1996. Sucessora Lojas Marisa.

Inteligência Artificial

Prof. Charles Fortes

Dúvidas?

inteligência artificial - fuzzy - mineração

Technology

inteligncia artificial

charles fortes lgica

charles fortes premissa1

charles fortes criada

charles fortes sistemas

charles fortes fuzzy

sada lgica

precisas lgica difusa