aplicações práticas de machine learning
DESCRIPTION
Machine Learning tem se tornado um tópico importante no cenário de software atual. Muito do que se vê sobre o assunto ainda está altamente relacionado a uma matemática complicada, algo exclusivamente acadêmico ou relacionado ao tema do momento, Big Data. A proposta desta apresentação é tentar mostrar um pouco além da teoria sobre o assunto. Mostrar como parte de toda a carga conceitual por trás de Machine Learning, tem tornado aplicações ligeiramente mais “inteligentes” e como isso pode ser usado em projetos mais tradicionais do mundo empresarial, sem necessidade de ser uma grande startup, que produz alguns milhões de registros de dados por dia. Nesta palestra, será apresentada uma visão geral sobre o assunto, será mostrado alguns algoritmos e exemplos de aplicações. Além de mostrar um pouco pouco do trabalho que está sendo feito no processo de evolução de um sistema de recomendação e da otimização de processos empresariais através das idéias de Process Mining.TRANSCRIPT
![Page 1: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/1.jpg)
aplicações práticas de machine learning
Luiz Costa@gutomcosta
www.sagadoprogramador.com.br
![Page 2: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/2.jpg)
![Page 3: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/3.jpg)
artificial Intelligence?
machine learning?Intro to Artificial
IntelligenceStanford online 2011
Intro to Machine Learning
Stanford online 2011
![Page 4: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/4.jpg)
IA e ML!
![Page 5: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/5.jpg)
IA e ML???
![Page 6: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/6.jpg)
![Page 7: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/7.jpg)
machine learningIn which we describe agents that can improve their behaviour
through diligent study of their own experiences.
“Artificial Intelligence -A modern approach"-Stuart Russell and Peter Norvig
![Page 8: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/8.jpg)
Field of study that gives computers the ability to learn without being explicitly programmed.
Arthur Samuel (1959)
![Page 9: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/9.jpg)
Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field.
Machine Learning - Wikipedia
![Page 10: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/10.jpg)
Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field.
Machine Learning - Wikipedia
![Page 11: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/11.jpg)
supervised learning
Aprendendo através de exemplos
![Page 12: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/12.jpg)
dados de exemplo
![Page 13: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/13.jpg)
unsupervised learning
sem exemplos, o que é possível fazer?
![Page 14: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/14.jpg)
clustering
![Page 15: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/15.jpg)
clustering
![Page 16: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/16.jpg)
marketingdescobrir grupos distintos em uma base de clientes e usar estes grupos para ajudar no
desenvolvimento de campanhas focadas nos nestes grupos
![Page 17: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/17.jpg)
segurosdescobrir perfis com alto risco para seguros de
automóveis
![Page 18: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/18.jpg)
na práticadois exemplos de uso. Será que dá
tempo?
![Page 19: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/19.jpg)
evoluindo um sistema de
recomendação
![Page 21: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/21.jpg)
collaborative filtering
![Page 22: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/22.jpg)
usuários avaliam
![Page 23: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/23.jpg)
não existe avaliação
![Page 24: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/24.jpg)
content-based recommendation
![Page 25: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/25.jpg)
características
![Page 26: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/26.jpg)
![Page 27: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/27.jpg)
1. Mostrar itens similares
![Page 28: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/28.jpg)
vector space model
skull caveira flower vintage caveiras
produto1 1 1 1 0 0
produto2 1 1 0 1 1
produto3 1 1 0 0 0
![Page 29: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/29.jpg)
O quanto um produto é similar a
outro?
![Page 30: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/30.jpg)
cálculo de similaridade
![Page 31: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/31.jpg)
cálculo de similaridade
![Page 32: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/32.jpg)
obtendo produtos similares
![Page 33: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/33.jpg)
obtendo produtos similares
![Page 34: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/34.jpg)
obtendo produtos similares
![Page 35: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/35.jpg)
obtendo produtos similares
Hein ????
![Page 36: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/36.jpg)
![Page 37: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/37.jpg)
![Page 38: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/38.jpg)
2. recomendação personalizada
em desenvolvimento
![Page 39: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/39.jpg)
![Page 40: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/40.jpg)
Como mostrar aqui o que é interessante para um usuário?
![Page 41: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/41.jpg)
construindo um profile de
preferências do usuário
![Page 42: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/42.jpg)
capturando ações do usuário
data evento conteúdo
01/09/2014 08:35 buscou{query: "caveira",
produtos: [1991, 1331, 3892] }
01/09/2014 08:39 visualizou {id: 1991}
01/09/2014 08:34 visualizou {id:1331}
01/09/2014 08:40 like {id: 1331}
01/09/2014 08:44 comprou {id: 1331}
Usuário: Paulo José
![Page 43: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/43.jpg)
capturando ações do usuário
data evento conteúdo
01/09/2014 08:35 buscou{query: "caveira",
produtos: [1991, 1331, 3892] }
01/09/2014 08:39 visualizou {id: 1991}
01/09/2014 08:34 visualizou {id:1331}
01/09/2014 08:40 like {id: 1331}
01/09/2014 08:44 comprou {id: 1331}
![Page 44: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/44.jpg)
construindo as preferências
![Page 45: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/45.jpg)
construindo as preferências
![Page 46: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/46.jpg)
algumas ações não seriam mais
importantes que outras?
![Page 47: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/47.jpg)
capturando ações do usuário
data evento conteúdo peso
01/09/2014 08:35 buscou {query: "caveira", produtos:
[1991, 1331, 3892] }0.3
01/09/2014 08:39 visualizou {id: 1991} 0.1
01/09/2014 08:34 visualizou {id:1331} 0.1
01/09/2014 08:40 like {id: 1331} 0.6
01/09/2014 08:44 comprou {id: 1331} 1
![Page 48: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/48.jpg)
construindo as preferências com pesos
![Page 49: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/49.jpg)
vector space model
skull caveira flowers metal caveira
silustraçã
o arte cool
produto_1331
1 1 1 0 0 0 0 0
produto_1991 0 1 0 1 1 1 1 0
produto_3892
1 1 0 0 1 0 0 1
Paulo José 1 1 0 1 1 1 1 0
![Page 50: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/50.jpg)
agora é só calcular a similaridade das preferências de usuário com os
produtos
![Page 51: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/51.jpg)
agora é só calcular a similaridade das preferências de usuário com os
produtos
![Page 52: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/52.jpg)
similaridade do cosseno
![Page 53: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/53.jpg)
![Page 54: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/54.jpg)
![Page 55: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/55.jpg)
processos inteligentes e
process miningaquela história de BPM, Enterprise, pode ser
divertida
![Page 56: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/56.jpg)
business process management
![Page 57: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/57.jpg)
process mining
• process discovery
• performance analysis
• process prediction
• process improvement
o que realmente aconteceu?
quais são os gargalos do meu processo?
esta instância vai estourar o sla?
como posso redesenhar este processo com o que foi aprendido?
![Page 58: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/58.jpg)
![Page 59: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/59.jpg)
log de eventos
![Page 60: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/60.jpg)
análise
![Page 61: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/61.jpg)
e a análise sobre dados de negócios?
exemplo compra de passagens aéreas
![Page 62: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/62.jpg)
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62
Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14
Ronaldo/Cristiano TAM SDU/CGH 258,70 25/11/201
4 17/12/2014 22
log resumido processo de compra de passagens aéreas
![Page 63: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/63.jpg)
dados de negócio?
• o que define uma boa compra?
• quais são as variáveis que mais influenciam na compra?
• por que uma compra ruim, foi ruim?
![Page 64: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/64.jpg)
definição de um processo automático para obter respostas
Statistical Learning
![Page 65: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/65.jpg)
casecontexto e
objetivo
qual seria a entrada de dados necessária?
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62
Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14
Ronaldo/Cristiano TAM SDU/CGH 258,70 25/11/201
4 17/12/2014 22
![Page 66: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/66.jpg)
preço
570,00
200,00
126,00
258,70
como definir o que é uma boa compra?
![Page 67: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/67.jpg)
preço
570,00
200,00
126,00
258,70
como definir o que é uma boa compra?
preço <= 181,50
![Page 68: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/68.jpg)
quais são as variáveis que mais influenciam na compra?
![Page 69: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/69.jpg)
quais são as variáveis que mais influenciam na compra?
lineares? Não lineares?
variáveis mais
importantes
![Page 70: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/70.jpg)
quais são as variáveis que mais influenciam na compra?
Ex. código R
![Page 71: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/71.jpg)
por que uma compra ruim, foi ruim?
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
![Page 72: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/72.jpg)
por que uma compra ruim, foi ruim?utilizando as variáveis
identificadas, é possível ter alguns insights
dias de diferença companhia
boas case boas case
14 8 100% Avianca TAM
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
![Page 73: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/73.jpg)
muita estatística
![Page 74: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/74.jpg)
considere R para prototipação. Para produção existem
boas alternativas, mas não deixe de olhar python + pandas +
scikit
![Page 75: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/75.jpg)
existem vários cenários que é possível aplicar as idéias de machine
learning dentro da sua empresa e não precisa ser big data small data
![Page 76: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/76.jpg)
Obrigado.
![Page 77: Aplicações Práticas de Machine Learning](https://reader037.vdocument.in/reader037/viewer/2022103001/557bcb87d8b42abd548b4784/html5/thumbnails/77.jpg)
ReferênciasIntrodução a sistemas de recomendação - https://www.coursera.org/course/recsys
Recommender Systems: An Introduction - http://www.amazon.com/Recommender-Systems-Introduction-Dietmar-Jannach/dp/0521493366
Process Mining - http://www.processmining.org/
Statistical Learning Theory -http://en.wikipedia.org/wiki/Statistical_learning_theory
R Language - http://www.r-project.org/
scikit learn - http://scikit-learn.org/stable/
Vandal - www.vandal.com.br
An Introduction to Statistical Learning with applications in R - Gareth James, Daniela Wittern, Trevor Hastie, Robert Tibshirani