machine learning and azure machine learning
TRANSCRIPT
MACHINE LEARNING & AZURE ML SERVICES
ОБО МНЕ
Александр КондуфоровData Science Group Leader,
Software Architect @ AltexSoft
В прошлом – .NET разработчик, Software Architect,
Project Lead
Kharkov AI club
СОДЕРЖАНИЕ
1. Что такое Machine Learning, зачем он нужен
2. Примеры применений ML
3. Типы обучения
4. Популярные ML-алгоритмы
5. Supervised Learning workflow
6. ML в .NET
7. Обзор Azure ML Services
8. Azure ML demo
MACHINE LEARNING
“Field of study that gives computers the ability to learn without being explicitly programmed”
Arthur Samuel
Для некоторых задач невозможно написать алгоритм
КОГДА НЕ ОБОЙТИСЬ БЕЗ ML
• Человек не может объяснить свой опыт и создать алгоритм –
распознавание образов, голоса, координация движений и т.д.
• Человеческий опыт не существует как таковой – навигация на
Марсе
• Обстановка меняется со временем и нужно адаптироваться –
биометрия людей, биржевые индексы, цены на недвижимость
ТИПЫ ОБУЧЕНИЯ
• Supervised Learning
• Semi-supervised Learning
• Unsupervised Learning
• Hybrid (Supervised + Unsupervised)
• Reinforcement Learning
• Online Learning
SUPERVISED LEARNING
Данные – (input, correct output)
UNSUPERVISED LEARNING
Данные – (input, ???)
REINFORCEMENT LEARNING
• Роботы
• Игровой AI
ОСНОВНЫЕ ТИПЫ ЗАДАЧ
Supervised learning
• Классификация
• Регрессия
Unsupervised learning
• Кластеризация
• Определение выбросов
Гибридные
• Коллаборативная фильтрация (рекомендации)
ПОПУЛЯРНЫЕ АЛГОРИТМЫ
• Регрессия
• Деревья решений
• Искусственные нейронные сети
• k-means кластеризация
• Collaborative Filtering
РЕГРЕССИЯ
Y = b0+b1x1+b2x2+…+bkxk Y = b0+b1x+b2x2+b3x3
DECISION TREE / RANDOM FOREST
Создание дерева на основании данных и определение
условий в каждом узле дерева.
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
Построены на базе нейронов мозга
Множество видов:
• многослойный перцептрон
• сеть Хопфилда
• сеть Кохонена
• неокогнитрон
• спайковые сети
• сверточные сети
K-MEANS КЛАСТЕРИЗАЦИЯ
COLLABORATIVE FILTERING
User-based recommendation:
SUPERVISED LEARNING WORKFLOW
• Data analysis and preprocessing (cleaning, transformation)
• Feature engineering (new, correlated)
• Fit selected model (training data)
• Evaluate model (test data, choose error type)
• Change data, algorithm and model parameters until
satisfied
• Use model for predictions
GENERALIZATION VS. MEMORIZATION
Overfitting – features of the model that arise from relations that are in
the training data, but not representative of the general population.
BIAS-VARIANCE TRADEOFF
VALIDATION / CROSS-VALIDATION
Validation:
60%/40% 50%/50% 80%/20%
Cross-validation:
• K-fold CV
• Leave-one-out CV
CLASSIFICATION ERRORS
ML В .NET
• Infer.NET (MS Research)
• Accord.NET
• AForge
• Numl
•Math.NET Numerics
• Azure ML Services
AZURE ML SERVICES
Cloud-based predictive analytics from Microsoft
ОСНОВНЫЕ ВОЗМОЖНОСТИ
• ML Studio
• Built-in data preprocessing and ML algorithms
• Integration with Azure data storages and other services
• Plots for data analysis
• R support
• Fast conversion to web-service
ЦЕНЫ
РЫНОК АЛГОРИТМОВ И ДАННЫХ
TIME FOR SOME DEMO
ПОЛЕЗНЫЕ ССЫЛКИ
• http://azure.microsoft.com/en-us/services/machine-
learning/
• https://www.coursera.org/courses?orderby=upcoming&
cats=cs-ai
• http://bit.ly/1zTTKrF - Data Science Dojo tutorials!
• http://kaggle.com
СПАСИБО !
• Blog: http://merle-amber.blogspot.com
• Kharkiv AI Club: http://aikharkov.wordpress.com/
• Skype: alex_konduforov
• @konduforov