Нейронные сетки: покруче интернета
TRANSCRIPT
Нейронные сетки: покруче интернета
24 июля 2015г.
2
Моя историяShallow learning (http://ailev.livejournal.com/710976.html):
• 1977, купил книжку Джурс П., Айзенауэр Т., «Распознавание образов в химии», мягкая обложка, 230 с.
• 1978 – поиск знающих слова «регрессионный анализ», активное программописательство.
• 1980 – победа на конкурсе студенческих научных работ химфака РГУ: «Распознавание каталитической активности хелатных соединений» (обучение с учителем).
Internet:
• 1991 -- почта ([email protected])
• 1992 – выпуск акций Релком (http://relcom.ru)
• 1994 – Первый вебсайт http://libertarium.ru
Systems engineering:
• 2007 – узнал о существовании
• 2008 – создал Русское отделение INCOSE (http://incose-ru.livejournal.com/)
Deep learning:
• 2012 – начал отслеживать и комментировать deep learning с 2012 (http://ailev.livejournal.com/1044735.html, http://ailev.livejournal.com/1045081.html) – мой интерес был в автоматизации онтологической работы.
• 2012 – заметил, что по deep learning надувается инвестпузырь (пункт три в http://ailev.livejournal.com/1051479.html)
Hackathon:
• 2013, 2014 – организатор хакатона в Ontology Summit (http://ailev.livejournal.com/1113111.html).
3
Сплошное надувательство: интернет
4
Oops!... I did it again
• Основные инвестиции приходят после того, как пузырь лопнул• Продукты появляются через год-два-три после вложения денег• Сравните: первый WWW-сайт появился в 1991, пузырь лопнул в 2000
5
Круче интернета: вся промышленность, наука и искусство, а не только транспорт
Интернет• телефон-на-стероидах,
газета-на-стероидах, телевидение-на-стероидах, библиотека-на-стероидах – логистика (транспорт и склады).
• Управление информацией (информацию не меняем): максимизировать поток релевантной информации оттуда, где она есть туда, где она нужна.
Нейронные сетки:• Софт-на-стероидах (какая-то
обработка информации, «обрабатывающая промышленность», «наука», «искусство»).
• Инженерия информации (информацию меняем, создаём новую): понять потребности, сформулировать требования, придумать решение, сформулировать результат, проверить результат на соответствие требованиям и потребностям
Синергия: инженерия и управление обычно тесно связаны, одно без другого не бывает. Промышленные центры и железные дороги неразрывны. Нейронные сетки и интернет существенно дополняют друг друга.
6
Надуется и лопнет, как всегда?
• Да, обязательно надуется и обязательно лопнет (а центральные банки этому только помогут)
• Но не факт, что дальше рост будет «как всегда»:• решения начнут принимать не только люди, всё станет быстрее и точнее и
решений будет приниматься больше• Производительность труда вырастет, работать будут не только люди
• Суть экономики (economics, наука) не изменится, в основе там аксиомы. • Структурные перестройки экономики (economy) неизбежны, но они
всегда шли – тот же народившийся вновь «интернет» тому пример, но и сгинувший «несетевой» Kodak пример не меньший.
• Помним, что все эти роботы кому-то принадлежат (не сами себе) – и капитал сегодня акционерный. Работы будет меньше, её результаты достанутся всё одно людям.
• Когда начнётся движение за права конкретных роботов, тогда и поговорим. А пока не забиваем себе голову.
7
Почему сейчас?Оборудование: enabling technology
Интернет • Линии связи позволили
передавать картинки на дом (т.е. стало можно использовать WWW)
• Дисплеи смогли картинки показать
• Процессоры смогли картинки обработать
250Kb веб-страница• 56Kbps – 36 секунд• 1Mbps – 2 секунды• 100Mbps – 0.2 секунды
Нейронные сетки• Процессоры сумели выдать терафлоп,
нужный для научения сетки за обозримое время
• Связь и память смогли дать достаточно (миллионы) картинок для научения
• 1TFLOP -- 200млн. человек по 14 вычислений на калькуляторе в день каждый, за год
• GTX Titan X – 7TFLOPS (single preсision)• Intel Knights Landing Xeon Phi – 6TFLOPS
(http://www.zdnet.com/article/intels-next-big-thing-knights-landing/, http://arxiv.org/abs/1506.09067)
• FPGA: эксперименты
http://www.theguardian.com/technology/2011/jul/06/broadband-speeds-uk
8
Голливуд разбушевался.Не бывает антирекламы: только реклама и скандальная реклама
Интернет• Телефон, телевизор,
библиотека и прочая логистика – это в Голливуде не покажешь.
Нейросети• Традиционный клиент
Голливуда: от докомпьютерного Франкенштейна, и досетевого «Я – робот», до постинтернетного «Скайнет»Это проблема!
Говорим про нейросетки и избегаем метафоры мозга, уж как можем (как самолётостроители избегают метафоры птички: у них «шасси», а не «ноги»). И не поминаем искусственный интеллект всуе: ни сильный, ни слабый.
У нас чудо-программы, хорошо (лучше людей) выполняют какие-то задачи (как, например, калькулятор – считает быстрее человека, а мотоцикл бегает быстрее человека). Что ещё надо?! Откуда вопросы?!
Но и это не помогает, увы…
9
Проблема GAI – uncanny valley
• Неразличение сильного и слабого искусственного интеллекта. Невозможность обсуждать только слабый ИИ (т.е. невозможность обсуждать нейронную сетку как таковую).
• Зацикленность на слове «искусственный» как знаке второсортности и вторичности (пример http://c2.com/cgi/wiki?ArtificialStupidity – «нас не волнует, является ли самолёт искусственной птицей, нас не волнует его птичность, нас волнует возможность его лететь». Полёт самолёта тоже не называют искусственным. Почему тогда так цепляются за искусственность интеллекта машины?!).
• Непризнание любых достижений, пока не предъявлен настоящий GAI. Оценка не по критериям оценки техники, а по совсем другим (непонятным никому) критериям.
• Алармизм Скайнета: интеллект самозародится и всех убьёт.
• Алармизм конца работы: нейросетки отберут работу у офисного планктона, роботы у рабочих -- и люди без зарплаты все умрут.
• …http://spectrum.ieee.org/automaton/robotics/humanoids/040210-who-is-afraid-of-the-uncanny-valley
10
Но если там нет «интеллекта», то в чём тогда крутость?!• Можно обсуждать, когда точность компьютерного
диагноза превысит точность диагноза, поставленного опытным врачом. Обсуждать примерно так же, как обсуждается точность замера лазерным дальномером по сравнению с точностью глазомера опытного строителя.
• Только лазерный дальномер не подскажет, как строить. А нейронная сетка сможет подсказать, как лечить. И как строить. Только и всего, ничего человеческого.
• Этого хватит, чтобы жизнь поменялась круче, чем с приходом интернета.
11
А не блеф ли это? • «50 лет ничего не происходило, и вдруг началось?! Нет, уже много раз было
“волки, волки!”, значит и сейчас всё скоро утихнет». Нет, не утихнет.• Нейронная сетка универсальна: эквивалентна машине Тьюринга, а также
аппроксимирует любую функцию -- http://neuralnetworksanddeeplearning.com/chap4.html
• Это не статистика! Работает физика эволюции: так же устроено сворачивание полимеров/белков и спиновые стёкла -- http://ailev.livejournal.com/1197148.html. И уже поминают идеи из неравновесной термодинамики -- http://jmlr.org/proceedings/papers/v37/sohl-dickstein15.html
http://arxiv.org/pdf/cond-mat/9904060v2.pdf
Эволюция: не ловится в локальном минимуме, а ползёт дальше!
12
Закончился ли уже прорыв?
• Мнение из MS Research: «крутых новых результатов теперь придётся ждать долго, прорыв позади» -- http://ailev.livejournal.com/1201978.html
• Ни в коем разе. Прошёл только proof of concept, плюс вышла пара-тройка killer applications (распознавание речи, классификация изображений, распознавание лиц). Пришло много новых людей, и они только-только учатся работать – при этом на месте инфраструктура обучения (coursera, kaggle, библиотеки для GPU, учебники и т.д.)!
• Аппаратура только-только начала разворачиваться в сторону поддержки нейронных сеток (положительная обратная связь – от рынка. Так когда-то произошёл разворот от «самый крутой процессор» в сторону «самая крутая видеокарта». Сейчас вполне можно ожидать поворота в сторону «самая крутая нейросетка»). Так что «главный фактор прорыва» ещё не сказал своего «заднего слова».
• Архитектуры deep learning с выходом на массивно-параллельные вычисления предлагаются чуть ли не ежедневно – идёт эволюция.
• Хотя 1 нейрон в мозге имеет разрешение 1миллисекунду, их коллектив достигает разрешения 100нс (это на 1:06:38 презентации https://events.yandex.ru/lib/talks/2768/) – и таких эффектов множество. Новые результаты необязательно будут получены на старых классах задач, не всё сводится к распознаванию речи и классификации изображений.
• И эти разные типы задач только-только начали исследоваться: обучение без учителя (aka бейтсоновское моделирование – поиск той разницы, которая даёт разницу), генерация, работа со временем, reinforcement learning и планирование... Всего не перечислишь.
Дилемма инноватора: мужики-то не знают!(Clayton Christensen из Гарварда)
13
Характеристики
Время
Лучшие технологии
Прорывные технологи
и
Характеристики лучших продуктовНа рынке
Характеристики худших продуктов на рынке
http://web.mit.edu/6.933/www/Fall2000/teradyne/clay.html
14
Мой любимый пример
• Это не rocket science, студенты справляются!• Требования к аппаратуре для нейронных сетей
во многих задачах реально ниже, чем при любых других архитектурах!
• Локатор для роботов: 10 градусов при трёх микрофонах, разнесённых на 10см – стоимость всей аппаратуры <$50.
Эксплуатация и инженерия: mining / big data (ремонт по состоянию, security alerts, process/log mining)
• Boeing Company: 85% отказов оборудования происходят невзирая на своевременное календарное обслуживание
• Emerson: 63% запланированного обслуживания задвижек не были необходимыми, поэтому перестало это делать.
• Традиционные методы предсказания поломок работают плохо.
• Методы машинного обучения работают удивительно хорошо – особенно deep learning. Ключевые особенности:
– Обработка миллионов измерений от самых разных датчиков
– Хорошее отделение «сигнала» от «шума»• Первые применения: непрерывные производства
(нефтянка, электростанции, химические производства, фармакологические фирмы)
15
http://www.mtell.com – condition-based monitoring
Automated, state-of-the-art predictive analysis using machine learning for early detection of equipment degradation.
16
Инженерия решает всё: рынок карбюраторов и игровых движков
• Нейронные сетки – это карбюраторы. Они никому не нужны, кроме как в составе целевой системы. Успех карбюратора определяется успехом всего автомобиля.
• Успех игрового «движка» определяется успехом игры (художников, сценаристов, композиторов).
• Целевые системы делают инженеры, инженеры решают всё.
17
Системная схема проекта: что упущено в ваших стартапах?!
Технологический менеджмент и предпринимательство
Инженерный менеджмент
Инженерия
Технологический менеджмент
Using system
System of interest
Enabling system
18
Наука 2.0• Инженерия: порождение систем в физической реальности
(описания тут как средство).• Наука – порождение компактных описаний. Сетки затаскивают
науку внутрь целевых систем, они моделируют мир, делают «открытия», создают язык (даже «гирлянды языков» – многоуровневый набор фич).
• Создатели сеток – это учёные или инженеры? Лаборатории Эйнштейна или Эдисона?
• Программисты – это учёные или инженеры? Software engineering против computer science.
• Модельеры – это учёные или инженеры? Слепое пятно информатики: данные.
• Наука 2.0 – гипотезы и эксперименты без человека.• Заявка на «где человек справляется плохо» уже есть: медицина
и геномика объявлены первыми областями Науки 2.0
19
Идея CYC (традиционный AI «на логике»)
Modes of Acquisition
learning by discovery
Frontier of human knowledge
amount known
rate
of
lear
ning
Web 3.0, learning via
natural language
Codify & enter knowledge, by hand (at Cycorp)
CYC
Web 2.5 Verify Knowledge by hand
План: 2001HAL9000
Старт: 1984
20
Глубокая попса и её эффективность – даёшь свой Голливуд!• Выглядит, как развлечение, но это отличный пиар --
http://ailev.livejournal.com/1194653.html• Деньги там на втором такте:
1. Интересно, поэтому популярность обеспечена. 2. Without publicity there is no prosperity (физик Яков
Зельдович, трижды Герой социалистического труда).
