Технологии Big Data - Александр Шмид , Александр Хайтин, Андрей Суворов - Точка - 2014-12-14
С. Оселедько― В эфире на радиостанции «Эхо Москвы» программа «Точка», в студии ее ведущий Сергей Оселедько. И мы выходим сегодня в записи. В гостях у нас сегодня Александр Викторович Шмид, доктор технических наук, профессор, заведующий кафедрой Высшей школы экономики и директор Центра компетенций IBM Big Data. Александр, добрый вечер.
А. Шмид― Здравствуйте.
С. Оселедько― С нами также Андрей Суворов, директор по развитию программных решений IBM по России и странам СНГ.
А. Суворов― Добрый вечер, уважаемые.
С. Оселедько― И по Скайпу из Санкт-Петербурга с нами Александр Хайтин, глава проектного офиса Yandex Data Factory.
А. Хайтин― Добрый вечер.
С. Оселедько― Добрый вечер. И, собственно говоря, повод, для того чтобы нам собраться – это новость о том, что компания Яндекс открыла большое подразделение, посвященное big data, Yandex Data Factory. И, собственно говоря, для нас это стало поводом для того, чтобы собраться и обсудить, собственно говоря, что это такое за зверь, потому что слово очень модное, уже в узких кругах известное, наверное, в течение пары лет как минимум. И, собственно говоря, что это, зачем это, что это нам несет, и почему, собственно, Яндексу это тоже стало интересно – вот такая наша сегодня тема. Давайте, кто даст определение, что такое big data и зачем?
А. Суворов― Ну, давайте я немножко, конечно, отклонюсь, наверное, от канонического определения. Андрей Суворов, компания IBM. Но я хотел бы сказать, что тема больших данных, она уже на рынке существует, наверное, как минимум пять лет, а может быть и больше. Это совокупность подходов, приемов и инструментов, которые позволяют обрабатывать огромные массивы как традиционных структурированных, так и новых типов неструктурированных данных. И вопрос тут не только в обработке, но и в конечной цели. А цель – это, по сути дела, помощь в принятии решений и в привнесении дополнительной ценности для бизнеса, да и не только для бизнеса, для человечества в целом. Вот, собственно, если коротко и популярно, это то, как можно большие данные охарактеризовать.
С. Оселедько― Огромные – насколько огромные? И откуда они берутся и как они попадают в эту систему, в эту технологию?
А. Суворов― Мы называем формулу 4 Vs. Первое – это объемы, volume. Второе – это velocity, скорость изменения данных. Третье – это variety, многообразие, то есть, это данные могут храниться в традиционных системах, это данные с меток RFID, это данные, в конце концов, с наших смартфонов. И четвертое V – это veracity, то есть, это непротиворечивость данных. То есть, если у нас есть много источников, и эти данные очень быстро меняются, важно, и это принципиально важно, что решение, которое мы принимаем на основе этих данных, оно базируется действительно на тех данных, которые еще актуальны.
А. Шмид― Александр Шмид, ЕС-лизинг. Я бы добавил к этому, что они настолько огромны, что они с 2007 года перестали помещаться во все системы хранения на всей земле. И объемы данных все время отрываются, отрываются от возможности их хранения. Таким образом, мы сталкиваемся с феноменом, этот феномен называется амнезия, то есть, потеря памяти – это болезнь. Если мы теряем представление о реальности, мы не успеваем, нам некуда деть эти данные, то понятно, что мы теряем содержимое безвозвратно. Поэтому должны быть технологии, они уже созданы сейчас, которые позволяют избавиться от этой болезни. Они созданы, в частности, фирмой IBM.
С. Оселедько― Александр, - я обращаюсь сейчас к представителю компании Яндекс, - скажите, пожалуйста, собственно говоря, что побудило компанию Яндекс открыть подразделение по работе с большими данными?
А. Хайтин― Компания Яндекс, собственно, практически с момента рождения занимается большими данными, то есть, мы растем вместе с ними. Поскольку интернет – такая довольно большая вещь, одна из самых больших мест, где создаются, обрабатываются, используются данные, то для того, чтобы построить наш поиск и другие сервисы, мы с самого начала неизбежно занимались тем, что постоянно удерживались на лидирующих позициях в возможностях хранения, обработки и использования больших данных.
И вот тут справедливо было сказано про амнезию, но есть еще другая проблема. Мало помнить все эти данные, собственно, хранить их, нужно еще извлекать из них какую-то пользу. Поэтому в нашем случае мы всегда буквально так через запятую к большим данным пишем машинное обучение, machine learning – это набор технологий, которые позволяют обрабатывать и извлекать какую-то пользу из больших данных, не привлекая, непосредственно не вовлекая в процесс человека. Это очень упрощенно, но тем не менее. И наши сервисы практически все включают в себя оба компонента. Поиск, пробки с предсказанием трафика, построением маршрутов, почта с борьбой со спамом, реклама с ее таргетированием и так далее и тому подобное.
Потому что сейчас, например, решить задачу поиска в лоб невозможно. Интернет настолько велик, что по любому сочетанию слов вы получите какое-то неприемлемо большое количество ссылок. И ключевая задача – не просто их найти, а понять, что же вы хотели, то есть, догадаться, что хочет конкретный пользователь, и показать ему именно это. Соответственно, мы занимались именно такой связкой технологии больших данных с машинным обучением очень давно, и, на наш взгляд, достаточно успешно. И в определенный момент, когда встал вопрос о том, куда может развиваться компания, возникла мысль о том, что мы можем применять вот эту экспертизу. А экспертиза – это инструменты, математика, люди, которые умеют всем этим пользоваться, программные решения, аппаратные решения – все вместе. И попробовать применить вот этот вот ценный предмет не только для интернета, но и для нужд других индустрий, других частей бизнеса, других частей жизни. И, собственно, мы провели некоторое время в экспериментах, которые показали, что, да, это возможно, это перспективно. И поэтому для компании Яндекс это некое направление развития, где мы можем, используя накопленный опыт, экспертизу, навыки, открыть для себя, так сказать, новую часть бизнеса, вырасти туда.
С. Оселедько― То есть, big data – это технология, которая предназначена для того, чтобы принимать некие решения, да? То есть, извлекать некий смысл из огромного набора абсолютно не структурированных разнородных данных.
А. Шмид― Так точно. На уровне предприятий идет борьба за принятие лучших корпоративных решений, которые обеспечивают выживаемость предприятия. Я, с вашего позволения, хотел бы процитировать уважаемую мадам Рометти – это CEO IBM, которая в 13-м году сказала следующее: в ближайшие пять лет все компании на рынке разделятся на победителей и побежденных, в зависимости от качества принимаемых корпоративных решений. Для того чтобы принимать правильные решения, надо прогнозировать их последствия.
Если взять в пример сельское хозяйство, нам так уж по роду деятельности приходится сейчас заниматься созданием системы стратегического управления агропромышленным комплексом Российской Федерации. Там, вообще говоря, поведение агропромышленного комплекса можно сравнить с поведением игрального автомата, по сути дела. Потому что, как вы понимаете, принятые решения сегодня скажутся через 3-5 лет. Ну, скажем, теленок вырастет через 26 месяцев. Что будет в это время с погодой – никто не знает. Что с кормами – никто не знает. Что с ценами – никто не знает. Но это можно прогнозировать. И чем точнее прогноз, тем выше вероятность принятия правильного решения.
Мне удалось даже опубликовать статью вот в журнале «Бюджет» в декабре этого года, она как раз сейчас вышла. Там как раз речь о том, как повысить вероятность принятия успешных решений в агропромышленном комплексе Российской Федерации. Совершенно прав коллега из Яндекса, обучение тут абсолютно необходимо, без обучения ничего сделать нельзя, потому что обучение и стоящая за этим математика – это абсолютно необходимые условия любых прогнозов.
Последнее, что я бы хотел сказать на эту тему. Есть такой прогноз, McKinsey, о структуризации экономики в ближайшие 10-15 лет. Согласно этому прогнозу, вот это вот прогнозирование последствий принимаемых решений в общем объеме мировой экономики займет второе место, притом, что нефтегазовый сектор скатится на седьмое. Поэтому интересно заниматься этими программами, в том числе и с рыночной точки зрения.
А. Суворов― Я хочу добавить, и хотел бы добавить следующее. Мне кажется, те, кто нас слушают сегодня, они почувствовали бы определенную пользу, если бы мы не только говорили о больших данных как о технологии, о подходах, а о тех применениях, которые были бы а) понятны…
С. Оселедько― Мы сейчас к этому…
А. Суворов― … и б) были бы, ну, мне кажется, интересны, приближены к жизни. И вот я готов рассказать одну историю, она мне близка, может быть, даже не только по бизнесу, а и по моим увлечениям. Речь идет о теннисе, но речь идет о профессиональном теннисе. Мы последние 25 лет работаем, ну, практически со всеми турнирами кубка Большого шлема, и последний многолетний опыт показывает следующее: каждый матч, если мы возьмем один матч, там, профессиональных игроков, порождает порядка 41 миллиона точек информации. То есть, это информация о скорости, о продолжительности розыгрыша, о типе удара, о количестве ударов.
И вот мы научились вместе с экспертами – подчеркиваю, это экспертная работа, это не технология – мы научились эту информацию собирать, и анализ восьмилетний этой информации позволил запустить проект – он работает, он приносит коммерческую выгоду – который по-русски называется «Ключ к успеху». Каждый игрок, скажем, кубка Большого шлема, да, Ролан Гаррос, получает до матча – подчеркиваю, до матча, а не после матча – отчет, в котором есть три стратегии выигрыша. И человек смотрит: сегодня в конкретное время с конкретным игроком у него есть три стратегии, которыми он может воспользоваться, чтобы получить максимум результата. Это очень интересная, но, подчеркиваю…
С. Оселедько― А вы это обеим сторонам даете?
А. Суворов― Даем обеим сторонам.
А. Шмид― Блестящий пример прогнозирования
А. Суворов― Это пользуется популярностью. Это даже не шутливый пример, это коммерческий пример того, как можно использовать данные и как на них посмотреть совершенно по-новому. И это свидетельствует о том, что практически во всех областях у нас есть очень много данных, которые мы просто не используем и не монетизируем. Ну, я думаю, что мы в процессе беседы еще коснемся примеров, но вот пример с теннисом, он достаточно наглядный.
С. Оселедько― Смотрите, то есть, я правильно понимаю, что вот есть в природе, в интернете, в Сети огромное, гигантское количество данных, которые в принципе даже не то что не используются, они даже не хранятся, как правило?
А. Шмид― И не только в Сети. Например, радиометки.
С. Оселедько― Отлично. То есть, грубо говоря, каждое, по сути дела, электронное устройство, и не только электронное устройство…
А. Шмид― Порождает…
С. Оселедько― … порождает гигантское количество цифр, датчиков, всего остального, вот. И первая задача, которая, на мой взгляд, перед этими системами стоит – их надо как-то собирать.
А. Шмид― Конечно.
С. Оселедько― То есть, как-то канализировать. Как эти системы, они как бы к чему подключаются?
А. Шмид― Это индивидуальная вещь. Вот, например, Яндекс работает с интернетом. С радиометками работают, например, спутники. И так далее. То есть, каждый источник подключается индивидуально. А вопрос о его необходимости решается на уровне руководителя, принимающего впоследствии решения. Он ставит задачу, формулирует свою информационную потребность, что бы он хотел узнать, а дальше умные головы разбираются, где собирать информацию: то ли внутри самого предприятия, то ли с привлечением интернета, то ли с привлечением спутников, которые, например, обеспечивают картографический обзор местности и оценку оперативной обстановки, например, на поле. Или на военном поле, или на аграрном поле – на любых полях. Таким образом, вопрос этот достаточно многообразен.
С. Оселедько― То есть, грубо говоря, мы говорим не про какую-то систему, там, какой-нибудь Скайнет, который умные компании разрабатывают единый для всего человечества, а мы говорим про разные технологии, которые внедряются точечно в разных местах.
А. Шмид― Например, радиолокаторы. Например, акустические приборы, которые локально или как-то подключены. Ну, и так далее. Поэтому это все очень индивидуально и гораздо шире, чем просто интернет. Хотя интернет огромен и необозрим.
А. Хайтин― Я согласен, что интернет здесь не играет, так сказать, решающей роли. Но вообще, если вернуться к чуть более прозаическим вещам, например, один из крупнейших источников данных – это ритейл, любая розница.
А. Шмид― Конечно.
А. Хайтин― Так люди бьют чеки беспрерывно, перевозят товар взад-вперед, фиксируют, сколько людей зашло, сколько вышло, и так далее и тому подобное. То есть, речь, конечно, не идет о том, что есть какая-то сверхзадача собрать данные, просто современные технические средства, датчики, каналы связи, средства хранения позволяют все больше и больше того, на что раньше совсем не обращалось внимание. Если раньше была камера видеонаблюдения, на которую смотрел оператор, в лучшем случае ее писали на ленту, с нулевыми шансами потом извлечь оттуда, то сейчас с тем же видеонаблюдением, можно его хранить, можно обрабатывать, выделять там объекты, считая людей, и так далее. То есть, просто из того же потока данных с удешевлением и появлением новых возможностей появляется все больше хранимых и обрабатываемых данных, ну, и все больше пользы.
А. Шмид― Коллега из Яндекса совершенно прав в том, я присоединяюсь к его мнению, что данные собираются не вообще, а под задачу. И вот этот процесс называется декомпозицией информационной потребности. Как раз искусство в том и состоит, чтобы найти в предметной области те источники, которые понадобятся. Это может быть все что угодно, от интернета и так далее, это вот список бесконечен. Вот задача главная.
А. Суворов― Я не могу все-таки избавиться от соблазна сказать несколько технических терминов, но я буду стараться делать это именно с точки зрения полезности. Так вот, если говорить и комментировать ваш вопрос, Сергей, по поводу каналов, которые вы используем, мы видим три домена основных, которые позволяют информацию: а) доставлять и что-то с ней делать. Безусловно, это традиционные способы, с которыми работают многие компании сейчас, и в России это достаточно, я бы сказал, зрелый домен. Это работа с хранилищами данных и извлечение ценности из хранилищ. Вторая часть связана с тем, чтобы извлекать ценность из информации, которая хранится не только в хранилищах, но и получать ее из разных неструктурированных источников.
С. Оселедько― Вот зачем всех в облака пытаются затащить…
А. Суворов― В том числе. А третья…
А. Шмид― Облака – это только логистика продукции, всего-навсего.
А. Суворов― А третий домен, он, наверное, пока еще экзотический в наших проектах, хотя вот я думаю, что Яндекс с этим работать уже начинает – это то, что мы говорим о данных в движении. То есть, существует много случаев, когда данные устаревают уже в момент их порождения, и мы не можем сохранять эти данные в хранилище, потом анализировать, потому что эти данные будут уже не актуальны. Вот три домена, по каждому из них существуют технологии по, собственно говоря, получению данных, анализу и предоставлению бизнес-заказчикам либо подсказки по решениям, они на сегодня составляют, скажем, такую экосистему работы с большими данными.
С. Оселедько― А как это с амнезией связано? Если эти данные вообще в принципе не сохраняются нигде. Ну, вот пишет какая-то видеокамера, там, последние сутки видео, потом на то же самое место пишет следующие сутки, там, и так далее, как авторегистратор в автомобиле.
А. Шмид― Вы знаете, мы не можем априорно судить, полезные это данные или нет. Когда вы решаете собирать данные по задаче, ну, например, есть примеры анализа криминогенной обстановки на какой-то улице – вы тогда подцепляетесь к видеокамерам на этой улице и пытаетесь потоковой обработкой выделять лица людей, по 12 точкам узнаются немедленно лица, их связи между собой, их взаимоотношения, их поведение. И тогда вам не надо хранить весь видеоролик огромный, а выделяете только уже, структурируете информацию из изображения…
С. Оселедько― То есть, вам не нужно хранить видео, вы просто…
А. Шмид― Да-да, мы просто фактически отделяем содержимое, по-теперешнему контент, выделяем от шума. Такие подходы были всегда, в том числе и в моем детстве, это были системы адаптивного управления с обратными связями академика Емельянова, когда было совершенно ясно, что если ввести обратные связи, обучение, в том числе при поиске, а не только при принятии решений, тогда можно выделить полезный сигнал на фоне шума. Если не вводить, то ничего не получится.
Поэтому, как раз отвечая на ваш вопрос уже совсем конкретно, вот это вот обучение при поиске тоже требуется для того, чтобы под задачу, а не вообще, выделить сигнал нужный вам, на фоне того шума, и не надо хранить все. Потому что, как правило, сигнал – это что-то незначительное, полезный контент, а шума очень много. Вот вам не нужен, например, фон, а он будет запомнен, если вы будете просто писать на ролике, и вам места тогда не хватит.
С. Оселедько― Понятно. Здесь я правильно понимаю, что ключевым значением в этих системах big data является экспертное обучение? То есть, это, собственно говоря, самая важная, самая ценная часть системы.
А. Шмид― Вот как раз я кафедру образовал базовую, вот у Яндекса там целый факультет, у меня только кафедра, информационно-аналитические системы. Я коротко, чему мы, собственно, учим детей. Мы учим их чему? Учить обучаемые компьютеры по двум аспектам. Один аспект: там появляются обратные связи при поиске информации под задачу, и там появляются обратные связи при обучении, при принятии решения под задачу. Таким образом, вот как раз мы говорим, мы учим учителей обучаемых компьютеров, учим работе со всей совокупностью обратных связей обучаемого компьютера.
С. Оселедько― То есть, грубо говоря, это и есть система искусственного интеллекта.
А. Шмид― Нет, я с этим не могу никак согласиться. Тут как раз в какой-то передаче вот сегодня как раз пугали искусственным интеллектом. Искусственный интеллект – в общем, страшная вещь. Я тогда скажу, как это видится сейчас. Вот сейчас мы столкнулись с обучаемыми компьютерами. IBM обещает, в лице ее президента Вирджинии Ромитти, что самообучающиеся компьютеры появятся примерно через 30 лет. А искусственный интеллект, по мнению, опять, вот специалистов, он появится лет через 100, по одной простой причине – что сейчас пока непонятно, как работает мозг, это факт. Ну, а другой факт, что с каждым разом компьютеры принимают решения все лучше и лучше, и теперь лучше людей. Начиная с того момента, когда компьютер выиграл у Каспарова в шахматы, с этого момента бесполезно играть в шахматы. Теперь бесполезно, например, заниматься медицинской диагностиков в области онкологии, в США во всяком случае, потому что существует система Watson, расскажет Андрей.
С. Оселедько― Вот смотрите, совсем недавно известный физик гениальный Хокинг и Элан Маск, глава компании Tesla и вот этих космических коммерческих ракет, сказали, что, в принципе, системы искусственного интеллекта, они не просто, ну, как бы собираются существовать, они еще и представляют для человечества какую-то экзистенциальную угрозу.
А. Хайтин― Коллеги, коллеги, я извиняюсь, дело в том, что искусственный интеллект – вообще это очень спекулятивная область...
А. Шмид― Так точно.
А. Хайтин― Есть понятие сильного искусственного интеллекта, который имеет собственную мотивацию, существует в основном в художественной литературе и кинематографии. И откуда он возьмется – вообще пока непонятно.
А. Шмид― Непонятно.
С. Оселедько― То есть, big data – это не про это?
А. Хайтин― Нет. А есть слабый искусственный интеллект – это системы, которые решают явно интеллектуальные задачи, но никакой собственной мотивации не имеют. Вот, например, прокладывать маршрут по карте – это очевидная интеллектуальная задача, если брать ее вот так абстрактно. Спросить: это интеллектуальная задача? Да, интеллектуальная. И те же Яндекс Карты и Навигатор прекрасно справляются с этой задачей. Это пример слабого искусственного интеллекта, который никакого собственного мотива не имеет. Нельзя сказать, что он хочет прокладывать маршруты. Это машинная система, которая умеет решать интеллектуальные задачи отдельные. И в этом смысле тут такой ответ парадоксальный: да, машинное обучение – это яркий пример, так сказать, слабого искусственного интеллекта: решает отдельные интеллектуальные задачи, никакой собственной мотивации не имеет. В кино не годится, зато очень хорошо применяется в бизнесе и повседневной жизни.
А. Шмид― Так точно.
С. Оселедько― Да, Андрей.
А. Суворов― Ну, вот я хотел добавить Александра и рассказать небольшую историю, достаточно наглядную, о том, как мы в игровом виде, но с вполне четкими целями на будущее запустили проект под кодовым названием Watson. В 2011 году, в феврале, если я правильно помню, в прямом эфире Ватсон впервые выиграл в игре Jeopardy! – у нас есть на федеральном канале очень известная передача, когда люди соревнуются…
А. Шмид― Это в США.
А. Суворов― Нет, трансляция была в США, но у нас есть аналог этой передачи. Когда люди соревнуются в правильных ответах…
А. Шмид― У нас «Своя игра».
А. Суворов― Да. И ключевым моментом является не только дать правильный ответ, но дать его быстрее остальных. Вот система, которую мы, в итоге, натренировали, она за вот время прямого эфира с февраля и в последующих 55 играх выиграла 39 игр. И поставили точку.
С. Оселедько― Но это, по-моему, совсем несложно. Там же основная-то тема, чтобы запомнить...
А. Суворов― Вопрос в следующем: это действительно, с точки зрения вот создания системы искусственного интеллекта, был прорыв, поскольку вопросы задаются на естественном языке, этот язык предусматривает сленг, жаргон, какие-то двусмысленности. Этот вопрос не содержит прямого ответа в базе данных, нужно синтезировать десятки, а то и сотни тысяч гипотез и из этих гипотез отобрать ту, наиболее верную, которая является ответом. То есть, в принципе, это явилось прообразом для очень серьезных систем, которые мы сейчас разрабатываем в здравоохранении и в финансовой сфере. Я, может быть, позже о них расскажу. Но это действительно был достаточно серьезный прорыв в том, что называется когнитивными системами – то есть, системы, которые могут обучаться и рекомендовать впоследствии.
А. Шмид― Если совсем просто, можно предположить, что у нашего Вассермана в «Своей игре» не будет шансов против Ватсона. Если он будет на английском языке говорить, потому что на русском Ватсон пока не говорит. Но он говорит и он слушает, он выделяет смыслы сказанного в реальном времени.
С. Оселедько― То есть, грубо говоря, уже и Вассерману, как и Каспарову, уже нечего делать.
А. Шмид― Да.
С. Оселедько― Понятно.
А. Шмид― Это была не задача, просто разговаривать, теперь для медицины это только один из инструментов в общении с клиентом. А дальше начинается медицинская диагностика.
С. Оселедько― Смотрите, то есть, я правильно понимаю, в начале любой такой системы big data стоит некий запрос некоего решающего центра? То есть, мы должны дать ответ на некий вопрос.
А. Шмид― Пока что у человека должно возникнуть желание об информационной помощи, о том, чтобы кто-то ему ответил на какие-то вопросы. И все эти системы так и делятся: информационно-справочная, система поддержки принятия решений, наконец, экспертные системы, сами принимающие решения, без человека. Простейшей системе, которая сама принимает решения, тысяча лет – это капкан. Вот она стоит и ждет. Наступил кто-то с нужным весом – она захлопнулась, приняла решение. Все просто на самом деле.
С. Оселедько― Понятно. У меня вопрос к коллеге из Яндекса. А какие, собственно говоря, первоочередные задачи вот стоят среди всего многообразия запросов, стоят перед вот вашим подразделением?
А. Хайтин― У нас подразделение ориентировано на бизнес, поэтому наши запросы впрямую растут из запросов бизнеса. И бизнес в первую очередь, насколько я уже из своей длительной практики знаю, озабочен вопросом, как чего-нибудь еще продать. Поэтому одна из первых задача – это рекомендательные системы, которые в совершенно разных ипостасях стараются угадать, чего такое клиенту предложить, чтобы ему это понравилось и он купил.
С. Оселедько― То есть, развитие ваших технологий контекстной рекламы, по сути.
А. Хайтин― В некотором смысле да. То есть, математика там одна и та же.
Следующая вещь, которая у нас совершенно четко, следующий вопрос – это «как пройти?». Это различные геолокационные… не геолокационные, а системы пространственной аналитики, когда у нас есть информация о местности, есть информация о движении, и мы соотносим трафик, время, скорость и прочее-прочее, для того чтобы, так сказать, решать разного рода задачи оптимизационные в логистике и вокруг нее. А оптимизационная задача в логистике сейчас невозможна без предсказательных. То есть, если мы, например, в 7:30 утра прокладываем автомобильный маршрут, который займет поездка час, то если мы не прогнозируем трафик, то мы 100% загоним человека в пробку навсегда.
С. Оселедько― Александр, нам нужно сейчас прерваться на двухминутный рекламный блок, и после этого мы вернемся и продолжим.
РЕКЛАМА
С. Оселедько― Московское время 22 часа и 35 минут, и в студии по-прежнему программа «Точка» и ее ведущий Сергей Оселедько. На самом деле мы выходим не в прямом эфире. И мы закончили на том, что Александр Хайтин, глава проектного офиса Yandex Data Factory, рассказывал нам, собственно говоря, какие основные задачи сейчас стоят перед его подразделением, кроме контекстной рекламы и геолокации.
А. Хайтин― Давайте еще я тогда сразу скажу. Вот есть промышленность, сейчас очень подешевели датчики, понятное дело, и беспроводные системы диагностики. И, в итоге, стала актуальной задача предсказательного технического обслуживания. То есть, если мы снимаем много информации, то от грубого решения, когда у нас есть время наработки на отказ, после чего мы, согласно регламенту, разбираем аппарат – ну, там, некий, любой, компрессор, например – и смотрим, как он внутри выглядит. После чего выясняем, что он выглядит нормально и собираем его обратно. А все это время мы тратили на него деньги, он стоял, работы не было. Либо, если оборудование не такое ответственное, мы можем дождаться, пока какая-то часть оборудования все-таки сломается. В этом случае мы получаем непредсказуемый простой и должны, так сказать, все бегом бежать его чинить.
Существует другой подход: когда мы смотрим на телеметрию и выявляем момент, когда с ним что-то становится не так, то есть, он собирается сломаться. В этот момент мы можем сфокусироваться на том, чтобы именно оптимизировать наши затраты времени и денег на то, чтобы такого рода оборудование чинилось ровно тогда, когда надо. Вот это вот еще один пример применения.
Ну, и если брать четвертый блок – это компьютерное зрение, распознавание речи, анализ текстов. То есть, извлечение чего-нибудь полезного из наименее структурированных источников данных: из картинок, из видео, из звука. Вот как-то так.
А. Шмид― Ну, мне бы хотелось поддержать Александра. Нам тоже пришлось заняться созданием системы по поводу технологии больших данных для такой задачи. А именно: мы круглосуточно сопровождаем центры обработки информации для платежной системы Центрального банка Российской Федерации. Там идут огромные потоки логов, и вот в технологиях больших данных (неразб.) потоковой обработки специально заложены технологические средства, которые позволяют их воспринимать. И, естественно, мы сейчас обучаем экспертную систему подсказывать эксплотирующему персоналу, что надо делать в районе нештатных ситуаций, как предотвратить остановку этих центров. Это один пример.
И второй пример, мне кажется, он будет интересен всем, все же являются вкладчиками. Мы создали в прошлом году систему прогнозирования банковских… прошу прощения, систему прогнозирования оттоков вкладов из банков российских. Там анализируется информация в интернете, некоторые сайты, исключительно по открытой информации. И вот на сегодняшний день двухнедельный прогноз по оттоку вкладов из какого-то банка мы уже умеем строить, он сбывается с вероятностью 80%, что очень высоко. Это говорит о том, первое, что информация такая в интернете существует. Причем как мне пришлось поставить эту задачу?
С. Оселедько― Как доступ к ней получить?
А. Шмид― Она доступна всем, это открытый интернет.
С. Оселедько― Нет, доступ к решению…
А. Шмид― Мы сейчас думаем, обсуждаем, не вывести ли в интернет, но вот мы боимся, не нанесем ли репутационный ущерб некоторым банкам, не будут ли с нами судиться. Нас защищает только то, что эта информация доступна всем, и эту задачу решили, вообще говоря, магистранты нашей кафедры. Я им сказал так… Александр Викторович, а что делать? Я говорю: понятия не имею сам. Вы же вкладчики, решите, что надо собирать. Приходят через полгода – и уже получилось.
С. Оселедько― Расскажите немножко поподробнее, как обучение происходит таких систем. То есть, как вы структурируете эти неструктурированные данные.
А. Шмид― Обучение? Ну, обучение происходит как всегда. А именно, что это значит? Есть учитель, он задает какую-то задачу ученику, ученик что-то отвечает. А ему учитель подсказывает: вот это правильный ответ, вот это неправильный ответ. Двигайся в этом направлении. Это общий как бы, общий подход к такому обучению.
Для того чтобы организовать такой подход, что надо сделать? Надо, во-первых, организовать класс обучаемых компьютеров, учеников. Один компьютер обучаемый будет решать задачи агрокомплекса, другой – банковские, третий – задачи поддержки оборудования. И так далее и так далее. Поскольку есть такая инфраструктура, есть собственный мощный вычислительный центр, но он фактически под флагом проходит Центра компетенций, образованного фирмой IBM с нами, в РФ пока единственный. Мы на базе этих мощных технологий создали информационно-аналитическую платформу. Грубо говоря, это авианосец, на котором маленькие самолетики – это прикладные пакеты…
С. Оселедько― Я так и не понял…
А. Шмид― Обучение осуществляется, как в обычном классе, то есть, на базе проб и ошибок.
А. Хайтин― Я боюсь, что я все-таки хочу несколько приблизиться…
А. Шмид― Давайте приблизимся, это правда, давайте проще.
А. Хайтин― Если так говорить, то берем мы исторические данные, которые уже случились когда-то.
А. Шмид― Так точно.
А. Хайтин― И делим их на две части неравные: большую часть – обучающая выборка, и часть поменьше – тестовая выборка. После чего обучающая выборка, мы ее анализируем, и здесь, конечно, нельзя сказать, что мы учим компьютер, как человека, то есть, это все-таки работа на стыке математики и программирования некоторая, выделение факторов, дальше машина пересчитывает и проверяет их веса. И, в отличие от человека, она не ограничена практически в вычислительной мощности. То есть, человек может держать в голове, там, десять факторов, да? А машина – 10 тысяч или 100 тысяч, сколько надо. И в силу этого возникает возможность построить модели, которые включают в себя прогноз на основе очень большого числа смешанных факторов, сложно взвешенных, условно говоря.
После этого, когда мы построили такую модель, мы говорим: давайте попробуем на второй части исторических данных, не той, на которой мы учились, но той, которая уже случилась. И проверяем качество модели. Если модель способна спрогнозировать прошлое, ну, то есть, другую часть прошлого, которую мы раньше ей не показывали, тогда мы переходим к экспериментальной проверке, и модель эта начинает прогнозировать будущее. И тут мы получаем проверку практическую на реальной жизни.
Вот я бы хотел уйти от аналогии с учениками, живыми людьми и тому прочее, потому что, конечно, все-таки это та или иная степень программирования. То есть, это ближе всего к работе сильно высокоуровневого программиста, сильно высокоуровневого. То есть, не тот, который пишет детали интерфейса и тому прочее. Есть специальные языки, специальные средства. И в этом смысле машина действительно обучается сама, но общаться с ней приходится все-таки с учетом ее свойств…
А. Шмид― Я совершенно согласен с предыдущим оратором. Вот мне бы хотелось добавить. Конечно, это высокоуровневые программисты, но они в одиночку просто не справятся, должны рядом с ними сидеть проблематики. У нас, например, вот в решении задачи банковского надзора сидят и высокоуровневые программисты, и люди, понимающие в надзоре. Если мы говорим про агропромышленный комплекс, сидят люди из институтов, которые занимаются экономикой агропромышленного комплекса, и высокоуровневые программисты. Если мы говорим даже о Ватсоне, в зале, где сидит человек 200-250 учителей, там примерно половина – это информатизаторы, а половина или, может быть, какая-то часть – это онкологи и так далее. То есть, это синтез.
А. Суворов― Александр Викторович, коллеги. Андрей Суворов, IBM. Мне, во-первых, желание хочется загадать, между двумя Александрами. Во-вторых, я не вижу противоречий между вашими комментариями, и, в общем-то, вы оба правы. Я могу сослаться вот на наш опыт, опыт повышения качества жизни на вот разумной планете Земля. Один из подходов, одно из решений, которое мы сейчас очень эффективно продвигаем, называется «советник по онкологии» - это система, прикладная система на Ватсоне. И от игры, про которую я говорил совсем недавно, мы перешли к тому, что информационная система – назовем давайте ее даже, там, система когнитивная, система интеллекта – умеет разбирать все входные данные, которые характеризуют текущее состояние пациента, и дальше сопоставлять это с тем огромным массивом информации, который поставляется туда каждый час. Это и результаты клинических опытов, это и информация о новых препаратах, это и схожие истории болезни. И дальше эта система на уровне очень высококлассного онколога дает рекомендации. Мы не говорим, что эта система принимает решения, но мы говорим о том, что люди, находясь в регионе или в месте, где квалифицированная помощь может быть не так очевидна, получают так называемую действительно серьезную экспертизу.
С. Оселедько― Давайте про это поговорим, это же очень интересная история, вот эта медицинская. Я правильно понимаю, что большими данными для этой системы являются, по сути дела, все американские истории болезни, связанные с онкологией, за достаточно большой промежуток времени?
А. Суворов― Слово «американские» не полноценно отражает. На английском и испанском языке. Мы расширили бета-тестирование на еще один континент, сейчас в Азии ряд стран подключены к этой системе. И, да, источники данных сейчас пока двуязычные, скажем так, но это все возможные…
С. Оселедько― Я слышал, что эта система сдала экзамены в медицинском вузе американском, получила прямо диплом врача.
А. Суворов― Ну, действительно, Ватсону был дан символический диплом врача на уровне отличника…
С. Оселедько― На общих основаниях прямо сдал экзамены?
А. Суворов― С точки зрения объема данных – да. Но это было уже давно достаточно, мы сейчас двигаемся очень быстро к тому, что эта система, ну, во многих случаях она действительно позволяет оценить гораздо больший объем, чем даже те люди, которые являются признанными авторитетами. При этом они тренировали эту систему. То есть, изначально все-таки – и это то, что я говорил, оба Александра правы – это был и сильный математический аппарат с точки зрения анализа, и это было экспертное участие.
С. Оселедько― И каковы результаты? Как давно работает система и чего она уже добилась? То есть, я правильно понимаю, что это, по сути дела, единственный такой самый масштабный реализованный проект в сфере big data во всем мире?
А. Суворов― Ну, нет, я думаю, что нет. Мне кажется, здесь и у Яндекса есть хорошие результаты. Мы говорим о том, что здравоохранение, ну, для IBM, да и для многих компаний, является действительно очень серьезной областью. То есть, это очевидная возможная точка роста и повышения качества жизни.
С. Оселедько― Что уже добилась система, что она умеет? Где она используется?
А. Суворов― Система добилась следующего. То есть, я лично по крайней мере видел систему в работе. То есть, система работает в бета-режиме на ряд госпиталей в двух континентах, как я сказал – это Северная Америка и Азия. И к этой системе подключены реальные медицинские учреждения, которые могут выгружать истории болезни и данные о пациентах и получать рекомендации в реальном режиме времени. То есть, реальный режим времени – это, по сути дела, расчет и анализ всей имеющейся базы, но это занимает достаточно ограниченное время.
С. Оселедько― Грубо говоря, система установлена на компьютеры в конкретных госпиталях по всему мира, и в нее загружают результаты анализов, и система ставит диагноз.
А. Суворов― Да. Эта система работает… в принципе, вот облако уже упоминали, да? То есть, все хранилище пополняемое хранится где-то удаленно, но истории болезни, информацию о пациентах каждый загружает локально.
А. Шмид― С вашего позволения, хотелось бы добавить только следующее. Согласно информации IBM же, значит, по американской статистике, ошибка врача (неразб.) первичного диагноза рака составляет до 40%. А система Ватсон снижает вероятность такой ошибки до 3%. Вот и все.
С. Оселедько― То есть, прямо реально работающая система в госпиталях.
А. Суворов― Еще раз подчеркну, бета-тестирование – это все-таки вариант, скажем так, апробации и ее использования перед тем, как анонсировать полностью. Мы действительно говорим о так называемой демократизации экспертизы, когда мы можем дать на рабочий стол онколога, там, не знаю, с пятилетним стажем экспертизу практически всех лучших специалистов мира. И за этим, конечно, достаточно серьезное будущее. Но еще раз, чтобы не было иллюзий: решение принимает доктор, решение принимает человек.
С. Оселедько― То есть, она просто дает рекомендации.
А. Суворов― Да. И здесь то, что вот Александр говорил из Яндекса, мы действительно не заменяем и не несем в себе никакого риска, что компьютер вдруг начнет принимать решения, которые могут повлиять.
А. Шмид― У него слава богу, пока нет целеполагания.
С. Оселедько― Мы прервемся на небольшой рекламный блок и скоро вернемся.
РЕКЛАМА
С. Оселедько― И в студии по-прежнему ведущий программы «Точка» Сергей Оселедько на радиостанции «Эхо Москвы», и с нами по-прежнему трое величайших умов в сфере bog data: Александр Шмид, доктор технических наук, профессор, завкафедры Высшей школы экономики, директор Центра компетенций IBM Big Data; Андрей Суворов, директор по развитию программных решений IBM по России и СНГ; и с нами по Скайпу из Санкт-Петербурга Александр Хайтин, глава проектного офиса Yandex Data Factory. Александр, слышите ли вы нас?
А. Хайтин― Да, вполне.
С. Оселедько― У меня, собственно, к вам вопрос. А чего вы уже добились? Есть ли какие-то, можете ли чем-то похвастаться, вот как IBM со своим Ватсоном?
А. Хайтин― Ватсон – очень известный и громкий проект, один из наиболее известных на рынке. Мы можем со своей стороны… мы провели этот год в существенно более прикладных экспериментах, а именно в экспериментах о том, как мы можем применить эти технологии на нуждах бизнес-заказчиков. И, как я уже говорил, наиболее открыты к этому были те подразделения, которые занимаются продажами, поэтому у нас есть опыт внедрения рекомендательных систем и опыт опробования их практического на крупном розничном банке российском, где мы показали вполне такие неплохие результаты, которые нас вполне обнадежили двигаться дальше. Также у нас есть проект совместно с компанией Аксенчер, где мы распознаем на видеоизображениях разные объекты, для того чтобы решить задачу мониторинга промышленных объектов (неразб.), в частности, и так далее.
С. Оселедько― А чего стоят такие системы, мне интересно?
А. Хайтин― Тут, понимаете, очень широкий вопрос. Что стоит компьютер? Смотря какой. Зависит от того, какая задача решается, какую вычислительную мощность она требует и какую сложность представляет.
С. Оселедько― Тут радиослушатели «Эхо Москвы» интересуются, сколько бы стоила подобная система, которая бы помогла нашему правительству российскому справиться с экономическим кризисом.
А. Хайтин― Очень интересный момент, что системы машинного обучения работают там, где у нас есть – по крайней мере те, которыми мы занимаемся – работают там, где есть исторические данные. Они не могут на данный момент работать с ситуацией, которая встретилась впервые. Поэтому применительно к задачам макроуправления они могут быть только вспомогательными, потому что здесь у нас нету повторяющихся событий, да? Которые мы можем заложить в модель, и на основе которой строить внятный прогноз.
С. Оселедько― То есть, правительству помочь вы пока не можете.
А. Хайтин― Ну, мы же говорили, сильный искусственный интеллект впереди.
А. Шмид― Например, потому, что, как правило, вот во всяком случае мы понимаем, что в настоящий момент исторические данные вот в министерствах, которые я знаю, собраны на дистанцию три года назад только – этого совершенно недостаточно для хорошего прогноза. По мере накопления исторических данных машины будут все время умнеть и умнеть.
С. Оселедько― По ценам все-таки скажите.
А. Хайтин― По ценам история такая. Если говорить сейчас о том, кто наши заказчики – давайте с этой стороны зайдем – то это достаточно крупные компании, это сетевой ритейл, это крупные банки, это крупные промышленные предприятия. Мы планируем в дальнейшем переходить к более доступным сервисам, рассчитанным на средний бизнес и, в конце концов, на неограниченный круг лиц, точно так же, как работают наши интернет-сервисы, но на данный момент мы работаем на вот такие достаточно крупные компании.
А. Шмид― Когда спрашивают о ценах, всегда хочется просить, а что является товаром. Товаром может быть информационная услуга, оказываемая через облако, например, Ватсоном. Тогда это будет относительно недорого. А если хотите купить целую систему и владеть ею в корпорации, возможно, это будет дорого.
А. Суворов― Можно я прокомментирую? Мой комментарий основан на одном из последних исследований нашего внутреннего института, который пытается проанализировать, вообще как заказчики воспринимают большие данные и как они готовы к этим проектам. Там достаточно большое исследование. Но суть моего комментария в том, что на сегодня 53% респондентов рассматривают ценность больших данных в сфере предоставления новых услуг для клиентов, вот то, что мы сейчас говорили. И 40%, с достаточно большой динамикой от прошлого опроса, пытаются сфокусироваться на операционной эффективности. Я думаю, что многие бизнесмены, которые сегодня нас слушают, они озадачены операционной эффективностью гораздо больше в силу вот происходящих событий.
Так вот, я могу сказать, что можно провести такой короткий математический эксперимент, чтобы оценить потенциальный эффект, да? Возьмите, условно говоря, оборот за какой-то период – взять можно годовой отчет – поделите его на стоимость основных активов. И если вы получите сумму, гораздо меньшую единице, то время задуматься о том, чтобы анализировать данные с точки зрения операционной эффективности.
И вторая часть упражнения – это посмотрите, какой показатель у ваших успешных конкурентов. И вот стоимость одного процента вас очень сильно удивит. Я делал это для одной серьезной компании из нашего самого уважаемого сектора нефтедобывающего. Так вот, стоимость одного процента, которая с легкостью могла бы покрыть любой проект big data – 500 миллионов долларов. Это стоимость упражнения по эффективности.
С. Оселедько― То есть, на самом деле сейчас пока это все игрушки для очень-очень-очень больших бизнесов.
А. Шмид― Вы знаете, это уже совсем далеко не игрушки.
С. Оселедько― Отлично, я охотно в это верю. А что для рядовых, собственно говоря, пользователей? Когда появятся системы, которые будут давать ответ, там, куда вложить свои 100 тысяч рублей, куда лучше поехать отдохнуть?
А. Шмид― А мне в первую очередь кажется интересным для рядовых пользователей – как остаться живым и здоровым. Поэтому медицина – это важный аспект.
С. Оселедько― Что про будущее? Что про будущее для рядовых потребителей?
А. Суворов― Я, может быть, немножко пропиарю компанию, хотя это публичная информация. Один и владельцев очень уважаемых онлайновых агентств Терри Джонс, вы можете посмотреть его историю в интернете, признал, что все существующие системы туристические на сегодня, онлайн тревел агентства, они не исполняют функцию. То есть, практически мы с вами, когда пытаемся спланировать свое путешествие, мы все равно смотрим 3-4 источника. То есть, мы выбираем что-то, потом оцениваем в социальной сети…
С. Оселедько― И все равно обманываемся.
А. Суворов― Да, и все равно обманываемся. Так вот, он запустил проект, проект называется WayBlazer, можете посмотреть в интернете – это система, которая будет разговаривать с вами на естественном языке и в real time предлагать то, что вы хотите. То есть, я надеюсь… ну, это уже стартап запущен, можете посмотреть, но ожидаем первых успехов.
С. Оселедько― Он тоже по технологии big data сделан?
А. Суворов― Он сделан по технологии Watson Analytics, то есть, это совместный проект с Ватсоном. И тут я хотел бы сказать, что это не продукт IBM, то есть, это открытая экосистема. Я очень надеюсь, что мы с Яндексом можем здесь скооперироваться, не только в отношении того, что Яндекс может использовать наши технологии, но и обратно, интересные наработки, которые есть у них, воплощать в наших решениях. То есть, здесь сила и, может быть, определение «большие данные», оно подчеркивает открытость экосистемы. Нельзя работать с большими данными в изоляции. То есть, ценность как раз…
С. Оселедько― Когда каждый пользователь интернета будет знать и использовать системы big data?
А. Хайтин― Извините, уже любой пользователь интернета использует поиск – это одна из классических систем больших данных машинного обучения.
С. Оселедько― Ну, а более специфически? Вот, там, куда вложить деньги, какой банк устойчив, куда поехать отдохнуть.
А. Хайтин― Booking.com – пожалуйста, куда поехать отдохнуть. Понимаете, вы просто ожидаете каких-то вещей, которые должны как-то так ярко отличаться. Большие данные – это же не витрина, не елка с игрушками, это просто повседневная жизнь, и она везде. Люди пользуются Фейсбуком – это одна из ведущих компаний в области больших данных машинного обучения. Формирование ленты, которую каждый пользователь Фейсбука видит – это классический пример такой системы. Это интернет-поиск, это реклама, вся реклама.
С. Оселедько― А я-то в сказку верил.
А. Хайтин― Так подождите секундочку, а это разве не сказка? Вот если вы можете прямо-таки на месте посмотреть и спрогнозировать вашу всю поездку, например, из Москвы в Вашингтон, включая, извиняюсь, заказ такси. Это, на мой взгляд, вполне себе, так сказать, похоже уже.
А. Шмид― Это вполне рождественская сказка.
А. Хайтин― Да. И то, что мы там можем посмотреть и что-то найти, например, среди видео. Еще одно интересное явление – это поиск, например, по картинкам. У нас тут есть замечательный алгоритм, недавно его сделали коллеги, который определяет, красивая картинка или нет. При этом они сами не очень понимают, что же такое красивое, но с мнением живых людей сходится.
С. Оселедько― Александр, наше время подошло к концу. Большое спасибо. На самом деле технологии big data, оказывается, уже давно с нами. На этой оптимистичной ноте нам пора заканчивать. В студии был ведущий программы Сергей Оселедько, и с нами был Александр Шмид, доктор технических наук, профессор, завкафедрой Высшей школы экономики, директор Центра компетенций IBM Big Data…
А. Шмид― К тому же я еще представитель правления фирмы ЕС-лизинг, про что ничего не было сказано.
С. Оселедько― Андрей Суворов, директор по развитию программных решений IBM. И по Скайпу из Санкт-Петербурга Александр Хайтин, глава проектного офиса Yandex Data Factory. Всем спасибо, всем пока.