Восстание машин - Денис Федутинов, Валентин Пряничников - Сценарий XXI - 2013-08-25
А. СОЛОМИН: Добрый вечер, в прямом эфире радиостанции «Эхо Москвы» программа «Сценарий XXI», в которой мы говорим об угрозах и вызовах человечеству в XXI веке.
А. НАРЫШКИН: Сегодня мы выбрали, пожалуй, такую самую необычную тему. Кстати, представлю нас, как-то мы упустили этот момент. Алексей Соломин, Алексей Нарышкин, как всегда по воскресеньям. Выбрали мы сегодня тему, мне кажется, самую такую футурологическую из тех, что можно было выбрать. Вы о подобных случаях, о подобных явлениях, сценариях наверняка видели немало фильмов, читали в различных книгах. Говорим мы сегодня о восстании машин, о восстании роботов, как это будет выглядеть, будет ли это вообще. Как всегда, запланировано несколько вызвонов в нашей передаче, узнаем мнения экспертов.
А. СОЛОМИН: Я представлю, если позволишь. Сегодня мы поговорим с главным редактором сайта UAV.ru, Беспилотная авиация, Денисом Федутиновым. Объясню, почему мы поговорим о беспилотниках. И поговорим с Валентином Пряничниковым, завкафедрой сенсорных и управляющих систем МГТУ «Станкина», с доктором технических наук. Но перед этим +7-985-970-45-45 – это наш смс-приемник, приглашаем вас поучаствовать в этом эфире смс-сообщениями. А на аккаунт @vyzvon вы можете писать тви-сообщения, на www.echo.msk.ru – обычные комментарии. Мы все это видим, читаем, смотрим, наиболее интересные будем озвучивать. И вопросы ваши тоже будем адресовать нашим участникам эфира, с которыми мы свяжемся по телефону. Но и телефонные звонки мы сегодня тоже, вероятно, будем принимать. +7-495-363-36-59 – специально для тех, кто хочет поговорить о роботах как угрозе, быть может.
А. НАРЫШКИН: Ну, и тему мы эту выбрали не случайно, потому что в этом году тема, ну, отчасти восстания роботов, она поднималась в ООН. Может, это прозвучит неожиданно…
А. СОЛОМИН: Чуть-чуть, да, чуть-чуть скорректирую. Дело в том, что военные различных стран используют… проводят разработки робототехники именно для применения не только для саперных работ каких-то, но и думают о том, как робототехника…
А. НАРЫШКИН: Применять в войне, боевые.
А. СОЛОМИН: В боевых условиях, абсолютно верно. И в ООН задумались над этим, потому что все не так просто. Дело в том, что машины, которые получают все больше права на самостоятельные решения, в случае, когда речь идет об убийстве людей, о возможном убийстве людей… это пока еще не использовалось в реальных боевых действиях, это действительно работа будущего. Но пока эта сфера никак не отрегулирована. Мы сейчас дадим буквально несколько фраз спецдокладчика ООН по вопросу о внесудебных казнях Кристофера Хейнса, который как раз и определил эту проблему и занимается ею в рамках ООН. Перевод заявления, перевод части доклада Кристофера Хейнса подготовила русская служба Радио ООН.
(звучит запись)
К. ХЕЙНС: Для государств технология, исключающая участие человека, привлекательна тем, что люди принимают решения медленнее, чем роботы. Иногда человек совершает ошибки, действует, руководствуясь страхом, а порой он движим жестокостью и жаждой мести. Но, в то же время, люди, в отличие от роботов, способны к сочувствию и, учитывая контекст ситуации, могут проявить более гибкий подход, например, если солдат сдаётся.
Не приведет ли использование роботов к тому, что государства с большей готовностью смогут начинать войны? Насколько они могут быть запрограммированы на соблюдение международного гуманитарного права, особенно в том, что касается пропорциональности применения силы, а также стандартов в области прав человека?
Я хочу привлечь особое внимание к тому, что использование БАРС может оказаться неприемлемым из-за отсутствия системы юридической ответственности. В своём докладе я останавливаюсь на правовых последствиях применения таких систем и подчёркиваю необходимость создания системы подотчётности в случае, когда их действие выходит за рамки международного права.
Можно ли допустить, с точки зрения защиты права на жизнь и достоинство, чтобы оружие, предназначенное для убийства людей в военной или мирной обстановке, автономно контролировалось роботом? Речь идёт не о природе этого вида оружия, а о том, кто за ним стоит, и о том, какими могут быть последствия его применения для осуществления права на жизнь и достоинство.
Я считаю, что Совет по правам человека не имеет права молчать, когда речь идёт о таком судьбоносном вопросе, и должен высказать своё мнение об аспектах применения БАРС, связанных с правами человека.
А. СОЛОМИН: Кристофер Хейнс, спецдокладчик ООН по внесудебным казням. Вот это отрывок из его заявлений по поводу необходимости разработки международного соглашения, которое бы регламентировало создание новых боевых машин-роботов.
А. НАРЫШКИН: Кстати, правозащитники уже говорят о том, что действительно необходим какой-то такой доклад, который бы это все регламентировал. Например, Human Rights Watch, известная организация международная, она в 2012-м году выпустила доклад «Теряя человечность: дело против роботов-убийц». И как раз правозащитники предлагают обзавестись каким-то таким документом, который, ну, скажем, в каком-то смысле ограничивал бы искусственный интеллект. Ну, по примеру того, как... у нас же есть договор о нераспространении ядерного оружия. То же самое, как бы ощущая опасность возможную от того, что когда-то роботы… ну, я не буду, наверное, говорить, что они сговорятся и начнут атаковать человечество, но все равно, уже сейчас, не дожидаясь какого-то такого часа икс, предлагается задуматься вообще о том, как это в дальнейшем будет все фиксироваться и какими документами, пактами все это можно обуздать.
А. СОЛОМИН: То есть, тут сразу на две вещи можно разделить эту проблему. С одной стороны, это проблема ближайшего будущего, это этическая проблема, это проблема убийства машинами людей, возможности убийства мирных людей. потому что как отличить, например, человека, вот действительно, который, во-первых, который отличается от комбатанта – непонятно, как это будет закладываться в программу, действительно ли это можно сделать. С другой стороны, если военный и человек собирается сдаваться, если он не собирается оказывать сопротивление, то как это отрегулировать, в случае если против него действует робот? Это тоже непонятно. Это первая часть проблемы.
Вторая часть более футуристическая. Что если вот из этих роботов создается какой-то… то есть, какое-то, ну, не войско, но какой-то отряд, допустим, если он не управляется операторами, где гарантии, что что-то не пойдет не так и эти роботы будут действовать против людей, против самих операторов, собственно, против людей, на которых они должны работать?
А. НАРЫШКИН: Нам уже сообщения приходят на наш смс-портал +7-985-970-45-45. Рупрехт нам пишет: «Я бы лучше роботам, искусственному интеллекту, передал бы судебную власть». Ну, Рупрехт, кто знает, когда-то, может быть. Смотрите, с роботами же в чем, на мой взгляд, проблема? Мы же сейчас довольно много информации, всяких различных данных передаем компьютерам, через социальные сети. Компьютеры в курсе наших данных кредитных карт, знают, где мы живем, в конце концов, знают, как мы выглядим. И кто знает, как это в будущем все может отразиться на нас.
А. СОЛОМИН: И очень много вещей компьютеры на самом деле уже контролируют. Вспомните истерию по поводу миллениума, да? Когда были опасения, что заложенный в компьютерные программы формат летоисчисления, когда мы пользовались только двумя последними цифрами, в случае наступления нового тысячелетия мог… это реально ведь люди боялись этого. Ничего не случилось, правда, действительно все смогли вовремя перевести, но, тем не менее, страх, ну, нагнетался что ли, так можно сказать.
Ну, мы об этом, о гражданском применении роботов поговорим во второй части нашей программы. О гражданском, промышленном применении. Сначала мы хотели поговорить все-таки о военной части, вот то, чему, собственно, посвящен был доклад ООН, который представил спецдокладчик по внесудебным казням.
А. НАРЫШКИН: Ну, смотрите, давайте сначала, уж коли мы заявили обеспокоенность международных организаций, правозащитников и ООН насчет вот этой всей истории с роботами, с искусственным интеллектом, хочу вас, радиослушателей, спросить, нужен ли такой документ, о котором в частности говорит Human Rights Watch, который бы каким-то образом ограничивал интеллект машин. Опять же, вопрос, возможно, звучит немного странно, но тем не менее. Если вы считаете, что нужен международный документ, который бы ограничил интеллект, искусственный интеллект, интеллект машин, набирайте, пожалуйста, номер 660-06-64. Если вы считаете, что такого документа не нужно, ваш номер 660-06-65. Я так понимаю, у нас на связи уже есть Денис Федутинов.
А. СОЛОМИН: Да, Денис Федутинов, главный редактор сайта UAV.ru, Беспилотная авиация. Денис, здравствуйте. Слышите ли вы нас? Добрый вечер.
Д. ФЕДУТИНОВ: Да, добрый вечер.
А. СОЛОМИН: Смотрите, мы специально подробно не останавливались на беспилотниках, потому что хотели, прежде всего, с вами об этом поговорить. Прежде всего, подведу разговор вот к чему. Сейчас, ну, мы, люди, мы дилетанты, в общем-то, в этом, в военной технике, да? Сейчас мы воспринимаем беспилотники как нечто, что вылетает без человека в кабине, но управляется людьми из какого-то операционного центра. Вот наше представление о современных беспилотниках, о перспективных беспилотниках, оно соответствует действительности, или все-таки сейчас разработки ведутся каких-то более совершенных систем? И в какую сторону они совершенствуются?
Д. ФЕДУТИНОВ: Да, безусловно, вы, в целом, обрисовали ту картину, которая действительно имеет место быть. Беспилотники – это аппараты, в которых нет человека, но человек, тем не менее, присутствует в системе управления этими аппаратами, человек находится на земле. Как правило, это даже несколько человек. Один, допустим, управляет самим аппаратом, другой выставляет аппаратуру полезной нагрузки беспилотника. Если говорить о перспективах, безусловно, будет развиваться автоматизация некоторых моментов. Ну, например, уже сейчас какие-то этапы полета, они проходят в автоматическом режиме. Мы знаем, что и, скажем, коммерческие авиалайнеры, они тоже летают большую часть полета в автоматическом режиме.
А. НАРЫШКИН: На автопилоте.
А. СОЛОМИН: А речь идет о патрулировании именно?
Д. ФЕДУТИНОВ: Речь идет здесь о самых разнообразных миссиях. Беспилотники, они преимущественно все-таки в настоящий момент имеют разведывательную… выполняют разведывательные задачи: разведка, наблюдение, рекогносцировка. Но, безусловно, постепенно начинает расширяться также и ударная функция этих беспилотников. Уже сейчас американцы активно применяют беспилотники. Это было и в Ираке, это происходит в Афганистане. Возможно, также и в других каких-то точках мира, там, том же Йемене. Беспилотники могут нести на борту оружие и они могут применяться для каких-то вот таких антитеррористических в основном задач, для точечных ударов. Но, безусловно, я повторюсь, если мы говорим о каких-то этапах автоматизации полета, об автоматизации каких-то рутинных задач, здесь может быть применение автоматики. Но если мы говорим о применении оружия, в настоящий момент это 100% использование в контруправлении человека.
А. НАРЫШКИН: Смотрите, тогда можно, Денис, еще раз вот буквально по этапам. Объясните, что сейчас могут делать беспилотники. Вот если взять, ну, совокупность всех разработок во всех странах мира. Беспилотник может сам взлететь? Ну, я имею в виду, если ему, например, на заводе при разработке запрограммировали функцию, что вот из такой-то точки, там, не знаю, по навигатору ставишь: вот это аэропорт, ты оттуда взлетаешь. Беспилотник автоматически сам может взлетать, без ручного управления оператором?
Д. ФЕДУТИНОВ: Да, безусловно, беспилотник может взлетать автоматически. Это касается, естественно, не всех беспилотников, но, в принципе, это задача решаемая, и она решена на некоторых беспилотниках, которые сейчас существуют уже.
А. НАРЫШКИН: И, соответственно, садиться, наверное, он тоже может, в этом проблем не должно быть.
Д. ФЕДУТИНОВ: Беспилотник может выполнять – это, наверное, самая простая задача – может выполнять полет по точкам заранее заложенным, да? Точкам маршрута в автоматическом режиме. При том, что оператор имеет возможность вмешиваться в процессе пролета…
А. НАРЫШКИН: Ну, грубо говоря, переставить какую-то точку и, там…
Д. ФЕДУТИНОВ: Да, да, переставить точку, поменять высоту, скорость в этой точке и так далее.
А. НАРЫШКИН: Смотрите, а что тогда мы имеем, если говорим о поражении цели, если мы говорим о боевых беспилотниках, не которые наблюдают просто за территорией, а которые, там, сбрасывают какие-то снаряды? Что может предложить вот такой вот робот-беспилотник? Может ли он как-то автоматически выбирать цель или это все равно объект, который должен задаваться человеком ему?
Д. ФЕДУТИНОВ: Здесь процесс выглядит следующим образом. Оператор полезной нагрузки, то есть, той оптико-электронной станции, которой оснащен беспилотник или, там, допустим, системы (неразб.), которая также устанавливается на беспилотнике, он отлеживает те данные, которые поступают с борта беспилотника. Существуют программы, которые помогают автоматизировать часть этих функций, потому что объем тех данных, которые поступают с борта, он достаточно велик. Действительно, наверное, глаз замыливается, и прочие как бы нюансы присутствуют. Соответственно, автоматика позволяет несколько упростить эту задачу и выделить некие цели по заранее заложенным алгоритмам.
Но, вместе с тем, я хочу отметить тот момент, что, безусловно, принятие решения по применению оружия в том или ином случае, то есть интерпретация, конечная интерпретация тех данных, видеоданных или данных (неразб.), полученных с борта беспилотника, интерпретация и принятие решения о применении оружия – это все-таки в настоящий момент лежит на человеке.
А. СОЛОМИН: То есть, кнопка «Огонь» все-таки у оператора.
Д. ФЕДУТИНОВ: Да, безусловно.
А. НАРЫШКИН: Смотрите, тогда вопрос, опять же, о кнопке «Огонь» и о выборе цели. В перспективе возможна ли передача таких задач именно машине? И насколько это будет нужно, как вам кажется?
Д. ФЕДУТИНОВ: Я сомневаюсь, что это будет, по крайней мере, в ближайшие, наверное, даже несколько десятилетий. Я не вижу как бы даже задачи такой, потому что цена ошибки достаточно велика, в том числе возможен так называемый дружественный огонь, поражение собственных каких-то целей. Поэтому я полагаю, что все-таки эта задача, по крайней мере, долгое время еще останется за человеком.
А. СОЛОМИН: Еще тогда один вопрос по поводу кнопки «Огонь». Ну, когда мы говорим о технике, мы всегда закладываем вероятность того, что техника даст сбой. И есть ли возможность, если мы говорим о беспилотниках, о беспилотниках, которые несут вооружение на себе и способны их применить, возможность того, что, по какой-то причине, участие оператора для спуска снарядов не потребуется? Ну, то есть, что-то может произойти такое. Или система надежно защищена?
Д. ФЕДУТИНОВ: Безусловно, любая система имеет какую-то возможность ошибки. Задача человека, задача инженеров минимизировать эту возможность. В настоящий момент, в настоящий момент проблемы, связанные с технической стороной беспилотников, они… тенденция к уменьшению. То есть, надежность беспилотников растет. Она в настоящее время приближается уже к надежности самолетов пилотируемой авиации. Я говорю не про гражданскую, я говорю про военную авиацию.
А. СОЛОМИН: Смотрите, еще тогда вопрос, наверное, последний. Сейчас, когда мы говорим о беспилотниках, мы все-таки имеем в виду какие-то индивидуальные миссии, в которых принимает участие какой-то конкретный беспилотник, да? По сбору информации, по уничтожению точечной цели какой-то. Можем ли мы говорить, есть ли у вас какие-то данные по этому поводу, о том, что подобные беспилотники будут, смогут употребляться в составе каких-то, не знаю, эскадрилий беспилотных, когда будут ковровые бомбардировки? Вот то, что мы видели вот в обычных авиаоперациях разных лет.
Д. ФЕДУТИНОВ: Безусловно, к этому все идет. Я могу сказать, что даже вот еще, наверное, лет пять или даже несколько более назад уже существовали эксперименты в тех же Соединенных Штатах по действию не единичных беспилотных летательных аппаратов, а по действиям группировок беспилотных летательных аппаратов, которые в автоматическом режиме обменивались между собой данными, поражали цели, выполняли поставленные задачи. Более того, я могу сказать, что в этом плане, вот в применении таких группировок или, там, скажем, смешанных группировок, мы еще находимся на каких-то начальных стадиях. Но, безусловно, в будущем, в относительно недалеком будущем мы увидим достаточно широкое применение беспилотников в том числе совместно с пилотируемыми летательными аппаратами.
А. НАРЫШКИН: Денис, скажите пожалуйста, вот о беспилотниках в Израиле, например, мы знаем. О таких же аппаратах в США информация тоже есть. А может ли Россия чем-то похвастаться? Потому что когда я готовился к передаче, я так и не понял, у нас вообще что-то где-то там на складах хранится, не знаю, используется, или это у нас все в стадии разработки, тестирования и так далее. Есть ли у нас какие-то сейчас беспилотные аппараты, которые готовы, например, не только наблюдать, но и готовы какой-то объект поразить?
Д. ФЕДУТИНОВ: Ну, во-первых, здесь надо разобраться, собственно, с определением вопроса. Поскольку беспилотники достаточно разнообразны и они подразумевают наличие аппаратов миникласса... то есть, это вот аппараты размером, скажем, с авиамодели. Вот. Это аппараты тактического класса, это аппараты среднеразмерные, средневысотные, большой продолжительности полета, такие как американские Predator и Reaper. И также тяжелые аппараты, стратегические, такие как Global Hawk, такие как ударные аппараты, скажем, создаваемые сейчас в Соединенных Штатах, X-45, X-47. Вот если посмотреть как бы не общую температуру по больнице, а если посмотреть по категориям, то в классе миниаппаратов и в классе тактических аппаратов в России (неразб.). Однако в классе более тяжелых беспилотников, к сожалению, в настоящий момент современных систем нет. Вот. Но, вместе с тем, надо отметить, что российское Министерство обороны осознает проблему с отсутствием этих беспилотников. И, осознавая это, несколько лет назад объявило ряд схем по созданию соответствующих систем.
А. НАРЫШКИН: Я насколько понимаю, пытались сначала же у Израиля закупать, да? Какие-то там контракты заключали, но что-то там…
Д. ФЕДУТИНОВ: Я так понимаю, что это было такое локальное решение, которое было призвано быстро закрыть некую брешь, существовавшую в Минобороны. Однако как бы это решение, оно достаточно временное, оно не имело… оно не могло покрыть все потребности наших военных, безусловно. В настоящий момент, помимо того, что используются израильские закупленные аппараты, в том числе, кстати, помимо них, применяются, закупаются и применяются беспилотники, собранные по лицензии, тоже израильской компании. Помимо этого, как я уже сказал, Министерство обороны заключило договор с рядом компаний промышленности, в настоящее время ведутся работы, скажем, компании «Транзас», «Сокол», «Сухой», «Вертолеты России». Создаются аппараты различного типа и класса. Я думаю, что, в принципе, при продолжении такого серьезного отношения со стороны Министерства обороны к данной тематике, подкрепленном финансированием и подкрепленном, конечно, соответствующим контролем, положение дел можно изменить к лучшему.
А. СОЛОМИН: Спасибо большое. Денис Федутинов, главный редактор сайта Беспилотная авиация UAV.ru, был в нашем эфире. Я чуть-чуть отмечу, да, почему мы говорили о беспилотниках. Дело в том, что среди разработок сейчас, вот по открытым источникам, во всяком случае, можно сделать вывод о том, что это, наверное, одни из наиболее перспективных и массовых в будущем разработок, потому что именно беспилотная авиация позволяет решать множество задач, которые на войне, на современной войне считаются приоритетными. Но, справедливости ради, следует отметить, что производство других роботов тоже ведется, и решение о том, какие полномочия передавать на самостоятельное решение, да, этим роботам, он тоже открыт. Все мы видели, знаем роботов-саперов, которые успешно, кстати, используются при ликвидировании различных бомб, мин, снарядов, которые используются, кстати, в том числе и в мирных городах, если есть какая-то угроза теракта. В Москве, если вы помните…
А. НАРЫШКИН: Какая-то антитеррористическая операция.
А. СОЛОМИН: … в антитеррористических операциях, да. Но есть различные роботы. Вот известный проект Big Dog, военный робот-транспортировщик. Он сейчас разрабатывается, но многие, наверное, видели или на различных телепрограммах, или на Ютьюбе. Известная достаточно разработка, похожа на паука такого, только большого. Где-то, ну, полтора метра в высоту на четырех лапах машина, которая передвигается не только по прямой местности, но и может забираться на небольшие холмы. То есть, в общем, будет активно использоваться, но скорее для транспортировки. Есть роботы-часовые, роботы, которые используются на государственных границах. Ну, понятно, что их функция в основном фиксировать те или иные передвижения…
А. НАРЫШКИН: Кстати, смотри, как раз ты сказал про государственную границу. Да, есть у них, компания «Самсунг» выпускает, выпускает эти роботы. Как раз она работает для нарушителей границ. То есть, реагирует на них. Причем у нее интересный такой алгоритм: распознает человека уже на расстоянии трех километров, но при этом не будет открывать огонь, если, например, перебежчик – а мы понимаем, что там, вероятнее всего, и будут перебежчики какие-то, с территории Северной Кореи – если перебежчик поднимет, например, руки вверх. То есть, вот такая интеллектуальная система, о чем мы с вами и говорим. США, например, может похвастаться зенитно-артиллерийским комплексом «Фаланкс». Используется, кстати, не только США, но США производит эти комплексы. Про беспилотники мы с вами говорили, да…
А. СОЛОМИН: Есть еще, в 2012-м году, начале прошлого года, известное американское агентство DARPA … это агентство Министерства обороны, которое отвечает как раз за новые высокотехнологичные разработки. И, кстати, на счету этого агентства, между прочим, сеть Интернет международная, которая, как известно, возникла, прежде всего, в военном ведомстве, и потом уже стала технологией двойного назначения и перешла, в общем, в гражданское русло. Кстати, об этом переходе, о работе роботов в гражданской нашей обычной жизни мы тоже поговорим чуть-чуть попозже. Но, тем не менее, вот в начале 2012-го года в DARPA заявили о запуске нового проекта создания антропоморфных боевых роботов. Проект называется «Аватар». Что такое «антропоморфных»? Это значит, по своим техническим характеристикам соответствуют скелету человека, то есть напоминают строение человека и действуют, в общем-то, по физическим принципам человека. Ну, если вы смотрели фильм «Терминатор 2», «Терминатор» любой, не обязательно 2, в общем-то, многие другие фильмы, в которых эта идея, идея подобного антропоморфного робота, причем действующего абсолютно самостоятельно, она используется. Используется во многих литературных произведениях, фантастических фильмах, мультфильмах. Это такой заезженный уже проект. Но, как мы знаем многие фантастические идеи, некогда фантастические идеи, сегодня становятся реальностью.
А. НАРЫШКИН: Давай я подведу итоги голосования. Мы спрашивали вас, нужно ли, ну, с прицелом на будущее, нужно ли странам всем в мире заключить некий пакт об ограничении интеллекта машин. И 71% радиослушателей считают, что, да, такой документ нужен. Опять же, подчеркну, что тут важно – что этот документ, в принципе, такой же, вот по мнению экспертов, будет иметь такую же силу, как, например, договор о нераспространении ядерного оружия.
А. СОЛОМИН: А можно я быстренько голосование проведу? Еще все-таки хотелось бы узнать о допустимости применения роботов в реальных боевых действиях. Я прошу взвешенно подойти к этому вопросу. Почему? Потому что при вот той угрозе, о которой нам говорят и в ООН, и существует все-таки набор плюсов, связанный с использованием роботов. Это то, что мы называем бесконтактной войной, да? Когда не встречается… во всяком случае для стороны, применившей эту технику, нет серьезной потери живой силы. Но, тем не менее, тем не менее, на чаше весов проблема с этикой при применении таких роботов. Вот если вы считаете, что на войне допустимо, на войне будущего, наверное, допустимо применение роботов, то +7-495-660-06-64. Если вы считаете, что роботов ни при каких условиях на войне применять нельзя, нужно обходиться знакомыми нам системами, то +7-495-660-06-65. Посмотрим, все-таки что здесь победит. Мы запускаем голосование. 660-06-64, если вы считаете допустимым использование роботов на войне. И 660-06-65… у меня зависло голосование. Если ты…
А. НАРЫШКИН: Давай попробую перезапустить. 660-06-64, если вы считаете, что…
А. СОЛОМИН: Все, пошло, да?
А. НАРЫШКИН: Отвисло, вот.
А. СОЛОМИН: Да. Если вы считаете допустимым применение роботов на войне. Если вы считаете недопустимым – 660-06-65.
А. НАРЫШКИН: Вот смотри, что интересно. Ведь ты говоришь о том, что… ну, и не только ты говоришь, но это в принципе логично, что роботы, в принципе, мы можем представить, если одна сторона вдруг начинает воевать с другой, ну, хорошо, роботы сойдутся в какой-то схватке, это будут потери, скажем так, только финансовые. Но ведь мы понимаем, что у робота нет чувств. С одной стороны, это хорошо, что робот не может прийти в гнев и расстрелять всех подряд. С другой стороны, робот, у него нет, например, какого-нибудь чувства, я не знаю, сопереживания или сочувствия. Вот представим, что робот в какую-то попадает локацию и видит там безоружных людей, детей…
А. СОЛОМИН: Но, послушай, тут тоже есть «за» и «против». С одной стороны, действительно проявление чувств на войне по отношению к раненому противнику должно, наверное, иметь место, да? В случае взятия в плен и так далее. Но, с другой стороны, ведь это же тоже используется как психологический обман, когда… если ты не робот, а ты, там, обычный солдат, то тебя, там, с помощью обмана могут завлечь и, в общем-то, просто убить. Это же, безусловно, применение роботов, которые самостоятельно принимают решения – это все-таки ограничение, потому что это определенный набор, это определенный алгоритм, по которому они действуют. И если ты что-то не учел, если разработчик что-то не учел, то тогда выйти из этого алгоритма уже нельзя.
А. НАРЫШКИН: Но при этом мы же не будем с тобой упускать возможность того, что роботы – в принципе, и сейчас так уже есть – что роботы готовы саморазвиваться, самообучаться. Опять же, в условиях войны, например.
А. СОЛОМИН: Послушай, ну, это зависит, наверное, зависит от уровня техники, от разработки все-таки и от перспектив подобных технологий.
Не только на войне роботы применяются. Вот если мы говорим о нашей сегодняшней жизни, какие-то, там… я не хотел бы называть это примитивными, конечно, разработками, все-таки вещи достаточно серьезные уже применяются в различных самых сферах. Но то, что будет дальше, вообще можно только гадать, потому что тут, мне кажется, перспективы огромные и сфера вообще необозримая. Вот Валентин Евгеньевич Пряничников, завкафедрой сенсорных и управляющих систем МГТУ «Станкина», директор международной лаборатории «Сенсорика», доктор технических наук, наверняка знает, о чем я говорю, знает об этих перспективах. Валентин Евгеньевич, вы нас слышите?
В. ПРЯНИЧНИКОВ: Да-да, да, слышу.
А. СОЛОМИН: Скажите пожалуйста, вот сейчас все-таки на каком, вы бы охарактеризовали, на каком уровне стоит робототехника, может быть, во всем мире и в сравнении с Россией? И какие, может быть, разработки наиболее перспективные, что мы… грубо говоря, каких роботов мы ждем в ближайшем будущем?
В. ПРЯНИЧНИКОВ: Ну, вы знаете, мы занимаемся очень давно интеллектуализацией управления и слиянием сенсорных и управляющих данных вместе в единый поток, чтобы позволить роботу стать более адаптивным, более гибким…
А. СОЛОМИН: Более самостоятельным, соответственно.
В. ПРЯНИЧНИКОВ: Да, и самостоятельным в частности. Но вот наша лаборатория в последнее время в содружестве, прежде всего, с Институтом прикладной математики им. М. В. Келдыша Российской академии наук поставила в университеты и МЧС 17 роботов различного назначения. Ну, вот причина такой, на наш взгляд, успешной деятельности в том, что роботы, которые мы создаем, наша деятельность, она базировалась на научной школе, созданной еще в 70-е годы в Российской академии под руководством академика Охоцимского. Вот надо сказать, что современное, конечно, состояние несколько затруднительно. Я об этом, наверное, чуть позже еще скажу. Значит, в связи с тем, что планируется ликвидация Академии наук, реформаторы добрались до имущества и, соответственно, значит, ликвидируется наши корни. Ну, видимо, не только наши, но и вообще науки, перспективной науки в целом.
А. СОЛОМИН: Но это влияет и на разработки ваши?
В. ПРЯНИЧНИКОВ: Я думаю, что да, и очень серьезно. Но вот надо сказать, что вот какие я вижу сложности здесь, возникающие в разработках таких программно-аппаратных систем. Любая программно-аппаратная система, она имеет встроенные ошибки, это практически неизбежно. Потому что если мы имеем программный код, допустим, ну, если говорить об операторах, от 10 тысяч строк, то он уже слабо контролируется и фактически логические ошибки очень сложно вылавливать. Вот это, я думаю, одно из таких существенных направлений. Ну, вот все, наверное, знают, там, ряд ошибок, которые были от программирования и от неправильного понимания того, как работает робот. Это, значит, гибель, там, рабочих в Японии от промышленных роботов, переворот F-111 самолета при перелете через Экватор. Там, значит, он переворачивался колесами кверху, автопилот его так разворачивал. Там не учтено было, банально плюс на минус поменялся.
А. НАРЫШКИН: Смотрите, Валентин Евгеньевич, да, так все-таки, возвращаясь к вопросу Алексея, нам в будущем каких, как вам кажется, ждать роботов? В какой сфере применения? Это что-то в быту, я не знаю, какой-то робот, который помогает убираться по дому, робот, который готовит? Я не знаю, это, возможно, какие-то примитивные фантазии. Или это какой-то чудесный робот, который целиком проводит за человека какую-то операцию? Как вам это видится?
В. ПРЯНИЧНИКОВ: Ну, вы знаете, мы занимаемся мобильными роботами наземного базирования. Это роботы, с одной стороны, они где-то проще, с другой, сложнее, чем беспилотные, потому что у нас большая неопределенность внешней среды. И, соответственно, взаимодействие с этой средой, оно, ну, часто проблематично. Вот возьмем роботы с супервизорным управлением, то есть, когда есть оператор и робот. Робот благополучно управляется, затем он заезжает за угол, значит, если я говорю, допустим, о задачах МЧС, и управление теряется. Что делает робот в этом случае? Он автоматически становится автономным. Ну, и опять-таки, значит… то есть, автономность, она неизбежна для роботов, значит, даже если мы хотим видеть просто дистанционно управляемые роботы.
Теперь, если мы посмотрим на то, что такое супервизорное управление – это управление по типу лошадь – всадник. То есть, всадник говорит лошади, ну, говорит, условно, значит, направляет ее в каком-то направлении, а лошадь сама уже перебирает ногами и решает задачи преодоления препятствий. Вот этот тип становится сейчас все более и более таким что ли более интересным и более частым. И вот здесь возникают проблемы какие? То есть, это программные проблемы, проблемы группового управления, проблемы BCI, Brain Computer Interface, значит. Это взаимодействие робота с человеком через непосредственные сигналы, например, энцефалограмму. Ну, через (неразб.) – это более простая задача, она уже в значительной мере решена. Вот. Ну, вот таких задач много. Ну, а применение роботов – мы рассматриваем в основном задачи, ну, типа МЧСных задач и задачи учебной робототехники. Ну вот, в частности, поставляем автономные мобильные учебные роботы «АМУР» (по первым буквам).
А. СОЛОМИН: Валентин Евгеньевич, скажите пожалуйста, вот из ответа на предыдущий наш вопрос я так понял, что сейчас основная угроза от применения роботов – это ошибки операторов либо ошибки разработчиков. Я прав?
В. ПРЯНИЧНИКОВ: Да, да. Мне кажется, что это наиболее трудная вещь. И вот, в частности, выход на арену, так сказать, сетевых технологий, они в существенной мере изменяют и, так сказать, дополняют и осложняют парадигму управления. Мне кажется, все очень просто: вы послали сигнал, но задержка управления. Кажется, все очень просто. Значит, вы послали сигнал, но задержка управления. Вы послали второй раз этот сигнал, видя, что реакции нет. Значит, далее робот исполняет сразу две команды подряд.
А. СОЛОМИН: Так.
В. ПРЯНИЧНИКОВ: В результате, сломанная стена, например, значит, где-то, если это мобильный робот тяжелого класса. Это просто исходя из случаев, которые уже происходили.
А. СОЛОМИН: Но вот, а смотрите, то, о чем говорит Айзек Азимов, да? Вот три знаменитых закона робототехники. Я для слушателей просто перечислю кратенько. Робот не может причинять вред человеку или своим бездействием допустить, чтобы человеку был причинен вред – это первый закон. Второй: робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону. И третье: робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому и второму законам. Вот я понимаю, что это все-таки из научной фантастики больше, из литературы, области искусства. Но, тем не менее, при создании, проектировании, разработке роботов принципы, о которых говорил Айзек Азимов, они сейчас как-то учитываются? Или разработчики об этом в принципе не думают, потому что угрозы того, что робот может при самостоятельном решении определить человека как цель – не случайно задеть, а именно определить как цель, да? – для каких-то своих действий, нет таких вариантов?
В. ПРЯНИЧНИКОВ: Ну, вы знаете, я думаю, что есть два типа что ли систем управления, которые сейчас находятся в активной разработке. Один тип – это попытка создать искусственный интеллект или элементы искусственного интеллекта, когда робот автоматически пополняет свою базу знаний, делает выводы…
А. СОЛОМИН: Да, да.
В. ПРЯНИЧНИКОВ: Да, и, значит, соответственно, применяет эти полученные правила, полученные действия, выводы, применяет для своего управления. Этот путь действительно может пойти вот по такому слабо предсказуемому пути. Есть второй путь, который, ну, связан, как мне кажется, с формализацией естественного интеллекта. То есть, человек рассуждает за робота, он ему вкладывает определенные правила, и эти правила в дальнейшем он исполняет. В этом случае, если разработчик, так сказать, морально, ну, устойчив, то он заложит правильные принципы управления и соблюдет вот эти принципы, которые вы назвали. Если же это не получается, то тогда, значит, в общем-то, программа будет просто не работоспособна, и робот должен остановиться или как-то выйти из вот этого применения. Вот такой, как мне кажется, путь формализации естественного интеллекта, он более надежен в этом плане, в плане, так сказать, качества применения таких роботов и отсутствия таких фатальных ошибок.
А. СОЛОМИН: И безопасности.
В. ПРЯНИЧНИКОВ: Да, и безопасности в том числе. Ну, и, кроме того, мы начинали как раз с совсем автономных роботов, но это было, в частности, связано с проектом шагающего аппарата для Марса, для посылки на Марс. Это было давно. Мы достигли очень хороших результатов, но, к сожалению, работы эти прервались, значит, и дальше мы поняли, что, в общем-то, для Марса, где огромные запаздывания по времени, автономность является ключевым моментом. Для всех других вариантов возможно супервизорное управление, и участие человека, оно может тут не обязательно быть в форме… вот диктовать какие-то действия. Это совместная работа, когда что-то может сделать человек, что-то может сделать робот. И вот здесь, в этом взаимодействии, можно его строить так, чтобы не было фатальных для человека моментов, чтобы не причинить вреда. Но, опять-таки, частичная ответственность будет все равно лежать и на человеке, не только на роботе, от такого совместного применения.
А. НАРЫШКИН: Валентин Евгеньевич, последний вопрос вам задам. Как вы считаете, вот мы с Алексеем тут даже немножко поспорили, мне кажется. Роботы способны к самообучению? Они могут ли как бы совершенствовать свои познания? Ну, скажем, анализируя какую-то внешнюю среду. Или нет? Или только ограничиваются тем, что заложил создатель в эти машины?
В. ПРЯНИЧНИКОВ: Я понял, да. Ну, вы знаете, создатель задает в машину правила совершенствования самого робота. То есть, правила изменения его управления. В этом смысле такие роботы самосовершенствующиеся мы делали в последние, не знаю, 30 и более лет. Вот. Но вопрос, значит, насколько эффективен этот механизм и как его стоит строить. Если мы говорим о такой бездумной генерации гипотез, из которых потом по каким-то странными критериям отбирается лучшее, то это опасный путь, действительно здесь можно попасть в какие-то сложные ситуации и не получить эффективного управления. Если этот процесс синтеза правил новых направить… ну, опять-таки, вот я ратую за линию, так сказать, формализации естественного интеллекта. То есть, когда естественный интеллект участвует в создании такого робота, в создании его алгоритма, дальше здесь возникает вопрос уже программного обеспечения: как обеспечить взаимодействие этих правил, как из них отобрать то, что нужно. Значит, ну, и соответственно, преодолеть вот те же сетевые задержки. То есть, вот это вот вопросы создания такого софта, перспективного софта, самопроверяемого софта. Вот такие разработки, они ведутся достаточно широко в мире, здесь Россия является, в общем-то, одним из лидеров. Ну, и можно говорить о том, что, значит, наше отставание может быть где-то и есть, но оно есть в части, например, технологической какой-то, в части тиражей. Но вот если говорить, допустим, о беспилотных летательных аппаратах, вы говорили тут об израильских аппаратах…
А. СОЛОМИН: Да.
В. ПРЯНИЧНИКОВ: Они, например, применяют пропеллер в кольце. Значит, эти разработки были впервые применены для беспилотников фирмы Яковлева.
А. СОЛОМИН: Ага.
В. ПРЯНИЧНИКОВ: И затем попали уже в Израиль. Вот. Но, значит, сейчас они вернулись обратно в Россию. Но вот, так что, не все так безнадежно, как, мне кажется, может быть.
А. СОЛОМИН: Понятно. спасибо большое, Валентин Евгеньевич. Валентин Пряничников, завкафедрой сенсорных и управляющих систем МГТУ «Станкина», директор международной лаборатории «Сенсорика», доктор технических наук, был в нашем эфире. Я, перед тем как мы закончим, я хотел провести еще одно коротенькое голосование.
А. НАРЫШКИН: Давай сначала голосования итоги предыдущего подведем.
А. СОЛОМИН: Точно, извините, да, я совсем забыл о том, что… 56%, 57 почти процентов слушателей считают допустимым применение роботов на войне. И 43% считают, ни в коем случае недопустимо применение такой техники.
Ну, и коротенькое голосование сейчас. Роботы в будущем, роботы, которые мы используем в быту и в промышленности, в принципе, можно ли считать их… несут ли они в себе какую-то угрозу? Угрозу XXI, быть может, века. Если да – 660-06-64. Если нет – 660-06-65.
Несут ли роботы будущего, используемые человеком в быту, в промышленности, какую-то угрозу человечеству? Может быть, вы верите, что действительно может произойти какой-то масштабный коллапс, роботы выйдут из-под контроля, и начнется полноценное восстание машин, описанное в различных фантастических книгах или кинофильмах, то 660-06-64. Если вы не верите в это, все будет в порядке, и человек все равно будет контролировать все – 660-06-65.
А. НАРЫШКИН: Пару смс прочитаю. Человек нам пишет: «Не так страшен умный робот, как опасен свободолюбивый разум. Роботы-либералы – угроза цивилизации». Выполнив операцию… так… микроробот… так, что-то как-то у вас несерьезный настрой, вот судя по смскам. Мне на самом деле кажется, что не будет никакого восстания роботов. Это, конечно, странно говорить, проведя целый час в эфире, но мне кажется, это скорее фантастика, все-таки при подготовке этих систем роботов, беспилотных аппаратов, все настолько тщательно проверяется, что, возможно, какие-то сбои будут кратковременные, но все-таки человек будет держать это все под контролем.
А. СОЛОМИН: Ну, вот на такой позитивной ноте мы, наверное, закончим. Я только оглашу результаты голосования. 63% слушателей считают, что есть в этом определенная угроза, в роботах будущего. И 36% такой угрозы не видят.
Алексей Соломин, Алексей Нарышкин, программа «Сценарий XXI». Сегодня говорили о роботах будущего, об угрозе восстания машин в программе «Сценарий XXI» на «Эхе Москвы». Всего доброго.
А. НАРЫШКИН: До свидания.