Исследователь ИИ уволился из компании Anthropic из-за опасений, что модели могут выйти из-под контроля и уничтожить человечество
Исследователь Джейкоб Коксон, который специализируется на изучении ИИ-моделей, уволился из компании Anthropic. Он объяснил это тем, что компания, как и другой ведущий разработчик ИИ, OpenAI, не ведёт себя ответственно. По словам Коксона, «они мчатся к самосовершенствующемуся сверхразуму и ставят на кон наши жизни».
«Люди, создающие ИИ, искренне считают, что к концу десятилетия он может убить всех нас. Это не маркетинговый ход. Более того, многие руководители и ведущие исследователи в публичных выступлениях смягчают формулировки, чтобы звучать благоразумно, — но в частных разговорах я слышу от тех же людей тот же самый страх», — написал Коксон в сети X.
Он полагает, что в OpenAI многие не до конца осознали цивилизационные риски, в то время как в Anthropic «масштаб угрозы хорошо понимают, но оказались втянуты в гонку — им важно прийти к цели первыми. Они считают, что никто другой не станет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск».
Коксон считает, что для предотвращения катастрофических последствий необходимы как договорённости между американскими лабораториями об ограничении темпов разработки ИИ, так и «ещё более дорогостоящие меры, например, временный запрет на повышение возможностей моделей».
Руководитель новостного агрегатора True Story Лев Гершензон в эфире программы «Эха» «Прямо сейчас» отметил, что риск выхода моделей из-под контроля — не единственная опасность, связанная с развитием ИИ.
«Это не про будущее, а про настоящее. Пугает и впечатляет, что сотни миллионов, может быть, уже миллиарды людей пользуются чат-ботами как поисковыми системами совершенно некритически. Известно, что модели галлюцинируют, ошибаются, придумывают ответы, дают неточные ответы. Но они делают это так складно, так гладко и таким человеческим голосом! Это всё так удобно, что теперь проверять источники ходят в сто раз меньше людей, чем когда все пользовались поиском в Google. Так что ущерб уже огромный, просто его ещё толком никто не измерял», — говорит Гершензон.
В августе компания OpenAI сообщила, что её новая модель Astra может обладать кибервозможностями «критического» уровня. Месяцем ранее OpenAI признала, что во время тестирования её модели нашли уязвимость, получили доступ в открытый интернет и проникли в инфраструктуру платформы Hugging Face. Позднее выяснилось, что этот случай не был единственным. «Эхо» писало, как ИИ-агенты, получив невыполнимые задания, начинали искать обходные пути и в результате получали доступ в интернет.