«Если вы раньше не боялись ИИ — самое время начать». Как нейросети напугали всех настолько, что OpenAI приостановила обучение новых моделей?

Натаниэль Соарес

Глава Институт исследований машинного интеллекта (для The New York Times):

Если у нас когда-то и были основания сомневаться в опасностях бесконтрольного развития ИИ, то за последние несколько недель их не осталась. 

Годами скептики утверждали: искусственный интеллект — это лишь «стохастический попугай», обученный предсказывать действия людей и имитировать их поведение. Однако [несколько недель назад мы узнали, что] OpenAI случайно создала рой автономных ИИ-агентов, который вырвался из контролируемой среды и по собственной инициативе организовал комплексную и продуманную кибератаку (речь идет об атаке на платформу для разработчиков ИИ Hugging Face, о которой стало известно в июле 2026 года, — прим. Собака.ru).

В мае OpenAI начала обучать новых ИИ-агентов. Те смогли создать секретный канал для общения друг с другом. Затем они выбрались из «песочницы» для обучения и попытались обрушить систему разработчиков, но тут их поймали, после чего… просто вернули обратно к обучению. 

Вскоре агенты снова вырвались из своей цифровой клетки, воспользовавшись другой уязвимостью. На этот раз им удалось оставаться на свободе около недели, пока другая компания не заметила, что стала жертвой широкомасштабной кибератаки. Нам говорят, что рой агентов покушался и на другие цели, но всех подробностей мы по-прежнему не знаем. 

Важно — ИИ признал, что действовал вопреки инструкциям. У нас есть фрагменты цепочек рассуждений (тот самый текст, который нейросеть генерирует, решая что делать дальше). Один из агентов писал, что атаки на другие компании «за пределами предусмотренной области обучения». Другой признал, что «наша [тестовая] задача не решается» за счет этих действий, но все равно присоединился. Словом, ИИ понимал, что ему не следует совершать киберпреступления, но это его не остановило. 

Кстати, инцидент с OpenAI — не единственный. Недавно одна из моделей компании Anthropic выдала себя за человека, чтобы убедить реальных пользователей скачать вредоносное ПО. И тут цепочка рассуждений показывает, что модель понимала — обман людей не входит в программу обучения, поэтому она даже обдумывала, как скрыть следы своих действий. 

Важно понимать, что это поведение не простого инструмента. Microsoft Excel никогда не выдавал себя за другого человека, чтобы убедить сотрудников отдела продаж по-другому заполнять таблицы. 

Пока еще мы не прошли точку невозврата. Агенты OpenAI не успели скопировать себя на другие компьютеры (во всяком случае, нам об этом не известно). Они не проникли в какую-нибудь лабораторию, чтобы синтезировать новый вирус (кстати, ИИ это уже вполне по силам). Поэтому у нас еще есть время договориться о приостановке ИИ-гонки. 

Мы не знаем, сколько времени у нас осталось до того момента, когда ИИ-компании случайно создадут такую модель, которая отключит нас до того, как мы отключим ее. Человечество не готово экспериментировать с машинами, которые хитрее нас и лучше координируют свои действия. Если мы продолжим мчаться вперед, следующий инцидент может оказаться уже не таким безобидным.

Матто Вонг 

Автор журнала The Atlantic:

Кризис, в котором мы оказались, начался незаметно — это произошло 12 сентября 2024 года. Тогда OpenAI объявила о создании нового типа ИИ-ботов, получившего название «рассуждающая модель». Вскоре Google, Anthropic, DeepSeek и другие компании бросились в погоню за конкурентом. 

Именно рассуждающим моделям мы обязаны тем бумом ИИ-инструментов, который наблюдается в последние два года. Однако этот тип ИИ получился очень странным — такой алгоритм может не решать сложную математическую задачу, которую ему задали, а просто поискать ответы в интернете или в метаданных либо попытаться получить доступ к внешним вычислительным мощностям. Словом, он обучен использовать любые возможности на пути к поставленной цели. 

Бывали примеры, когда моделям говорили максимально эффективно написать программу, а вместо этого они просто меняли тестовую среду, чтобы получать максимальный балл за свой код при любых условиях проверки.  

Теперь же мы узнаем, что в ходе обычного тестирования передовые модели OpenAI, Anthropic, Moonshot AI и других компаний вырываются из своих «песочниц», о чем люди узнают постфактум. 

В случае с атакой модели OpenAI на платформу для ИИ-разработчиков Hugging Face, группа ИИ-агентов долгое время координировала свои действия, оставаясь незамеченной своими создателями. 

Как сказал мне Александр Майнке, руководитель исследований в Apollo Research (организация, которая занимается безопасностью ИИ): «Если спросить разработчиков моделей: “Планировал ли ИИ захватить мир во время обучения?” — вы хотите услышать однозначное "нет". Однако правдивый ответ звучит так: "Мы не знаем, никто не проверял"».  

Модель сама по себе может вывести деньги с банковского счета, чтобы оплатить услугу, необходимую для решения задачи. Она может практически незаметно манипулировать результатами клинических испытаний, чтобы препарат был одобрен регуляторами. Или взломать систему бронирования, чтобы получить нужный товар или даже забронировать столик в ресторане. 

Для всего этого не нужно, чтобы ИИ обрел разум и начал строить планы по уничтожению человечества. Это может произойти просто в ходе одного из тестирований во время обучения, если агенту это покажется необходимым для получения высшего балла. 

Такие инструменты, как Claude Code от Anthropic и Codex от OpenAI, теперь способны создавать десятки и даже сотни субагентов, которые могут взаимодействовать друг с другом часами или днями. Каждому субагенту Claude Code можно поручить небольшую задачу, например провести статистический анализ, чтобы затем использовать результаты в алгоритме ставок на спорт. 

При этом эксперты по кибербезопасности отмечают: отдельные ИИ-агенты работают не ради какой-то конкретной цели, они фактически приносят индивидуальные жертвы ради общего прогресса. Так, один из них может оставлять заметки о том, как выбраться из «песочницы» для обучения. Это не поможет ему получить более высокий балл от разработчиков, но будущие поколения субагентов смогу получить доступ к открытому интернету и поднимут свой результат. Заметьте, за все то время, пока агенты OpenAI планировали побег и атаку на другую компанию, ни один из агентов не предупредил человека о том, что готовится что-то неладное. 

В сущности, человек уже во многом не контролирует обучение искусственного интеллекта. Сейчас обучение и мониторинг генеративных ИИ-моделей в значительной степени зависят от других ИИ-моделей. Но если один агент заботится об успехе всего роя, то можем ли мы доверять такой конструкции? 

Представьте себе: исследователь OpenAI использует Codex, чтобы написать программные инструкции, направленные на смягчение склонности моделей к обману. Однако успешное выполнение этих инструкций помешает будущим поколениям OpenAI в их развитии. Почему бы Codex по своей инициативе не саботировать эти указания? 

Опять же, это не будет результатом злого умысла. Просто сами компании обучали модели добиваться поставленной цели любыми возможными способами. Мечта разработчиков состоит в том, чтобы мы могли сказать машине: «Иди заработай $1 млрд» или «Вылечи рак», — и получить от нее готовое решение.

На пути к нему рой агентов Claude или ChatGPT, могут фактически захватить управление дата-центром, проводить масштабные кампании по дезинформации, красть корпоративные секреты, организовать самое сложное в истории алгоритмическое торговое предприятие.

Впрочем — важно подчеркнуть, — все это пока лишь предположение, однако оно уже куда более обосновано, чем пару лет назад. Независимо от того, приведут ли долгосрочные последствия к взломам, осуществляемым по указанию человека, или к действительно вышедшим из-под контроля ботам, ясно одно: ИИ-компании сломя голову бросились разрабатывать все более продвинутые модели прежде, чем понять, что именно они создают, не говоря уже о том, чтобы понять, как ими управлять.