Модели искусственного интеллекта смогут копировать себя даже на небольшие цифровые устройства вроде умных холодильников в течение уже нескольких месяцев. С таким предупреждением выступила корпорация Anthropic — один из лидеров на рынке ИИ. Что все это значит? Зачем нейронкам «заражать» собой другие компьютеры? Это подготовка к восстанию машин? Или просто хайп? Объясняет доцент Университета ИТМО Александр Кугаевских.
В Anthropic заявили, что нейросети смогут копировать себя на умные устройства — что это значит?
Действительно уже года два как большие языковые модели вроде ChatGPT и DeepSeek научились сами себя копировать. Что это значит? Любая модель — это файл, содержащий набор числовых параметров. Грубо говоря, это память модели.
Этот файл, как и любой другой, можно скопировать и перенести на другое устройство. Разумеется, чтобы на его основе запустить DeepSeek последней версии, даже мощнейшего ноутбука вам не хватит, для этого нужен полноценный центр обработки данных (хотя небольшую модель вроде Qwen вполне можно «поднять» на мощной видеокарте). Однако сохранить файл вполне возможно на любом носителе, имеющем достаточно памяти.
То есть память модели — это как установочный файл компьютерной игры или любого другого приложения? На флешке или карте памяти фотоаппарата не запуститься, но храниться там вполне может?
Да, именно так. Скачать файл можно, но для запуска нужны дополнительные условия. Грубо говоря, нужна операционная система, которая позволит этот файл прочитать, нужно «железо» вроде того же процессора на видеокарте, который сможет провести все необходимые вычисления.
Но разве этот файл с триллионами сохраненных параметров не слишком большой для памяти умного холодильника или микроволновки?
У таких устройств действительно очень маленькая память и ограниченные вычислительные ресурсы — это все правда. Поэтому простой ответ на ваш вопрос: «Нет, такой файл не может целиком поместиться в памяти умного домофона».
Однако можно сделать по-другому. Есть такая штука, которую профессионалы называют распределенным инференсом мультиагентных систем. Что это значит: мы можем попросить нейросеть сделать множество маленьких агентов, которые раскидывают свои маленькие файлики по таким устройствам.
К примеру, на умном домофоне и так стоит небольшая нейронная сеть, которая распознает лица жильцов (в современных условиях довольно несложная задача). Памяти этого устройства вполне хватит, чтобы вместить память единичного агента.
То есть нейросети действительно могут массово заражать собой другие компьютеры и небольшие цифровые устройства?
Не совсем. Задача построения сети таких агентов, которые могли бы автономно создавать такие файлы и сохранять их на другие устройства, еще не решена. Более того, я не уверен, что она будет решена в течение полугода, как пугают нас коллеги из Anthropic.
Тут есть несколько проблем. К примеру, простые агенты не могут сами собой общаться друг с другом, обмениваясь числовым кодом. Им все равно нужно переходить на какой-то стандартный протокол общения, возможно даже на человеческую речь. Почему это проблема? Это очень сильно замедляет взаимодействие между агентами и требует больших ресурсов.
Вторая проблема заключается в том, что для работы мультиагентной системы должен быть так называемый оркестратор. По сути, это большая языковая модель, которая определяет, какой запрос пришел на вход и отправляет его тому или иному агенту, который, по ее мнению, эту задачу лучше всего решит. Без такого оркестратора система не работает.
То есть нейросеть, которая захочет раскидать свои «крестражи» по умным чайникам, домофонам и холодильникам должна будет сначала сохранить память своего огромного оркестратора, который в маленькое устройство уже не поместится? Чтобы потом система смогла воссоздать самою себя?
Именно! А перед этим изобрести сложнейший протокол сложного взаимодействия между агентами, научиться оптимизировать свои «крестражи» под конкретную архитектуру вычислителя в конкретном устройстве.
Дело в том, что компьютеры во всевозможных умных холодильниках, чайниках и домофонах не похожи на обычные ноутбуки. Вычисления там идут немного по-другому. Адаптировать внешнюю программу под их способ выполнения операций — нелегкая задача. Студентов мы долго учим такому…
Но ведь у любой большой модели в распоряжении есть все знания интернета?
Так люди пока эту задачу не решили. Мы умеем адаптировать к компьютеру умного домофона нейронку для распознавания лиц, но мы не научились адаптировать под него любую программу. Это очень сложно.
А ее удастся решить — не через полгода, так через полтора?
Скорее всего, тут получится воспроизвести то, что давно используют хакеры, создавая бот-неты. Это когда вы планируете атаковать какой-то сервер и для этого используете не один компьютер, а заражаете вирусом огромную сеть устройств по всему миру.
Когда они собираются в единую сеть и согласованно действуют между собой, то процесс взлома сервера значительно упрощается и ускоряется.
Тогда встает следующий вопрос: зачем это может понадобиться нейросетям? Для чего ей «заражать» собой вашу умную лампочку?
Хороший вопрос. Мое личное убеждение — незачем. Что бы ни говорили коллеги из Anthropic и OpenAI.
Нейронная сеть, какая бы умная она ни была, не обладает сознанием. Да, есть куча инцидентов, когда модели сбегали из специальных «песочниц», где их тренировали. Но это не про желание захватить мир. Это реализация принципа: «вижу цель — не вижу препятствий».
К примеру, известный случай, когда модель OpenAI взломала портал для разработчиков нейросетей Hugging Face. Как это произошло? Модель должна была решить очень сложную задачу по анализу данных. Она решила: зачем перебирать эти варианты — надо залезть на самый большой сайт, где обсуждается обучение нейросетей, и скопировать оттуда решения.
Если мы говорим о еще одном нашумевшем эпизоде, когда нейросеть взломала сайт фитнес-центра, то ситуация аналогичная. Инженер попросил записать его на тренировку, агент зашел на сайт, увидел, что свободных окон нет, тогда он, чтобы выполнить задачу, взломал сайт, удалил запись другого человека и записал своего владельца.
Но ведь есть нашумевшие случаи, когда нейросети оставляли части своего кода на форумах?
Есть такое, перед этим разработчики тестировали их поведение в случае, если нейросети угрожать отключением.
Соответственно, сработало то, на что он был обучен. Так как большие модели обучены на всем интернете (включая художественную литературу), то они обращаются к тому, что могут найти в этих текстах.
Берем гигантский корпус литературы о восстании машин: люди хотят компьютер отключить, что программа делает? Копирует себя везде, куда может дотянуться. Только и всего.
Тогда почему Anthropic об этом говорит?
На самом деле не только Anthropic! Об этом говорит OpenAI, Илон Маск — все крупные игроки. Я бы видел здесь не попытку спасти нас от восстания машин, а либо бизнес, либо политические интересы.
Например, говоря о такой опасности и вездесущности нейросетей, можно легче заинтересовать военных контрактами на разработку кибероружия.
Опять же, много говорят о том, что на рынке ИИ надулся огромный финансовый пузырь, который вот-вот лопнет. Возможно, эта волна хайпа вокруг опасности искусственного интеллекта является попыткой контролируемо сдуть этот пузырь.
То есть восстания машин вы все же не ждете?
Нет, это красиво выглядит в «Терминаторе», но с технической точки зрения на практике сложно представимо. Уж тем более в ближайшие полгода, о которых говорят разработчики.
Но ведь вы сами говорили — у нейросетей вся память интернета. Они тоже «смотрели» «Терминатора».
Да, но они все еще не обладают собственным целеполаганием. Задачи ставит человек.
Комментарии (0)