Нейросети научились сочинять симфонии, создавать графические шедевры и приступили к покорению последнего рубежа, начав имитировать общение живого человека в соцсетях. Исследователи из Самарского университета сделали ответный ход и первыми в мире усовершенствовали тест – давно устаревший! – Тьюринга: теперь можно вывести на чистую воду любого чат-бота! О подробностях этой научной работы и слабых местах и негативных сторонах (а имя им – легион!) современных нейросетей рассказал Андрей Сухов – доктор технических наук, профессор кафедры программных систем Самарского университета.
Как обычному пользователю понять, что в интернете он общается с ИИ, а не с живым человеком?
ИИ в интернете предполагает множество реализаций. Мы исследовали чат-боты наиболее известных больших языковых моделей (БЯМ) – это продвинутые реализации ИИ на сегодняшний момент. Наш подход опирается на определение возраста информации в БЯМ. Это время между последовательными изменениями данных. Чтобы модель могла общаться с пользователями, необходима специальная процедура – обучение. Перед обучением собирается вся доступная информация, причем из всевозможных источников, а уже в ходе обучения набор собранных данных специальным образом обрабатывается. Мы заметили, что формат ответа на запрос изменяется, если вопрос касается событий, которые не входили в обучающий набор, то есть произошли после момента обучения модели ИИ. Поэтому надо просто задать вопрос о последних актуальных событиях и посмотреть формат ответа. Если ответ содержит гиперссылки, то собеседником точно является искусственный интеллект.
Какие слабые места современного ИИ получилось обнаружить благодаря вашему исследованию?
У ИИ достаточно слабых мест. Во-первых, он не всегда дает правильные ответы. Например, DeepSeek слабо ориентируется в персональной информации. Можно спросить, например, о лучшем математике Самары и проверить по поисковой системе. Плохо у него и с математической культурой, и с данными о природных богатствах и многом другом. Если задать вопрос с идеологическим содержанием, то ответ будет зависеть от языка запроса, места, откуда запрос был задан и т.д. То есть ИИ подстраивается под ситуацию.
Насколько серьезной стала проблема повсеместного использования ИИ? К каким негативным последствиям это может привести в будущем?
Если проверять ответы ИИ с помощью поисковых систем, например, Google или «Яндекс», то это прекрасный инструмент, но надо критически относиться к ответам и проверять их. Пока абсолютной уверенности в правильности ответов нет. Неправильно также думать, что можно получить новые знания с помощью нейросетей.
Текст: Екатерина Узилова
Фото: Олеся Орина
Комментарии (0)