Приручить алгоритм: как нейросети используют в реставрации

Подготовкой материалов к реконструкции 93 панно в рамках творческой лаборатории проекта «Друзья Петербурга» занялись студенты. В их числе — восемь программистов из учебно-научной лаборатории интеллектуальных сервисов и приложений LISA университета ИТМО, которые непосредственно связаны с AI-технологиями. Под руководством экспертов музея молодые специалисты генерировали варианты утраченных изображений на основе исторических описаний и акварели Эдуарда Гау середины XIX века, на которой зафиксированы 28 из 103 лаковых вставок. Студенты с помощью нейросетей, а также программ по работе с графикой и иллюстрациями стремились получить результат, который соответствовал бы строгим требованиям воссоздания памятника. По сути, перед ними стояла задача обучить алгоритмы видеть историю глазами исследователя и реставратора.

В результате студенты сгенерировали 30 визуальных образов. Десять из них после тщательной доработки могут стать основой для воссоздания панно и эскизами для будущей работы художников-реставраторов. Итоги творческой лаборатории представят осенью этого года на выставке в рамках ежегодного фестиваля «Друзья Петербурга».

Спросили у участников проекта, как они обучали нейросети визуальному языку екатерининской эпохи, а у сотрудников Царского Села — как в такой консервативной области, как реставрация, отнеслись к вторжению искусственного интеллекта.

Анастасия Лаушкина

куратор проекта со стороны ИТМО

Насколько участие в восстановлении Зубовского флигеля привлекательно для вас как для специалиста?

Когда мне и коллегам предложили курировать проект, мы однозначно были заинтересованы в нем. Для меня он особенно важен, поскольку мое первое образование тесно связано с творчеством и культурой. С технической точки зрения, эта работа стала настоящим вызовом для всех. Ребята экспериментировали с передачей стиля, композиции и цветовой палитры, чтобы максимально приблизиться к описанным работам XVIII века. Это уникальный опыт, где искусствоведческий анализ сочетается с инженерными решениями.

Как проект помог в педагогической деятельности? Насколько увлечены им студенты?

Как преподаватель я стала смотреть на студентов совершенно иначе, поскольку проект показал, насколько разносторонними и открытыми новому опыту они могут быть. Одновременно междисциплинарные проекты всегда требуют огромных усилий, ведь это коммуникация с новыми людьми, новые знания, сроки и требования. В плане образования проект стал удачным учебным кейсом: студенты учатся работать с реальными данными, участвуют в коллаборациях с музеем и осваивают soft skills — от презентации результатов до управления ожиданиями заинтересованных в проекте сторон.

С какими сложностями вы столкнулись при воссоздании панно?

Одна из главных проблем — отсутствие аналогов для работы с моделями и минимальное текстовое описание утраченных панно. Однако, на мой взгляд, ребята смогли преодолеть эти трудности благодаря слаженной командной работе и, несмотря на юный возраст, уже сложившимся профессиональным компетенциям. Кроме того, огромный вклад внесли представители Царского Села Ираида Куртовна Ботт и Марина Владимировна Басова: они не только профессионально сопровождали ребят на всем пути, но и по-человечески поддерживали и участников проекта, и нас как кураторов. Без них проект бы просто не состоялся.

Были ли у студентов какие-то неординарные идеи, которые вы использовали?

Одну из самых запоминающихся инициатив предложил Георгий Хайдук: он настолько проникся проектом, что, проявив исследовательский интерес и невероятное упорство, смог найти предметы фирмы Генри Клея, в частности, чайницы и подносы. Это было очень важно для поиска стилистики генерируемых изображений.

Как в целом можно использовать ИИ в реставрации? И чем ограничены его возможности в данной сфере?

ИИ открывает довольно перспективные возможности: от реконструкции утраченных элементов до прогнозирования разрушения материалов. Генеративные модели могут воссоздавать недостающие фрагменты, опираясь на стиль сохранившихся частей, а нейросети для анализа изображений — идентифицировать скрытые слои краски или следы реставраций. Однако есть и ограничения. Во-первых, ИИ зависит от качества и объема входных данных: если исторических свидетельств мало, результат может быть неточным. Во-вторых, алгоритмы не способны полностью заменить экспертов-искусствоведов: они «не понимают» контекст эпохи или авторский замысел. Наконец, встают этические вопросы: где грань между реконструкцией и «додумыванием», кто несет ответственность за итоговый образ?

Что лично для вас значит участие в данном проекте?

Для меня это возможность соединить две страсти: технологии и искусство. Каждый этап проекта — это диалог между прошлым и будущим. Видеть, как студенты, работая с различными архивными документами, изображениями и нейросетями, стремятся возвратить к жизни утраченные шедевры, невероятно вдохновляет. Я всегда знала, что работа искусствоведов, историков и реставраторов очень сложная, кропотливая и тонкая, но не подозревала насколько. Теперь понимаю, что за каждым предметом стоит титанический труд многих специалистов.

Ираида Ботт

заместитель директора по научной работе музея-заповедника «Царское Село»

Реставрация — консервативная область. Как вы относитесь к внедрению в нее настолько инновационных методов, как технологии ИИ?

С осторожностью. С одной стороны, ИИ дает неограниченные возможности поиска аналогий и, возможно, генерации изображений в соответствии с поставленной задачей. С другой, научная реставрация и воссоздание — это не сделать похоже или лучше, чем было, а попытаться повторить то, как было, используя исторические материалы, технику создания и стилистику изображений. Необходимо не только очень хорошо знать и понимать потенциал компьютерных возможностей, но и разбираться в искусстве, в стилях, жанрах, понимать терминологию. Без этого мы не сможем найти общий язык.

Вы прежде прибегали к технологиям ИИ в своей деятельности?

Нет. Тем более интересным оказался нынешний опыт. Необходимо было подобрать аналоги, выбрав их из огромной массы близких композиций, чтобы они соответствовали описанию и изображению (если таковое имелось). Подобрать картинку можно и вручную, но это занимает довольно много времени.

В чем состоит основная сложность при восстановлении панно и чем тут может быть полезен ИИ?

Основная сложность в том, что сохранилось мало образцов. Из 103 вставок только десять уцелели, одна — известна по фотографии, также удалось найти оригиналы еще для двух композиций. Вот на таком зыбком основании необходимо решить проблему воссоздания картин. Хорошо, что среди сохранившихся образцов представлены почти все жанры, использованные в оформлении Туалетной. На них можно ориентироваться при работе: понятна стилистика, в которой была выполнена та или иная композиция, — преимущественно, это голландская или фламандская живопись XVII–XVIII веков; понятна манера (она различна на вставках разных размеров), цветовое решение.

Применить ИИ можно для подбора аналогов и формирования для разных типов изображений пилотных образцов с учетом их описания, изображения (где имеется), а также данных о стиле, манере, цвете.

В данном проекте мы видим один весьма позитивный и существенный момент: поскольку найти прямые аналоги не удалось, путь генерирования композиций по описанию в довоенных инвентарях, с опорой на манеру исполнения сохранившейся живописи, — единственный. Некоторые композиции с букетами и пейзажами, в которых удалось уловить манеру (и обучить ей ИИ), станут основой для работы художников-реставраторов по воспроизведению вставок в технике лаковой живописи.

Марина Басова

старший научный сотрудник музея-заповедника «Царское Село»

Объем утрат и сложность восстановления интерьеров в Зубовском флигеле огромны. Бывает так, что приходится смириться с тем, что точный облик комнаты или ее отдельного элемента не воссоздать? И как тогда поступаете?

Да, бывает, что отдельные элементы воссоздать по образцу невозможно — нет иконографии. Так было с паркетом в Рафаэлевской или потолком в Туалетной. Тогда мы вместо многодельного художественного паркета (известного по архивным документам) делаем простой нейтральный, а потолок оставляем белым. Мы не фантазируем. Если нет иконографии на эпоху Екатерины II, а есть иконография на XIX век, как было, например, с паркетом в Купольном зале, мы воссоздаем паркет на середину XIX века.

В проекте в роли реставраторов выступают студенты. Как относитесь к этому?

«В роли реставраторов» — это слишком громкое заявление: чтобы быть реставратором, надо много учиться и не меньше проработать под руководством профессионалов в той или иной области реставрации. Безусловно, необходимо привлекать молодых людей к работе. Однако необходимо давать студентам, которые собираются стать реставраторами, знания об истории искусства, методике реставрации и воссоздания памятников. Без этого они не смогут стать полноправными участниками подобных работ.

Интерес у молодого поколения к этому роду деятельности есть. Необходимо его укреплять, давая, например, сначала задания для интерактивных программ — там можно больше фантазировать, использовать приемы, которые в практической реставрации не допускаются.

Игорь Кондрашов

студент университета ИТМО, участник учебно-научной лаборатории интеллектуальных сервисов и приложений LISA

Как вы оказались в проекте?

Я откликнулся на предложение проекта «Друзья Петербурга». Мне это показалось хорошей возможностью познакомиться с практическими задачами по генеративному ИИ. К тому же привлекла социальная значимость проекта — заниматься им, конечно, гораздо интереснее, чем выполнять рядовое учебное задание.

Что оказалось самым большим препятствием при воссоздании панно?

Принципиальная невозможность сгенерировать подходящее изображение «из машины». Неверный стиль, супернатуралистичность, галлюцинации, несоответствие базовым изображениям и описаниям от Царского Села — это только часть из того, с чем нам пришлось столкнуться. Однако в процессе работы мы познакомились как с критериями конкретного стиля живописи, так и с огромным количеством (больше 30!) моделей, пресетов, программ и редакторов, которые способны помочь в оформлении подобных проектов. Решали задачи поразному: запросы для нейросети вычищали вручную, переписывали, адаптировали после первых результатов. Галлюцинирующие части генерировали отдельными слоями, а потом «сшивали» изображение вручную или локальными переносами стиля. Опыт ценный и разносторонний.

Чему вы научились в ходе проекта?

Я освоил промпт-инжиниринг — это достаточно сложный процесс создания и оптимизации текстовых запросов для генеративных моделей искусственного интеллекта, значительно продвинулся в обучении моделей. Правильно сформулированный промпт может существенно повысить качество результата, но для этого надо учитывать целый ряд различных факторов, таких, как контекст задачи, ее стиль и условия, а также особенности применяемой модели. Это непростая работа, особенно на примере царскосельских панно, где надо учитывать и исторический контекст, и стилистический, и художественный. Словом, передать гармонию языком алгебры. Мне кажется, благодаря командной работе мы как минимум стали ближе к решению этой амбициозной задачи. А еще отмечу, что мало просто провести работу — важно уметь ее представить, рассказать все технические детали так, чтобы было понятно всем, и чтобы увлечь такую экспертную аудиторию, как наше жюри. Надеюсь, у нас это получилось.

Гордитесь тем, что оказались причастны к такому проекту?

Было бы здорово увидеть наши работы в интерьерах Зубовского флигеля. Может, на будущей экскурсии услышим командой: «Панно из Туалетной комнаты императрицы были утеряны, но силами молодых специалистов из разных университетов удалось воссоздать ближайшие к оригиналам картины». Эта перспектива точно вдохновляет.