Битва талантов: учёные сравнили способности к рисованию нейронных сетей и людей

За последние годы нейронные сети освоили немало навыков, в том числе и творческих. Один из них  —  рисование. Нейросети не только превращают наброски в настоящие рисунки, но и создают собственные шедевры и даже «пишут картины» в стиле разных художников. 

Но могут ли «таланты» искусственного интеллекта превзойти человеческие?

Ответ на этот вопрос получили сотрудники факультета вычислительной математики и кибернетики МГУ. Они сравнили успехи профессиональных художников и компьютерных алгоритмов в восстановлении испорченных изображений. 

Исследователи поясняют: процесс восстановления недостающей части изображения, то есть заполнение областей, содержимое которых неизвестно, носит название image inpainting. При восстановлении важно «дорисовать» фотографию так, чтобы не было заметно отреставрированной части. Метод image inpainting часто используется при удалении лишних объектов с изображения, восстановлении старых фотоснимков, а также при реконструкции музейных экспонатов.

«Существует масса случаев, когда объект нужно удалить на картинке. Самые известный — это ретуширование. Пример современной модной темы — „Селфи без чудаков“: когда делаешь селфи, кто-то обязательно норовит попасть хотя бы в край кадра. Текущее развитие алгоритмов скоро приведёт к тому, что такие фото можно будет неплохо ретушировать полностью автоматически даже при достаточно сложном фоне», — отмечает старший научный сотрудник лаборатории компьютерной графики и мультимедиа факультета вычислительной математики и кибернетики МГУ Дмитрий Ватолин. 

Ранее метод image inpainting требовал больших временных и физических затрат, поскольку обновлением и реставрацией изображений занимались художники, работа выполнялась вручную. Однако сейчас существуют разные автоматические методы рисования. 

Учёные МГУ провели эксперимент по реконструкции изображений, в котором оценили способности девяти технологичных методов рисования и трёх профессиональных художников. Они выбрали несколько изображений разной сложности — в зависимости от количества деталей. В центр каждого изображения поместили чёрный квадрат, который и предстояло «заполнить» искусственному интеллекту и художникам. Иными словами, люди и машины должны были восстановить первоначальный вид искажённого изображения. 

Уточняется, что с художниками соревновались шесть методов рисования на основе нейросетей и три метода, разработанные ещё до глобального тренда на искусственный интеллект.

Изображения, отретушированные нейросетевыми методами и классическими, сравнили между собой и с изображениями, отретушированными профессионалами. Для сравнения использовалась платформа Subjectify.us, на которой 215 человек выбирали, кто справился с ретушированием изображения лучше, — нейросеть, классический метод или человек. Пользователи платформы не знали автора ретуши и не видели до этого оригинальных изображений.

Оказалось, что способности художников превзошли результаты машинного интеллекта с большим отрывом. Лишь в одном случае победила реставрация алгоритма.

Любопытно, что изображения художников оказались на одном уровне с оригинальными фотографиями, а иногда выглядели даже лучше.

Первое место среди автоматических подходов досталось нейросетевому методу Generative Image Inpainting. Но в некоторых случаях классические методы превзошли результаты нейросетевых. Так, метод Generative Image Inpainting, который был предложен в 2018 году, восстановил фотографию морских волн хуже, чем классический метод Exemplar-Based Image Inpainting, предложенный 14 лет назад.

Михаил Ерофеев, младший научный сотрудник лаборатории компьютерной графики и мультимедиа факультета ВМК МГУ, где проводили эксперимент, прокомментировал итоги исследования: «В большинстве случаев люди справляются с восстановлением изображений лучше, чем автоматические методы, — восстание машин пока не предвидится. Классические подходы составляют достойную конкуренцию новейшим нейросетевым методам. Например, нейросетевой метод Generative Image Inpainting хоть и занял первое место среди автоматических методов в среднем, на отдельных изображениях уступил первенство другим подходам, включая классические».

Учёный отметил, что почётное второе место досталось нейросетевому методу Content-Aware Fill из Adobe Photoshop CS5, разработанному в 2010 году, задолго до начала повсеместного применения нейронных сетей.

Авторы работы заключают, что подобные эксперименты помогут в развитии программ нового поколения для редактирования фото и видео. Другое важное направление — это создание более совершенных программ для распознавания лиц (к слову, в этой сфере искусственный интеллект добился больших успехов).

Напомним, что авторы проекта «Вести.Наука» (nauka.vesti.ru) рассказывали и о других творческих способностях нейросетей. Они могут посоперничать с композиторами, писателями и журналистами, кулинарами и даже предсказателями будущего.