Коллаборация с нейросетями: опыт создания комикса

Художник, иллюстратор и писатель Софья Мироедова этой осенью опубликовала на Rideró свой графический роман «Гипнопедия». Это один из первых комиксов, выполненных в соавторстве с нейросетями.

Мы поговорили с Софьей о том, какие есть преимущества и недостатки в использовании нейросетей для иллюстрации книг и написания текстов.

Вы — иллюстратор и владелец школы для иллюстраторов. Как вы пришли к идее написать книгу? Как вы узнали о Rideró и почему приняли решение выпустить книги здесь?

— Несмотря на то что основным моим делом по жизни является изобразительное искусство, с детства, помимо рисования, я любила придумывать истории. Так что и писать короткие рассказы начала лет с 14. Это было приятным хобби, и о публикации я задумалась лишь намного позже, около 25 лет, когда проиллюстрировала и издала небольшой тираж моих новелл самиздатом.

К написанию первого романа меня подтолкнула главная любовь — искусство. Он называется «Сегодня я рисую треугольник» и посвящен творческим исканиям и сложностям бизнеса в этой сфере. Это художественное произведение, хотя и звучит, как описание нонфикшена.

Тогда я задумалась о серьезном издательстве, однако мои поиски ни к чему не привели, и занятая основной работой, я решила в очередной раз обратиться к самиздату. Это был 2017 год и, исследовав рынок, я обнаружила сервисы онлайн публикаций.

Лучшим и чуть ли не единственным на тот момент, по мнению многих писателей, был именно Rideró. Так я и полюбила эту платформу и опубликовала там уже семь книг, включая романы, сборник рассказов и повесть в жанрах современной прозы и фантастики.

«Гипнопедия» стала первым графическим романом, который у меня получилось реализовать на сервисе благодаря его постоянному развитию и очень дружелюбному интерфейсу. Говорю, как от природы ленивый по части интеграции в новые интерфейсы человек.

Какой у вас опыт работы с нейросетями?

 — Как ни странно, начала работать с нейросетями я благодаря моей повести «Амузия». Закончив текст, я по традиции перешла к разработке иллюстраций. Я хотела открывать главы короткими интервью с главными героями, так появилась идея небольшого комикса.

Проиллюстрировав почти половину материала, я встретилась с Midjourney. Ее как занятную игрушку мне показал друг дизайнер. Я сгенерировала несколько картинок, и меня было уже не остановить. Результаты покорили меня, так что я отбросила все нарисованные для книги картинки и стала генерировать материал с помощью Midjourney.

Это был тестовый запуск, хотелось взглянуть, насколько интересным выйдет комикс. Нужно отметить, что в повести идет речь о неординарных способностях, которые внезапно открываются у героев и позволяют им воспринимать реальность шире: видеть удивительные цвета и образы, слышать потусторонние звуки. Поэтому графика, сгенерированная нейросетью, подошла идеально: размытые портреты призрачные фигуры и монументальные интерьеры пришлись к месту. Тест был признан мной успешным, и захотелось двигаться дальше.

Так я погрузилась в изучение алгоритма и интеграцию его в свою работу. Поскольку я иллюстратор, такой инструмент, на мой взгляд, — гигантский шаг в будущее моей профессии, он помогает делать массу эскизов, накидывает идеи и даже выдает практически законченные картинки.

• 

• 

• 

• 

• 

• 

• 

Расскажите подробнее про создание комикса «Гипнопедия». О чем эта история? Как вы разрабатывали концепцию иллюстраций, какие сложности были при работе с нейросетью Midjourney?

 — «Гипнопедия» — мой эксперимент коллаборации с нейросетями. Как фантаст, я являюсь большой поклонницей технологий и их проявлений в нашей жизни и работе. Поэтому, немного разобравшись с алгоритмом, я решила пуститься во все тяжкие.

Вместо того чтобы просто делать иллюстрации, мне захотелось создать графический роман, чтобы максимально подружиться с тем, как работает нейросеть. Я использовала Midjourney и ruGPT3. Последнее — это алгоритм по генерации текстов. Как правило, сейчас его используют копирайтеры и эсэмэмщики для ускорения своей работы. Настоящие художественные произведения сети пока не по плечу. Однако этого функционала мне хватило. GPT3 накидывала идеи и диалоги, а я объединяла их в истории снов, которые по сюжету хранятся в библиотеке сновидений, куда и приходит главный герой за вдохновением.

С Midjourney на этот раз я работала немного иначе: закидывала ей ранее сгенерированный GPT3 текст и выбирала лучшие результаты для последующего коллажа комикса.

Сложностей было целое море, я даже решила вести видеоблог о покорении нейросетей на своем канале YouTube.

Для работы я просила Midjourney генерировать картинки, близкие мне по графическому стилю, так что от пресловутого реализма я, конечно, отказалась. Здесь и начались проблемы: смазанные лица, нарушенная анатомия, сложности с изображениями животных и многофигурных композиций. Конечно, это меня не остановило. Я дала себе слово, что в этом проекте буду минимально касаться правками полученных результатов. Ведь графический роман посвящен сновидениям, а во сне мы зачастую видим нечетко лица, люди вокруг постоянно меняются, локации преобразуются, и сюжет скачет с одной темы на другую. Так что искаженное воображение GPT3 и Midjourney здесь сыграло мне на руку. Думаю, обо всей проделанной работе можно написать длиннющую статью, но я пока ограничилась видеорецептами.

• 

• 

• 

• 

Сравните иллюстрации, которые делаете вы и ваши ученики, и иллюстрации от Midjourney: чем они отличаются? Можете порекомендовать нейросеть для иллюстрации книг?

— Конечно, до идеала Midjourney еще далеко. Законченные самостоятельные иллюстрации получаются редко. Здесь как раз можно сравнить нейросеть с начинающим художником, которому еще нужно подтянуть анатомию, разобраться с пропорциями, отточить навык портретного рисования. Зато с композицией, гармонией цвета и перспективой у нее уже полный порядок.

Думаю, можно использовать картинки нейросети как основу для собственной иллюстрации. В целом сейчас реалистичные изображения уже стали отличным подспорьем в сфере геймдизайна и концептуальной архитектуры. А вот графические стили пока подтягиваются. Сейчас я как раз работаю над серией обложек классиков фантастики: генерирую их в Midjourney, коллажирую и дорисовываю вручную в Procreate. Материал мне очень нравится, буду двигаться дальше.

Уверена, после первой критичной и отрицательной реакции сообщества, нейросети прочно войдут в нашу работу.

Опишите процесс, как нейросеть ruGPT3 создавала текст для комикса.

— С ruGPT3 мне было работать не так комфортно, как с Midjourney — требуется слишком много правок. Вы даете сети небольшую «затравку», по которой она генерирует текст. Алгоритм работает на базе материалов, выложенных в интернете, а вы можете себе представить, какой тут бардак. Получаются довольно жесткие, мрачные и откровенные тексты без отточенной целостности и сюжетного центра. Да, отчасти все, как во сне, в страшном кошмаре.

Целиком не получилось реализовать ни один из сгенерированных текстов. Я брала какие-то части, но в основном идеи, которые действительно нейросеть выдает в избытке. Основной сюжет общения дизайнера снов и сети библиотеки я и вовсе решила написать сама.

Для смеха пример: я хотела сгенерировать веселую историю про школу. Вот, что выдала ruGPT3: «иду к метро. встречаю одноклассников. с которыми не общаюсь уже с первого класса. здороваюсь. узнаю, что Маша замуж вышла, я грущу, потому что хотела, чтобы у нее был муж такой же кретин, как и я, что у Пети сестра стала стриптизершей, а Настя сейчас живет в Питере, у нее есть магазин и зовут ее Кирой, а Дима остался с семьей, не женат, работает продавцом в метро. еще немного и мне спать. работаю в ювелирном магазине. клиенты нервные, грубые и я их люблю, потому как знаю, что они всегда уйдут, довольные и с золотом». Разумеется, такой текст не очень подходил под мою концепцию. Хотя, вероятно, кому-то подобные тексты могут подойти!

• 

---

Если вы заинтересовались темой, рекомендуем посмотреть видеоблог Софьи на Youtube. Там она делится полезными лайфхаками и рекомендациями для работы с Midjourney, подробно рассказывает обо всех сложностях и нюансах.