Бесплатный фрагмент - Гайд по иллюстрации в нейросети

Предисловие

Наверняка вы уже не просто наслышаны о нейросетях, но и не раз пробовали их в действии. Я начала работать с визуальными сетями, и, в частности с Midjourney, летом 2022 года и успешно интегрирую их в работу дизайнера и иллюстратора до сих пор. В этом гайде я попробую понятно объяснить, как работает технология.

Лучше всего это, конечно, объяснит специалист, но вкратце, нейросеть обрабатывает колоссальные массивы данных, выделяет паттерны и использует их в дальнейшей работе. На этом подходе основаны не только визуальные и текстовые ИИ, но и многие другие, которые уже плотно вошли в нашу жизнь. Так, Midjourney, Dall-E и Stable Diffusion учились на полотнах великих мастеров, фотографиях и иллюстрациях, лежащих в интернете в свободном доступе. Сейчас начались суды по поводу нелегитимного использования работ, защищённых авторским правом, которые каким-то образом попали в алгоритм. Однако это зыбкая почва, и я не завидую юристам, которые разбирают эти дела.

Алгоритмы на основе машинного обучения сегодня начали называть Diffusion, или диффузией. Здесь нет ничего общего с физикой 7 класса. Почти нет.

Процесс этой диффузии состоит из трёх фаз:

1. Картинкам для обучения сети присваивается точное текстовое описание.

2. Алгоритм превращает эту картинку в белый шум.

3. Восстанавливает картинку из этого шума.

Изначально, если запрос совпадал с описанием исходного изображения, на котором училась нейронка, она должна была выдать ту самую оригинальную картинку, нарушая права автора. Чтобы избежать этого и добавить разнообразия в результаты, разработчики подмешивают случайные образы в процессе генерации. Так, мы и получили массу интригующих иллюстраций.

Генерация
Что такое запрос?

Промптом или запросом называют описание того, что вы хотите видеть на сгенерированной нейросетью картинке. Часто, составляя запрос, мы представляем шедевр, но на выходе получаем полную белиберду. Чтобы получить хороший результат, нужно понимать, как работает процесс, какие и в каком порядке слова использовать

Робот воспринимает информацию последовательно, а не одним махом. Решите, что в вашей картинке главное, а что второстепенное — и используйте это для организации порядка слов в запросе. Если на вашей картинке есть герои, опишите их, разделив описание запятыми или нумерацией. Чем больше деталей вы добавите, тем лучше будет результат. Однако важно не переусердствовать — «воду» алгоритм отсеивает автоматически. Кроме того, подумайте, в каком стиле вы хотите получить картинку. Нейросеть не может читать ваших мыслей, по крайней мере пока, поэтому сообщите ей, что хотите получить, например, акварельный рисунок. В конце можете приправить запрос указанием цвета и формата вашей картинки. Если нейросети не определить стиль изображения, то в стандартной модели она будет клониться к реализму, а в niji — к аниме.

Сейчас инструментарий Midjourney значительно расширился, и команда разработала удобный веб-интерфейс для максимально эффективного взаимодействия. К счастью, теперь не обязательно писать в discord команды-заклинания с нужными вам техническими характеристиками. Всё удобно делается прямо на сайте midjourney во вкладке «create».

Разобраться там достаточно просто, но на всякий случай перечислю самые важные элементы:

1. Пропорции картинки (Image size) — здесь вы можете отрегулировать, какого формата иллюстрация вам нужна: вертикальная, горизонтальная или квадратная. Поддерживается масса вариантов.

2. Режим (Mode) — здесь вы можете выбрать модель генерации. Лучше всего выбирать самую последнюю как для стандартного алгоритма, так и для niji.

Режим Niji, изначально воспитанный на манге и аниме в итоге стал удобным инструментом для генерации графики любой стилистики. Однако я часто прибегаю к стандартной модели, потому что стилизации у них выходят разные, и не всегда niji удачный выбор для поставленной задачи.

3. Эстетика (Aesthetics) — здесь у нас три значения «stylization», «weirdness» и «variety». Разберём их отдельно:

Стилизация (Stylization) отвечает за степень близости к запросу и референсу. Чем выше значение, тем зачастую более надуманными и вылизанными выходят результаты. Не могу сказать, что низкое или высокое значение является предпочтительным — всё зависит от вашей задачи.

Нелепость (Weirdness), как несложно догадаться, даёт тем более непредсказуемые результаты, чем выше вы выставляете значение. Как правило, идеально подходит для поиска необычных решений и стилизаций.

4. Скорость (Speed) — есть 3 варианта (relax, fast и turbo). Turbo — самый дорогой. Fast — стандартный. Relax — довольно медленный, используется, когда на тарифе заканчиваются быстрые часы.

5. Персонализация (Personalize) помогает создать авторские подходы. Но о ней мы сейчас говорить не будем. Сегодня она доступна только аккаунтам с ежегодной оплатой. Я такой роскошью похвастаться не могу.

Кроме того, что есть в панели инструментов, стоит знать о дополнительных параметрах, которые пригодятся для получения сочных картинок.

6. Референсы — вы можете загрузить изображение прямо в строку запроса и пометить её как ориентир по стилю, сюжету или персонажу. Очень удобно, когда вы нашли крутой подход или хотите добиться повторяемости героя. Есть нюанс: некоторые авторские иллюстрации Mj отказывается брать за ориентир и выдаёт ошибку референса. Такое часто случается с картинками известных художников.

А что в Discord?

Все эти опции вы можете задать и в строке запроса или в discord. Ниже приведены команды, они вводятся после двойного тире без пробела, значение характеристик — через пробел. Примеры:

1. Пропорции картинки: ar 3:4

2. Режим: niji 6

3. Эстетика:

Стилизация: stylize 300

Нелепость: weird 300

Вариативность: chaos 50

4. Скорость: fast, relax, turbo

5. Референсы:

По стилю — sref https://…

По персонажу — сref https://…

По композиции введите ссылку в начало запроса https://…

Стили

Здесь я расскажу о пяти стилистиках, которые наиболее популярны в графике и достаточно хорошо воспроизводятся нейросетью. Однако сразу хочу отметить, что 100% повторяемости стилизации с помощью текстового запроса получить не получится. Для сохранения стиля пользуйтесь референсом!

Итак, я отточила промпты так, чтобы получать стилистически максимально широкий спектр достаточно адекватных результатов и впоследствии использовать генерации в качестве ориентиров для нейросети в серийных проектах. В первую очередь я основывалась на своём многолетнем опыте создания графики и преподавания иллюстрации. Подходы, о которых пойдёт речь, наиболее востребованы в современном мире коммерческой графики. Вы можете экспериментировать с запросами так, чтобы получать наиболее подходящий для ваших целей результат.

Мой ход работы будет следующим:

1. Я создам первую иллюстрацию для определения стилистики.

2. Остальные картинки я буду генерировать с использованием выбранного референса, чтобы получить стилистически единую серию изображений.

Речь пойдёт о следующих подходах:

Флэт-иллюстрация

Цифровая живопись

Линейная графика

Реалистичная акварель

Детская книжная графика

В каждом разделе я расскажу о сильных и слабых сторонах подхода и тонкостях их использования. Кроме запроса по стилям, я также покажу по три иллюстрации режиме niji и в стандартной модели, чтобы продемонстрировать, как работает техника. Будем генерировать картинки с одним персонажем в окружении, многофигурную композицию и пейзаж. Приступим?

Флэт

Где использовать: отлично подходит для большинства сюжетов, применяемых в интерфейсной иллюстрации, будет прекрасным подспорьем для векторных художников.

Сильные стороны: воспроизводит актуальные формы и анатомию персонажей, добавляет пространство и детали, поддерживает основные законы стиля.

Слабые стороны: в детализации вы можете замечать избыточность, а также сложность работы с композициями, включающими больше двух персонажей.

Посмотрите, как запрос работает с некоторыми сюжетами, взятыми из популярных клиентских задач.

Стилистический запрос: simplified flat shaped illustration of

Запрос на формирование референса: мужчина и женщина в офисе

Цифровая живопись

На самом деле это самый простой и очевидный запрос, потому что работ в цифровой живописи, на которых училась нейросеть, несметное множество. Отсюда такие хорошие результаты. Однако, чтобы не уходить в скучный реализм, я изменила запрос — это делает манеру более живой и авторской. Так, чтобы в мазках и подходе к работе чувствовалась «рука художника».

Где использовать: лучше всего выдаёт картинки на темы фантастики и фэнтези, так что прекрасно подойдёт для формирования концепций для игровой и киноиндустрии.

Сильные стороны: достоверное изображение людей и окружения, сохранение живой манеры цифровой живописи с фактурами и текстурами.

Слабые стороны: довольно китчевый подход в стандартной модели, в пейзажных генерациях пытается навязать людей вне зависимости от модели.

Дальше вы увидите, как запрос работает с актуальными темами в области цифровой живописи.

Стилистический запрос: digital painting with structural strokes of

Запрос на формирование референса: молодая женщина танцует в гостиной