Как нейросети рисуют картинки: объясняем принцип работы генераторов на пальцах

Представьте, что вы наняли художника-аутиста, который никогда не видел реального мира, но зато обладает невероятной памятью. Он изучил миллиарды картин, фотографий и иллюстраций, подписанных людьми. Вы подходите к нему и говорите «Нарисуй кота в ковбойской шляпе, который пьет кофе на Марсе».

Художник не задумывается над тем, кто такой кот и как выглядит Марс. Он начинает действовать по хитрому алгоритму — стирать хаос и превращать его в шедевр. Как же работают такие генераторы, как Midjourney, DALL-E или Stable Diffusion? Давайте разберем этот процесс простыми словами.

Метод скульптора — от полного хаоса к четкой картине

Главный секрет создания картинок с помощью искусственного интеллекта кроется в процессе, который ученые называют диффузией (или методом обратного уничтожения).

Аналогия с мраморной глыбой. Скульптор Микеланджело говорил, что создание статуи — это просто удаление всего лишнего из куска мрамора. Нейросеть делает то же самое, но с пикселями.

Когда вы отправляете запрос, генератор не начинает аккуратно вырисовывать линии кистью. Он делает следующее

1. Создает на холсте абсолютный цифровой шум (статику, похожую на рябь на экране сломанного телевизора, где каждая точка случайна).
2. Затем искусственный интеллект смотрит на этот шум и спрашивает себя «Где тут спрятан кот в шляпе?»
3. Шаг за шагом, миллиметр за миллиметром, нейросеть «проявляет» изображение, убирая лишние помехи и добавляя детали, которые соответствуют вашему описанию. Этот процесс происходит за пару секунд и состоит из десятков крошечных шагов.

Откуда нейросеть знает, как выглядит «кот» или «космос»?

Чтобы научиться рисовать, генераторы проходят колоссальный этап обучения. Люди загружают в них пары из картинок и текстовых описаний («фотография заката на море», «красный спортивный автомобиль в стиле киберпанк»).

В процессе обучения нейросеть выполняет обратное действие — она берет идеальную фотографию и намеренно портят ее, добавляя все больше и больше шума, пока картинка не превращается в кашу. Задача алгоритма на каждом этапе — запомнить, как именно структура изображения разрушалась.

Когда этот процесс повторяется миллиарды раз для самых разнообразных объектов, ИИ начинает понимать невидимые связи

• Слово «красный» означает определенное сочетание цветовых каналов.
• Слово «кот» всегда связано с определенной формой ушей, усов и текстурой шерсти.
• Слова «на Марсе» задают ржаво-красный фон, кратеры на поверхности и черное небо.

Почему иногда руки получаются с шестью пальцами?

Если генераторы такие умные, почему они до сих пор иногда ошибаются — рисуют людей с тремя руками, странными глазами или лишними пальцами?

Дело в том, что нейросеть не обладает пространственным мышлением. Она не понимает физику реального мира.

• Человек знает, что у руки ровно пять пальцев, потому что мы видим и используем их каждый день.
• Искусственный интеллект видит лишь статистические закономерности на фотографиях рук часто есть много линий, изгибов и светлых пятен. Пытаясь воссоздать эту «текстуру руки» из шума, алгоритм может случайно нарисовать лишний палец просто потому, что в его математической модели это выглядело «правдоподобно».

Чек-лист — как составить идеальный запрос для генератора картинок

Чтобы нейросеть выдала красивый результат с первой попытки, а не абстрактного монстра, используйте простую формулу текстового запроса (промпта)

• Главный объект. Кто или что нарисовано (например, «рыжий пушистый кот в кожаной куртке»).
• Действие или окружение. Где он находится и что делает (например, «сидит за столиком парижской кофейни»).
• Стиль изображения. В каком ключе рисовать (например, «масляная живопись в стиле Ван Гога» или «реалистичная кинематографическая фотография»).
• Освещение и атмосфера. (например, «мягкий закатный свет, теплая палитра цветов»).

Заключение

Генераторы картинок — это не художники, а мастера цифровой алхимии. Они превращают случайный шум в осмысленное изображение, опираясь на колоссальный багаж чужих работ и математические вероятности.

А чи пробували вы создавать картинки с помощью нейросетей? Какие кумидные ошибки (вроде лишних пальцев или странных лиц) чаще всего выдавали алгоритмы в ваших экспериментах? Поделитесь в комментариях!

Коллектив сайта