Як нейромережі створюють зображення: пояснюємо принцип роботи генераторів простими словами

Уявіть, що ви наняли художника-аутиста, який ніколи не бачив реального світу, але зате володіє неймовірною пам’яттю. Він вивчив мільярди картин, фотографій та ілюстрацій, підписаних людьми. Ви підходите до нього і говорите «Намалюй кота в ковбойському капелюсі, який п’є каву на Марсі».

Художник не замислюється над тим, хто такий кіт і як виглядає Марс. Він починає діяти за хитрим алгоритмом – стирати хаос і перетворювати його на шедевр. Як же працюють такі генератори, як Midjourney, DALL-E або Stable Diffusion? Давайте розберемо цей процес простими словами.

Метод скульптора – від повного хаосу до чіткої картини

Головний секрет створення картинок за допомогою штучного інтелекту криється в процесі, який вчені називають дифузією (або методом зворотного знищення).

Аналогія з мармуровою брилою. Скульптор Мікеланджело казав, що створення статуї – це просто видалення всього зайвого з шматка мармуру. Нейромережа робить те ж саме, але з пікселями.

Коли ви надсилаєте запит, генератор не починає акуратно вимальовувати лінії пензлем. Він робить наступне

1. Створює на полотні абсолютний цифровий шум (статику, схожу на рябість на екрані зламаного телевізора, де кожна точка випадкова).
2. Потім штучний інтелект дивиться на цей шум і запитує себе «Де тут схований кіт у шляпі?»
3. Крок за кроком, міліметр за міліметром, нейромережа «проявляє» зображення, прибираючи зайві перешкоди й додаючи деталі, які відповідають вашому опису. Цей процес відбувається за пару секунд і складається з десятків крихітних кроків.

Звідки нейромережа знає, як виглядає «кіт» чи «космос»?

Щоб навчитися малювати, генератори проходять колосальний етап навчання. Люди завантажують у них пари з картинок і текстових описів («фотографія заката на море», «красный спортивный автомобиль в стиле киберпанк»).

У процесі навчання нейромережа виконує зворотну дію – вона бере ідеальну фотографію і навмисно псує її, додаючи все більше і більше шуму, доки картинка не перетворюється на кашу. Завдання алгоритму на кожному етапі – запам’ятати, як саме структура зображення руйнувалася.

Коли цей процес повторюється мільярди разів для найрізноманітніших об’єктів, ШІ починає розуміти невидимі зв’язки

• Слово «червоний» означає певне поєднання колірних каналів.
• Слово «кіт» завжди пов’язане з певною формою вух, вусів і текстурою шерсті.
• Слова «на Марсі» задають іржаво-червоний фон, кратери на поверхні та чорне небо.

Чому іноді руки виходять із шістьма пальцями?

Якщо генератори такі розумні, чому вони досі іноді помиляються – малюють людей із трьома руками, дивними очима чи зайвими пальцями?

Справа в тому, що нейромережа не володіє просторовим мисленням. Вона не розуміє фізику реального світу.

• Людина знає, що у руки рівно п’ять пальців, тому що ми бачимо і використовуємо їх кожен день.
• Штучний інтелект бачить лише статистичні закономірності на фотографіях рук часто є багато ліній, вигинів і світлих плям. Намагаючись відтворити цю «текстуру руки» з шуму, алгоритм може випадково намалювати зайвий палець просто тому, що в його математичній моделі це виглядало «правдоподібно».

Чек-лист – як скласти ідеальний запит для генератора картинок

Щоб нейромережа видала красивий результат із першої спроби, а не абстрактного монстра, використовуйте просту формулу текстового запиту (промпта)

• Головний об’єкт. Хто або що нарисовано (наприклад «рижий пухнастий кіт у шкіряній куртці»).
• Дія чи оточення. Де він перебуває і що робить (наприклад «сидить за столик паризької кав’ярні»).
• Стиль зображення. У якому ключі малювати (наприклад «олійний живопис у стилі Ван Гога» або «реалістична кінематографічна фотографія»).
• Освітлення та атмосфера. (наприклад «м’яке західне світло, тепла палітра кольорів»).

Висновок

Генератори картинок – це не художники, а майстри цифрової алхімії. Вони перетворюють випадковий шум на осмислене зображення, спираючись на колосальний багаж чужих робіт і математичні ймовірності.

А чи пробували ви створювати картинки за допомогою нейромереж? Які кумедні помилки (на кшталт зайвих пальців або дивних облич) найчастіше видавали алгоритми у ваших експериментах? Поділіться в коментарях!

Коллектив сайта