DALL-E 3: полное руководство по нейросети для генерации изображений

Что такое DALL-E 3 и как она появилась

DALL-E 3 — это модель генерации изображений по текстовому описанию, разработанная компанией OpenAI, известной также по ChatGPT. Первая версия DALL-E была представлена в 2021 году и стала одной из первых нейросетей, способных качественно рисовать по тексту. Однако доступ к ней был ограничен. В 2022 году вышла DALL-E 2, которая уже поддерживала запросы на русском языке и генерировала более качественные картинки, но попасть в неё можно было только через список ожидания. В сентябре 2023 года OpenAI представила DALL-E 3, а публичный доступ к ней открылся в начале октября того же года. Нейросеть обучена на более чем 500 миллионах изображений, что позволяет ей создавать рисунки в самых разных стилях. Главное новшество — пользователю больше не нужно учиться составлять сложные промпты: нейросеть сама дорабатывает запрос, делая его максимально понятным для алгоритма генерации.

Как работает DALL-E 3: принцип генерации изображений

В основе DALL-E 3 лежит модель глубокого обучения — генеративная состязательная сеть (GAN). Она состоит из двух компонентов: генератора, который создаёт изображения, и дискриминатора, который оценивает их качество. В процессе обучения генератор стремится создать такие сцены, которые дискриминатор не сможет отличить от настоящих изображений. Однако ключевая особенность DALL-E 3 — это использование языковой модели (GPT-4 в ChatGPT или неизвестной версии GPT в Bing) в качестве посредника. Когда пользователь пишет запрос, GPT переписывает его согласно встроенной инструкции, добавляя детали и уточнения, чтобы алгоритм генерации изображений лучше понял, что именно нужно получить. Только после этого DALL-E 3 создаёт картинку на основе модифицированного промпта. Благодаря этому нейросеть отлично понимает естественную речь, поддерживает русский язык и не требует специальных навыков промптинга.

Где можно пользоваться DALL-E 3: Bing Image Creator и ChatGPT

На данный момент DALL-E 3 доступна через два основных сервиса. Первый — Bing Image Creator от Microsoft. Это бесплатный инструмент, для которого нужна только учётная запись Microsoft. Запросы можно писать на русском языке, нейросеть сама их доработает. В день даётся 25 «ускорений» — быстрых генераций. Когда лимит исчерпан, картинки создаются медленнее, но количество генераций не ограничено. Докупить ускорения нельзя. Второй способ — подписка ChatGPT Plus. Она стоит 20 долларов в месяц и даёт доступ к DALL-E 3 через интерфейс ChatGPT. Здесь можно одновременно общаться с GPT-4 и генерировать изображения, причём GPT-4 не только переписывает запрос, но и позволяет его корректировать, просить не расширять промпт или, наоборот, добавлять детали. В ChatGPT Plus можно задавать соотношение сторон: квадрат (1024×1024), горизонталь (1792×1024) или вертикаль (1024×1792). В Bing Image Creator доступен только квадратный формат.

Как пользоваться DALL-E 3: пошаговая инструкция

Для работы через Bing Image Creator выполните следующие шаги. Шаг 1. Перейдите на страницу Bing Image Creator в любом браузере. Шаг 2. Войдите в свой профиль Microsoft или зарегистрируйтесь, если у вас его нет. Шаг 3. Напишите запрос в поле и нажмите «Создать» или кликните на кнопку «Удиви меня» — в этом случае нейросеть сама напишет промпт. Шаг 4. По запросу сгенерируются три или четыре изображения. Каждое изображение создаётся в формате 1024×1024 пикселя. Поменять соотношение сторон или разрешение нельзя. Чтобы сохранить, нажмите на понравившийся результат и выберите «Загрузить». Для работы через ChatGPT Plus сначала зарегистрируйтесь на сайте OpenAI (потребуется зарубежный номер телефона), оформите подписку ChatGPT Plus, создайте новый чат, выберите GPT-4 и в выпадающем окне нажмите DALL-E 3. Напишите запрос, и GPT-4 дополнит его, после чего нейросеть сгенерирует четыре изображения. Расширенные запросы можно посмотреть, кликнув на картинку — они появятся справа в поле «Подсказка».

Особенности создания промптов для DALL-E 3

DALL-E 3 не требует специальных навыков промптинга, но знание некоторых правил поможет получить более точный результат. Во-первых, определите основу: что именно вы хотите сгенерировать — человека, пейзаж, абстракцию, анимацию или аниме-персонажа. Во-вторых, укажите стиль: анимация, скетч, 3D, фотореализм и так далее. Можно также прописать желаемые цвета. В-третьих, перечислите основные и второстепенные объекты. Нейросеть сама доработает запрос, добавив детали. Если вы уверены в своём промпте, можно попросить GPT-4 не модифицировать его. Также полезно указывать медиум: если вы хотите получить фотографию, прямо пропишите это, иначе нейросеть может сгенерировать смесь фото, иллюстрации и картины. DALL-E 3 понимает естественную речь и русский язык, поэтому можно писать как «нарисуй мне фиолетового анимешного кота», так и «фиолетовый кот, аниме».

Ограничения и запреты DALL-E 3

У DALL-E 3 есть несколько важных ограничений. Во-первых, запрещён любой оскорбительный контент: насилие, ненависть, NSFW-сцены. После первых дней работы в Bing Image Creator, когда пользователи генерировали провокационные изображения, цензуру усилили — теперь нельзя получить даже удар молотком или гору человеческих костей. Во-вторых, нельзя генерировать изображения знаменитостей и общественных деятелей — запрос вернётся с ошибкой. В-третьих, нейросеть отказывается имитировать стиль художников, живших в последние сто лет, из-за авторских прав. Однако это ограничение можно обойти, если описать стиль словами без упоминания имени художника. В-четвёртых, размер изображений фиксирован: в Bing Image Creator — только 1024×1024, в ChatGPT Plus можно выбрать одно из трёх соотношений сторон. Наконец, у DALL-E 3 нет функций INPAINT (изменение деталей на готовом изображении) и DeepFace (замена лиц).

Сравнение DALL-E 3 с DALL-E 2, Midjourney и Stable Diffusion

DALL-E 3 значительно превосходит DALL-E 2 по качеству генерации, детализации и работе с текстом. Если DALL-E 2 использовала 1,5 млрд параметров и часто допускала ошибки (например, лишние пальцы на руках), то DALL-E 3 имеет 12 млрд параметров и специально обучена генерировать людей и животных, что свело такие ошибки к минимуму. Кроме того, DALL-E 3 лучше понимает длинные промпты и не забывает детали. По сравнению с Midjourney, DALL-E 3 доступна бесплатно через Bing Image Creator, не требует мощного компьютера и не нуждается в изучении сложного синтаксиса. Однако Midjourney превосходит DALL-E 3 в фотореализме и предлагает больше настроек. Stable Diffusion, в свою очередь, полностью бесплатна и с открытым кодом, но требует мощного ПК и навыков программирования. DALL-E 3 — самый простой и доступный вариант для новичков, но уступает конкурентам в гибкости и качестве фотореализма.

Практические советы по работе с DALL-E 3

Чтобы получить наилучшие результаты от DALL-E 3, следуйте нескольким рекомендациям. Если вы используете ChatGPT Plus, попросите GPT-4 не слишком сильно расширять ваш запрос — иногда нейросеть добавляет лишние детали, которые меняют задумку. Если вы уверены в своём промпте, попросите вообще не модифицировать его. Указывайте медиум: фото, картина, иллюстрация, 3D-рендер — это поможет получить предсказуемый результат. Для генерации текста на изображениях (например, на логотипах или постерах) используйте короткие фразы на английском языке — DALL-E 3 справляется с ними лучше всего, хотя возможны ошибки в виде лишних букв. Если вам нужно несколько вариантов одной идеи, отправляйте одновременно до четырёх промптов. И помните: в Bing Image Creator нельзя посмотреть, как нейросеть переписала ваш запрос, а в ChatGPT Plus эта информация доступна — используйте её для улучшения будущих промптов.

Будущее DALL-E 3 и перспективы развития

DALL-E 3 продолжает развиваться. Несмотря на то, что на рынке уже есть много других ИИ для генерации изображений, нейросеть OpenAI остаётся одной из самых популярных благодаря доступности и качеству. Вероятно, в будущем мы увидим улучшение фотореализма, снятие некоторых ограничений по авторским правам (возможно, через лицензирование), а также расширение функционала — например, появление INPAINT и DeepFace. OpenAI уже обещала предоставить доступ к API DALL-E 3, что позволит разработчикам интегрировать нейросеть в свои приложения. Также можно ожидать улучшения работы с текстом на разных языках и увеличения разрешения генерируемых изображений. Пока DALL-E 3 — отличный выбор для тех, кто хочет быстро и бесплатно получить качественную картинку по текстовому описанию, не вникая в технические детали.

Вопросы и ответы