Генераторы изображений на основе ИИ обычно работают через процесс, известный как «диффузия». По сути, модель, генерирующая изображение, начинает с очень расплывчатой, размытой картинки, и последовательные шаги сэмплирования уточняют изображение, пока оно не станет четким и реалистичным. Диффузия обычно является трудоемким процессом, требующим множества шагов, но исследователи из MIT нашли лучший способ.
Используя новый подход под названием distribution matching distillation (DMD), исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT сумели сократить процесс диффузии до одного шага сэмплирования. Очевидно, это намного быстрее, чем обычно требуется для типичных процессов диффузии изображений, где необходимо итерировать изображение от тридцати до пятидесяти раз. Полученные результаты также неплохи; взгляните:
Есть также видео, которое наглядно демонстрирует улучшение производительности. В то время как Stable Diffusion 1.5 требует около полутора секунд для создания изображения на современном оборудовании, новая модель MIT на основе DMD занимает около пяти сотых секунды.
Модели, такие как Instaflow и LCM, пытались сделать то же самое, что и DMD от MIT, с иногда сомнительными результатами. Как и во многих вещах в вычислительной технике, это компромисс между качеством и производительностью. Новый метод MIT, похоже, предлагает лучшее из обоих миров, с балансом между скоростью генерации и детализацией изображения.
Это также не первый случай, когда люди придумали, как выполнять диффузию за гораздо меньшее количество шагов; в частности, сама Stability AI создала модель под названием Stable Diffusion Turbo, которая может генерировать изображения с разрешением 1 мегапиксель за один шаг диффузии, хотя результаты, как правило, лучше с несколькими дополнительными шагами. Stable Diffusion Turbo работает очень похожим образом на подход DMD от MIT; она использует меньшую модель, обученную на выходных данных Stable Diffusion XL, чтобы «вести» модель Turbo к тому, что производила бы полная модель SDXL.
Комментарии