Сбер открыл код и веса модели Kandinsky Avatar, представленной в технических материалах как Kandinsky S2V 1.0. Она создаёт видео из одного изображения, записи речи и текстового описания. Персонаж двигает губами, меняет выражение лица, позу и жесты в соответствии со звуком.
Семейство включает две модели: Lite с 2 млрд параметров и Pro с 21 млрд. Они генерируют видео с частотой 25 кадров в секунду в стандартном или высоком разрешении.
Для анимации достаточно одного изображения и записи голоса
На вход система получает исходный кадр с персонажем и аудиодорожку. Текстовый запрос позволяет задать дополнительные условия генерации. В примерах разработчиков есть люди, рисованные персонажи и животные.
Длинную речь система обрабатывает фрагментами по пять секунд. Для сохранения внешности и последовательности движений модель использует исходное изображение и память о предыдущих кадрах.
Разработчики также выпустили ускоренные, дистиллированные версии Lite и Pro. В них сокращено число шагов генерации. По измерениям авторов на NVIDIA H100, ускоренная Lite тратит 8,7 секунды на создание одной секунды видео, базовая — 44 секунды. Условия теста: разрешение 512 × 768 и обработка пятисекундного фрагмента после предварительного запуска.
Для запуска рекомендуют видеокарту с 48 ГБ памяти
В инструкции к проекту указаны требования к оборудованию и способы запуска. Для обычной генерации авторы рекомендуют одну видеокарту NVIDIA с 48 ГБ памяти или больше, для HD — с 80 ГБ.
Есть режим обработки изображения по частям: он снижает пиковое потребление примерно до 28 ГБ. Разработчики предупреждают, что при этом могут появляться слабозаметные швы между участками изображения.
Для работы опубликованы:
- код самостоятельного запуска;
- веса базовых и ускоренных моделей;
- интеграция с библиотекой Diffusers;
- конфигурации для ComfyUI и распределения генерации между несколькими GPU.
При первом запуске программа автоматически загружает необходимые компоненты. По данным README, суммарный объём загрузки составляет около 25 ГБ для Lite и 65 ГБ для Pro. Код репозитория распространяется под MIT; лицензии весов указаны в карточках моделей.
Модель обучили на 1,17 млн роликов с одним говорящим
Исследовательскую работу о Kandinsky S2V 1.0 загрузили на arXiv 13 октября 2026 года. В основе семейства — видеомодели Kandinsky 5.0 Video, которые дополнительно обучили анимировать персонажей по речи.
Обучающая выборка содержит 1,17 млн фрагментов с одним говорящим. Для них подготовили описания на русском и английском языках. Текст и звук обрабатывает Qwen2.5-Omni, а отдельный механизм памяти помогает сохранять внешность персонажа при продолжительной генерации.
Авторы отдельно учитывали сцены, в которых лицо занимает небольшую часть кадра: при обучении усиливали вес ошибок в этой области. Это помогает согласовывать движение губ со звуком, когда персонаж показан целиком или находится далеко от камеры.
Комментарии