پست‌های تلگرام тоже моушн

AnimateDiff Lightning

в 10 раз быстрее оригинального AnimateDiff.
Инструкции по использованию в ComfyUI прилагаются

#text2video

совсем не новость но грех не поделиться

один из самых крутых и визуально интересных проектов над которыми поработал в прошлом году - показ BOSS в Милане. командой Силы Света мы разрабатывали его визуальную концепцию: что то типа офиса будущего с прозрачными экранами, нейро-интерфейсами и силиконовыми роботами, все такое smooth and sleek

был проделан настоящий глубокий ресерч - куча обученных лор, генеративная инфографика, стилизация реальных футажей мрт, бешеные эксперименты со временем и пространством в тач дизайнере, ранние тесты animatediff etc. и помимо нейронок конечно много качественного 3д

получилось по моему очень насыщенно, красиво и достойно

официальное видео показа
видео Сила Света

@тоже_моушн

хорошему дружескому проекту нужно помочь с тестированием их продукта:

Nim — новый проект на просторах вселенной AI, которому чуть больше месяца. Сейчас ребята активно исследуют генеративные модели и находятся в поиске профессиональных фото/видео креаторов, которые помогут им в креативном тестировании платформы в рамках оплачиваемой Creative Partner Program.
Ребята предоставляют ранний доступ к их генеративной платформе и платят почасовую ставку за генерации.

Подать заявку на участие.

Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.

Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.

Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.

Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.

P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.

Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.

P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".

Короче, расслабляем булки, ИИ все поправит. За вас.

Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895

Пример склейки двух первых видео в одно третье. Не до конца понятно, как в данном случае задаётся промпт: показываются ли оба видео полностью, и пишется ли какой-то текст, или же это отдельный режим смешивания, например, эмбеддингов.

(Извините что видео тяжелые)

нет, это не настоящее видео, это генерация

потому что опять пришли опенаи и всех уделали. это их новый text2video. инфы минимум. кода и подавно

смотреть и удивляться тут - openai.com/sora

@тоже_моушн

Новая технология нейрогенерации видео от Тиктока

Полный отвал башки.

В чем была главная проблема генерации видео в Pika или Gen2? В непредсказуемом результате.

Бралась картинка и случайным, бесконтрольным образом анимировалась.

И вот Тикток выкатывает новую работу, дающую возможность конкретно указывать, чего и куда нужно анимировать.

Через 2-3 месяца обещают публичное демо. Ждем.