Нейросети и Блендер

Runwayml: анонсирует camera controls, успевает похайповать полчаса.
Опенсорс: hold my beer

DimensionX Lora для Cogvideo. Моё увожение!

Github

Тренировка Лор для Клинг!

На своих (чужих, нужных) лицах.

Да, в Клинге появляются Лоры - они их зовут "AI Custom model"

Для тренировки своей модели:

Вам потребуется сделать горизонтальный ролик, где вы смотрите в камеру продолжительностью 10-15 секунд, в формате 1080p и размером менее 100 МБ. На заднем плане не должно быть других кожаных, и убедитесь, что это HQ с хорошим освещением.

Ну а потом загрузить в Клинга 10-30 таких (!разнообразных!) роликов. Важно держать длину 10-15 секунд на ролик, качество 1080p и отсутствие людей на заднем плане. Они рекомендуют загружать от 10 до 30 роликов. 20 тоже ок.

Тренинг идет всего 15 минут (это пока все непонаехали). А потом у вас появляется Face Model в text-to-video option.

Пишете промпт: [facemodel] wearing cyberpunk armor and holding a futuristic rifle. Inspecting a dark laboratory. Lantern lights, dramatic atmosphere.

И все, Клингонская Лора в действии!

Поглядите примеры. Этот ж новый нормальный кастинг.

Вместо базы актеров - база Лор. Кем играть сегодня будем? Так, для испанского проката натренируйте Пенелопу Крус, благо материала полно.


@cgevent

Опенсоурс управление видео

Продолжаем тему с видеогенерацией.
📕 Еще на прошлой неделе на стриме попробовал:
— ComfyUI CogVideoXWrapper — для гибкого управления видео с поддержкой масок лица, контрольных точек и карт глубины.
Для работы с траекторией:
GITHUB—COMFYUI_JSON_T2V—COMFYUI_JSON_I2V

Если нет возможность использовать Kling с его motion brush, но есть видеокарта 24+ GB, то это наверное самый качественный инструмент.

🔥 Еще конечно ждем для ComfyUI:
— VEnhancer — для улучшения качества видео после генерации. Чтобы наконец-то получить адекватный HD.

Для mochi запилили редактор mochi comfyui video2video ноды. Заводится локально на 24гб vram.
До runway далеко, и на длинном контексте скорее всего будет разваливаться, как animatediff/svd
Но начало положено, и если кто-то присобачит туда хаки для длинного контекста, будет и у нас runwayml дома!

comfyui mochiedit
comfyui mochiwrapper

@derplearning

Oasis: Вселенная в трансформере

🔥 Oasis — это первая в своем роде игровая модель, полностью генерируемая нейронкой в реальном времени. Она позволяет пользователям взаимодействовать с виртуальным миром, где все элементы, включая физику, правила игры и графику, создаются и управляются нейронкой.

📕 Основные особенности Oasis:
— Пользователи могут перемещаться, прыгать, подбирать предметы, разрушать блоки и выполнять другие действия, взаимодействуя с миром, созданным ИИ.
— Вся игра генерируется на основе фундаментальной модели, без использования стандартных игровых движков.
— Oasis понимает и воспроизводит такие элементы, как строительство, физика освещения, управление инвентарем и взаимодействие с объектами.

📕 Технические аспекты:
— Oasis состоит из двух частей: пространственного автоэнкодера и диффузионной модели на основе трансформеров. Автоэнкодер основан на ViT, а основная модель — на DiT.
— Модель обучалась на открытых видеоданных Minecraft, собранных OpenAI, с использованием метода Diffusion Forcing, что позволяет генерировать последовательные кадры с учетом пользовательского ввода.
— Команда Decart создала оптимизационную инфраструктуру для модели Oasis, так как стандартные методы для LLM были неэффективны для архитектуры DiT: В современных моделях текст-видео, таких как Sora, Mochi-1 и Runway, на генерацию одной секунды видео может уходить до 10–20 секунд, даже при использовании нескольких GPU. Оптимизация Decart позволило улучшить использование GPU и минимизировать задержки, масштабируя модель для многократного использования GPU и сокращая время передачи данных.

☺️ Код и веса модели Oasis доступны для локального запуска, а также есть демо:
INFO—MOREINFO—GITHUB—WEIGHTS(HF)—DEMO

🐈‍⬛ А вот пользовательский опыт от меня:
— Это наверное самая триповая игра в которую я играл, вещи трансформируются во время перетаскивания, как только ты выбираешь камень, который рандомно сгенерировался в инвентаре и уже мечтаешь построить каменный дом, он тут же превращается в дерево.
— Милый цветочек при выборе ставит деревянное ограждение.
— Можно легко телепортнуться просто посмотрев вниз и вновь вперед.
— Вода, сундук сразу же вызывают критическую ошибку и тебя выбивает из сервера.
🐑 Идеальный симмулятор насколько хаотична жизнь.

Основной вывод от меня:
Оптимизация видео моделей невероятно развивается и скоро мы получим много опенсоурс моделек, которые смогут генерить 20+ кадров в реалтайме, еще и триповых игр. Еще больше мемов и абстрактных видео + игр. Но если мне нужно будет сделать что-то точное, что требует сохранение структуры A и положения B, я пойду делать это стандартным способ. (Blender, After Effects, Unreal Engine и так далее + предыдущее поколение уже хорошо контролируемых нейронок)

Нови-Сад

📕 Это бруталистические государственные здания в сочетании с известными нами панельками, которые невероятно контрастируют с оборонительными крепостями и историческим центром времен Австро-Венгерской империи.

🧐 Для меня это место, которое я часто представлял себе, как город мечты.

🐈‍⬛ Я рад, что есть возможно показать его таким, как я его вижу в своем воображении. Пока не так детально, но как концепт очень хорошо выходит.

📕 Workflow: Midjourney Editor для реальных фото + RunwayML Gen3 turbo для оживления статики

Бу, это тест нового инструмента Editor в веб-версии #Midjourney, который наконец-то позволяет:

а)расширять или инпейтить загруженные изображения

б)переделывать их, сохраняя контуры (по сути ControlNet с Depth). Картинки с котом посвящены этому пункту, как самом интересному.

Вроде все это уже давно есть в других инструментах, но тут MJ наваливает своего традиционное КАЧЕСТ-ВО 👍. Ну и работает со всеми старыми настройками и приемчиками, что обеспечивает некоторую гибкость (тут закадровый смех фанатов Stable/Flux).

Потестить пока только можно если у вас от 10к генераций (которых у меня оказалось больше).