Нейросети и Блендер

Валентинки через Glif

Теперь каждый глиф стоит по-разному, но на старте вам дают 30 кредитов бесплатно и так же они ежедневно пополняются. А я подготовил для вас Глифы для Валентинок!

💰 В среднем 1 генерация в моих глифах тратит ~8 кредитов
💰 Оригинальный Glif — ~5 кредитов

Готовые глифы для Валентинок:
► Оригинальный Glif — откуда я взял идею, генерирует картинку + милый текст через Sonnet. Из минусов — вотермарка.

► Мой вариант. 2:3 размерность (1200x1600px) — Идеален для печати!
НО! Есть особенность сделал его с разделением промпта для Clip L и T5XXL.
Мне помогает вот этот промпт для любой LLM: Create prompts based on text for Clip L and T5XXL. Text: [Ваше описание или картинка]
Если не хочется заморачиваться с промптами для Clip L и T5XXL, просто вставьте одинаковый текст в оба поля.

► Вариант с возможностью референс картинки. Добавил Redux туда.

► HF Lora — для тех кто хочет локально погенерить

— Я распечатал эти открытки на акварельной бумаге, и они выглядят как настоящая пастель!

Pika labs конечно что-то невероятное сейчас делает в видео моделях

Кто-нибудь уже пробовал? Интересно сколько разрешение на выходе, как много кадров можно сделать.

Link

👍 Так как набралось больше 10 звездочек собрал для вас Glif с Redux. Жаль у Glif нет возможности использовать PULID FLUX, а жаль как раз вышла недавно вторая версия. Напомню, PULID FLUX -- качественное переносит лица на генерации.

📕 Ещё собрал вам поиграться на разных LLM для описания промпта, можете потестить разницу тоже:

— GPT4o (Самый быстрый, но есть цензура)
LINK

— На Deepseek R1 (Работает на уровне 4o)
LINK

— Gemini 2.0 Flash (Часто падает, видимо большие лимиты по API у Glif)
LINK

— LAMA 3.3 70B (Хуже всего работает по визуалу)
LINK

— И экстра глиф, куда можно закидывать сразу два изображения на стиль и мешать стили.
LINK

📕 Сила картинки ~0.6 - 1 для хорошей генерации.
Из-за того что промпт усложнил и использую Redux, иногда генерируется просто персонажи, без упаковок. Эту проблему чуть решила Лора.

В целом не зря вспомнил про Glif, на нем всегда приятно бесплатно собирать что-то в связке ComfyUI + LLM и сразу показывать в свет. Потому что даже на Gradio такое собрать займет 1-2 дня и 10-20$ на бэкенд сервер за день.

Спасибо за звезды и реакции в прошлом посте, приятно!

Принес вам поиграться бесплатный генератор игрушек в упаковке.

🔥 Закидывайте фотку, короткое описание и получаете фотку упаковки игрушки.
20 генераций бесплатно в день. Если не дает зарегаться — используйте VPN.

📕 Под капотом — GPT4о vision + Flux Dev с лорой на игрушки.
— Можно доработать, если PuLID FLUX встроить, тогда схожесть лица будет круче.

И покидайте что получилось в комменты. Много мемов не поделать из-за цензуры ChatGPT и описания референсных картинок только через LLM. Если закинет кто 10 звезд, сделаю на PulID(или Redux) генератор.

LINK

Небольшой дайджест

🔥 Интересный анализ работы Devin (frontend агента), ребята провели много тестов:
— Что получилось:

* Интеграция API — извлечение данных из базы Notion в Google Sheets.

— Что не получилось:

* Из 20 задач успешно выполнены только 3, при этом схожие задачи давали разные результаты.
* Проблемы с пониманием и модификацией уже написанных проектов.
* Выявление множества ложных уязвимостей.
* Некоторые задания занимали дни вместо ожидаемых часов.

LINK
В комментах забавных скрин из статьи.

🚀 Про Cosmos, новую модель от Nvidia. В посте пример созданный на L40S (48GB) в ComfyUI. 5 секунд видео генерится ~ 10 минут
LINK — COMFYUI настройка

🎃 Luminal Space — пример очень атмосферной работы соединяя FLUX для картинок и анимацию через KlingAI
LINK — ComfyUI workflow

🤩 Очень качественный пример Vid2Vid анимации через Hunyuan vid2vid. Делалось батчами.
John Wick Lora — Hunyuan ComfyUI vid2vid nodes — ComfyUI настройка

☃️ Cult of the Snowman — Смесь славянской глубинки, деревни дураков и новеллы Гоголя Вий.
LINK

🤫 И второй ролик из инета — Гарри Поттер волшебник Северной Кореи. Подсмотрел у Derp Learning.
LINK

🚠 И на последок применение нейровидео для перебивок в сноубордических фильмах. Как-то очень хорошо в итоге выглядит. Или может я соскучился по сноуборду, уже 3 года не катался.
Интересно через сколько лет AI видеомодельки смогут повторить сноубордические видео?
LINK на полное видео

SLYAKOT-TO-ART

Во Flux, недавно вышел аналог Ipadpater, только он Redux.

Не открывайте перед сном

Держите Redux версию страшных миксов. Во вселенной Самурай Джек.

+ экстра — финальная картинка реалистичный вариант

Runwayml: анонсирует camera controls, успевает похайповать полчаса.
Опенсорс: hold my beer

DimensionX Lora для Cogvideo. Моё увожение!

Github

Тренировка Лор для Клинг!

На своих (чужих, нужных) лицах.

Да, в Клинге появляются Лоры - они их зовут "AI Custom model"

Для тренировки своей модели:

Вам потребуется сделать горизонтальный ролик, где вы смотрите в камеру продолжительностью 10-15 секунд, в формате 1080p и размером менее 100 МБ. На заднем плане не должно быть других кожаных, и убедитесь, что это HQ с хорошим освещением.

Ну а потом загрузить в Клинга 10-30 таких (!разнообразных!) роликов. Важно держать длину 10-15 секунд на ролик, качество 1080p и отсутствие людей на заднем плане. Они рекомендуют загружать от 10 до 30 роликов. 20 тоже ок.

Тренинг идет всего 15 минут (это пока все непонаехали). А потом у вас появляется Face Model в text-to-video option.

Пишете промпт: [facemodel] wearing cyberpunk armor and holding a futuristic rifle. Inspecting a dark laboratory. Lantern lights, dramatic atmosphere.

И все, Клингонская Лора в действии!

Поглядите примеры. Этот ж новый нормальный кастинг.

Вместо базы актеров - база Лор. Кем играть сегодня будем? Так, для испанского проката натренируйте Пенелопу Крус, благо материала полно.


@cgevent

Опенсоурс управление видео

Продолжаем тему с видеогенерацией.
📕 Еще на прошлой неделе на стриме попробовал:
— ComfyUI CogVideoXWrapper — для гибкого управления видео с поддержкой масок лица, контрольных точек и карт глубины.
Для работы с траекторией:
GITHUB—COMFYUI_JSON_T2V—COMFYUI_JSON_I2V

Если нет возможность использовать Kling с его motion brush, но есть видеокарта 24+ GB, то это наверное самый качественный инструмент.

🔥 Еще конечно ждем для ComfyUI:
— VEnhancer — для улучшения качества видео после генерации. Чтобы наконец-то получить адекватный HD.

Для mochi запилили редактор mochi comfyui video2video ноды. Заводится локально на 24гб vram.
До runway далеко, и на длинном контексте скорее всего будет разваливаться, как animatediff/svd
Но начало положено, и если кто-то присобачит туда хаки для длинного контекста, будет и у нас runwayml дома!

comfyui mochiedit
comfyui mochiwrapper

@derplearning

Oasis: Вселенная в трансформере

🔥 Oasis — это первая в своем роде игровая модель, полностью генерируемая нейронкой в реальном времени. Она позволяет пользователям взаимодействовать с виртуальным миром, где все элементы, включая физику, правила игры и графику, создаются и управляются нейронкой.

📕 Основные особенности Oasis:
— Пользователи могут перемещаться, прыгать, подбирать предметы, разрушать блоки и выполнять другие действия, взаимодействуя с миром, созданным ИИ.
— Вся игра генерируется на основе фундаментальной модели, без использования стандартных игровых движков.
— Oasis понимает и воспроизводит такие элементы, как строительство, физика освещения, управление инвентарем и взаимодействие с объектами.

📕 Технические аспекты:
— Oasis состоит из двух частей: пространственного автоэнкодера и диффузионной модели на основе трансформеров. Автоэнкодер основан на ViT, а основная модель — на DiT.
— Модель обучалась на открытых видеоданных Minecraft, собранных OpenAI, с использованием метода Diffusion Forcing, что позволяет генерировать последовательные кадры с учетом пользовательского ввода.
— Команда Decart создала оптимизационную инфраструктуру для модели Oasis, так как стандартные методы для LLM были неэффективны для архитектуры DiT: В современных моделях текст-видео, таких как Sora, Mochi-1 и Runway, на генерацию одной секунды видео может уходить до 10–20 секунд, даже при использовании нескольких GPU. Оптимизация Decart позволило улучшить использование GPU и минимизировать задержки, масштабируя модель для многократного использования GPU и сокращая время передачи данных.

☺️ Код и веса модели Oasis доступны для локального запуска, а также есть демо:
INFO—MOREINFO—GITHUB—WEIGHTS(HF)—DEMO

🐈‍⬛ А вот пользовательский опыт от меня:
— Это наверное самая триповая игра в которую я играл, вещи трансформируются во время перетаскивания, как только ты выбираешь камень, который рандомно сгенерировался в инвентаре и уже мечтаешь построить каменный дом, он тут же превращается в дерево.
— Милый цветочек при выборе ставит деревянное ограждение.
— Можно легко телепортнуться просто посмотрев вниз и вновь вперед.
— Вода, сундук сразу же вызывают критическую ошибку и тебя выбивает из сервера.
🐑 Идеальный симмулятор насколько хаотична жизнь.

Основной вывод от меня:
Оптимизация видео моделей невероятно развивается и скоро мы получим много опенсоурс моделек, которые смогут генерить 20+ кадров в реалтайме, еще и триповых игр. Еще больше мемов и абстрактных видео + игр. Но если мне нужно будет сделать что-то точное, что требует сохранение структуры A и положения B, я пойду делать это стандартным способ. (Blender, After Effects, Unreal Engine и так далее + предыдущее поколение уже хорошо контролируемых нейронок)

Нови-Сад

📕 Это бруталистические государственные здания в сочетании с известными нами панельками, которые невероятно контрастируют с оборонительными крепостями и историческим центром времен Австро-Венгерской империи.

🧐 Для меня это место, которое я часто представлял себе, как город мечты.

🐈‍⬛ Я рад, что есть возможно показать его таким, как я его вижу в своем воображении. Пока не так детально, но как концепт очень хорошо выходит.

📕 Workflow: Midjourney Editor для реальных фото + RunwayML Gen3 turbo для оживления статики

Бу, это тест нового инструмента Editor в веб-версии #Midjourney, который наконец-то позволяет:

а)расширять или инпейтить загруженные изображения

б)переделывать их, сохраняя контуры (по сути ControlNet с Depth). Картинки с котом посвящены этому пункту, как самом интересному.

Вроде все это уже давно есть в других инструментах, но тут MJ наваливает своего традиционное КАЧЕСТ-ВО 👍. Ну и работает со всеми старыми настройками и приемчиками, что обеспечивает некоторую гибкость (тут закадровый смех фанатов Stable/Flux).

Потестить пока только можно если у вас от 10к генераций (которых у меня оказалось больше).

Заставка Улицы разбитых фонарей, но это Улица Сезам.

Сделал довольно проклятое, прогнав золотую классику через video-to-video #gen3. Специально не занимался черрипикингом, потому что галлюцинации здесь прекрасны. Не о чем не жалею.

FLUX PRO 1.1 on GLIF

📕 Многие уже писали [ LINK1 LINK2 LINK3 ] про Blueberry, который на данный момент бьет все бенчмарки по качеству картинок. (А если вы в ComfyUI все новшества поставите на Dev, ойойой, жаль такой версии нет в бенчмарках...)

🔥 Можно потестить 20 генераций в день на глифе, или пойти сделать свой глиф, подцепить туда Claude для аугментации промпта и получить Flux 1.1 на стеройдах — LINK (Если из РФ, требуется VPN для регистрации иначе будет waitlist окно)

А я пока в этом месяце минимум по постам, кстати, почистил канал от ботов, и это была трудная задачка. (- 100 ботов и людей, кто не заходил последний месяц в тг)
Вывод: Телега сама удаляет неактивные каналы и боты.

Берем производную от мемов.

Отдельного поста заслуживает совершенно мемная фича в новой ПИКЕ 1.5 по названием "раздави(сомни в труху) это"

Мемная, потому что эффект как бы один и быстро взлетит и быстро надоест.

Зато можно брать мемы и мемно над ними издеваться. И не только над мемами.

Знаете какой тут сложный промт, инфоцыгане?

Image to video prompt: 'Squish it'

@cgevent

CogView3 & CogView-3Plus

В целом осень выдалась урожайной, в основном благодаря ECCV & SIGGRAPH ASIA

Вот и китайцы выкатили очередную итерацию CogView text2image

Если верить авторам, бьет SDXL во все поля (пора все-таки уже с FLUX сравнивать, сдохле второй год пошел)

paper
code

@derplearning

https://huggingface.co/glif/how2draw

крайне любопытная lora how2draw

Ценность опенсурса в возможности FT. На апи и подписках зарабатывают и окупают модели еденицы, а ценность которую можно утащить из опенсурса велика - хороший пример это SD комьюнити которое стало автономно от моделей и создало столько инфраструктуры что можно конкурировать с MJ(особенно если знаешь что нужно)

Дайджест за неделю по нейронкам

🐈‍⬛ Animatediff Unsampling — новый вариант застабилить мерцание на генерация. При всех крутых возможностях RunwayML. Animatediff для меня пока остается самым артовым инструментом с возможностью сильного управления генерации. В превью пример генерации.
LINK — LESSON

🔝 Img2video CogXvideo — CogXVideo опенсоурсный аналог Dream Machine, KlingAI и Gen3. Теперь доступен и в варианте Img2Video. Умельцы уже смогли сделать возможность генерировать разные размеры. Но по качеству чекпоинт Fun 5B делает намного интереснее генерации, чем стандартный чекпоинт.
LINK — Fun5B_example — ComfyUI-JSON-Fun5B — Fun5B-WEIGHTS — CogXVideo10GBPipeline — EXAMPLE

🥰 Tripo AI — новый шаг в 3d генерациях. Качество генераций не уровня продакшена, но отлично сойдёт для 3d печати. Дают 600 кредитов, генерация стоит 25 при условии, что вывод в glb формате, для других придётся отдать ещё 10 кредитов. Качество на домах и персонажах невероятное! Сцены по одной картинке таким способ генерить не получится :/
В примерах есть вариант 3D печати сразу после Tripo, картинка генерировалась во Flux.
LINK — 3D-PRINT

📕 Настройка блоков трансформера во FLUX. Матео в своим последнем ролике(Attention Seeker часть) показал новые ноды для работы с блоками. Коротко — пока нет явных зависимостей, но если их понять — то управлять генерациями станет еще проще!
EXAMPLE 1 — EXAMPLE 2

👀 Kling AI. Клинг обновился до версии 1.5 и добавил новых инструментов: Motion Brush — создание масок для нужных предметов и выбор их движения. Правда в версии 1.5 новые инструменты не доступны, как и возможность ставить первый и второй кадр. Возможно только генерировать в text2img и img2img, да еще и за минимум 35 кредитов(Так как доступен только проф вариант для 1.5) и только в платной версии…
KLINGAI

☺️ Gen3 новинки — вертикальные видео.
RUNWAYML

📕 Три очень качественных каналах на английском по ComfyUI:
— Серия уроков по ComfyUI: LINK
— https://www.youtube.com/@latentvision
— https://www.youtube.com/@sebastiankamph

p.s. Пилю для вас дайджесты в 30-ти летний юбилей

Вчера на стриме потестил vid2vid

И конечно не все так радужно, как пишут и показывают.

В примерах я использовал быстрые 3d генерации по картинке и затем собирал сцену в Blender. Пока генерации были с обычными ракурсами камеры и движениями, все были идеально. А как только я выбрал более экзотические ракурсы и движения камерой, генерация поплыла. Даже при силе 0.1, где практически должна быть моя исходная генерация - цвета и движения были ужасными. Как и всегда, магии нет, чего нет в датасете, того не будет при генерации.

🧑‍🎓 Первая генерация - простая сцена в Блендер с 3d болванками

🧑‍🎓 Вторая генерация - лучшее что смог собрать в vid2vid runwayml

🧑‍🎓Третий ролик - исходник, генерация с силой 0.7, и генерация с силой 0.1 (чем меньше, тем больше похоже на оригинал входного видео)

Запись стрима: LINK

Как определить AI генерацию

📕 Недавно в сообществе Reddit по Блендеру, появилась невероятная работа. И многие стали выгонять автора из треда за использование видеонейронок вместо Блендера. ⚠️

😳 Автор работы, Александр, был вынужден предоставить скриншоты, чтобы доказать, что его работа полностью создана в Blender.

Если вы хотите научиться отличать нейронные генерации от классического 3D-арта или видеоряда, обратите внимание на следующие признаки:

🔍 Ткани и движущиеся линии — Смотрите на ткани, движущие линии, например, на траву как в видео. Если визуальные линии создающие объекты прерываются или перетекают друг в друга, то работа явно сгенерирована.

🔍 Анатомия — Наблюдаем за руками, ногами, другими частями тела, особенно если они двигаются часто. Именно в частых, быстрых генерациях любая видеонейронка теряется. Ноги превращают из правой в левую, пальцы меняют порядок или сращиваются.

🔍 Частички — небольшие частички мусора, конфетти или других вещей будут морфиться, растягиваться и видоизменяться.

🔍 Освещение и тени — Обратите внимание на тени и световые эффекты. Они могут иметь неверные углы или неправильную интенсивность.

💀 Различение AI-генерации и стандартного 3D-контента имеет ключевое значение для понимания производственных возможностей и ограничений каждого подхода. Традиционный 3D-продакшн предоставляет высокий уровень контроля, точности и реализма, что особенно важно для сложных и уникальных проектов. В то же время, AI-генерация предлагает быструю и экономичную альтернативу, подходящую для массового производства контента с меньшими требованиями к детализации.

Работа офигенная! АВТОР

FLUX LORA PERSON

📕 Сделал новый урок про обучение Лоры на персонажах. В видео два способа обучения и инференса(бесплатный на Tost.AI и на Runpod), оба варианта обучения используют AI Toolkit.

📕 Основное различие в конфигах, их можно найти на бесплатном патреоне:
— Стандартный — позволяет обучить лору на персонажах с хорошей схожестью
— Обучение двух слоев и четырех слоев только — скорость инференса увеличивается, размер лоры в размере 6-8 мб, концепты проще соединяются с нашим персонажем, но есть небольшая потеря в схожести и качестве.

🔄 Отдельно конечно мне понравилось делать обложки между главами. Они как раз в превью.

PATREON LINK — YOUTUBE LINK

И еще новости:

📕 Сравнение ControlNet для FLUX.
LINK
Вывод: Лучше всего себя показывают
🔥 MistoLine для линий и Depth из UnionPro для глубины

📕 Подробное и качественное сравнение скорости генерации на разных семплерах.
LINK
Что самое сильно, тесты делали на RTX2060 SUPER 8GB VRAM. 8gb + и 55 секунд на генерацию, это конечно приятная новость для всех у кого слабые GPU.

🔥 Тренировка концепт слайдеров теперь доступна и для Flux! Концепт слайдеры позволяют значением веса менять эмоции, возраст или другой предобученный параметр в генерациях Ждем в ComfyUI
LINK — NOTEBOOK

🔄 Обратил внимание на тестах, что многие художники из SDXL прекрасно генерятся и во FLUX, большие базы данных по художникам для SDXL:
LINK 1 | LINK 2