🤖 дизайн.baзa

Veo 2 — новая SOTA видео-генерация?!

Google стратегически дождались релиза Sora от OpenAI, чтобы сразу представить свою ответку. По их внутренним тестам, Veo 2 заметно опережает конкурентов. Правда, я бы не стал слепо доверять их тестам, согласно которым клинг чуть ли не лучше MovieGen и Sora.

Однако, черрипики на сайте выглядят впечатляюще. Как минимум, фламинго не путает передние и задние ноги и Veo 2 почти безошибочно справился с фигуристкой. Но с более динамичными сценами пока есть трудности, о чём сами признаются в DeepMind — см. пример со скейтбордистом.

Технических деталей немного, кроме того, что модель на релизе выдаёт разрешение 720p с возможностью дойти до 4К! Длина видео — 8 секунд, золотая середина между 5-ю и 10-ю секундами, где уже чаще возникают артефакты. Картинки на вход, вроде бы, пока не принимает.

Есть даже регистрация в вейтлист, правда чтобы туда добавили просят заполнить небольшую анкету, да и сколько ждать — неизвестно. Надеюсь, гугл не будет опять годами держать модель за семью печатями.

@ai_newz

🎞 Вышла обновленная Pika 2.0.

Обещают качественные визуальные эффекты и выравнивание текса (что бы это ни значило). Самое главное нововведение — Scene Ingredients. Фича, которая объединит несколько изображений в одно видео.

— Загружаем несколько изображений (до 6 шт);
— Добавляем текстовую подсказку;
— Pika соединяет всё это в один ролик.

Бесплатно потестить не дают, нужен платный тариф. А чтобы убрать водяной знак и вовсе требуется максимальный тариф Fancy (76$/мес).

• Попробовать

#neural #нейросеть

@aiaiai

Сериал «Офис» в стиле Pixar

Почти год спустя снова сделал персонажей «Офиса» в стиле Пиксар. Прогресс потрясающий!

Изображения: Midjourney, Ideogram + Photoshop
Анимация: Mimimax

В комментах выложу 1,5-минутную версию, где хорошо видно мимику каждого персонажа (знаю, что никто не может минутное видео досмотреть), и все использованные генерации.

...Тем временем китайский #Kling мощно прокачивается. Сразу две новости:

1. Cамая качественная видео-модель на мой взгляд: Kling 1.5 (генерит в 1080p) теперь поддерживает управление камерой и, самое важное, Motion Brush, когда мы можем выделить и указать что и куда должно двигаться. Контроль! 🥂

2. Наконец-то выкатили лоры на людей, чтобы можно было обучить Kling своем лице (для Diamond и Platinum подписки). Нужно это, чтобы генерировать не каких-то рандомных персонажей, а себя любимого. Стоит 1000 (!) кредитов и это еще с 50% скидкой. Но что делать, иду тестировать. 🍗

3. Покидайте картинок в комментарии, чтобы потестировать Motion Brush.

У Runway потрясающее новое обновление — улучшенное управление камерой

Можно будет выбрать направление движения, скорость, сочетать это все в ролике. Есть даже панорамирование объекта, то есть обучали не только на видео. Подробнее и с черрипиками тут.

Готовлюсь тестировать на все деньги, вместе с новым обновлением в Midjourney (позволяющим работать со своими изображениями) — это новое слово в творчестве и рекламе. После сотни итераций, конечно.

Корпорация Meta представила Movie Gen — ИИ-генератор для создания новых видео, редактирования существующих или добавления звука к ним.

Инструмент позволяет в том числе использовать фотографию для генерации персонализированного видео с участием реального человека.

Подробнее: https://forklog.com/?p=242713

#Meta #MovieGen

Помните эти и подобные задолбавшие вирусные видео, где 3D элементы интегрированны в городскую среду? Так вот новая версия Pika 1.5 сделала упор не на реалистичность картинки, а как раз на эту самую вирусность, добавив в предустановленные эффекты стекание, разрезание, сдавливание, надувание, взрыв.
К посту прикрепляю чужие эксперименты, так как бесплатные генерации тормозят жутко, а покупать подписку мне не к чему.
Выглядит забавно, особенно для создания контента.
И мемов, конечно.😏

Китайский убийца Sora обновился — Kling AI научилась двигать статичные объекты. Теперь это самый простой способ сделать анимацию в видео.

Выбираем Motion Brush и буквально рисуем траекторию движения. У объекта даже сохранятся пропорции и детали!

Бонусом подняли базовое разрешение до 1080 и увеличили длину видосов до 10 секунд. Тестим тут.

👍 Бэкдор

🔥 поразительный скачок!

В последние пару недель много чего понавыходило, но больше всего шума от видеогенераторов.

На видео сравнительный тест, который даст вам понять без лишних слов, на что обратить внимание. Runway, Pika, Lumalabs — к последнему, как вы поняли, стоит присмотреться. Кроме того, у вас будет 30 бесплатных, возобновляемых генераций в месяц.

Из элементов управления пока мы имеем только текст и референсную картинку, что означает, что мы всё ещё в начале пути. Но на скачкообразное повышение качества невозможно не обращать внимания.

Видео открывайте на полный экран.

Пробовать тут.

🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!

Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.

Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.

Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.

В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 60-70 FPS на шлеме Oculus.

Сайт проекта

@ai_newz

OpenAI дали доступ к SORA разным креативным людям по миру – и те показали свои первые работы с ней.

Выкачал вам все примеры – как по мне, довольно клево вышло, в руках профи SORA по настоящему раскроется.

Пост тут:
https://openai.com/blog/sora-first-impressions

Вышла нейронка, которая анимирует любую картинку и заменит персонажа в любом видосе! Viggle — это имба, позволяющая тонко управлять генерацией ролика.

Просто зацените, как в клипе Эминема меняют на тётю — движения те же: плавные и естественные. На её месте можете быть и вы, и любой другой персонаж.

Применений куча — можно анимировать любую картинку по промпту и юзать в своих проектах, клипах и вирусных видосах!

Пробуем бесплатно тут.

@whackdoor

🔥Nvidia выкатила новые монстры для AI: Blackwell B200 GPU и GB200 "суперчип"

Как всегда бывает на презентациях NVIDIA, слово "быстро" - это вчерашний день.

↪️ B200 GPU обещает до 20 петафлопс производительности в FP4 и 208 миллиардов транзисторов. Ваша GTX 1080 Ti нервно курит в сторонке.

↪️ В одной B200 будет 192GB памяти с пропускной способностью 8 ТБ/с. Идеально для LLM моделей, которые жрут память как не в себя и требуют большую пропускную способность.

↪️ GB200 "суперчип" объединяет 2 таких B200 GPU с одним Grace CPU (на ARM архитектуре). Nvidia хвастается, что это в 30 раз производительнее для инференса в LLM в FP4 по сравнению с H100.

↪️ Ключевая фишка - второе поколение трансформерного движка, который удваивает вычислительную мощность, пропускную способность и размер модели. Но хз, какая потеря точности будет после конвертации в FP4.

↪️ Nvidia утверждает, что GB200 снижает стоимость и энергопотребление в 25 раз по сравнению с H100 (опять же, в FP4).

↪️ Теперь будет поддерживаться и новый формат - FP6, золотая середина по скорости и точности между FP4 и FP8. Но бенчмарков не показали.

↪️ FP64 на уровне 45 терафлопс на GPU (против 60 у H100). Для нейронок double precision не релевантен, поэтому они особо и не парятся ускорять тут.

↪️ Тренировка GPT-MoE с 1.8 триллиона параметров (читай GPT-4) требовала 90 дней на 8,000 GH100 и 15МВт энергии. Теперь достаточно 2,000 GB200 и 4МВт. То есть во время тренировки 1x GB200 примерно в 4 раза быстрее чем 1x H100.

↪️ На инференсе GPT-3 с 175 млрд параметров, GB200 "всего" в 7 раз быстрее H100. Ну ладно, не все сразу.

Но не радуйтесь раньше времени - цены будут ядреными! Если H100 стоит около $40k, то GB200 будет минимум в 4-5 раз дороже.

Да и не достать их будет простым смертным. Первыми их получат Amazon, Google, Microsoft и Oracle. Известно, что Амазон уже планирует кластер на 20,000 GB200.

А потребительские версии Blackwell ожидаются не раньше 2025 года.

@ai_newz

🎮 The Pixels – знаменитые пиксельные битвы в Telegram. Сотни сообществ соперничают за место на гигантском холсте в 1,048,576 пикселей и рисуют свой арт.

Выбирай свой сквад 🤖 дизайн.baзa, ставь пиксели и получай $PXL