AINews | Нейросети

Самурай! Это просто плазма.

Пока все молятся на SAM2 от Метачки, опенсорсныe ребята взяли код и запили SAMURAI.

Для тех, кто в теме - поглядите видео и прикиньте количество времени на ротоскоп.
Причем он держит перекрытия другими людьми, дым, резкие движения.

Мне в субботу лень переводить непереводимые термины, просто скину все фичи сюда, а вы поглядите в репозиторий на гитхабе.

SAMURAI vs. MetaAI's SAM 2!

Traditional visual object tracking struggles in crowded, fast-moving, or self-occluded scenes, as does SAM2.

Meet SAMURAI: a completely open-source adaptation of the Segment Anything Model for zero-shot visual tracking!

Here's why it's a game-changer:

🚫 No need for retraining or finetuning
🎯 Boosts success rate and precision
🤖 Motion-aware memory selection
💪 Zero-shot performance on diverse datasets

But that's not all:

🔬 Refines mask selection
🔮 Predicts object motion effectively
📈 Gains: 7.1% AUC on LaSOT, 3.5% AO on GOT-10k
🏆 Competes with fully supervised methods without extra training

http...

Video Outpainting в Runway Gen-3 Alpha Turbo.

Вот это уже интересно по многим причинам.

Переделать лежачее видео в стоячее.

Отъехать камерой назад и вернуться обратно в кадр.

Сделать несколько outpaint отъездов и получить суперзум обратно.

Сделать несколько outpaint отъездов и поелозить панорамой по кадру.

Перекадрироваться.

Выпить за маттэ пейнтеров.

Новые композиции кадра с разными промптами на расширение кадра.

Самое интересное - как я понял при дорисовке кадра снаружи(outpaint) можно использовать не только промпт, но и reference image(s?)!!

Я подумал про то, насколько далеко до inpainting (принцип тот же) и в воздухе отчётливо запахло нейрокомпозом.

А соединив это с успехами Segment Anything мы можем получить этакий Omnigen, но только для видео.

И вот уже сидят композеры в своих темных комнатах и орут в мониторы "замени фон на лес, а персонажу перерисуй коня на верблюда и пол поменяй по дороге, на противоположный".

И все это для видео.

Куда катится мир?

LTXV выглядит нарядно на их же демках, но подписчики уже раскрыли тему.
С анатомией - также как везде. Никак.

Но зато шустрая.

Значит так, у нас ЕЩЕ ОДИН ВИДЕОГЕНЕРАТОР, опенсорсный притом.
LTXV is ONLY a 2-billion-parameter DiT-based video generation model capable of generating high-quality videos in real-time. It produces 24 FPS videos at a 768x512 resolution faster than they can be watched.

Cходу нативная поддержка Comfy, text2videi, image2video и вроде как video2video.

Может притормозим?

Весь фарш тут:
https://blog.comfy.org/ltxv-day-1-comfyui/

И еще немного утечек от OpenAI.

Есть слух, что через неделю-другую будут новости про НовоСору.

А пока посмотрите новое видео из текущей Соры.
И что тут бросается в глаза?
Лицо.
По сравнению с последними видосами от Соры, где лица все ухудшались и ухудшались (точнее задвигались на дальние планы, где генеративные лица всегда выглядят плохо ибо теряют отметку "лица"), здесь просто огонь.
И тут явно порылся image2Video, которым Сора никогда особо не флексила.
Текстуры, проработка лица, консистентность - тут все явно на костылях, выходящих за рамки простого text2video (моя гипотеза).

В общем подбросим дофамин ожиданиями скорого релиза или хотя бы демо новой Соры.

А пока у них тихий апдейт качества ответов chatGPT-4o (да, 4о, а не о1).

Цитирую: "Творческие способности модели к написанию текстов повысились - они стали более естественными, увлекательными и адаптированными для повышения релевантности и читабельности. Она также лучше работает с загруженными файлами, обеспечивая более глубокое понимание и бо...

Прошло 6 месяцев и в коде для приложения chatGPT наконецто заметили кусочки кода для Live Camera.

Помните, как на демо все общались с телефоном, как будет у него есть не только уши (voice mode), но и глаза(лайв-камера).

Код обнаружен в v1.2024.317 и там есть:
—Live camera functionality
—Real-time processing
—Voice mode integration
—Visual recognition capabilities

Когда и кому раскатают в первую очередь?

<string name="video_nux_beta_label">Beta</string>
<string name="video_nux_description">Tap the camera icon to let ChatGPT view and chat about your surroundings.</string>
<string name="video_nux_title">Live camera</string>
<string name="video_warning">Don't use for live navigation or decisions that may impact your health or safety.</string></code?

https://x.com/AndroidAuth

🤖 Золотая коллекция авторских каналов про нейросети, сохраняйте!

Собрал для вас редкие и полезные каналы про нейронки:

НероProfit — авторский канал с проверенными инструментами для бизнеса, учебы и работы. Конкретика, кейсы и пошаговые инструкции – все, чтобы вы смогли использовать ИИ эффективно уже сегодня.

Tips AI | IT & AI — пишет про интересные сервисы AI и IT технологий! Всегда актуальное, проверенное и немного с юмором.

Бурый — коллекционер нейросетей, тестит всё на себе и делится лучшими бесплатными нейронками.

Силиконовый Мешок — Авторский канал нейроиспытателя Артема Субботина про искусственный интеллект приносящий прибыль.

Сергей Булаев AI 🤖 - создание полезного контента и продуктов с помощью ИИ. Открываем эру миллиардных компаний из трёх человек.

Black Forest Labs: выпустили Tools, набор моделей для тонкой работы с генерацией изображений.

В него входит:
* FLUX.1 Fill: модель для инпейтинга и аутпейтинга, позволяющая вписывать/менять объекты на картинках или расширять кадр.
* FLUX.1 Depth: изменение картинки на основе карты глубины.
* FLUX.1 Canny: изменение картинки на основе карты очертаний.
* FLUX.1 Redux: адаптер для получения вариаций изображения.

Canny и Depth идут в двух вариантах: полных моделях с максимальным качеством, и лоры (Canny Lora плюс Depth Lora) на основе Dev для упрощенной разработки.

Данные решения от BFL показывают себя лучше, чем контролнеты собранные сообществом, вроде варианта от Alibaba (хотя в анонсе ссыль ведёт на альфа версию контролнета, а уже есть обновлённая бета). Также пишут, что картинки на выходе лучше других моделей, но на их бенчах нет Recraft V3.

В целом, BFL молодцы, что работают и на комьюнити, продвигая опенсорс, и себя не забывают с платными фишками по API.

Анонс
Хаггинг
Гитхаб

Тестируем SANA локально.

Первое - она реально быстрая. Причем ей наплевать на разрешение. Она молотит 2048х2048 почти с такой же скоростью что и 1024х1024. Более того, 4096х4096 тоже не сильно отличается по скорости.
Для тестирования промптов, разрешений, параметров - это просто рай. Ты не ждешь вообще.

Второе - установка. Тут вам придется помучиться. Поддержки Комфи пока нет. В инструкциях у них есть пара ошибок. Один pyhton вместо python чего стоит. Но у них есть градио морда, которую таки можно запустить и тестировать локально.

Третье. Качество. И тут мы быстро усмиряем ожидания и помним, что главное преимущество - скорость, нетребовательность и тренируемость.
Если вкратце:
Промпт понимает лучше чем SDXL, но хуже чем Флюкс или SD3.
Качество - среднее между SDXL и SD15. Трудно сказать однозначно, большой разброс по качеству. Но точно не Флюкс или Идео. До них очень далеко.
Кожа и лица - пластик, но с хорошими деталями в портретах. Глаза и зубы - очень нестабильно.
Из интересного - НЕ любит короткие...