Точки над ИИ

Команда Runway Research представила Act-One

Основная идея инструмента — это создание редактора, который сможет решать сложные видеозадачи. Название немного намекает на кино и театр.

В отличие от простых моделей, Act-One обладает способностью понимать более контекстные и многоуровневые запросы.

Сейчас акцент сделан на работу с персонажами. Скоро можно будет создавать качественные ролики на основе видео-ту-видео для озвучивания и отработки движений любых героев.

Тезисно:
— Anthropic представили новую возможность для публичного тестирования: использование компьютера (уже доступно в API). Разработчики могут давать Claude использовать компьютер так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст.
— Claude 3.5 Sonnet — первая передовая модель, предлагающая использование компьютера в публичной бета-версии (ну, из коробки да, но для других моделей это уж было года два...на GitHub. А тут они прям уверены!)
— этими возможности уже тестируют Asana, Canva, Cognition (которые Devin делали), DoorDash, Replit, и The Browser Company (это браузер Arc, на котором я сижу; они делают большую ставку на AI в браузере для выполнения действий вместо вас)
— The Browser Company отметили, что при использовании модели для автоматизации веб-задач Claude 3.5 Sonnet превзошла все модели, которые они тестировали до этого (но без деталей. Ждём обновление браузера? 🙂)
— новая модель сильно прокачалась в кодинге. На бенчмарке по внесению изменений в код на уровне целого большого репозитория (десятки тысяч строк кода) SWE-bench Verified качество выросло с 33.6% до 49% — это если сравнивать старый Sonnet и новый с использованием SWE-Agent (открытый фреймкорк из Berkley). Но были и другие решения, которые заточены именно на улучшение оценки, но недоступны нам — они выдавали 45.2%. Они, наверное, пробьют 55% просто через замену модели.
— Haiku (младшая версия, дешёвая) получает 40.6% на этом бенчмарке, что лучше старого Sonnet 3.5. Видно, что Anthropic вложились в ИИ-агентов и/или reasoning

Что это за "использование компьютера"? Claude транслирует ваши инструкции вроде «возьми данные с моего компьютера и из Интернета для заполнения вот этой формы и пройдись по всем полям») в компьютерные команды (прочитать таблицу на экране; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т. д.)

Пока работает с достаточно базовыми командами и на разных бенчмарках вроде OSWorld выдаёт всего 22% (прошлый лучший результат был 7.8%, если использовать только скриншоты экрана, без трансляции в специльную форму для слабовидящих). Однако компания ожидает быстрых улучшений в ближайшем будущем через сбор обратной связи от разработчиков. Тут они сильно обошли OpenAI и других — как мы знаем, данные это новая нефть, и каждый день отставания других игроков приносит ценность. Очень ждём, что ответят OpenAI.

Новая модель от Anthropic... 😍 но не Claude 3.5 Opus 🥺

Встречаем Claude 3.5 Haiku, младшую и дешевую версию. Однако доступная уже полгода Sonnet получила обновление, и её прокачали по всем фронтам — ОСОБЕННО ПО АГЕНТСКИМ. Что? Да, Anthropic утверждают, что это первая модель, для которой они предлагают вам доверить её управление вашим компьютером.
(по сути приложение как у OpenAI, где модель получает скриншот вашего экрана, только ещё и сама кликает. Детали будут в следующем посте)

Новость

Просто полюбоваться.

Симпатичные кадры итераций работы над CGI-роликом с использованием AI в пайплайне.

Автор.

Нашел AI-сервис, который решает споры 😎

Суть: пишете в строку мнение / гипотезу и ждете, пока языковая модель через несколько итераций придет к итоговым выводам.

Не всегда стоит рассматривать сервис, как решение, скорее лучше, как третью сторону.

И да, он не всегда находит ответ. Вот на скринах к посту мой тест на нашем недавнем споре с другом. ИИ тоже в замешательстве, но ход мысли был вполне логичный.

Потестить тут.

#fun

🕸 Disney создала АI-пауков, для воссоздания реальной паутины в своих мультфильмах

Данная технология была запущена для мультфильма Toy Story 4 и маленькие красные точки, это и есть AI-пауки, если паутина требовала взаимодействия с персонажами, ее создавали в ручную

Как по мне, использование AI в VR разработке может в разы увеличить оживленность мира, а это один из самых важных параметров в виртуальной реальности (например: движение листьев, воды, NPC)

Сама технология разработана в студии Pixar, техническим директором Хосуком Чангом и на мой взгляд AI в текущее время должен внедрятся во все сферы деятельности, чтобы сделать продукты по-настоящему иновационными

Как вам такое нововведение в процессе создания мультфильмов? А как еще AI может улучшить погружение в виртуальную реальность?

#сашанасвязи

Мне очень нравится, когда креаторы, создавая AI-контент, вкладываются идеями, а не только тестируют функционал и оттачивают качество.

Загляните в совсем свежий авторский канал к Саше. Он креативный директор ведущего диджитал-агентства России, и по совместительству тестировщик всех известных генеративных моделей по работе с видео.

В канале можно и вдохновиться и посмеяться, найти полезные промпты и рекомендации по работе с Runway, Kling, Minimax, Luma и другими моделями.

Подпишитесь на Mulumbator Ai!

Удаляем бэкграунд из видео

Сервис помогает качественно удалить фон в ролике с участием живого персонажа / актера, и поставить хромакей с возможностью моментального добавления другого фона.

#videoEditing

Для всех, кто до сих пор считает, что один человек при помощи AI не сможет закрывать задачи целой видео-продакшен команды.

Посмотрите свежий пример коммерческой рекламы содовой и представьте, что будет через полгода, год, два года?

Автор ролика использовал Midjourney для создания чистых белых банок, на которые он фотошопил реальные дизайны. Также использовал Magnific AI Relight для создания кучи совпадающих изображений для последовательности монтажа.

Анимировал кадры в Luma AI и Runway, а затем отредактировал их в AfterEffects и Premiere.

Что касается саундтрека, он нашел трек, который ему понравился на Epidemic Sound. Но музыка была недостаточно энергичной, поэтому он сделал ремикс на более коммерческую мелодию и добавил слова «Are you ready to go?» в Udio. Также он использовал ElevenLabs для звуковых эффектов.

Ваше мнение?🥸

А вы знали, что у Suno есть не только веб-версия?

Вот приложение для iOS, но главная новость – теперь вы можете генерить песни из ваших видео и фото.

Это работает так, что модель сама интерпретирует визуал в текст и жанр, основываясь на анализе событий в видео или на фотографии.

Пойдемте тестировать!

Вот, кстати, работа другой подписцицы, Лены Старковой, победила в недавно в другом конкурсе «Час цифры» — в номинации "Города будущего".

Присылайте в комменты свои топ оф зе бест работы!

Мне тут подписчица прислала ссылку на конкурс по AI-короткометражкам.

Знаю, что многие читатели периодически участвуют в подобных конкурсах, так что думаю что кому-то будет полезно.

Заявки принимают до 20 октября. Если решите участвовать – присылайте работы и сюда, всегда интересно что вы создаете⚡️

Вот ссылочка.

Adobe представила Project Concept — набор инструментов для генерации идей с использованием ИИ.

Вот ключевые моменты:

• Бесшовная интеграция с приложениями Adobe Creative Cloud
• Генерация творческих концепций на основе промптов
• Настраиваемые модели для получения бренд-ориентированных результатов

Интересный поинт про упрощение коммуникации между креативщиками и клиентами.

В целом проект нацелен на оптимизацию генерации идей, позволяя творцам расширять свои горизонты и уделять больше внимания совершенствованию своих замыслов. Поглядим!

#creative

А вы знали, что Runway существует уже 6 лет?

Нашел свои старые тесты 2020 года, где тестировал в одном пайплайне несколько нейронок внутри RunwayML с сегментацией объектов и генерацией по промпту. Вот так это тогда выглядело😅

Кто тоже работал с ранвэй до хайпа, что делали?

Знаете кто такой Refik Anadol?

Наверняка вы могли видеть его монументальную работу «Machine Hallucinations», которую приобрел The Museum of Modern Art.

Так вот он планирует открыть первое в мире (такая формулировка в новостях) учреждение, посвященное синергии между искусством и ИИ.

DATALAND, запланирован на 2025 год, разместится в The Grand LA, рядом с ключевыми культурными учреждениями Лос-Анджелеса.

Кто в LA - не пропустите.

Презентация новых автомобилей Tesla в 10 пунктах:

1. Были представлены новые беспилотные автомобили: роботакси Cybercab и автобус Robovan.
2. Оба автомобиля без руля и педалей — полностью автономные.
3. Cybercab вмещает двух пассажиров и имеет индукционную систему зарядки.
4. Cybercab предназначен для такси, Robovan — для общественного транспорта.
5. Robovan рассчитан на 20 человек.
6. Маск заявил о безопасности: такие машины в 10-20 раз безопаснее человеческого вождения.
7. Стоимость поездки может составлять 20 центов за милю.
8. Тестирование автономного вождения начнется в Техасе и Калифорнии в следующем году.
9. Серийное производство Cybercab ожидается к 2026-2027 году.
10. "Не грусти,если у тебя не много друзей. Помни,что в Cybercab всего 2 места, а в автобусе 20" (с) Дж.Стетхам.

Очень короткий дайджест последних обновлений трех наших с вами любимых AI-сервисов:

1. Minimax добавил платные тарифы, теперь есть 0$, 10$ и 95$. Последний предполагает безлимит, это все еще лучше Runway.

2. Suno добавил функцию Inpainting, которая позволяет выбирать отдельные части трека, изменять текст песни и добавлять новые инструменты.

3. Udio теперь позволяет обрезать сгенерированную музыку, задавая начальную и конечную точку трека.

Кстати, последних двух пока не засудили по авторским статьям, что радует🎼

Сегодня в подборке три AI-инструмента по работе с табличками.

1. GPT Excel – автоматизирует создание сложных формул Excel и Google Таблиц, повышая производительность за счет интеграции возможностей для создания и понимания скриптов VBA и приложений, SQL-запросов и регулярных выражений. Есть фримиум подписка.

2. Formulas HQ – генератор формул на базе ИИ для Excel и Google Таблиц, предназначенный для автоматизации создания сложных формул, повышения производительности при анализе данных и управлении электронными таблицами. Тоже есть фримиум версия.

3. Formula bot – упрощает задачи Excel, преобразуя инструкции на английском или испанском языке в формулы Excel. Он также предлагает анализ электронных таблиц, создание SQL и VBA. От 9$/мес.

#documents