Точки над ИИ

Наконец-то можно будет поручить думскроллинг AI-агенту!

Только что Оупенэйай представили Operator. Это функционал для ChatGPT, способный выполнять задачи в браузере за вас.

В компьютер к вам он не полезет, работает только в браузере с любыми https сайтами, кроме запрещенки. Ну и капчи вам придется вводить самостоятельно.

Все подробности здесь.

Лэндскейп игровых AI-стартапов.

Вот тут подробный отчет от Hartmann Capital.

Мастрид для всех, кто из геймдев и не стоит на месте.

Видеомодель от Netflix. Да-да.

Называется Go-with-the-Flow.

Что умеет? Кратко.

- Анимация объектов при помощи ключевых кадров
- Моушн трансфер
- Точное управление камерой
- Анимация вырезания и перетаскивания
- Turntable анимации.

Тут подробнее.

#VideoGenerative #videoEditing

Новая довольно убойная фича в Kling 1.6, которая называется Elements.

Если вы окончательно задолбались описывать оттаивающих оленей на фоне апрельской капели в санях деда мороза, то теперь вы можете сильно сэкономить себе букв в промптах: загружаете до 4 изображений, чтобы создать консистентных персонажей, окружение и другие объекты, не описывая их по отдельности.

Поглядите видео, все поймете.

Раскатывают в ранний доступ пока.

А я с интересом наблюдаю, как видеогенераторы изобретают все новые костыли, чтобы смириться с тем фактом, что описать происходящее на видео, это совсем не то же самое, что описать содержимое картинки. Все сложнее не на один порядок, а на многие порядки, о чем я уже неоднократно ворчал.

И вопрос в том, что будет через полгода, когда таких фич-костылей станет примерно 273. Как будем их запоминать?

Число 273 неслучайное - для одной из ранних версий Maya я когда-то писал простой mel-скрипт, который считал количество пунктов меню и подменю в Maya, получилось 273. А документация к Maya в 1999 году весила 16 килограмм - не шутка. Тогда еще книжки-мануалы печатали..

@cgevent

Если снова говорить про редактирование изображений – мне еще в последнее время нравится редактор у Krea.

Под простенькие задачи супер-ок.

Недавно писали еще что они завезли фичу с вращением объекта на картинке в 3D, но пока не нашел что-то.

На видео, кстати, очередная обложка для трека, которая не подошла в итоге.

#ImageEditing

Собралась приличная папка с AI-каналами

Да, меня снова пригласили в папку! Конкретно в этой классно то, что собрано много авторских каналов, а не просто копи-паст новостных. Присоединяйтесь!

https://t.me/addlist/0JDCqMAY1nthMjcy

Опа, OpenAI запустила «таски» в ChatGPT.

1. Запланированные действия:
Вы можете ставить разовые или повторяющиеся задачи.

2. Предложения:
ChatGPT будет предлагать задачи на основе вашего взаимодействия с ним.
Вы можете принять или отклонить эти предложения.

3. Управление задачами:
Управляйте своими задачами в потоках чата.
Или воспользуйтесь специальным разделом «Задачи» в меню профиля.

4. Уведомления:
Получайте уведомления о завершении задач. Эти оповещения поступают в вебе, пк-версии и в смартфон.

5. Ограничения:
В настоящее время у вас может быть до 10 активных задач. Вот это не классно.

6. Доступность:
Таски доступны для подписчиков ChatGPT Plus, Team и Pro. Бесплатные пользователи получат этот функционал позже в этом году.

#productivity

Вот некоторые обложки треков, которые делал для друзей в сервисе, про который писал в предыдущем посте.

Удобный image-to-image в вебе. Короткий обзор.

Иногда использую этот сервис для личных задачек, он довольно удобный:

– весьма тонко настраиваются любые параметры от "температуры" генерации до промптов, скейлинга, шагов качества.
– можно выбирать любую из 72 моделей, заточенных под разные стилистики.
– есть апскейлер, ресайзер, можно удалять бэкграунд и многое другое.

Очень щедрый в плане кредитов, раз в неделю дают 100 бесплатных генераций, при этом 1 генерация = 1 кредит.

За последние 4 месяца сделал в нем 6 обложек для синглов друзей музыкантов, могу показать👀

#imageEditing #imageGenerative

Начните 2025 год в топе Яндекса 🏆

Seopapa — это сервис для продвижения с помощью поведенческих факторов. Заботливый менеджер подберет ключевые фразы для вашего сайта, чтобы охватывать максимальное количество трафика.

На скриншоте результаты одного из клиентов. За одну неделю вывели его сайт в топ-3 по самым частотным запросам и продолжаем удерживать позиции.

Для всех новых клиентов мы дарим тестовый баланс в размере 15000 рублей, чтобы вы могли полноценно протестировать сервис и получить первые результат без каких-либо вложений.

Сервис: seopapa.com

Google научила AI создавать персональные подкасты

Функция называется Daily Listen, она превращает вашу ленту подкаст. Теперь ИИ будет автоматически собирать статьи и новости, адаптировать их под голосовое воспроизведение и генерировать подкаст специально для вас.

Пока функция тестируется, но это очередной шаг к индивидуализации контента. Возможно, совсем скоро у каждого из нас появится свой личный Джо Роган.

Надеюсь это гениальное изобретение выйдет в массы!

(все кто живут в испано-говорящих странах и не любят реггетон – поймут)

В Аргентине какой-то чувак создал устройство, способное блокировать только реггетон — музыкальный жанр, который многие обожают, а другие терпеть не могут. Гаджет, оснащённый AI-распознавалкой, был представлен в прошлом году, но сейчас снова стал популярным — возможно, из-за летнего сезона или нового витка интереса.

Принцип работы устройства прост: это Bluetooth-глушитель, который использует AI для распознавания именно реггетона. Остальные музыкальные жанры остаются нетронутыми.

Вот тут сюжет про это с примером работы.

Кстати, говорят этого парня навсегда забанили OpenAI

но кого это останавливало🥲

А Runway вчера добавили апскейл до 4k.

как это работает:

1. Сгенерируйте видео как I2V или T2V
2. Выберете генерацию, которая вам по душе
3. Нажмите кнопку "Actions" в нижней левой части генерации
4. Нажмите «Upscalling 4k».

Всегда, когда вижу похожие эксперименты: робопсов с огнеметами, роборуки с пулеметами, LLM-управляемые турели и т.д. – ощущаю что какие-то внутренние весы оценки событий будущего наклоняются не той чашей)

Я помню даже немного расстроился, когда в 2017 году вышел эпизод "Черного Зеркала" про робо-собак убийц, потому что, зачастую, многое из того что рождается в культуре, так или иначе, попадая в широкое инфополе, оседает в обществе и в R&D лабораториях, и протаптывает дорогу к реализации в будущем.

Поэтому на творцах нередко лежит большая ответсвенность за будущее человечества. Я обожаю антиутопии, но призываю творить аккуратнее😅

Нашелся вот такой сервис на основе AI-поиска по фото, который точно определяет место на карте, где была сделана фотография.

Пока что в демо-версии работает только Сан-Франциско, но уже доступен вэйтлист.

#computerVision

Начнем включение в 2025.
Три новости за эту неделю, достойные вашего внимания:

👀Сегодня Альтман написал пост, в котором подкинул интриги, относительно сингулярности. Почитать можно тут. Он заявил, что OpenAI уже знает как достичь AGI и уже начинает движение к superintelligence.

👀YouTube разрешил авторам давать возможность обучать AI на своих видео.
YouTube внедрит эту настройку в YouTube Studio «в течение следующих нескольких дней». Первоначальный список компаний:
AI21 Labs, Adobe, Amazon, Anthropic, Apple, ByteDance, Cohere, IBM, Meta, Microsoft, Nvidia, OpenAI, Perplexity, Pika Labs, Runway, Stability AI и xAI.

👀Похоже этот год во многом будет про инвестиции в андроидов. Samsung объявила, что станет крупнейшим акционером Rainbow Robotics для ускорения разработки человекоподобных роботов.

Друзья, с наступающим!

В новом году план – выдавать сильно больше полезностей: обзоры на сервисы, которые можно применять здесь и сейчас, важные анонсы и материалы по использованию популярных ИИшек.

В связи с этим важное объявление:

Ищу соавтора-редактора в Точки над ИИ.
Мечтаю найти AI-энтузиаста или энтузиастку. Идеальный кандидат:

– следит за всем новым в разных направлениях AI
– обожает тестировать все новое и увлечен(а) собственными проектами, где присутствует AI в пайплайне.
– классный слог, грамотность, чувство юмора.

Пишите мне в лс всю первую неделю января, сразу с небольшим рассказом о себе. Опыт работы в медиа или ведения тг-каналов очень приветствуется.
По оплате будем договариваться.

Мой телеграм: @youneedsky

Всех обнимаю и классного нам всем 2025 года 🎄

Отличную подборку подглядел у канала Нейродвиж.

Сотрудники одного из крупнейших инвестфондов Andreessen Horowitz (a16z) рассказали о нейронках, которые используют в работе и жизни.

Ассистенты:

— Perplexity: поисковая система с ИИ и помощник в исследованиях;
— Claude: универсальный чат-бот, подходит для проектов и обмена работами;
— ChatGPT: вы точно знаете его, но волки советуют Advanced Voice Mode для общения с ИИ.

Для продуктивной работы:

— Granola: ИИ-блокнот, который слушает ваши встречи и преобразует стенограммы в заметки;
— Flow: голосовая диктовка, преобразующая речь в текст в любом приложении;
— Gamma: создание презентаций, документов и сайтов с помощью ИИ;
— Adobe Acrobat: инструмент для подведения итогов и работы с PDF-файлами;
— Cubby: пространство для совместных исследований с ИИ;
— Cora: ИИ-помощник для работы с электронной почтой, автоматизация ответов и организация писем;
— Lindy: создание ИИ-агентов для автоматизации рабочих процессов.

Для буста аудитории:

— Delphi: текстовые, голосовые и видеоклоны для общения с аудиторией;
— HeyGen: ИИ-аватары для масштабирования контента и перевода видео;
— Argil: ИИ-аватары для социальных сетей;
— Overlap и Opus: преобразование длинных видео в короткие вирусные клипы;
— Persona: ИИ-агент для контент-криэйторов;
— Captions: ИИ для видеомонтажа (автосубтитры, коррекция зрительного контакта).

Для создания продуктов (код):

— Cursor: редактор кода с ИИ, понимающий вашу кодовую базу;
— Replit: ИИ для создания приложений и сайтов из текстового описания;
— Anychat: использование любых ИИ-моделей в одном месте;
— Codeium: инструмент автозаполнения кода с ИИ.

Для создания контента:

— ElevenLabs: реалистичные ИИ-голоса;
— Suno и Udio: создание музыки на основе текстовых запросов;
— Midjourney, Ideogram, Playground: генерация изображений с помощью ИИ;
— Runway, Kling, Viggle: генерация видео с использованием ИИ;
— Krea: платформа для создания и редактирования изображений и видео;
— PhotoRoom: редактор изображений для товаров и визуализаций с помощью ИИ.

Для обучения и развития:

— Rosebud: интерактивный дневник с аналитикой от ИИ;
— Good Inside: коучинг для родителей с персонализированной поддержкой;
— Ada Health: оценка медицинских симптомов с использованием ИИ;
— Ash: персонализированный ИИ-консультант и коуч;
— NotebookLM: превращение документа в AI-подкаст;
— Particle: новостное приложение с кратким резюме историй.

Для развлечений:

— Remix: приложение для создания и обмена AI-контентом;
— Grok: чат-бот от Илона Маска. Он весёлый, попробуйте;
— Curio: игрушки для детей с AI, которые разговаривают.

А вот и несколько задачек из ARC-AGI, на которых валится o3, даже в high-compute режиме (где на одну задачу уходят десятки миллионов токенов, стоимостью в несколько тысяч долларов).

Самим порешать эти головоломки можно здесь. Задачи со скринов: 1, 2, 3. За сколько времени у вас их выйдет решить?

@ai_newz

Вы устраиваетесь на работу – с вами созванивается такой HR. Что вы почувствуете?

Это пример довольно реалистичной "говорящей головы" от Bytedance.

Это полноценная обратная связь со скоростью 40к/сек, агент может слушать, моментально переключать роли, реагировать естественной мимикой.

Подробно о проекте тут.

Если вы на подписке ChatGPT Plus – для вас бонус от OpenAI.

Можете безлимитно генерить видосы в Sora до конца рождественских праздников.

Важнейшее наблюдение, сделанное на моих тестах. Если в образцовых промптах менять действие персонажа на поедание фо-бо – видео получается менее черри-пикнутое 😅.

#VideoGenerative

Показали новые o3 и o3-mini модели (o2 уже занятый бренд):

— Модели пока выпустили в Public Safety Tests, то есть ученые смогут помочь их тестировать, а мы не сможем помочь их ломать

— o3 работает на уровне доктора наук и иногда даже лучше в разных бенчмарках

— o3 прошла ARC-бенчмарк на 87.5%, сложный бенчмарк на котором тестируют потенциальные AGI, там много вопросов и некоторые похожие на IQ-тесты или на загадки; кожаные в этом тесте набирают ~85%, прошлый лучший результат был ~50%. То есть ARC-бенчмарк — пал.

— o3 работает также как и o1 в разных режимах: дольше думает, лучше ответ, но при этом и дороже. Пользователь может выбрать один из «думательных» пресетов сам.

Заключительный стрим OpenAI уже через 20 минут🚀

Видимо, сегодня представят AGI, который всех поприветствует в эфире, одновременно позвонит всем жителям Земли на смартфоны, объяснит новые правила, по которым мы будем жить и пообещает нас всех не убивать.

Ну или добавят новый голос в Voice Mode.

Ваши догадки?

Получил ранний доступ к сервису, который делает CGI-ролики в два клика.

Сразу же запустил двух Цукербергов в небо, думаю на моем месте так поступил бы каждый.

Суть Open Magic в том, что вам даются темплейты, вы заливаете свою картинку, ждете пару минут и получаете готовое видео для соц.сетей. Все очень просто и классно. Никаких гигантских бюджетов и сроков на продакшн.

Разумеется, тут не обошлось без AI.

А вот тут можно записаться на ранний доступ.

#videoGenerative #socialMedia

Поперечный клево интегрирует возможности нейросетей в свои выступления и сделал целое шоу, используя разные сервисы с AI.

Признаюсь, я не фанат его выступлений, да и вообще стендапа, но за эксперименты большой респект⚡️

https://www.youtube.com/watch?v=Gb5Cmi1w6Io

YouTube запускает авто-дублирование видео

Теперь видео на YouTube могут автоматически дублироваться на другие языки с помощью AI.

Это уже протестировали на канале MrBeast, и это классно генерит новый трафик и просмотры.

Для авторов это — способ выйти на новый уровень в охвате аудитории. А для зрителей — возможность смотреть любимый контент на родном языке. Все в плюсе.

После того как я предложил читателям (вам!) прислать мне ваши AI-работы, откликнулось много людей.

Как же приятно видеть какие вы все талантливые и экспериментирующие. Как и обещал – делюсь подборкой некоторых авторов с комментариями самих авторов.

1. Богдан. "Я сделал ai клип: в runway. Это мой первый такой проект, и я месяц каждый день, по 2-3 часа, выискивал подходящие генерации, тестил, соединял, чтобы получилось то, чем я теперь горжусь".

2. Mulumbator. "Русская зима – в сердцах зарубежных звезд!"

3. Богдан (да, еще один). "Коммерческий проект, кадр из серии публикаций для премиум бутика цветов в Дубае GARDEN FLOWERS"

4. Александр Козлов. «Мицелий Аватар»
"Эта инсталляция представляет собой говорящего Аватара, вашего проводника в скрытый мир мицелия — подземной сети, которая соединяет растения и делится ресурсами. Аватар проводит поразительные параллели между сложными сетями жизни под нашими ногами и обширными, взаимосвязанными системами искусственного интеллекта".

5. Андрей Троф. "Я Троф, фотограф, постоянно взаимодействую с ai в повседневной жизни. Недавно начал баловаться с оживлением фото, чтобы добавить своим кадрам жизни или унести зрителя в мир сюрреализма".

6. Олег Цербаев. Работа ученицы Олега в рамках его AI-лаборатории.

7. Даша Масленникова. "Меня зовут Даша, люблю делать творческие генерации для небольших брендов — в большей степени изображения, немного видео делаю тоже".

8. Андрей. "Хочу показать свой клип для конкурса MyFilm48".

Вы все супер!
Многих еще не успел запостить, но руки дойдут 💛

Классный пример разбивки видео на слои

Этот новый метод, разработанный Google DeepMind, раскидывает видео на слои, включая объекты и связанные с ними эффекты, например, тени и отражения.

Предыдущие методы не обрабатывали:

- динамические фоны
- окклюзии
- ассоциацию эффектов для нескольких объектов одновеременно.

Моя любимая рубрика AI + AR

Ну точнее MR (смешанная реальность).

Хотя суть поста вовсе не в формате просмотра через очки, а в самом контенте. Это динамический Gaussian Splatting от Gracia AI.

Вот таких ультрареалистичных результатов можно добиваться за считанные секунды благодаря этой невероятной технологии. Говорят эту демку можно потестить в очках Meta Quest 3. Я сам пока не тестировал.

Runway буквально релизнули Миджорни внутри Gen-3 Alpha

Знакомьтесь, Frames.

Это инструмент, который позволяет создавать визуальный контент с полным контролем над стилем и вариациями. Runway называет этот подход "Мирами": каждая генерация остаётся в рамках выбранной эстетики, но предлагает массу уникальных вариаций.

#videoGenerative #imageGenerative

Anthropic показали универсальный способ общения LLM с внешним миром

MCP (Model Context Protocol) - открытый протокол, позволяющий любой LLM получать доступ к инструментам и информации. В качестве демо Claude попросили создать веб-страницу, залить её на GitHub, создать issue и PR, что он успешно и сделал (показано на видео).

Вдохновлялись LSP - протоколом, который позволил написать ядро интеграции языка с IDE один раз и использовать её повсюду, чем изменил рынок редакторов кода, дав маленьким проектам конкурировать с большими IDE.

MCP работает по простой клиент-серверной архитектуре - приложения на основе LLM (клиенты) могут запрашивать информацию у серверов, а также пользоваться предоставленными серверами инструментами. Ещё серверы могут задавать ряд промптов. Сделать сервер довольно просто - показанный в видео сервер для GitHub написали меньше чем за час.

Клиент пока что только один - Claude Desktop, а серверы нужно разворачивать своими руками локально. Потом обещают поддержку сторонних серверов - то есть в каком-то Notion будет кнопка "привязать Claude/ChatGPT/Gemini", через которую LLM будет даваться доступ к вашим данным.

Выглядит это куда интереснее, чем то как пытаются сделать интеграции OpenAI и Google в ChatGPT и Gemini. Во-первых, MCP более гибкий - авторы приложений могут встраивать туда MCP-серверы. Во-вторых, открытость протокола позволит более маленьким провайдерам, вроде Mistral или DeepSeek, использовать куда больше тулов, чем если бы они пытались сделать это сами. Ну и, конечно же, это приближает эру агентов.

Взлетит или не взлетит - пока ещё непонятно, но выглядит многообещающе. В качестве примеров для разработчиков Anthropic сделали 9 MCP-серверов - Slack, Google Maps, GitHub и ещё несколько. Несколько компаний уже принялись делать и сторонних клиентов - к примеру, авторы Zed и Codeium.

Примеры интеграций
Туториал по протоколу

@ai_newz

Runway становится еще более киношным

Теперь кадры можно аутпейнтить (расширять контекст за счет зум-аута) и далее возвращаться обратно.

Такое расширение можно делать не только по промпту, но и по референсному изображению!

Чувствую следующий год будет очень интересным

Появляется все больше примеров "симуляций мира". Простое объяснение: это управление движением в реальном времени на уровне кадров в генеративной модели.

Все это про создание реалистичных миров с бесконечным генеративным контентом, создание симуляций в научных и развлекательных целях.

Пример в посте – проект The Matrix. Проект направлен на создание бесконечно генерируемого мира с реалистичной графикой и возможностью взаимодействия в реальном времени. Система обеспечивает точное управление на уровне кадров, визуальные эффекты и бесконечные возможности для исследования. Она обучена на данных из AAA-игр, таких как Forza Horizon 5 и Cyberpunk 2077, а также на реальных видеоматериалах, что позволяет пользователям исследовать разнообразные ландшафты, включая пустыни, города и леса, в непрерывных видеороликах.

Скоро у них выйдет демка. Очень жду. Пока что визуально это одна из самых "не галлюционирующих" моделей мира.

Давно не было про речь

PlayDialog — это голосовой ИИ от Play.ai, который умеет красиво говорить, с эмоциями, интонациями и настроением. Подходит для озвучки, подкастов и любых проектов, где нужен реально живой голос. Ещё есть API.

Очень естественно звучащий синтез речи.

#voice

Такая находка.

500 успешных бизнес-кейсов применения ML/AI в процессах крупнейших компаний и корпораций.

Все удобно собрано в эйртебл-табличке, к каждому кейсу есть статья-источник.

Вот ссылка.

#library

Но надо заметить, что и год назад звучало уже очень даже.

Вот для истории – то что я генерил в прошлом ноябре в Suno.
Тут эта легкая лоу-файность сыграла даже как часть жанра😅

Зацените звучание в Suno v4.0

Звук стал намного чище, уже не так режет слух посторонний шум и дисторшн.

Вот несколько примеров треков на новой версии:

раз, два, три.

#music

Для всех, кто хочет поиграть в гейм-дизайнера, разработчика и 3D-художника.

Очень залипательный геймдев-конструктор на базе LLM.

Называется Rosebud. Внутри максимально-понятный интерфейс. Вы выбираете 3D или 2D тип игры, дальше общаетесь с чатом и смотрите на изменения в реальном времени. Далее игру можно опубликовать и она попадет в каталог с сотней игр, сделанных на платформе.

#gamеdev

Нам с вами в копилочку гайдов.

Руководство по составлению промптов для Stable Diffusion 3.5.

Внутри общие рекомендации по структуре промптов, отдельным стилистикам и отрицательным промптам.

Про переодевалки

Прошло уже больше года с момента, когда я в последний раз тестировал Superlook AI.
Тут писал про это, а тут даже снял рилс.

Сервис сильно обновился – от интерфейса до функционала. Обновилась сама примерочная, появились аватары много пресетов стилей, а самое главное - теперь есть API.

Ну и забавный момент, я такого еще не встречал: во время генерации лука на экране загрузки висит монетка по которой можно тапать, и ваши монеты реально копятся на счет аккаунта😅 Пока не понял – можно ли с ними что-то делать.

Ну и инсайт/сюрприз дня – сервис, оказывается, запилили в студии Toonbox (создатели легендарного Mr. Freeman).

#fashion

AutoVFX: Да простит меня Даня, но щас вот за VFX. Не чокаясь.

Это очень забавная работа китайских студентов из Иллинойса.
Но это прям полноценная попытка сделать однокнопочный Гудини или Майю. Вместе с Нюком до кучи.

Замысел на миллион - загружаете видео и голосом говорите, каких эффектов навалить и как приподвзорвать объекты в сцене.

И оно такое - апажалста.

Я сначала дам цитату, а потом разберу работу, уж больно лихие амбиции (в духе этого канала)

"Мы представляем AutoVFX, фреймворк, который автоматически создает реалистичные и динамичные VFX-видео из одного видео и инструкций на естественном языке. Используя нейро-3Д-моделирование сцены, генерацию кода на основе LLM и физическую симуляцию, AutoVFX способен обеспечить физически корректные, фотореалистичные эффекты, которыми можно управлять непосредственно с помощью инструкций на естественном языке."

Каково?

Поглядите примеры тут:
https://haoyuhsu.github.io/autovfx-website/

А теперь пробежимся, из какого опен-сорса и палок они собирают эту монструозную конструкцию.

Gaussian Splatting submodules
diff-gaussian-rasterization
segmentation & tracking modules
Grounded-Segment-Anything and GroundingDINO
recognize-anything
lighting estimation modules
PyTorch3D
Trimesh
Tracking-Anything-with-DEVA
По дороге ставится Блендор!
We use BakedSDF implemented in SDFStudio for surface reconstruction. Please make sure to use our custom SDFStudio for reproducibility. We recommend to create an extra environemnt for this part since CUDA 11.3 has been tested on this repo.

Это больше похоже, конечно, на эксперимент и дипломную работу, но безумство и отвага меня восхищают.
Почитайте их Гитхаб, это прям дерзко:
https://github.com/haoyuhsu/autovfx

@cgevent

OpenAI продолжает подкидывать нам шоукейсы, сделанные на Sora.

Дайте уже доступ поскорее, пока всякие Kling'и не захватили рынок🥲

Идея механики для ваших видео и блогов с Generative Fill.

Сделано на: Runway, ComfyUI и Adobe AfterEffects.

Move AI продолжает улучшаться

Сервис, как и раньше, упрощает анимацию персонажей, превращая 2D-видео в 3D-моушн данные с помощью ИИ. Кто пользовался в последнее время?

Можно запросить демо на сайте.

#motionCapture

Сразу две новости о бóльшей персонализации в популярных у нас с вами AI-инструментах.

1. Suno внедрили Personas.
Personas позволяют вам сохранять вокал, стиль, атмосферу трека и переосмысливать это в своих композициях.

Как это сделать?

1. Найдите песню, которая вам нравится, нажмите «Создать», затем «Создать Персону».
2. Выберите Публичный или Частный режим. Публичные Персоны могут использоваться другими, у них будет своя страница, и их можно будет найти в вашей библиотеке и профиле.
3. Добавляйте тексты песен и стили так же, как и любую другую песню.

2. Kling выпустили "Custom Models".
Функционал позволяет вам создать своего персонажа на основе 10–30 видео. Вы буквально обучаете модель.

Kling захватывает все важные черты персонажа в вашем видео. Перед началом обучения вам нужно либо создать персонажа, например в Миджорни, или использовать существующего. Затем загрузите изображения вашего персонажа в Kling AI и создайте 10 видеороликов, где лицо персонажа будет в центре внимания, можно подобрать разные эмоции и фоны. После этого у вас появится персонаж, которого можно добавлять в любые видео.

#music #videoGenerative

Небольшой тест (в молодежном стиле рок 80х) нового обновления #Gen3 Alpha Turbo — контроль камеры .

"Ну, нормально работает".

Еще один шаг в сторону контроля над видео, который пока идеален для приколов, но слаб для серьезных продакшен процессов.

Кто уже пробовал "контроль камеры" в Runway? Как вам?

Уже пользовались поисковиком GPT от OpenAI?

Мне очень понравился формат, качественно собирает важное в единое полотно с ёмким, связанным повествованием и ссылками.

В Chrome можно также добавить расширение ChatGPT search.

А вам как поисковик?

Кто-то тут писал в комментариях весной этого года, что ставит на выход полнометражного кино, созданного при помощи AI, в этом году.

Ну что ж, это не кино, а мультфильм. Создан любительской группой, а не крупной киностудией, но все же!

Называется «Там, где растут роботы». Действие происходит в будущем, когда последние выжившие на Земле отправляют роботов обрабатывать новый мир под названием Оракул.

Пока не видел, чтобы раскрывали где-то весь стек, но есть любопытные цифры: 1 минута мультфильма обошлась в $8000. А всего минут – 88.

Ну и важно сказать, что мультфильм точно не на 100% сделан с AI инструментами. Как минимум, озвучка была от реальных актеров.

Дизайнеры, просыпайтесь — вышел Recraft V3 и сейчас мы будем вам объяснять, почему это революция.

В релизе сразу две модели: первая генерирует реалистичные изображения, а вторая — векторные!

Recraft и раньше умел работать с SVG, но теперь качество вышло на новый уровень. Объёмные изображения всё ещё смазывает, но для иконок/кнопок — идеально.

Самое крутое: в редакторе можно объединить СВОЙ текст и СВОЮ картинку — нейросеть сгенерит их ВМЕСТЕ с сохранением стиля 😱

Утром обязательно потестите — каждый день насыпают 50 кредитов, этого хватит, чтобы поиграться.

Пользуетесь ли вы кастомными GPT?

Если да – для каких задач чаще всего используете?

Я пользуюсь в основном теми, которые собрал для себя сам. Редко юзаю что-то из model-хаба.

А как у вас?

А вот так работает MIMO от Alibaba

Этот инструмент позволяет генерировать реалистичные видео персонажей в сценах, поддающихся контролю и кастомизации.

Главное преимущество MIMO в том, что для её работы не нужны сложные многокамерные съёмки. Достаточно простых промптов, чтобы выбрать внешний вид персонажа, движения и окружение.

Секрет MIMO — в «разложении» видео на три слоя: персонаж, сцена и объекты на переднем плане. Это позволяет добиться гибкости, реалистичности движения и взаимодействия с окружением.

#motionCapture

Это DeepFacelive — инструмент, позволяющий менять лицо в реальном времени во время видеозвонков и трансляций. Я не писал про него раньше, сейчас мне снова попался этот ролик и я решил запостить, многие не видели.

Ещё один пример — гиперреалистичный AI от Microsoft, VASA-1, который с апреля 2024 года может создавать говорящие головы виртуальных персонажей из одной статичной фотки и звуковой дорожки.

#deepfake

🤯 В паблик вышла первая фундаментальная ИИ-модель человеческого познания (!) — Centaur предсказывает и симулирует поведение человека в любых экспериментах. С помощью имитации интуиции и анализа она бустит качество ответов в разы.

Над Centaur работали лучшие умы из DeepMind, Оксфорда, Кэмбриджа и других универов. В основе лежит Llama 3.1 70B, обученная на 160 психологических экспериментах (60 тысяч участников). Теперь нейронка точнее всех прогнозирует поведение людей в любых условиях.

Будущее уже близко! Почитать пейпер можно здесь, а скачать исходники тут.

@notboring_tech

Сегодня в подборке AI-инструментов 3 бесплатных сервиса по работе с научной литературой, исследованиями и статьями:

Consensus — это целая поисковая система на базе AI, которая помогает быстро извлекать результаты научных исследований. В результатах все по делу, никакой рекламы и сразу со ссылками на публикации.

SciSpace Copilot — хром-расширение, призванное помогать понимать научную литературу, предоставляя пояснения к тексту, математическим уравнениям и таблицам, встречающимся в исследовательских работах, технических блогах и отчетах.

Semantic Scholar — инструмент для исследования научной литературы, дающий доступ к более чем 221 миллионам статей из разных областей науки. Удобный поиск, фильтры, ридер и есть API.

На какую тему хотите следующую подборку?

#research

Денис собрал список нестандартных способов использования LLM от реддит-пользователей.

Смотрим: https://t.me/denissexy/8880

Команда Runway Research представила Act-One

Основная идея инструмента — это создание редактора, который сможет решать сложные видеозадачи. Название немного намекает на кино и театр.

В отличие от простых моделей, Act-One обладает способностью понимать более контекстные и многоуровневые запросы.

Сейчас акцент сделан на работу с персонажами. Скоро можно будет создавать качественные ролики на основе видео-ту-видео для озвучивания и отработки движений любых героев.

Тезисно:
— Anthropic представили новую возможность для публичного тестирования: использование компьютера (уже доступно в API). Разработчики могут давать Claude использовать компьютер так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст.
— Claude 3.5 Sonnet — первая передовая модель, предлагающая использование компьютера в публичной бета-версии (ну, из коробки да, но для других моделей это уж было года два...на GitHub. А тут они прям уверены!)
— этими возможности уже тестируют Asana, Canva, Cognition (которые Devin делали), DoorDash, Replit, и The Browser Company (это браузер Arc, на котором я сижу; они делают большую ставку на AI в браузере для выполнения действий вместо вас)
— The Browser Company отметили, что при использовании модели для автоматизации веб-задач Claude 3.5 Sonnet превзошла все модели, которые они тестировали до этого (но без деталей. Ждём обновление браузера? 🙂)
— новая модель сильно прокачалась в кодинге. На бенчмарке по внесению изменений в код на уровне целого большого репозитория (десятки тысяч строк кода) SWE-bench Verified качество выросло с 33.6% до 49% — это если сравнивать старый Sonnet и новый с использованием SWE-Agent (открытый фреймкорк из Berkley). Но были и другие решения, которые заточены именно на улучшение оценки, но недоступны нам — они выдавали 45.2%. Они, наверное, пробьют 55% просто через замену модели.
— Haiku (младшая версия, дешёвая) получает 40.6% на этом бенчмарке, что лучше старого Sonnet 3.5. Видно, что Anthropic вложились в ИИ-агентов и/или reasoning

Что это за "использование компьютера"? Claude транслирует ваши инструкции вроде «возьми данные с моего компьютера и из Интернета для заполнения вот этой формы и пройдись по всем полям») в компьютерные команды (прочитать таблицу на экране; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т. д.)

Пока работает с достаточно базовыми командами и на разных бенчмарках вроде OSWorld выдаёт всего 22% (прошлый лучший результат был 7.8%, если использовать только скриншоты экрана, без трансляции в специльную форму для слабовидящих). Однако компания ожидает быстрых улучшений в ближайшем будущем через сбор обратной связи от разработчиков. Тут они сильно обошли OpenAI и других — как мы знаем, данные это новая нефть, и каждый день отставания других игроков приносит ценность. Очень ждём, что ответят OpenAI.

Новая модель от Anthropic... 😍 но не Claude 3.5 Opus 🥺

Встречаем Claude 3.5 Haiku, младшую и дешевую версию. Однако доступная уже полгода Sonnet получила обновление, и её прокачали по всем фронтам — ОСОБЕННО ПО АГЕНТСКИМ. Что? Да, Anthropic утверждают, что это первая модель, для которой они предлагают вам доверить её управление вашим компьютером.
(по сути приложение как у OpenAI, где модель получает скриншот вашего экрана, только ещё и сама кликает. Детали будут в следующем посте)

Новость

Просто полюбоваться.

Симпатичные кадры итераций работы над CGI-роликом с использованием AI в пайплайне.

Автор.

Нашел AI-сервис, который решает споры 😎

Суть: пишете в строку мнение / гипотезу и ждете, пока языковая модель через несколько итераций придет к итоговым выводам.

Не всегда стоит рассматривать сервис, как решение, скорее лучше, как третью сторону.

И да, он не всегда находит ответ. Вот на скринах к посту мой тест на нашем недавнем споре с другом. ИИ тоже в замешательстве, но ход мысли был вполне логичный.

Потестить тут.

#fun

🕸 Disney создала АI-пауков, для воссоздания реальной паутины в своих мультфильмах

Данная технология была запущена для мультфильма Toy Story 4 и маленькие красные точки, это и есть AI-пауки, если паутина требовала взаимодействия с персонажами, ее создавали в ручную

Как по мне, использование AI в VR разработке может в разы увеличить оживленность мира, а это один из самых важных параметров в виртуальной реальности (например: движение листьев, воды, NPC)

Сама технология разработана в студии Pixar, техническим директором Хосуком Чангом и на мой взгляд AI в текущее время должен внедрятся во все сферы деятельности, чтобы сделать продукты по-настоящему иновационными

Как вам такое нововведение в процессе создания мультфильмов? А как еще AI может улучшить погружение в виртуальную реальность?

#сашанасвязи

Мне очень нравится, когда креаторы, создавая AI-контент, вкладываются идеями, а не только тестируют функционал и оттачивают качество.

Загляните в совсем свежий авторский канал к Саше. Он креативный директор ведущего диджитал-агентства России, и по совместительству тестировщик всех известных генеративных моделей по работе с видео.

В канале можно и вдохновиться и посмеяться, найти полезные промпты и рекомендации по работе с Runway, Kling, Minimax, Luma и другими моделями.

Подпишитесь на Mulumbator Ai!

Удаляем бэкграунд из видео

Сервис помогает качественно удалить фон в ролике с участием живого персонажа / актера, и поставить хромакей с возможностью моментального добавления другого фона.

#videoEditing

Для всех, кто до сих пор считает, что один человек при помощи AI не сможет закрывать задачи целой видео-продакшен команды.

Посмотрите свежий пример коммерческой рекламы содовой и представьте, что будет через полгода, год, два года?

Автор ролика использовал Midjourney для создания чистых белых банок, на которые он фотошопил реальные дизайны. Также использовал Magnific AI Relight для создания кучи совпадающих изображений для последовательности монтажа.

Анимировал кадры в Luma AI и Runway, а затем отредактировал их в AfterEffects и Premiere.

Что касается саундтрека, он нашел трек, который ему понравился на Epidemic Sound. Но музыка была недостаточно энергичной, поэтому он сделал ремикс на более коммерческую мелодию и добавил слова «Are you ready to go?» в Udio. Также он использовал ElevenLabs для звуковых эффектов.

Ваше мнение?🥸

Заработать на своем искусстве? Легко, если ты участвуешь в опен-колле от команды VK

Блок информационной безопасности VK и Простор проводят опен-колл “Границы данных”. Там креаторы могут представить арты на тему того, как они видят защиту данных. Твоё время пришло — покажи своё творчество!

Победители получат денежные вознаграждения. Также лучшие работы покажут на Security Awareness Week – крупнейшем событии по кибербезопасности. А чтобы вдохновиться – смотрите работы победителей прошлых опен-коллов Простора.

Заявку можно подать до 3 ноября

А вы знали, что у Suno есть не только веб-версия?

Вот приложение для iOS, но главная новость – теперь вы можете генерить песни из ваших видео и фото.

Это работает так, что модель сама интерпретирует визуал в текст и жанр, основываясь на анализе событий в видео или на фотографии.

Пойдемте тестировать!

Вот, кстати, работа другой подписцицы, Лены Старковой, победила в недавно в другом конкурсе «Час цифры» — в номинации "Города будущего".

Присылайте в комменты свои топ оф зе бест работы!

Мне тут подписчица прислала ссылку на конкурс по AI-короткометражкам.

Знаю, что многие читатели периодически участвуют в подобных конкурсах, так что думаю что кому-то будет полезно.

Заявки принимают до 20 октября. Если решите участвовать – присылайте работы и сюда, всегда интересно что вы создаете⚡️

Вот ссылочка.

Adobe представила Project Concept — набор инструментов для генерации идей с использованием ИИ.

Вот ключевые моменты:

• Бесшовная интеграция с приложениями Adobe Creative Cloud
• Генерация творческих концепций на основе промптов
• Настраиваемые модели для получения бренд-ориентированных результатов

Интересный поинт про упрощение коммуникации между креативщиками и клиентами.

В целом проект нацелен на оптимизацию генерации идей, позволяя творцам расширять свои горизонты и уделять больше внимания совершенствованию своих замыслов. Поглядим!

#creative

А вы знали, что Runway существует уже 6 лет?

Нашел свои старые тесты 2020 года, где тестировал в одном пайплайне несколько нейронок внутри RunwayML с сегментацией объектов и генерацией по промпту. Вот так это тогда выглядело😅

Кто тоже работал с ранвэй до хайпа, что делали?

Знаете кто такой Refik Anadol?

Наверняка вы могли видеть его монументальную работу «Machine Hallucinations», которую приобрел The Museum of Modern Art.

Так вот он планирует открыть первое в мире (такая формулировка в новостях) учреждение, посвященное синергии между искусством и ИИ.

DATALAND, запланирован на 2025 год, разместится в The Grand LA, рядом с ключевыми культурными учреждениями Лос-Анджелеса.

Кто в LA - не пропустите.

Презентация новых автомобилей Tesla в 10 пунктах:

1. Были представлены новые беспилотные автомобили: роботакси Cybercab и автобус Robovan.
2. Оба автомобиля без руля и педалей — полностью автономные.
3. Cybercab вмещает двух пассажиров и имеет индукционную систему зарядки.
4. Cybercab предназначен для такси, Robovan — для общественного транспорта.
5. Robovan рассчитан на 20 человек.
6. Маск заявил о безопасности: такие машины в 10-20 раз безопаснее человеческого вождения.
7. Стоимость поездки может составлять 20 центов за милю.
8. Тестирование автономного вождения начнется в Техасе и Калифорнии в следующем году.
9. Серийное производство Cybercab ожидается к 2026-2027 году.
10. "Не грусти,если у тебя не много друзей. Помни,что в Cybercab всего 2 места, а в автобусе 20" (с) Дж.Стетхам.

Очень короткий дайджест последних обновлений трех наших с вами любимых AI-сервисов:

1. Minimax добавил платные тарифы, теперь есть 0$, 10$ и 95$. Последний предполагает безлимит, это все еще лучше Runway.

2. Suno добавил функцию Inpainting, которая позволяет выбирать отдельные части трека, изменять текст песни и добавлять новые инструменты.

3. Udio теперь позволяет обрезать сгенерированную музыку, задавая начальную и конечную точку трека.

Кстати, последних двух пока не засудили по авторским статьям, что радует🎼

Сегодня в подборке три AI-инструмента по работе с табличками.

1. GPT Excel – автоматизирует создание сложных формул Excel и Google Таблиц, повышая производительность за счет интеграции возможностей для создания и понимания скриптов VBA и приложений, SQL-запросов и регулярных выражений. Есть фримиум подписка.

2. Formulas HQ – генератор формул на базе ИИ для Excel и Google Таблиц, предназначенный для автоматизации создания сложных формул, повышения производительности при анализе данных и управлении электронными таблицами. Тоже есть фримиум версия.

3. Formula bot – упрощает задачи Excel, преобразуя инструкции на английском или испанском языке в формулы Excel. Он также предлагает анализ электронных таблиц, создание SQL и VBA. От 9$/мес.

#documents

Ребята, ой что зарелизили, смотрите!

Minimax (китайская модель для генерации видео) запустили image2video. Теперь не обязательно платить ранвею по 100$ в час, минимакс бесплатный.

При этом качество довольно хорошее. Вот, например, на видео я с друзьями, мы чешем гигантского воздушного пса.

Ждем расширение функционала🤌

Никогда такого не было – и вот опять. AI + AR.

На этот раз несложный пайплайн по созданию контролируемых стилизованных роликов.

Если надумаете повторить:

1. Генерим маску в Midjourney
2. Превращаем в 3D в Tripo
3. Прикручиваем к голове в Reality Composer
4. Стилизуем в GEN 3.

Автор: Don Allen

Любимая связка AI + AR

Гугл Ресерч исследуют систему дополненной реальности, позволяющую превращать физические объекты в интерактивные интерфейсы.

Используя сегментацию объектов в реальном времени и LLM, система позволяет пользователям взаимодействовать с окружающими предметами.

Например, прикосновение к кастрюле может мгновенно отобразить время приготовления супчика или установить таймер.

Очень люблю в проектах с использованием графики, в частности, в AR/VR, когда классно упаковывают ткани и свет.

По этой же причине люблю схожие AI-проекты. Вот как раз один из таких примеров – работа Vincent Smadja, делюсь с вами для вдохновения.