VJ SCHOOL

TDComfyUI — обновление компонента TouchDesigner для генерации изображение через ComfyUI API.
Добавились Callbacks, поддержка удаленных серверов, корректные названия нод и исправлено несколько багов.

https://github.com/olegchomp/TDComfyUI/releases/tag/v.1.0.7

Web2Touch — plug&play веб-интерфейс для TouchDesigner. На первый взгляд, может быть как альтернатива TouchOSC. Главное отличие, не требует приложения и открывает интерфейс в веб-браузере на любом устройстве.

https://youtu.be/aOgyKX3EaP8

Spreadbeats — рекламный ролик Spotify получивший множество наград на фестивале Cannes Lions 2024. Интересен он тем что полностью запрограммирован в Excel и занимает всего 10 мб.

https://youtu.be/Z_lbVlhO9HE?si=dqvQAtcIoiPmylys

Мы к вам с отличными новостями!
Сроки подачи заявок для категорий виджеинг и моушнграфика продлили до 30 августа.

Так что участников будет еще больше, а значит и само шоу станет еще масштабнее!
Все, кто откладывал участие или не верил, что успеет – теперь у вас нет отговорок 😏

🤩 Напоминаем, что Портал.МЕДИА–АРТ – международный конкурс диджитал-художников, где каждый может проявить себя на грандиозном световом шоу, которое пройдет в Сколково с 5 по 7 сентября и побороться за призовой фонд в 1 400 000 рублей.

Подробности и сбор заявок на сайте: https://portalfuture.ru/artmedia/

Вопросы и обсуждение конкурса – в нашем чате в телеграмме: https://t.me/portal_media_art

Прием заявок на международный конкурс виджеинга и моушнграфики «ПОРТАЛ.МЕДИА-АРТ» открыт!

Присоединяйтесь к уникальному событию в мире цифрового искусства — конкурсу диджитал-художников со всего мира в рамках специального проекта фестиваля будущего «Портал 2030-2050».

Раскройте ваше видение Москвы будущего, в которой будут гармонично сочетаться передовые технологии, инновации и культурное наследие; продемонстрируйте историю открытого и вдохновляющего города, который процветает за счет технологий, разрабатываемых в Инновационном центре «Сколково».

На фестивале представят лучшие работы цифровых художников, а самые талантливые виджеи смогут лично продемонстрировать навыки перед многотысячной аудиторией.

Конкурс пройдет на площадке Инновационного центра «Сколково», работы победителей будут проецироваться на фасад здания «Гиперкуб».

Сроки приема заявок:

🟣Для категории моушнграфика: с 15 июля по 25 августа включительно;

🟣Для категории виджеинг: с 15 июля по 21 августа включительно.

Подробности и сбор заявок на сайте фестиваля.

По вопросам конкурса обращайтесь на почту: [email protected]

TouchDiffusion Portable — портативная версия, включающая предустановленную и готовую конфигурацию. Проще говоря, скачал и запустил.

1) Качаете и распаковываете архив
2) Запускаете webui.bat
3) Открываете вкладку install & update, нажимаете 'Update dependencies'
4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку

Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link

Depth-Anything & Depth-Anything v2 TensorRT in TouchDesigner — обновление компонента, с поддержкой новой версии. TDDepthAnything — real-time определение глубины без использования специальных камер.

https://github.com/olegchomp/TDDepthAnything/

TouchDiffusion — видео урок про интерактивную генерацию изображений в реальном времени с использованием StreamDiffusion и TensorRT в TouchDesigner.

https://youtu.be/FbbVZ602Z_k?si=pfOL1CYfkxwdlKw-

TouchDiffusion-v.0.0.2 — пре-обновление компонента для интерактивной генерации в реальном времени с использованием StreamDiffusion.

- Добавлена поддержка смены разрешения картинки. Выбирается на подготовке Engine и остается фиксированной для него. (Например если выбрали 768x512, то engine будет работать только с этим разрешением)
- Добавлена вкладка "About" с контролем версий
- Добавлен локальный пайплайн. Подключение к интернету необходимо на подготовке Engine.
- Добавлен Alpha параметр. По умолчанию в картинках черный цвет будет прозрачным. (может быть полезно для feedback loop)
- Изменение пайплайна на Safetensors формат. Модели должны лежать в папке models/checkpoints
- Изменен процесс установки и обновления. Теперь он происходит из самого webui.
- Исправлена поддержка sd_turbo модели.
- Исправлен неправильный путь к TouchDiffusion папке. Теперь можно двигать патч в любую другую папку.
- Исправлен параметр промпта, который не менялся если был в виде expression.


Если вы устанавливали компонент до этого момента, то скорее всего придется повторить установку и заново сгенерировать engine для моделей.

https://github.com/olegchomp/TouchDiffusion/releases/tag/v.0.0.2

TouchDiffusion benchmarks — результаты тестирования на разном железе.

Модель: SD Turbo
Batch size: 1 (количество шагов)

Только что поделились результатом с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.

TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием.

https://github.com/olegchomp/TouchDiffusion

Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром, которые подаются на вход в StableDiffusion (предыдущим и текущим тензором, грубо говоря тензорный feedback loop, но не луп а интерполяция). Также добавил управление денойзом и промптом в риал-тайме.

StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код и демо уже доступен на GitHub.

https://m.youtube.com/watch?v=N9dx6c8HKBo

Сам спросил, сам отвечаю. CPU на 13% при 40 FPS