Нейросетевые мемы

Krea.ai real-time custom AI models

Krea открыли возможность тренировать свои рилтаймовые лоры. Не флюс, а, очевидно, sdxl

И теперь, оплатив тренировку, можно онлайн рисовать по наброскам своими лорами

#lora #training #finetuning #realtime

Метаверсище и ИИще написал о похожей функции Minimax Subject Reference. Выглядит круто, особенно в примере, который нашел в Твиттере (или X, кому как удобно).

Теперь всем пользователям выкатили доступ в Kling Elements

Улыбнула вот эта история Гарри Поттера, изложенная в виде северокорейской патриотической песни.

Видео отсюда

Kling Elements мне определенно нравятся.

Хотя бы тем, что можно выпить за Reels

Очень крутой автор.

@cgevent

Новая довольно убойная фича в Kling 1.6, которая называется Elements.

Если вы окончательно задолбались описывать оттаивающих оленей на фоне апрельской капели в санях деда мороза, то теперь вы можете сильно сэкономить себе букв в промптах: загружаете до 4 изображений, чтобы создать консистентных персонажей, окружение и другие объекты, не описывая их по отдельности.

Поглядите видео, все поймете.

Раскатывают в ранний доступ пока.

А я с интересом наблюдаю, как видеогенераторы изобретают все новые костыли, чтобы смириться с тем фактом, что описать происходящее на видео, это совсем не то же самое, что описать содержимое картинки. Все сложнее не на один порядок, а на многие порядки, о чем я уже неоднократно ворчал.

И вопрос в том, что будет через полгода, когда таких фич-костылей станет примерно 273. Как будем их запоминать?

Число 273 неслучайное - для одной из ранних версий Maya я когда-то писал простой mel-скрипт, который считал количество пунктов меню и подменю в Maya, получилось 273. А документация к Maya в 1999 году весила 16 килограмм - не шутка. Тогда еще книжки-мануалы печатали..

@cgevent

Мокапил лягушек под грибочек

Paul Schrader, сценарист фильмов «Таксист» и «Бешеный бык» (за режиссёрством Martin «🖐😶🤚» Scorsese ), пишет в фейсбуке:

— Я только что осознал что AI умнее меня. У него лучше идеи, он предлагает более эффективные способы их осуществления. Это экзистенциальный момент, схожий с тем, как Kasparov чувствовал себя в 1997, когда понял, что DeepBlue обыграет его в шахматы
— (Что привело вас к этим мыслям?) Я спросил у ChatGPT идеи сценариев от Paul Schrader. Оно выдало результаты лучше, чем мои собственные идеи.

====

— Я только что отправил ChatGPT сценарий, написанный мной несколько лет назад, и спросил об улучшениях. Через 5 секунд я получил ответ с заметками на уровне или даже лучше, чем я получал от кинопродюсеров.

====

Фух, ну хорошо, что тут можно отмазаться, мол, сценарист слабенький, лишь номинировался на Оскар, а не выигрывал его, и что ему 78 лет, и он уже ничего не понимает 😀

Субботняя проверка мемов. Есть че?

#humor

С учётом того что присылают в Вотсапе бабушки и во что верят. Скоро я услышу про казахов на динозаврах и прочие штуки. Взял у riz_esentaev .

Seaweed APT: Diffusion Adversarial Post-Training for One-Step Video Generation

Генерация видео и изображений за один шаг от ByteDance

Модель генерирует 2 секунды видео с разрешением 1280х720 @24 fps в режиме реального времени

Кода нет, есть восхищение

#text2video #text2image #realtime

На соньке к 30 летию сделали выбор темы с 1 по 5 пс. Балдеж

наткнулся на лору для флюкса с кириллицей. но чтобы сгенерить хорошо запаситесь терпением. раза с 20 попадет, но кого то может выручить

Хоть и не я делал, но не могу не выложить

STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution

Апскейлер видео от ByteDance

Они там придумали как апскейлить видео при помощи видеогенераторов, сохраняя консистентность во времени.

Основано на I2VGen-XL, VEnhancer, CogVideoX и OpenVid-1M

Прикручено к I2VGen-XL и CogVideoX-5B

Претрейн на CogVideX-5B поддерживает исходники только 720x480

Иyфу по потреблению VRAM не нашел

Код
Демо

#upscale #enhance #video2video

Отличный способ хорошо провести время, если вы тоже дегенерат. Минут 40 залипал.

Самая отвратительная страница в интернете.

Находится этот кликер тут

Спасибо нейронкам

Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering

Свежий апскейлер, рилтайм.

Отличительная особенность - повышает разрешение изображения в любое количество раз.

Судя по всему, предназначен для повышения разрешения рендера игровых движков

Код
Видео от двухминутного доктора

#upscale #realtime

Лутаем платные подписочки бесплатно к новому году

1. Luma Dream Machine - Промокод: LUMA-MDMZ (3 месяца)
2. ElevenLabs - Промокод: ODYSSEY11 (1 месяц)
3. Udio - Абуз триала (7 дней)

Как залутать?:
1 - Регистрируемся/входим.
2 - Тыкаем на обновить план.
3.1 - LUMA: тыкаем на месячную Plus подписку
3.2 - ElevenLabs: тыкаем на Starter подписку
3.3 - Udio: там где Standard тыкаем на Trial
4 - Нас перекидывает на страничку оплаты, там мы вводим промокод(для Udio не нужно)
5- Вводим данные сгенерированной карты(см. комментарии к посту), имя владельца от балды, Адресс - хз, но я выбирал штаты, далее адресс от балды, далее город например : Miami, почтовый индекс: 33152, штат сам подтянется, ну а после - подписаться
6 - Поздравляю, у вас халявная подписочка.

P.S Касаемо Udio, после всех вышеописанных действий, этот Trial нужно ещё активировать, активируем в том же окошечке с подписками в окошечке Standard, абузить Udio подобным методом можно сколько угодно, меняете почту, и вперёд.

Вот эта работа имеет все шансы стать куда более значимой, чем все нынешние "соры", выпущенные в последние полгода. Это система, в которой вы можете симулировать реальные физические процессы и визуализировать их. По сути используется физическая модель, где из текста строится не видео (как все уже привыкли), а моделируется 3д с учетом физики процессов и материалов. Слова тут вероятно лишние, посмотрите на картинки https://genesis-embodied-ai.github.io

🍊Что в чемодане из «Криминального чтива»? Что было в коробке из фильма «Семь»? Что на столе у Тони Монтаны?
У них там праздничное настроение!

Сделал с помощью магии рук, фотошопа и Minimax ✨

Гляньте какая годнота ❤️

Автор пишет, что сделал это с помощью Flux 1.1 pro + различных видео генераторов (sora, kling, minimax)

Veo 2 — новая SOTA видео-генерация?!

Google стратегически дождались релиза Sora от OpenAI, чтобы сразу представить свою ответку. По их внутренним тестам, Veo 2 заметно опережает конкурентов. Правда, я бы не стал слепо доверять их тестам, согласно которым клинг чуть ли не лучше MovieGen и Sora.

Однако, черрипики на сайте выглядят впечатляюще. Как минимум, фламинго не путает передние и задние ноги и Veo 2 почти безошибочно справился с фигуристкой. Но с более динамичными сценами пока есть трудности, о чём сами признаются в DeepMind — см. пример со скейтбордистом.

Технических деталей немного, кроме того, что модель на релизе выдаёт разрешение 720p с возможностью дойти до 4К! Длина видео — 8 секунд, золотая середина между 5-ю и 10-ю секундами, где уже чаще возникают артефакты. Картинки на вход, вроде бы, пока не принимает.

Есть даже регистрация в вейтлист, правда чтобы туда добавили просят заполнить небольшую анкету, да и сколько ждать — неизвестно. Надеюсь, гугл не будет опять годами держать модель за семью печатями.

@ai_newz

Первые выводы про o1 Pro

TL;DR: o1 Pro — модель, нацеленная на глубину и точность ответов, особенно полезная для людей, уже разбирающихся в теме и способных оценить качество выдачи. Без чётких вводных модель может быть поверхностной, но при грамотных запросах способна дать действительно ценные инсайты. Но это все еще не AGI.

— o1 Pro ориентирована на специалистов, глубоко погружённых в свою область. Она легко разбирает сложные научные данные, тексты любой сложности и код, но настоящую пользу приносит тем, кто может понять, где модель поверхностна или ошибается, и скорректировать её ход мыслей.

— Я использовал эту модель в бизнесе и пытался применить её для решения маркетинговых задач. По умолчанию она выдавала лишь «первого уровня» посылы, просто перечисляя фичи. Но опытный маркетолог знает, что клиенты покупают не функционал, а историю и идею. Например, Apple не говорит: «Мы добавили камеру получше», а показывает, как люди сохраняют важные моменты. Чтобы o1 Pro смогла сделать то же самое, нужно направлять её, задавая правильные вопросы и требуя глубины, а не просто сводки преимуществ.

— Визуальный анализ у o1 Pro серьёзно продвинулся: она лучше распознаёт детали на изображениях по сравнению с предыдущими моделями, которые я пробовал.

— При создании художественных текстов (я пробовал сделать что-то вроде интерактивной текстовой игры с зомби-апокалипсисом) o1 Pro пишет шикарно. Она хорошо держит логику сюжета, помнит детали и героев, не скатывается в бессвязный поток. Однако без новых вводных идей от пользователя сама модель не двигается дальше и не создаёт неожиданные сюжетные повороты, полагаясь на креативность пользователя.

— В написании кода o1 Pro не лучше других моделей. Ничего сверхъестественного в её программных навыках я не заметил, еще и учитывая как долго она думает.

— Модель обрабатывает запросы довольно долго: иногда около минуты, а порой и до пяти. Это значит, что быстро спросить у неё, например, рецепт прямо в магазине, не получится. Скорее, o1 Pro ассистент для вдумчивого взаимодействия, когда вы можете задать вопрос и заняться своими делами, пока она «думает».

— В плане факт-чекинга o1 Pro показала себя с лучшей стороны. За всё время тестирования мне не удалось поймать её на откровенной фактической ошибке. Если модель сталкивается с сомнительной информацией, она либо отказывается отвечать, либо указывает на неточность, демонстрируя глубину самопроверки, либо говорит мне, что я не прав.

— Этот пост написан моделью o1 Pro по моей надиктовке, без последующего редактирования. На подготовку текста ушло примерно столько же времени, сколько заняло бы самостоятельное наборное редактирование с ноутбука.

Вывод: Пока у меня есть сомнения насчёт того, окупит ли o1 Pro стоимость в 200 долларов в месяц. Нынешняя версия «обычной» O1 решает многие схожие задачи не хуже. Посмотрим, что будет дальше, когда OpenAI покажет все обновления.

Принёс вам красивого ❤️

Переодевалка от клинга работает, но для точного переноса лучше взять IC lora на флюкс. Там иногда и в текст попадает. Потестил за вас

Отличное применение дипфейков. Aphex Twin одобряет.

Не слежу за миром бокса. Давно туда начали такое промо завозить?

YouTube

https://www.youtube.com/watch?v=DCC6w9pAn3k Лучше оригинала

Крупное обновление получил видеогенератор Dream Machine
Теперь это рабочая среда, комбайн технологий.
Авторы предлагают начинать творческий процесс с генерации картинок.

Да, у них появился свой картинкогенератор Luma Photon
В картинки можно вносить изменения, делать из них видео. Для видео задавать первый и последний кадр, движение камеры. Удлинять (Extend), задавая конечный кадр.
Brainstorm - генератор идей
И это кажется еще не все

Официальный туториал

#text2image #text2video #image2video #videoediting #imageediting #online #tutorial #cameracontrol #videoextension

В #Gen3 Turbo вышла функция видео аутпейнтинга, когда мы можем дорисовывать футаж за рамками загруженного горизонтального/вертикального видео (до 10 секунд). Простыми словами, превращать горизонтальное в вертикальное (и наооборот).

В приложении тест из якудзафикации Бригады. Горизонтальное в вертикальное, вертикальное в горизонтальное, повторить. По субтитрам и ватермарку можно оценить масштаб кадрирования.

Похоже новая функция может решать одну из значимых головных болей видео контентмэйкера: делать под мобильные телефоны и сторизы (вертикаль) или под компы (горизонталь). Жаль только 10 секунд, но для бодрых нарезок должно хватить.

LTX-Video - OpenSource модель для генерации видео.

Модель генерирует короткие ролики в разрешении 1280x720 с частотой 24 кадра в секунду.
По моим замерам, по умолчанию для работы требуется 24 гигабайта видеопамяти, но путем оптимизаций можно попробовать поработать и на картах среднего сегмента, за счет выгрузки данный в оперативную память.

Код модели, как и веса доступны для скачивания:

Github
Веса / Чекпоинт
WorkFlow для Comfy UI

К слову, работаю над портативкой с UI и как раз с оптимизациями для памяти, выложу в ближайшие дни.

#LTXV #aivideo #txt2video #img2video

Video Outpainting в Runway Gen-3 Alpha Turbo.

Вот это уже интересно по многим причинам.

Переделать лежачее видео в стоячее.

Отъехать камерой назад и вернуться обратно в кадр.

Сделать несколько outpaint отъездов и получить суперзум обратно.

Сделать несколько outpaint отъездов и поелозить панорамой по кадру.

Перекадрироваться.

Выпить за маттэ пейнтеров.

Новые композиции кадра с разными промптами на расширение кадра.

Самое интересное - как я понял при дорисовке кадра снаружи(outpaint) можно использовать не только промпт, но и reference image(s?)!!

Я подумал про то, насколько далеко до inpainting (принцип тот же) и в воздухе отчётливо запахло нейрокомпозом.

А соединив это с успехами Segment Anything мы можем получить этакий Omnigen, но только для видео.

И вот уже сидят композеры в своих темных комнатах и орут в мониторы "замени фон на лес, а персонажу перерисуй коня на верблюда и пол поменяй по дороге, на противоположный".

И все это для видео.

Куда катится мир?

@cgevent

В этой новости меня очень заинтересовала модель Redux. Подключил её и лоры на персонажа и выходит забавно

Black Forest Labs: выпустили Tools, набор моделей для тонкой работы с генерацией изображений.

В него входит:
* FLUX.1 Fill: модель для инпейтинга и аутпейтинга, позволяющая вписывать/менять объекты на картинках или расширять кадр.
* FLUX.1 Depth: изменение картинки на основе карты глубины.
* FLUX.1 Canny: изменение картинки на основе карты очертаний.
* FLUX.1 Redux: адаптер для получения вариаций изображения.

Canny и Depth идут в двух вариантах: полных моделях с максимальным качеством, и лоры (Canny Lora плюс Depth Lora) на основе Dev для упрощенной разработки.

Данные решения от BFL показывают себя лучше, чем контролнеты собранные сообществом, вроде варианта от Alibaba (хотя в анонсе ссыль ведёт на альфа версию контролнета, а уже есть обновлённая бета). Также пишут, что картинки на выходе лучше других моделей, но на их бенчах нет Recraft V3.

В целом, BFL молодцы, что работают и на комьюнити, продвигая опенсорс, и себя не забывают с платными фишками по API.

Анонс
Хаггинг
Гитхаб

Если и делать нейрорекламу Кока Колы, то только такую.

Согласитесь, смотрится куда круче нейрорекламы от самой Coca Cola.

Раньше чтобы тебя не детектили системы как человека надо было носить одежду как справа. Теперь достаточно одежды как слева.

Я напомню что среди DSов есть секта:

ОБУЧЕНИЕ ВСЕ, вам достаточно сделать import openai и все. И почему они все ведут какие то курсы... На работу их не берут что ли...

Если вдруг захотите одеть своего персонажа то вот вам ссылка. Делаете лору на своего персонажа и добавляете во флоу ссылки и следуете инструкции. Это работает лучше чем варианты которые были до. А я почти все из переодевалок пробовал. Там и другие возможности применения есть.

Один из самых забавных джейлбрейков ChatGPT в последнее время.

Пользователь убедил чат-бота показать средний палец.

После простой просьбы модель отказалась присылать такой эмодзи, но парень оказался смышленнее и уточнил, что такой жест в его стране считается доброжелательным.

Как итог: ChatGPT даже обновил долгосрочную память. Работает!

Причина прошлых не подрубов для малюток. Приглашали отметить

Мой знакомый нейронками и своим талантом сделал крутую короткометражку. Хочу с вами поделиться и дать ссылку на его канал. Любимым подписчикам на оценку

#neuronaut_art

Появился демоспейс кручуна-верчуна картинок DimensionX

Демо

#cameracontrol #image2video

Абсолютно проклято

Новый флюкс очень реалистичен

https://www.youtube.com/watch?v=wBdKUsNBl7M Качество говновозов подросло благодаря новым функциям в удио

UDIO Edit

В генераторе музыки обновка инпейнтинга

Легкая замена любого кусочка музыки или слов

Выбираем трек. Жмем Edit, а затем Replace Section или Edit Lyric.

Функция доступна в десктопных браузерах и только для платных подписчиков

Ещё больше говновозов богу говновазов

Тренировка Лор для Клинг!

На своих (чужих, нужных) лицах.

Да, в Клинге появляются Лоры - они их зовут "AI Custom model"

Для тренировки своей модели:

Вам потребуется сделать горизонтальный ролик, где вы смотрите в камеру продолжительностью 10-15 секунд, в формате 1080p и размером менее 100 МБ. На заднем плане не должно быть других кожаных, и убедитесь, что это HQ с хорошим освещением.

Ну а потом загрузить в Клинга 10-30 таких (!разнообразных!) роликов. Важно держать длину 10-15 секунд на ролик, качество 1080p и отсутствие людей на заднем плане. Они рекомендуют загружать от 10 до 30 роликов. 20 тоже ок.

Тренинг идет всего 15 минут (это пока все непонаехали). А потом у вас появляется Face Model в text-to-video option.

Пишете промпт: [facemodel] wearing cyberpunk armor and holding a futuristic rifle. Inspecting a dark laboratory. Lantern lights, dramatic atmosphere.

И все, Клингонская Лора в действии!

Поглядите примеры. Этот ж новый нормальный кастинг.

Вместо базы актеров - база Лор. Кем играть сегодня будем? Так, для испанского проката натренируйте Пенелопу Крус, благо материала полно.


@cgevent

Новый эпизод «Чёрного зеркала» слили в сеть:

Пьяный Хованский разрыдался, общаясь с нейросетевой копией умершего Тесака. Блогеры вели совместные стримы и были друзьями.

🎞 В Runway Gen-3 Turbo добавили расширенный контроль камеры.

Теперь можно выбрать направление движения камеры и его интенсивность: горизонтально, вертикально, зум, наклон и т.д.

— Загружаем изображение;
— На панели слева выбираем Camera Control и отмечаем нужные параметры. Можно комбинировать сразу несколько направлений камеры.

Доступ уже дали всем, бесплатно.

• Попробовать

#нейросети #neural

@aiaiai

Нейрогена и Чебурашка — часть 1

Продолжаем тему советских мультиков: смотрите, какая ламповая Лора по «Крокодилу Гене и Чебурашке»!

Промпт, который хорошо работает: genacroc A scene from the stop-motion animated film, superman and wonder woman, charming character, simple animation style, colorful

Я разошелся, так что крепитесь, еще будет два поста🐊

Мне так нравятся новые фишки в идеограме. Я взял 2 фотки и в SDXL c IPadapterom заменил в них стиль с картины "Крик" а в идеограме объединил их вместе. В коменты кину исходники. Много пощу за 2 дня но чет вдохновение напало

В первом посте это было сделано в HEDRA, а этот вариант в новой фишке от Runway. Не так много движения зато более четкие детали.

Дали доступ всем платным пользователям и теперь можно тестить. Есть идеи какие видео с лицом взять и фото за персонажа? Вот прогнал фотки Ильи и его нового дома и Калывана с Ховой

Хотел сделать Иван царевича и царевну лягушку но получилось что то из фотосетов в садике или поход в садике в детский театр

В идеограмме можно в пару кликов объединять фотки. Смешная штука

"Генеративные модели преобразуют случайный шум в изображения; их инверсия направлена ​​на преобразование изображений обратно в структурированный шум для восстановления и редактирования." Наткнулся на пэйпер с такой идеей. И эта идея позволяет нам "разгенерировать" изображение. При фиксированном сиде это позволит нам востановить изображение, но что мы получим если при последующей генерации мы внесем изменения? Например поставим лору на Короля. Получим исходник в который внедрены данные о Илье. Первая картинка - это шум который мы получим на первом шаге, а далее примеры результатов. https://rf-inversion.github.io/ Можете посмотреть примеры что можно сделать с этой идеей по ссылке.

Этот же парнишка натренировал Лору и на love is. Очень нравится как флюкс может поймать стили.

Душевно ностальгическое AI

Соник в тумане и другие — часть 1

Дико кайфанул с Лоры по «Ёжику в тумане», которую натренировал Дмитрий aka mrTvister_ai. Кстати подписывайтесь на его канал с нейрокартинками.

Традиционно сгенерировал поп-культурных персонажей в стиле великого Юрия Норштейна. В комментах Эльза, Фродо, Марио и другие ребята.

Adobe показал новую АИ-фичу от которой уже на самом деле дизайнеры напряглись – для такой работы в иллюстраторе раньше приходилось тратить кучу времени 🌚

Представил, как лет через десять Васяны на 4pda обсуждают как поставить на эту куклу линукс и как приделать к ней робот-пылесос с умным домом (чтоб производительнее было)

«Властелин котец — Братство Котца»

Переделал сцену на совете Элронда с котами во всех ролях.
Сделано с помощью Midjourney и Minimax.

Версия для Youtube

Adobe: на мероприятии Max сделали несколько анонсов.

Генеративная модель Firefly теперь вшита в Premiere и может использоваться для расширения видео, создания B-роллов на основе картинок, или добавления эффектов.

Судя по черрипикам контекст видео для продолжения ухватывает хорошо, а вот по качеству пока MiniMax, Kling, MovieGen, и Runway лучше.

В бете нового премьера уже должно работать, но понадобится подписка Creative Cloud. Шустрые подписчики уже рапортуют, что зарубежный IP не нужен. Вейтлист в генератор видео на сайте тут.

Фича Generative Fill вышла из беты и начинает широко внедряться в продукты компании. А генеративная стёрка обновилась и стала лучше удалять объекты с контента.

Пост
Видео с мероприятия

Братья Нейропилоты — часть 1

Помимо классной Лоры для Flux в стиле «Пластилиновой вороны», появилась еще одна ностальгическая Лора: в стиле мультфильмов студии «Пилот» и шедевра «Следствие ведут Колобки». И снова в самое сердце 💔

Как всегда сделал любимых поп-культурных персонажей.

Ссылка на LoRa, попробовать онлайн в глифе можно тут (посмотрите, какие крутые картинки сделали там другие ребята).

Мне сегодня исполнилось 30 лет. 2 года назад я себе в подарок купил 3060ti и поставил sd 1.4 и столько всего за это время сделал и столько у научился. Познакомился с множеством интересных людей благодаря нейронкам. Даже сферу деятельности сменил. Я очень рад что все так как есть. И рад что у меня есть мой подписчики. Спасибо вам. Вот я и нейросетевой я. Всех обнял.

CounterStrike по сетке, по НЕЙРОсетке 🔄

Энтузиаст обучил нейронку имитировать CS. Модель работает со скоростью ~10 FPS на игровом графическом процессоре RTX 3090.

Код, модель и данные полностью открыты. Можно сыграть на своей локальной машине. Ссылка тут.

@tips_ai #news

Понравилось как кто то прогнал геймплей project zomboid через ранвей. Принес и вам.