D. Lab @gpmdlab Channel on Telegram

D. Lab

@gpmdlab


Цифровая лаборатория Газпром-Медиа Холдинга — R&D, коллаборация, поиск точек роста.

D. Lab (Russian)

Добро пожаловать в Цифровую лабораторию Газпром-Медиа Холдинга, также известную как D. Lab! Наш канал в Telegram создан для всех, кто интересуется исследованиями и разработками в сфере цифровых технологий. Мы являемся подразделением R&D, которое занимается коллаборацией с другими компаниями, а также поиском точек роста в цифровой среде. D. Lab - это место, где технологии встречаются с инновациями, идеи превращаются в реальность, а возможности безграничны. Присоединяйтесь к нам, чтобы быть в курсе последних технологических трендов, узнать о современных исследованиях в области цифровых медиа и быть в центре внимания индустрии. Присоединяйтесь к D. Lab прямо сейчас и окунитесь в мир инноваций и технологий Газпром-Медиа Холдинга!

D. Lab

28 Jul, 09:00


Runway заподозрили в плагиате, OpenAI может потерять $5 млрд, в США бастуют актеры видеоигр — и другие важные новости за неделю

В США актеры видеоигр объявили забастовку. Они опасаются, что их труд ради экономии могут отдать нейросетям, поэтому требуют от разработчиков игр пообещать им защиту от ИИ. Все, как у актеров и сценаристов, которые бастовали в прошлом году;

Т-банк выпустил русскоязычную LLM собственной разработки T-lite на 8 млрд параметров. Собственные бенчмарки банка показали, что LLM обходит аналогичные версии Llama3 и ChatGPT 3,5. Разработчики предлагают использовать T-lite в качестве инструмента для разработки LLM-приложений для использования внутри компаний;

Разработчика нейросети Gen-3, компанию Runway, тоже заподозрили в использовании видео с YouTube для обучения своей модели. Runway до этого отказывались раскрыть, на какой информации тренировали свою модель;

Тем временем игровой издатель и разработчик видеоигр Electronic Arts с помощью ИИ за 3 месяца оцифровал 11 тыс. игроков из студенческой лиги американского футбола. Образы игроков использовали в недавно вышедшей игре College Football 25. Для ускорения процесса при оцифровке использовались фото игроков, на которых спортсмены были запечатлены по плечи. Остальную часть тела игроков генерировал ИИ. Личное присутствие игроков требовалось в случае, когда ИИ допускал ошибки;

Издательство Conde Nast (журналы New Yorker, Wired, Vogue и другие) обвинило стартап Perplexity — разработчика одноименного ИИ-поисковика — в использовании своего контента с нарушением копирайта. Conde Nast не первый, кто обвинил Perplexity в плагиате. Например, Forbes также утверждал, что поисковик цитирует материалы журнала без ссылки на первоисточник;

Сбер интегрировал чат-бота GigaChat в онлайн-аптеку ЕАптека. Пользователи с помощью нейросети смогут подобрать препарат, узнать информацию по дозировке, противопоказаниям и побочным эффектам. Чат-бот должен снизить нагрузку на фармацевтов при подборе лекарства. Чтобы избежать опасных ошибок чат-бота, информацию о лекарствах обещают оперативно обновлять;

Meta, как и обещала, выпустила на неделе самую мощную версию опенсорсной нейросети Llama 3 на 405 млрд параметров. Разработчики обещают решение задач на уровне топовых «закрытых» моделей от OpenAI и Mistral;

Китайского конкурента Sora по имени Kling наконец-то можно потестить без танцев с бубном — нейросеть для генерации видео стала доступна всем желающим после регистрации. Пользователям бесплатно дают 60 кредитов для генераций (одна генерация — около 10 кредитов);

MetaAI научился делать генеративные селфи. В чат-бот можно загрузить свое фото, а дальше написать промпт, начинающийся со слов Imagine Me (представь меня). В самом промпте должно быть описание сеттинга, где пользователь хочет видеть свой аватар;

Адвокатская контора Venable LLP запустила сервис Takedown, который поможет голливудским клиентам автоматически удалять из интернета свои дипфейки. Takedown охотится не только за синтетическим контентом, но и за пиратским;

Убытки OpenAI за 2024 год могут достигнуть $5 млрд, подсчитал The Information. Издание выяснило, что стартап тратит на работу и обучение своих моделей, а также на зарплаты сотрудникам, гораздо больше, чем планировал. Например, стоимость обучения моделей за год может вырасти до $3 млрд против запланированных $800 млн. Доходы стартапа такие затраты не покрывают. Эксперты считают, что в ближайшее время OpenAI нужно будет привлекать дополнительные деньги от инвесторов.

*Организация, запрещенная на территории РФ

D. Lab

25 Jul, 12:34


📎 Сотрудники компаний массово жалуются на ИИ-помощника Microsoft

Выяснил Bloomberg, пообщавшись с теми, кто уже активно пользуется возможностями Copilot.

Оказалось, что просто запустить ассистента и наслаждаться сказочным приростом производительности не получится.

🗂 Сначала компаниям нужно решить, к какой именно информации дать доступ ассистенту, чтобы не стать жертвой хакерской атаки и не засветить конфиденциальную информацию перед сотрудниками. Настройка отнимает и время, и деньги.

❗️ Copilot одинаково хорошо справляется не со всеми задачами:

— Саммарайзинг.

— Работа с несколькими приложениями и задачи, где нужно понимание, чем именно занимается компания.

👩‍🎓 Чтобы эффективно использовать ИИ, сотрудники должны изучать гайды и ходить на обучающие семинары.

🧚‍♂️ Ничего шокирующего в такой практике нет — к любому новому софту надо привыкнуть и научиться его эффективно использовать. Возможно, дело в хайпе вокруг ИИ. Из-за него могло создаться впечатление, что ИИ-помощники — волшебный инструмент.

🛍 Проблему завышенных ожиданий косвенно подтверждает недавний опрос, проведенный среди 2,5 тыс. пользователей ИИ-помощников.

🤬 77% опрошенных сотрудников компаний заявили, что ИИ увеличивает их загруженность на работе и снижает продуктивность. Почти половина опрошенных отметили, что в принципе не знают, как увеличить эффективность на работе с помощью ИИ. 40% сотрудников считают, что у работодателей появились завышенные требования после интеграции ИИ-помощников в рабочий процесс.

Можно предположить, что многие компании повелись на хайп, интегрировали ИИ-решения в работу, но не захотели тратить время и деньги на обучение персонала работе с умными помощниками.

D. Lab

23 Jul, 15:14


🆕 В Dream Machine появился продвинутый генератор зацикленных видео

🔩 Теперь нейросеть сможет сгенерировать луп по текстовой подсказке, изображению-референсу, ключевому кадру.

Можно и просто сделать зацикленный видос из готового клипа.

🫡 Dream Machine все еще можно потестить бесплатно после регистрации.

🎞 Недавно нейросеть научилась генерировать видео по нескольким ключевым кадрам.

D. Lab

22 Jul, 14:35


🔎 Из датасетов для обучения ИИ пропало до 30% информации

Выяснили исследователи из MIT. В своей работе они проанализировали 14 тыс. веб-доменов. Информация именно с этих доменов попадает в самые крупные датасеты для обучения ИИ (C4, RefinedWeb, Dolma и другие). Эти датасеты скачали от 100 тыс. до более чем 1 млн раз.

📚 В датасете Dolma, например, содержится 3 трлн токенов информации.

✈️ Авторы исследования подсчитали, что за 2023–2024 годы около 5% от всего количества токенов информации в датасете C4 оказались под запретом из-за действий владельцев ресурсов (откуда информация получена). Это значит, что владельцы тем или иным образом запретили собирать информацию с их сайта для обучения ИИ.

💎 Если 5% не кажется серьезной цифрой, то важно отметить, что этот показатель составляет почти 30% для информации из «высококачественных» источников. Такая информация критически важна для ИИ, чтобы модель могла выдавать точные ответы на запросы пользователей. Это могут быть, скажем, уважаемые СМИ, которые публикуют только проверенную информацию.

📆 Конечно, это не значит, что датасеты в прямом смысле потеряли эту информацию. Но это значит, что они, вероятно, не смогут получать обновленные, актуальные данные для обучения ИИ-моделей. А значит, сами модели могут стать в какой-то момент устаревшими.

🔒 Исследование MIT затрагивает критически важную для всего ИИ-сегмента проблему дефицита информации, о которой говорят не первый год. Но если раньше речь шла в основном о том, что новая информация для обучения закончится естественным путем (ИИ просто узнает все, что можно узнать), то теперь свою роль играют и владельцы информации.

😢 В этой ситуации мало кому жалко бигтехи, которые тратят десятки миллионов долларов на сделки, обеспечивающие их LLM данными. Датасетами также пользуется научное сообщество, стартапы и НКО, которым теперь будет тяжелее обучить модель.

D. Lab

21 Jul, 09:01


Люди очеловечивают чат-ботов, Европейцы не получат доступ к новым ИИ-моделям Meta*, названа дата выхода самой мощной версии Llama 3 — и другие важные новости за неделю

OpenAI запрещал сотрудникам публично говорить о потенциальной опасности, которую разработки стартапа могут нести для человечества. Запрет был не словесным — работники подписывали документ о неразглашении. Сотрудники также были обязаны предварительно уведомить OpenAI, если им вдруг придет в голову пойти в госорганы, чтобы предупредить об опасных (по мнению сотрудников) разработках;

Британские исследователи на основе опроса 300 респондентов сделали вывод, что большинство пользователей склонны очеловечивать чат-ботов — наделять их памятью и чувствами. Авторы исследования считают, что это может привести к негативным последствиям — эмоциональной привязанности и чрезмерной зависимости от ИИ при принятии важных решений;

Самая мощная версия опенсорсной языковой модели Llama 3 выйдет уже 23 июля. У мультимодальной LLM будет 405 млрд параметров. Предрелизная версия показала себя чуть хуже топовых LLM от Google, OpenAI и Anthropic. Весной Meta выпустила версии Llama 3 с 8 млрд и 70 млрд параметров;

На этой неделе также стало известно, что Meta не будет давать доступ к своим мультимодальным моделям с открытым кодом на территории ЕС. В компании объяснили это слишком запутанной регуляторной политикой на территории Евросоюза в отношении ИИ. За несколько недель до этого Apple объявил, что тоже пока не собирается запускать ИИ-функции (Apple Intelligence) новой версии iOS на территории ЕС — по той же причине;

Журналисты выяснили, что бигтехи без спроса тренируют ИИ-модели на расшифровках видео с YouTube. Издание Wired обнаружило целый датасет с текстовыми версиями видео с популярных каналов. На его использовании попались Apple, Nvidia, Anthropic и другие. Такое использование ютубовского контента прямо нарушает правила платформы. В Apple уже заявили, что ничем таким не занимаются;

Рыночная капитализация Nvidia может достигнуть $50 трлн, считает инвестор Бейли Гиффорд. Звучит безумно, учитывая, что компания только-только преодолела отметку в $3 трлн. Но если кому и делать такие заявления, так это Гиффорду. Он был одним из первых инвесторов Tesla и Amazon, а активы под его управлением принесли инвесторам больше 2000% прибыли. Инвестор уточняет — такой стоимости компания может достичь, если ИИ станет по-настоящему полезным для обычных пользователей, а Nvidia к тому моменту все еще будет в лидерах.

*Организация, запрещенная на территории РФ

D. Lab

19 Jul, 12:15


🎧 Яндекс Музыка научилась распознавать редкие жанры музыки с помощью ИИ

Стриминг-сервис с помощью нейросетей и музыкальных экспертов научился советовать пользователю исполнителей малоизвестных жанров: мумбатон, детройтское техно, ню-джаз и т.д.

🔩 Сначала редакторы сервиса определили редкие музыкальные жанры, затем музыкальные эксперты подобрали под них треки.

На основе выбора экспертов для каждого жанра создали ML-разметку (грубо говоря, датасет, где каждый трек помечен соответствующим ему жанром), по которой техническая команда стриминг-сервиса обучала нейросеть.

🔎 Яндекс обещает, что система рекомендаций и для малоизвестной музыки останется персонализированной — то есть даже в самых нишевых жанрах система должна найти треки, которые вероятнее всего понравятся слушателю.

🗺 Посмотреть, какие жанры теперь знает Яндекс Музыка, можно в разделе Тренды стриминг-сервиса или на интерактивной карте.

D. Lab

18 Jul, 12:25


🎙 Стилизация видео нейросетями в прямом эфире

Live2Diff позволяет редактировать видео прямо во время лайв-стрима, используя диффузионную нейросеть.

😱 Авторы считают свою технологию прорывной. Они объясняют, что обычные нейросети не могут корректно работать с живым видео, так как им нужно четко представлять, что будет происходить в видео дальше.

🤯 Live2Diff достаточно несколько кадров, чтобы на их основе дальше выдавать консистентную и плавную картинку.

🤟 Чудес от работы модель ждать пока не стоит. Разработчики уточняют, что это их первая попытка, которая в большей степени должна показать, что метод работает.

🔩 Сейчас Live2Diff на топовом GPU RTX 4090 выдает 16 кадров.

🗓 В ближайшие дни обещают выложить код на GitHub.

D. Lab

16 Jul, 13:55


🔈 Heygen научился оживлять аватары по аудио

Стартап запустил бета-тест новой функции Expressive Photo Avatars.

1️⃣ Выбираете изображение с аватаром.

2️⃣ Добавляете аудио с речью продолжительностью от 3 до 30 секунд (можно загружать и музыку).

3️⃣ На выходе получаете анимацию, сгенерированную с учетом «эмоционального настроя» аудио.

🫡 Попробовать можно здесь.

D. Lab

15 Jul, 14:50


💪 Самый наглядный пример того, как генеративный ИИ прокачался за год

Помните нейрорекламу несуществующей пиццерии Pepperoni Hug Spot, выполненную в лучших традициях роликов с Уиллом Смитом, поедающим макароны?

🔩 Ее автор выпустил римейк, использовав вместо нейросети Gen-2, только что вышедшую Gen-3.

🔮 Страшно представить, каким будет ролик в 2025 году.

D. Lab

15 Jul, 11:55


Японец показал чудеса владения нейросетями

Арата Фукое любит экспериментировать с видео (и даже был одним из амбассадоров камер GoPro в стране), а в последнее время заинтересовался генеративным ИИ.

🫡 У себя в соцсетях он выложил видео, почти полностью созданное нейросетями (почти, потому что не обошлось без фотошопа и After Effects).

📹 За видеоряд отвечали: Kling, Gen-3 и DreamMachine. Они анимировали изображения, сгенерированные Stable Diffusion и Midjourney.

🎧 ChatGPT и Suno обеспечили саундтрек.

🙏 Фукое клянется, что при создании ролика ни одного «живого» кадра не использовал.

🖱 На сайте автора можно также посмотреть его эксперименты с нерфами (один из них создан при помощи трех десятков GoPro).

D. Lab

14 Jul, 09:01


В Photoshop и WhatsApp теперь можно редактировать фото по промптам, Xiaomi запустил круглосуточную ИИ-фабрику без людей — и другие важные новости за неделю

Photoshop добавил ИИ-плагин Magniific. С его помощью можно повысить разрешение любой картинки в 16 раз до 4К. Скоро добавят режимы Style Transfer и Relight, чтобы менять фильтры, стили, погоду, время суток и освещение по текстовым промптам;

WhatsApp* также тестирует функцию редактирования фото с помощью текстовых команд. Пользователям нужно загрузить фото в чат с Meta** AI. Нейросеть может определить объекты на фото, объяснить смысл изображения или быстро отредактировать фото;

Китай занял первое место по внедрению генеративного ИИ, по данным аналитиков SAS и Coleman Parkes. Технологию используют 83% опрошенных китайских компаний — это больше, чем в 16 других странах и регионах. Для сравнения, в США нейросети используют 65% компаний, а средний показатель по миру составил 54%;

Xiaomi показал полностью роботизированную фабрику по сборке смартфонов. Она будет работать круглосуточно без людей и собирать по одному смартфону в секунду. Площадь фабрики — 80 тыс. кв метров, ожидаемая производительность — более 10 млн аппаратов в год;

Американский производитель микросхем AMD покупает финский стартап Silo AI за $665 млн. Silo AI — крупнейший ИИ-стартап в Европе, среди его клиентов — Philips, Rolls-Royce и Unilever. Таким образом AMD хочет усилить свои позиции на рынке и обойти главного конкурента — Nvidia;

Ipsos изучил отношение потребителей во всем мире к ИИ. 53% опрошенных говорят, что им нравятся ИИ-продукты и услуги, при этом у 50% респондентов нейросети вызывают опасения. В Азии интерес к ИИ выше, в то время как англоговорящие страны и Европа настроены более скептически;

Гонконг хочет изменить закон об авторском праве для развития ИИ. Власти могут разрешить ИИ использование онлайн-контента, защищенного авторским правом, для машинной обработки. Город стремится стать региональным центром торговли интеллектуальной собственностью;

OpenAI закрывает доступ к API в Китае и некоторых других странах. Блокировка приведет к переходу китайских разработчиков на локальные альтернативы. Так, компания Baidu планирует запустить бесплатный доступ к нейросети Ernie, а компания Zhipu AI запустит «специальную программу миграции» для пользователей OpenAI.

*WhatsApp входит в Meta — организацию, запрещенную на территории РФ
**Организация, запрещенная на территории РФ

D. Lab

12 Jul, 11:57


📈 OpenAI оценил свои технологии на 2 из 5

Компания создала внутреннюю шкалу для отслеживания развития ИИ-разработок. Существующие чат-боты, такие как ChatGPT, находятся на 1 уровне. OpenAI считает, что ее технологии уже приближаются к уровню 2, когда система может решать базовые задачи на уровне человека с докторской степенью.

На уровне 3 ИИ может выполнять действия от имени пользователя, на уровне 4 — создавать инновации. Уровень 5 — система, которая может выполнять работу вместо целых организаций. ИИ 5 уровня — последний шаг к достижению пресловутого AGI. Компания не раскрыла подробностей того, как ее разработкам будет присуждаться тот или иной уровень прогресса.

🤓 По данным Bloomberg, руководство компании в ходе собрания представило итоги проекта, где GPT-4 демонстрирует новые навыки «человеческого мышления».

🌟 Достичь AGI — одна из ключевых миссий OpenAI. При этом компания учитывает, что есть и другие ИИ-проекты, которые стремятся к той же цели. В уставе OpenAI сказано, что если другой проект, «ориентированный на ценность и безопасность, приближается к созданию AGI» раньше, чем это сделает OpenAI, компания прекратит конкурировать и поспособствует развитию проекта.

🧠 Для AGI потребуются миллиарды долларов на вычислительные мощности. И хотя идея суперинтеллекта звучит невероятно, главы техкомпаний предсказывают его наступление уже в ближайшие годы. В 2023 году Сэм Альтман заявил, что осталось «плюс-минус пять лет», прежде чем мы достигнем AGI. Основатель SingularityNET Бен Гертцел допускает, что AGI может появиться в 2027 году. А экс-инженер Google Джеффри Хинтон считает, что до появления AGI осталось 5-20 лет.

D. Lab

11 Jul, 07:02


🚘 Пользователь Reddit в одиночку сделал видеорекламу Volvo с помощью нейросети

Автор показал коммерческий потенциал модели RunwayML Gen-3 Alpha, создав с помощью нее целый рекламный ролик. По его словам, проект занял 24 часа, включая создание, редактирование, ретушь и звуковой дизайн клипа. Небольшие изменения автор внес в Adobe After Effects: логотип, номера машины и др.

😎 Автор называет версию Gen-3 большим шагом вперед по сравнению с Gen-2. Он также уверен, что Gen-3 изменит индустрию видеопродакшена.

🧸 Ранее крупнейший в США ритейлер в сфере игрушек Toys R Us представил рекламный ролик, почти полностью сгенерированный нейросетью Sora.

D. Lab

10 Jul, 12:47


Верхний ряд: оригинальные изображения. Нижний ряд: изображения, реконструированные ИИ на основе записей мозга макаки.

🧠 ИИ научился читать мысли с фотографической точностью

👁 Нидерландские ученые разработали систему, которая по данным активности мозга может сказать (и показать), что человек увидел за день. Для этого использовали функциональные МРТ-сканеры (фМРТ) и имплантированные электроды, которые фиксировали активность мозга и переводили ее в изображения.

🏞В одном эксперименте участвовали три человека, которые просматривали серию фотографий. Технология проанализировала данные об активности их мозга и превратила сигналы в реалистичные картинки. Аналогичный эксперимент провели с обезьяной, ​​только она смотрела на изображения, созданные ИИ.

🤖Результаты также показали, что ИИ гораздо легче воссоздать изображения, сгенерированные нейросетью, чем изображения, полученные без помощи технологий. Систему обучили фокусироваться на определенных частях мозга, что значительно повысило точность воссозданных изображений.

🗣 Ранее японские ученые с помощью фМРТ уже проводили подобные эксперименты, но тогда результаты были скромнее.

D. Lab

10 Jul, 08:53


🎈 Sequoia Capital: ИИ — финансовый пузырь, и он рискует лопнуть

Огромные инвестиции техгигантов в инфраструктуру ИИ пока не привели к росту доходов от этого бизнеса, считает Дэвид Кан, аналитик Sequoia Capital (венчурный фонд, инвестировавший в Apple, Google, PayPal, YouTube до того, как это стало мейнстримом). Эксперт уверен, что профильным компаниям нужно зарабатывать гораздо больше, чтобы окупить вложения.

💎Производитель Nvidia заработал в 2023 году $47,5 млрд на продажах оборудования для ЦОД (в основном, ИИ-ускорителей). При этом доходы от ИИ у основных клиентов компании гораздо скромнее. Сюда входят AWS, Google, Meta*, Microsoft и многие другие. Лишь OpenAI, пользующаяся инфраструктурой Microsoft Azure, смогла значительно увеличить доходы с $1,6 млрд в 2023 году до $3,4 млрд в 2024 году.

💰 Кан считает, что ИИ-компаниям нужно зарабатывать около $600 млрд в год, чтобы компенсировать расходы на инфраструктуру. Чтобы рассчитать сумму покрытия общих затрат на ЦОД, аналитик увеличил вдвое прогноз текущих доходов NVIDIA. Результат он вновь удвоил — полученная сумма должна обеспечить половину валовой прибыли конечных потребителей ИИ-сервисов от AWS или Microsoft Azure.

🤑 Даже если Google, Microsoft, Apple и Meta* будут ежегодно зарабатывать по $10 млрд на ИИ-сервисах, а такие компании, как Oracle, ByteDance, Alibaba, Tencent, X и Tesla — по $5 млрд, останется еще $500 млрд затрат, которые нужно окупить. Дэвид Кан считает, что это говорит о росте финансового пузыря.

♻️ Чтобы избежать катастрофы на рынке, Кан предложил снизить ожидания быстрой прибыли от ИИ и сфокусироваться на устойчивых инновациях и создании действительно ценного продукта для конечных пользователей.

*Организация, запрещенная на территории РФ

D. Lab

09 Jul, 13:48


👗Bershka предложили составлять и носить виртуальный гардероб

Бренд интегрировал 25 AR-фильтров на базе Snap в свое приложение. Пользователи могут собрать и виртуально примерить весь аутфит целиком, а не отдельную вещь. Также можно включить фильтры во время видеосъемки, чтобы лучше оценить, как одежда смотрится в реальной жизни.

D. Lab

08 Jul, 14:17


⚠️ Microsoft, Meta*, Nvidia предупредили инвесторов о рисках ИИ

Не менее десятка крупных техкомпаний добавили в последние финансовые отчеты предупреждения, связанные с ИИ.

✍️Предупреждения публикуются в разделе «Факторы риска». В нем компании описывают, что может пойти не так, пытаясь предотвратить судебные иски акционеров.

🔸Alphabet заявила, что использование ее ИИ-сервисов «может негативно повлиять на права человека, конфиденциальность, рынок труда или другие социальные проблемы», что приведет к судебным искам или финансовому ущербу
🔸Meta* предупредила, что некоторые люди могут использовать ИИ компании для распространения дезинформации во время выборов, что повредит имиджу бренда
🔸Microsoft заявила, что может столкнуться с исками художников, музыкантов и писателей о нарушении авторских прав со стороны ИИ.

✂️Иногда предупреждения компаний идут вразрез с их официальной линией. Adobe давно говорит о том, что Photoshop и подобные программы останутся ключевыми для творческих профессионалов. Но уже в этом году компания предупредила, что распространение ИИ может повредить рынку труда и нарушить спрос на существующее ПО.

🔮Некоторые риски, о которых говорят компании, сбываются. Nvidia с начала 2023 года предупреждала, что опасения по поводу ИИ могут привести к ограничениям на ее продукты. После этого правительство США ограничило экспорт передовых компьютерных чипов в Китай, включая чипы Nvidia.

*Организация, запрещенная на территории РФ