AI для Всех

Пульс влияния ИИ на общество: Экономический Индекс Anthropic

Компания Anthropic объявила о запуске Экономического Индекса Anthropic — инициативы, направленной на изучение влияния ИИ на рынки труда и экономику.

Первый отчет Индекса анализирует миллионы анонимных интеракций на платформе Claude.ai, предоставляя данные о том, как ИИ интегрируется в реальные задачи современной экономики.

Основные выводы отчета:

- ИИ активно используется в задачах разработки программного обеспечения и технического письма.

- Более трети профессий (около 36%) применяют ИИ как минимум в четверти своих задач, тогда как примерно 4% профессий используют его в трех четвертях задач.

- ИИ чаще используется для дополнения человеческих возможностей (57%), чем для полной автоматизации задач (43%).

- Применение ИИ более распространено в профессиях со средним и высоким уровнем заработной платы, таких как программисты и дата-сайентисты, и менее — в низко- и высокооплачиваемых ролях.


Anthropic также открывает доступ к данным, которые использовались для составления отчёта

💻 Блог

📝Отчёт

💾 Датасет

ИИ открыл новый способ считать. Но вы всё равно продолжите пользоваться калькулятором

ИИ должен упростить нашу жизнь, да? Ну так вот, вместо того, чтобы просто запомнить, что 2+2=4, GPT-J делает что-то похожее на тригонометрический ритуал. Он кодирует числа на многомерной спирали, раскладывает в базис косинусов, а сложение выполняет через преобразования, которые нормальный человек даже на экзамене по линалу не вспомнит.

Исследователи попытались разобраться, как LLM складывают числа, и обнаружили, что модели вроде GPT-J-6B кодируют и обнаружили метод, который назвали Clock algorithm, потому что сложение выполняется как сложение углов: через cos(a), cos(b) → cos(a+b) и напоминает сложение углов на циферблате.

Векторные представления чисел исследовали через остаточный поток модели, прогоняя GPT-J-6B на всех числах из диапазона [0,360]. Спектральный анализ показал, что представление разрежено в пространстве Фурье, а главная компонента PCA оказалась линейной. А что у нас такое периодическое и линейное? Спираль!🌀

x = r cos t
y = r sin t
y = c t

Проверили это гипотезу, подбирая параметры спирали для представления каждого числа. Оказалось, что токены, представляющие суммы (a+b), хорошо описываются этой же основой, что говорит о реальном использовании модели такого механизма.

🛠️ Как проверить, что модель действительно так считает?
✔️ Intervention patching: заменили активации слоёв модели на вычисленные вручную спиральные представления и обнаружили, что это почти так же хорошо, как полная подмена слоя! Значит, модель действительно использует эту структуру.
✔️ Разделение ролей между слоями: слои MLP 14-18 формируют спиральное представление (a+b), а слои 19-27 считывают его и поднимают соответствующий токен в логитах.
✔️ Разбор нейронов: используя атрибуционные техники, исследователи выяснили, что активации нейронов MLP тоже следуют периодическим паттернам, что дополнительно подтверждает гипотезу о геликоидальном (спиральном) сложении.

Почему это важно?
Оказывается, вместо того, чтобы просто запоминать суммы, модель самостоятельно выучивает сложную, но универсальную алгоритмическую структуру! Этот же метод ранее встречался в исследованиях модульного сложения в трансформерах, который раньше описывал Neel Nanda. LLM не просто таблицы с вероятностями, а какие-то самоорганизующиеся вычислительные системы.
В любом случае, может, машинное обучение и не всегда дает интуитивно понятные решения, но точно умеет находить красивые и неожиданные пути.

🔗 Источники:
📜 arxiv
📝 Блог
💻 Код

🌐 Первый международный отчет по безопасности ИИ: ключевые выводы

Отчет подготовлен 100 независимыми экспертами из 33 стран и сфокусирован на трех ключевых вопросах:

- Что может ИИ общего назначения?
- Какие риски с ним связаны?
- Как эти риски можно снизить?

Важно: отчет не дает конкретных политических рекомендаций, а предоставляет научную основу для принятия решений и международного диалога о безопасности продвинутого ИИ.

Ключевые выводы:

📈 Стремительный рост возможностей ИИ: от написания текстов до создания программ и фотореалистичных изображений. Последние модели демонстрируют значительный прогресс в научном мышлении.

🤖 Компании активно инвестируют в разработку ИИ-агентов — систем, способных автономно действовать и планировать с минимальным контролем человека.

⚠️ Уже подтверждены риски: мошенничество, генерация NSFW-контента, предвзятость моделей, проблемы надежности и конфиденциальности.

🎯 Новые угрозы: масштабное влияние на рынок труда, ИИ-хакинг, биологические атаки. Эксперты расходятся в оценках сроков реализации этих рисков — от десятилетий до нескольких лет.

⚖️ Дилемма для регуляторов: выбор между преждевременными ограничениями и риском остаться неподготовленными к резким скачкам в развитии ИИ.

Отчет станет основой для обсуждения на Саммите по ИИ, который пройдет в Париже 10 - 11 февраля


📝Отчёт

Калифорнийский Университет запускает AI-систему: что важно знать 🎓

Калифорнийский государственный университет объявил о внедрении AI во все 23 кампуса. Что это значит на практике:

Основные изменения 📚
• ChatGPT Edu станет доступен для всех студентов и преподавателей – это специальная версия с расширенными возможностями для образования
• Появится единый AI Commons Hub с инструментами для обучения и исследований
• Запускаются программы стажировок с ведущими tech-компаниями

Почему это действительно важно 🔍
1. Масштаб: это крупнейшее внедрение AI в образовании (460 000+ студентов)
2. Практический подход: студенты получают реальные навыки работы с AI, востребованные на рынке
3. Доступность: все инструменты бесплатны для студентов и преподавателей

Интересный факт: сейчас более 50% AI-специалистов в США – иностранцы. CSU планирует изменить эту статистику, готовя местные кадры.

Анонс от CSU
Анонс от OpenAI

The End of Search, The Beginning of Research 🔍

Привет, друзья! Хочу поделиться интересным постом от Ethan Mollick - известного профессора Уортонской школы бизнеса, который пишет одни из самых глубоких материалов про ИИ в своем блоге One Useful Thing.

Давайте разберем, что происходит 👇

Революция происходит на наших глазах: в 2025 году у нас есть две ключевые технологии ИИ - Reasoners (системы-мыслители) и автономные агенты 🤖

Что такое Reasoners? 🧠
Это новый подход к ИИ, где модель сначала "думает", а потом отвечает. В отличие от обычных чат-ботов, которые генерируют текст на лету, Reasoners проводят внутренний анализ задачи. Чем дольше они размышляют, тем качественнее результат. За последние месяцы мы видели впечатляющий прогресс: от OpenAI o1 к o3, китайский DeepSeek r1, да и Google подтянулся со своим первым Reasoner'ом.

Что такое агенты? 🎯
Это ИИ с конкретной целью и автономностью в её достижении. OpenAI недавно выпустила Оператора - пожалуй, самого продвинутого универсального агента. Правда, пока что он часто спотыкается о простые задачи - например, не может скачать файл из-за ограничений безопасности. Но! В узких специализациях агенты уже творят чудеса (от себя добавлю, что мы в Страйпе наблюдаем взрывной рост agentic commerce, когда ИИ агенты идут и покупают, то что вам надо, за вас).

Deep Research - где всё сходится ✨
OpenAI объединила мощь Reasoner'а (модель o3) со специализированным агентом для исследований. Результат поражает:

- 5 минут работы = 13 страниц глубокого анализа
- Только качественные академические источники
- Точные цитаты с прямыми ссылками
- "Любопытное" исследование: ИИ активно углубляется в интересные находки

Google тоже выпустила Deep Research, но пока что это больше похоже на работу хорошего студента: много источников, но анализ поверхностный. Впрочем, зная темпы развития, этот разрыв скоро сократится.

Что дальше? 🚀
Узкоспециализированные агенты уже могут заменить работу целых команд экспертов. OpenAI утверждает, что их система способна справиться с 15% высокоценных исследовательских проектов и 9% особо сложных. Звучит амбициозно, но мой опыт тестирования подтверждает - цифры не с потолка.

Сэм пишет, что Deep Research скорее всего уже способен заменить какой-то процент рабочей силы в мировой экономике.

Эксперты не останутся без работы - их роль эволюционирует от исполнителей к "дирижерам", направляющим и проверяющим работу ИИ (как например, программисты теперь «дирижируют» Курсором). Но стоит ожидать, что людей для такой работы нужно будет значительно меньше.

На январь 2025 года мы еще далеки от универсальных ИИ-агентов, но уже очень близки к тому, чтобы ИИ превзошел 95% людей в работе белых воронничков. Включая soft skills (да-да, я уверен, что работающих AI-менеджеров мы увидим раньше, чем AI-слесарей).

Как думаете, как это изменит вашу профессию? 🤔

Блог-пост

🤖 Золотая коллекция авторских каналов про нейросети, сохраняйте!

Собрал для вас редкие и полезные каналы про нейронки:

Tips AI | IT & AI — пишет про интересные сервисы AI и IT технологий! Всегда актуальное, проверенное и немного с юмором.

Бурый — коллекционер нейросетей, тестит всё на себе и делится лучшими бесплатными нейронками.

Силиконовый Мешок — Авторский канал нейроиспытателя Артема Субботина про искусственный интеллект приносящий прибыль.

Сергей Булаев AI 🤖 - создание полезного контента и продуктов с помощью ИИ. Открываем эру миллиардных компаний из трёх человек.

НейроProfit — авторский канал с проверенными инструментами для бизнеса, учебы и работы. Конкретика, кейсы и пошаговые инструкции – все, чтобы вы смогли использовать ИИ эффективно уже сегодня.

#промо

Как AI-компании изменят мир: самое важное 🤖💼

Представьте компанию будущего, где вместо людей работают AI. Звучит как sci-fi? А вот и нет — такие компании могут появиться раньше, чем мы думаем (если верить YC, так вообще уже в этом году). И они будут радикально отличаться от всего, что мы знаем сейчас.

Вот вам супер краткий пересказ поста Дваркеша Пателя (довольно популярного в AI кругах блогера). Рекомендую прочитать в оригинале, там много шуток про AI Сатью (CEO Microsoft).

Главная фишка не в том, что каждый AI будет супер-умным. Самое интересное начинается, когда мы смотрим на их коллективные преимущества:

1. Копирование талантов 📋
Хотите миллион инженеров уровня главного архитектора Google? Просто скопируйте одного топового AI-специалиста. Никаких годов обучения и поиска редких талантов — только стоимость вычислений.

2. Единый мега-мозг 🧠
Представьте CEO, который реально знает всё, что происходит в компании. AI-руководитель сможет анализировать каждое решение, каждую метрику, каждый разговор с клиентом. И главное — мгновенно делиться этими знаниями со всеми копиями себя.

3. Эволюция на стероидах 🚀
Обычные компании не могут просто взять и клонировать свою успешную культуру или процессы. AI-компании смогут. Нашли успешную модель работы? Размножайте её бесконечно, улучшайте и адаптируйте под новые задачи.

4. Суперскорость принятия решений ⚡
AI-CEO сможет за пару минут просчитать тысячи сценариев развития компании на годы вперед. Причем не примерно, а с учетом всех данных о рынке, клиентах и конкурентах.

Это не научная фантастика про далекое будущее — первые шаги к таким компаниям мы видим уже сейчас. Готовы к новой эре бизнеса?

P.S. А самое интересное — как это изменит конкуренцию. Ведь если одна компания научится так работать раньше других...

🌪️ WeatherNext: AI революция в прогнозировании погоды продолжается!

Друзья, помните мы обсуждали GenCast? Эта работа получила практическое продолжение. Google DeepMind и Google Research представили - WeatherNext, новое семейство AI-моделей, которое предсказывают погоду лучше, чем все остальные существующие методы!

Самое главное - прогнозы уже доступны

🌍 Главный вызов, с которым столкнулись разработчики:
Погодные системы невероятно хаотичны и даже малейшая неточность в измерениях может привести к серьезным ошибкам в прогнозе (и это не говоря об эффекте бабочки). Но команда AI инженеров нашла решение!

📊 WeatherNext предлагает два мощных инструмента:

WeatherNext Graph:
- Создает один сверхточный прогноз
- Обновляется каждые 6 часов
- Прогнозирует на 10 дней вперед
- Идеален для задач, где нужна максимальная определенность

WeatherNext Gen:
- Генерирует ансамбль из 50 возможных сценариев
- Обновляется каждые 12 часов
- Заглядывает на 15 дней вперед
- Незаменим для отслеживания циклонов и экстремальных явлений

⚡️ Преимущества перед традиционными методами:
- Гораздо выше скорость обработки данных
- Значительно точнее физических моделей

🚀 Доступ к технологии:
Google открыл WeatherNext через Google Cloud - прогнозы обновляются 4 раза в день, плюс доступны исторические данные для исследований и анализа.

Это не просто очередное технологическое достижение - это инструмент, который поможет сотням исследователей -> помочь тысячам инженеров -> помочь миллиардам людей лучше подготовиться к капризам погоды и сделать наш мир немного безопаснее! 🌏

Доступ к прогнозам тут
Почитать подробнее

DeepSeek: непропорционально громкая веха в развитии ИИ 🚀

Друзья, сегодня поговорим об одном из самых громких событий в мире ИИ этого года — компании DeepSeek и её последних достижениях, которые всколыхнули весь технологический мир.

Что такое DeepSeek? 🤔

DeepSeek — это китайская AI-компания (отпочковавшиеся от трейдингового квант фонда), которая недавно выпустила две важные модели: DeepSeek-V3 и R1. Особенно интересно то, что им удалось достичь результатов, близких к ведущим американским моделям, но с меньшими затратами и со значительно большим количеством шума (сток NVIDIA улетел на 17% вниз).

Как это работает? ⚙️

DeepSeek использует следующий подход в обучении своих моделей:

1️⃣ Базовая предварительная тренировка на огромном объёме текстовых данных
2️⃣ Инновационное использование reinforcement learning для улучшения способностей к рассуждению (как у OpenAI)
3️⃣ Особый акцент на "мышлении вслух" — модель показывает ход своих рассуждений (и это очень удобно, для отладки и для коррекции)

Почему это важно? 🌟

По мнению Дарио Амодея (CEO Anthropic), значимость DeepSeek заключается в нескольких ключевых моментах:

• Это первый случай, когда китайская компания показала такой уровень инноваций в области ИИ
• DeepSeek на тренде - стоимость разработки мощных ИИ-моделей постепенно снижается (но это не только в Китае, это у всех), что в свою очередь значит что за те же деньги, тееерь можно сделать более умную модель.
• Это усиливает конкуренцию между США и Китаем в сфере ИИ

Что дальше? 🔮

Развитие DeepSeek поднимает важные вопросы о будущем ИИ:

- К 2026-2027 годам мы можем увидеть ИИ-системы, превосходящие человеческий интеллект во многих областях
- Возникает вопрос о балансе сил между странами в области ИИ-технологий
- Становится актуальной тема контроля за распространением технологий

Важно понимать: успех DeepSeek не означает революцию в экономике разработки ИИ. Скорее, это ожидаемый этап развития технологий. Но сам факт, что китайская компания первой продемонстрировала такой прогресс, имеет огромное геополитическое значение.

Выводы 📝

DeepSeek показывает, что мир ИИ становится всё более конкурентным и интернациональным. Это не просто технологическое достижение — это показатель того, как быстро развивается отрасль и как важно следить за инновациями в этой сфере.

Что думаете об этих достижениях? Как по-вашему, какие перспективы открывает развитие таких технологий? Делитесь мнением в комментариях! 💭

Эссе Дарио
Illustrated DeepSeek

Советую прочитать обе ссылки целиком и в оригинале

Еще на шаг ближе к сингулярности: ИИ оптимизирует собственный код! 🤖💨

Пока стоки NVIDIA стремительно летят вниз (как по мне - временно), спешу поделиться потрясающей новостью из мира искусственного интеллекта! Помните популярный open-source проект llama.cpp, который позволяет запускать мощные AI модели локально? Так вот, его только что ускорили в два раза - и самое удивительное здесь то, что оптимизацию в основном написал… DeepSeek R1! 🚀

В чём суть прорыва:
- Скорость web-версии (WASM) увеличилась вдвое
- Разработчик использовал DeepSeek-R1 для написания 99% оптимизационного кода
- Улучшения подтверждены на разных типах моделей
- Точность осталась на прежнем уровне

Давайте взглянем на цифры! 📊
- Некоторые операции ускорились в 2.8 раза
- Стабильное ускорение более чем в 2 раза для моделей разного размера
- При этом точность не пострадала от такого апгрейда

Почему это важно? 🤔
У нас появилось еще одно свидетельство того, что ИИ теперь способен оптимизировать свой собственный код! Причём речь идёт о сложных низкоуровневых оптимизациях, с которыми не каждый опытный программист справится.

Реакция сообщества просто огонь! 💭 Один из разработчиков метко заметил: "Представьте, если такое начнёт происходить по всей инфраструктуре кода..." И правда, захватывающая перспектива!

Ссылка на PR

Open R1: Открытый пайплайн DeepSeek-R1

Главная задача проекта: восстановить недостающие части пайплайна DeepSeek-R1 и сделать его open-source.

Основные компоненты: 

- src/open_r1: скрипты для обучения, оценки моделей и генерации синтетических данных

- Makefile: команды для каждого этапа пайплайна

План действий на основе публикации DeepSeek-R1: 

- Репликация R1-Distill путем выделения высококачественного корпуса из DeepSeek-R1

- Воспроизведение чистого RL-пайплайна для R1-Zero. Вероятно, это будет включать в себя создание новых крупномасштабных датасетов для математики, рассуждений и кода.

- Демонстрация перехода от базовой модели к RL-настройке используя многоступенчатый процесс  обучения.


Проект в процессе разработки - присоединяйтесь! 🤖🚀


🫥Pipeline

📖DeepSeek-R1 tech report

У меня такое ощущение, что существуют две параллельные вселенные.

В одной, ИИ помогает делать работу в разы быстрее (особенно это заметно в сфере разработки софта, но так же и в отделах продаж и маркетинга).

А в другой, ИИ не умнее кошки 🤣🤣🤣

Мое мнение, что разница между этими вселенными в способности видеть экспоненциальный рост.

Про это хорошо Тим Урбан еще 10 лет назад писал, рекомендую почитать.

Напомню основные тезисы:

1. Экспоненциальное развитие
В 2015 году говорили о скором экспоненциальном росте ИИ. К 2025 году это стало реальностью — прогресс ускоряется, особенно в генеративных моделях и прототипах AGI.

2. От узкого к общему
В 2015 году ИИ решал только узкие задачи. В 2025 году ИИ демонстрирует универсальность (general), применяясь в сложных и разных областях.

3. Трансформация индустрий
Развитие ИИ изменило мир: медицина, финансы, творчество, разработка софта — всё развивается быстрее и эффективнее.

4. Опасности и дискуссии
Риски сверхразумного ИИ (ASI), о которых предупреждали в 2015 году, теперь в центре внимания. Этические вопросы и контроль — главные темы глобальных дебатов.

А где мы будем в 2035?

Архитектуры, вдохновленные нейронауками, для AI Safety

Сотни миллиардов в AGi, опенсорсный deepseek и агенты с доступом к командной строке. А ещё помните, учёные обнаружили, что между биологическим мозгом и нейросетками больше сходств, чем мы думали. Похожие архитектуры, механизмы передачи информации и даже структуры обработки данных. Тревожники типа меня (Ginger) дуреют, конечно... И бесспорно, эта волна несёт тонны возможностей. Перед тем, как накрыло, неплохо бы черпнуть мудрости у природы - на этот раз для повышения надежности и безопасности ИИ.

Человеческий мозг может показаться не самой лучшей моделью для разработки безопасных систем ИИ: мы развязываем войны, вредим планете, имеем когнитивные искажения, застреваем в эмоциональных травмах. Однако у него есть свойства, которые все же стоит перенять для безопасности ИИ. Мозг миллионы лет эволюционировал, чтобы функционировать в сложной и непредсказуемой среде для успеха нашего биологического вида. Пока справляется.

Команда NeuroAI Safety уверена, что пока это лучший эталон, что у нас есть, и разработала дорожную карту на 88 страниц, в которой изложила, куда стоит направить совместные усилия:

1. Реверс-инжиниринг сенсорных систем
Мозг превосходит нейросети в обработке сенсорных сигналов: зрение, слух и тактильные ощущения. За обработку информации отвечает масса специализированных модулей (сенсорные коры, гиппокамп и тд).
В рамках этого проекта исследуются способы декодирования представлений, используемых мозгом для обработки сложных данных и извлечения ключевых сигналов из шума.

2. Создание цифровых близнецов с телесной моделью
Человеческий интеллект не существует в вакууме, он зависит от тела и его взаимодействия с миром. Этот проект направлен на создание цифровых двойников, которые могут “чувствовать” и “действовать”, интегрируя сенсорно-моторные данные, подобно мозгу. Это улучшит понимание того, как обучать системы ИИ через взаимодействие с физическим или симулированным окружением.

3. Создание биофизически достоверных моделей мозга.
Современные ИИ-архитектуры сильно упрощают реальный мозг. Этот проект предлагает строить модели, учитывающие биофизические параметры (динамику ионных каналов, нейронные связи). Эти модели помогут выявить, как биологические ограничения и структуры мозга повышают его устойчивость.

4. Разработка когнитивных архитектур следующего поколения
Когнитивные процессы человека сложны и плохо изучены: память, внимание, адаптивное поведение, обучение на ошибках. Задача этого проекта использовать аналоги типа дофаминовой регуляции для обучения ИИ “мыслить на перспективу” и избегать решений с долгосрочными негативными последствиями.

5. Использование данных мозга для дообучения ИИ
Команда NeuroAI Safety исследует, как записи нейронной активности человека могут улучшить дообучение ИИ, помогая моделям улавливать ключевые паттерны или игнорировать нерелевантную информацию.

6. Реконструкция функции потерь мозга
В машинном обучении модели оптимизируют функцию потерь, но что делает мозг? Мы знаем, что человеческий мозг невероятно эффективен в предсказании действий других для социальной координации. Этот проект изучает “функцию потерь” мозга (например, цели обучения), чтобы ИИ тоже безопасно взаимодействовал с людьми.

7. Использование методов нейронаук для интерпретации ИИ
Как интерпретировать решения ИИ? Мозг использует методы “вычитки” информации (например, через когнитивные карты). Этот проект изучает, как механизмы из нейронаук могут помочь объяснять внутренние процессы в нейронных сетях.

Методы
Команда делает акцент на междисциплинарности: используются данные ЭЭГ, fMRI, биофизическое моделирование, реверс-инжиниринг и анализ когнитивных процессов.

Следующие шаги: к чему готовиться?
Фокус (в т.ч инвесторов) может сдвинуться в сторону скоординированных, масштабных усилий по развитию нейротехнологий на стыке разработки ИИ, безопасности ИИ, и нейронаук.

Так что, если вы не верили Лекуну в 2022, можно уже начинать.

Док: NeuroAI Safety или arxiv
На фото: смотровая площадка, серфер Гаретт Макнамару впервые покоряет 24-метрового пайп монстра в Назаре

ChatGPT теперь умеет создавать приложения.
Как я сделал приложение для изучения языка за пару минут

🔥 Важное обновление от OpenAI: Canvas теперь умеет делать артефакты, как у Claude! Это значит, что вы можете не просто писать код, но и сразу получать работающие проекты.

Я протестировал эту фичу и хочу рассказать, как с её помощью сделал приложение для изучения языка.

💡 Как это работает?

1️⃣ Генерируем идею и задачу
Сначала я попросил GPT-4o придумать детальный промпт для создания приложения. Хотел что-то простое: карточки с иностранными словами, переводом и кнопкой "выучено". GPT-4o справился на отлично!

2️⃣ Создаём артефакт с Canvas
Скопировал промпт, открыл Canvas и выбрал модель o1. Через минуту у меня было готовое приложение! А главное, Canvas сразу рендерит результат. Я тут же посмотрел, как всё выглядит — всё очень удобно и работает.

3️⃣ Результат: мини-приложение
Теперь у меня есть простое и полезное приложение для изучения языка. Я могу добавлять новые слова, повторять их и отслеживать прогресс. Всё это буквально за пару минут работы.

Попробуйте сами и убедитесь, как это круто! 🚀

Анонс

🚀 Грандиозный AI-проект Stargate: $500 млрд на будущее искусственного интеллекта

Невероятные новости из мира AI! OpenAI и ведущие технологические гиганты объединяются в амбициозном проекте, который может изменить будущее искусственного интеллекта 🌟

📊 Ключевые факты:
- Инвестиции: $500 млрд за 4 года
- Первый транш: $100 млрд уже готов к deployment
- Главные партнеры: SoftBank (финансы) и OpenAI (операции)
- Технологические титаны: Arm, Microsoft, NVIDIA, Oracle

🏗️ Что планируется:
- Масштабное строительство AI-инфраструктуры в США
- Первая площадка уже строится в Техасе
- Создание тысяч рабочих мест
- Развитие стратегических AI-возможностей

🤝 Особенности коллаборации:
- Oracle, NVIDIA и OpenAI объединяют усилия для создания передовых вычислительных систем
- Продолжение успешного партнерства OpenAI-NVIDIA с 2016 года
- Расширение сотрудничества с Microsoft Azure

💫 Главная цель проекта - развитие AGI (искусственного общего интеллекта) на благо всего человечества. Stargate обещает стать ключевым шагом к этой амбициозной цели!

Анонс

ChatGPT Tasks

Начал пользоваться Tasks - это новая функция в ChatGPT, которая позволяет создавать задачи и выполнять их в определенное время.

Что бы пользоваться, в меню моделей нужно выбрать GPT 4o tasks.

Например, можно ставить напоминалки. А еще ChatGPT умеет ходить в интернет, и соответственно можно делать summary какой-то веб-страницы каждое утро. Причем, в цепочки, задачи пока что объединять нельзя. Сейчас поясню:

Я себе сделал задачу: каждое утро заходи на HuggingFace Daily papers и присылай мне обзор. Если бы задачи можно было объединять в цепочки действий, я мог бы попросить его прочитать pdf каждой статьи и сделать более подробный разбор.

В целом, довольно удобно. На текущий момент у меня стоят:
- Напоминалка поливать монстеру (chatty лучше меня знает насколько часто)
- каждое утро присылать мой текущий todo
- раз в неделю просить меня вести журнал эмоционального состояния
- каждый вечер присылать мне новые слова на иврите

А вы что себе придумали (бы)?

🧠 Sim2Real и нейроинтерфейсы от Neuralink.

Сегодня хочу поделиться интересными новостями от Neuralink. Они создали что-то невероятное - симулятор активности мозга на основе deep learning.

🎮 Знаете, как Tesla тренирует свои беспилотники в виртуальной среде перед реальными дорогами? Теперь такой же подход применяется для нейроинтерфейсов!

🔬 Суть простая: создается детальная симуляция моторной коры, где можно быстро тестировать и улучшать нейродекодеры. Команда использовала reinforcement learning, чтобы научить ИИ максимально эффективно преобразовывать сигналы мозга в управление курсором.

🎯 И вот что круто - это работает не только в симуляции! Макаке по имени Pager удалось успешно использовать декодеры, обученные в виртуальной среде, для управления реальным курсором.

🏆 Текущий рекорд скорости передачи информации держит @ModdedQuad - 9.5 бит в секунду. Следующая цель - преодолеть барьер в 10 бит/с.

💡 Это в целом, хорошо перекликается с громкими успехами в области робототехники, где sim2real позволил наконец то научить роботов нормально ходить.

🚀 Если вам интересно участвовать в создании будущего нейроинтерфейсов - у вас есть шанс присоединиться к команде Neuralink!

Подробности по ссылке в конце из треда.

🚀 Запускаем интенсив по ИИ-ассистентам — научим создавать персональных помощников за 3 дня!

2025 — это время новых возможностей. Уже знаете, как общаться с ChatGPT и генерировать крутые картинки в Dall-E? Теперь пора вывести свои навыки на новый уровень и начать зарабатывать на этом.

🤖 Что вы сделаете за 3 дня:

• Разберетесь, как ИИ становится не просто помощником, а настоящим бизнес-инструментом.
• Научитесь создавать собственные GPT для автоматизации рутинных задач (регламенты, планы, стратегии).
• Запустите контент-мейкера на основе Claude, который будет работать за вас.
• Соберете универсального продавца на nocode-платформе для создания ИИ-ассистентов, который умеет продавать и закрывать сделки.

💰 Новые возможности заработка в 2025:

• Разработка ИИ-ассистента — это услуга, за которую можно брать $250 и больше.
• Автоматизация задач для бизнеса — тренд, который востребован как никогда.

🔥 Бонусы:

• Видеоурок по автоматизации в Make
• Скидка 50% на использование платформы для создания GPT-ассистентов
• Розыгрыш персонального разбора для участников

Почему это важно:
ИИ не просто изменил игру — он создал новую. И если вы уже знаете, как работает ChatGPT или Dall-E, теперь время научиться монетизировать эти знания!

👉Регистрация тут https://clck.ru/3FdfFG

#промо

Just SF things 😎

🔍 Как быстро собрать весь код из проекта для подачи в LLM

В последний месяц, по разным причинам, приходится много разбираться с чужим кодом. И в этом мне помогает следующий лайфхак.

Хотите эффективно работать с большими кодовыми базами в ChatGPT или Claude? Команда find в Unix-системах поможет собрать все файлы с кодом в удобном формате!

Вот несколько полезных команд:

1️⃣ Собрать все Python файлы с путями и содержимым:

find . -name "*.py" -type f -exec echo "=== {} ===" \; -exec cat {} \; > all_code.txt

2️⃣ То же самое, но с JavaScript:

find . -name "*.js" -type f -exec echo "=== {} ===" \; -exec cat {} \; > javascript_code.txt

3️⃣ Собрать сразу несколько типов файлов:

find . \( -name "*.py" -o -name "*.js" -o -name "*.tsx" \) -type f -exec echo "=== {} ===" \; -exec cat {} \; > project_code.txt

4️⃣ Скопировать в буфер обмена (для macOS):

find . -name "*.py" -type f -exec echo "=== {} ===" \; -exec cat {} \; | pbcopy

🔑 Что делает эта команда:
- find . - ищет файлы в текущей директории и поддиректориях
- -name "*.py" - фильтрует по расширению
- -type f - только файлы (не директории)
- -exec echo "=== {} ===" \; - добавляет разделитель с путём к файлу
- -exec cat {} \; - выводит содержимое файла
- > all_code.txt - сохраняет результат в файл

💡 Теперь вы можете легко подать весь релевантный код в LLM для анализа, рефакторинга или поиска ошибок!

AgiBot World: Крутейший датасет для обучения роботов 🤖

Большинство существующих датасетов для обучения роботов не справляются с реальными проблемами из-за некачественных данных, ограничений сенсоров, слишком коротких задач в контролируемых средах.

AgiBot World - это первый крупномасштабный датасет для обучения роботов, разработанный для продвижения многоцелевых задач робототехники.

Что в нем есть?:

- 1 миллион+ траекторий от 100 роботов.
- 100+ 1:1 воспроизведенных реальных сценариев в 5 целевых областях.
- Современное оборудование: визуальные тактильные датчики / манипуляторы с шестью степенями свободы / двухрукие мобильные роботы
- Широкий спектр универсальных сложных задач


Помимо этого в нем есть базовые модели, тесты и экосистема для демократизации доступа к высококачественным данным для академического сообщества и промышленности.

🌐 Сайт

🪩 GitHub

🤗 HuggingFace

Поздравляю с Новым Годом! 🎄

Желаю всем хорошего настроения, энергии и чтобы не иссякал энтузиазм.

Начало 2024 года ощущалось, как будто нас накрывает волной, и казалось, что самое главное - это грести из всех сил, чтобы оказаться на её гребне.

2025 год - это уже про настоящий серфинг. Кто был молодцом и упорно греб, преодолевая сопротивление воды и страх перед высотой волны, теперь должен сделать глубокий выдох, уверенно оттолкнуться от доски и встать на нее. Пришло время поймать эту волну, балансировать и управлять движением, чувствуя её силу и используя её энергию.

Поехали! 🏄​​​​​​​​​​​​​​​​

Как создавать LLM-агентов без лишней головной боли
(Личный опыт и наблюдения из практики Anthropic)

Знаете, похоже, годом агентов станет 2025-й. В уходящем году мы все пытались сделать их по-настоящему надёжными, и, кажется, не зря старались! К 2025-му главным стало не то, насколько "крут" твой агент, а умение собрать систему, которая реально решает конкретные задачи.

Недавно ребята из Anthropic поделились своими находками о том, как делать рабочих агентов без лишних сложностей. Давайте разберём самое важное.

🐨 Начинаем с простого
Первым делом чётко определите, что вам нужно от модели. Может, это перевод текста? Или рефакторинг кода? Или генерация контента? Не пытайтесь впихнуть всё и сразу в один вызов — это путь к хаосу.

Обязательно проверяйте результаты. Тесты, сравнение с эталонами, внутренние метрики — всё это покажет, насколько хорош ваш агент. Заметили слабое место? Усильте промпты или добавьте простую проверку.

Начните с базовых схем. Например, один вызов LLM для основной задачи и ещё один для проверки. Работает? Отлично! Усложнять будете только когда реально припрёт.

🕵️ Когда действительно нужны агенты
Агенты сами решают, какие инструменты использовать и в каком порядке. Иногда без этого не обойтись, особенно в сложных задачах, где заранее все шаги не пропишешь. Но имейте в виду: за такую свободу придётся платить — больше вычислений, больше времени, больше шансов накосячить.

Возьмём, к примеру, код-агента, который может работать с несколькими файлами и сам решает, как их править. Круто, но не забудьте про стоп-краны — ограничьте число итераций, чтобы агент не ушёл в бесконечный цикл.

🐋 Три кита агентостроения
1. Простота: чем меньше навороченной логики, тем легче жить
2. Прозрачность: должно быть видно, как агент планирует свои действия и какие подсказки получает
3. Понятный интерфейс: подробная документация, примеры, инструкции — чем яснее описано, что умеет агент, тем меньше сюрпризов

🦜⛓️‍💥 А как же фреймворки?
Да, есть куча готовых инструментов — LangGraph в LangChain, Amazon Bedrock's AI Agent и другие. С ними можно быстро начать, но под капотом там часто такие дебри, что отладка превращается в квест.

Мой совет: если код начинает напоминать чёрную магию — попробуйте вернуться к основам. Простые вызовы LLM, чёткое разделение задач, всё под вашим контролем.

👌 Практические советы
- Если задачу решают пара простых промптов — не городите огород
- Тестируйте как ненормальные: автотесты, сравнение с эталонами, сквозные сценарии
- Добавляйте проверки: пусть отдельный LLM или простой код следит, не пошло ли что-то не так
- Не бойтесь микшировать разные подходы: маршрутизация, параллельные вычисления, оценка-оптимизация — главное, не всё сразу

💻 Живой пример: рефакторим код
1. Начинаем просто: LLM читает файл и советует, как переименовать переменные
2. Если работает — расширяемся: добавляем центральный LLM, который раздаёт задачи "рабочим"
3. Проверяем результат: второй LLM или человек просматривает изменения перед мержем

🦆 Главное, что я понял
Успех с LLM — это не про создание монстра, который всё умеет. Это про простую, точную, управляемую систему на которую можно положиться (reliability). Начинайте с малого, держите всё на виду и усложняйте только по необходимости.

P.S. Если вдруг захотите своего помощника в стиле Cursor Agent — сначала чётко определите, к каким файлам и функциям он получит доступ. Давать агенту права на запись в репу иногда страшновато, но когда он начинает экономить время и нервы — это того стоит!

Блог-пост по агентостроению стоит почитать, потому что там намного больше четких схем и разобранных кейсов использования.

А как вы подходите к созданию LLM-агентов? Какие инструменты используете? Делитесь опытом в комментариях 🚀

Кто из AI ассистентов для кода заработал больше всех в 2024?

Oliver Molander в своем LinkedIn посте собрал статистику по ARR в 2024 году среди специализированных AI ассистентов для кода.

💰 JetBrains заработал больше всех ($593M ARR), на втором месте Github Copilot ($400M ARR), на третьем Cursor ($65M ARR)


📮LinkedIn post

Как ИИ меняет модели ценообразования ПО

В своей декабрьской рассылке Andreessen Horowitz (a16z) затронули очень интересную тему, а именно как ИИ радикально меняет подход к тому, как компании продают свои программные продукты 💰


Вот три ключевых тренда:

1️⃣ Программное обеспечение становится "трудом"

ИИ превращает традиционные сервисы в масштабируемые программные решения: Поддержка клиентов, продажи, маркетинг, payroll теперь могут быть автоматизированы.

2️⃣ Уход от модели "оплаты за место" (per-seat pricing)

Классический пример - Zendesk, в котором традиционно платили за число агентов тех. поддержки в месяц

Теперь, когда ИИ может обрабатывать тикеты, важно не количество юзеров, а результат работы.

Поставщики ПО переосмысливают свои модели ценообразования и переходят к оплате за конкретные результаты, которые их ПО помогает достичь пользователям.

3️⃣ Менее предсказуемые переменные затраты

ИИ-стартапы, использующие foundation models (OpenAI, Anthropic, Mistral), сталкиваются с переменными затратами, которые растут пропорционально использованию сервиса.

Каждый API-запрос, обработанный токен отражается на структуре затрат.

Неудивительно, что появляются новые бизнес модели завязанные на использование сервиса.

🔍 Интересно, что ИИ-нативные компании активно экспериментируют с новыми моделями. Например, Decagon просит оплату за диалог либо за результат. В Cursor платим за пользователя плюс доплаты за использование премиальных моделей.

В то время как традиционные игроки, которые добавили ИИ в свои уже существующие продукты, пока держатся за привычные схемы подписки 📠

Индустрия продолжает активно развиваться - ждём новых идей и решений в 2025! 🎄

😎Блог

Cursor Agent - друг, который знает всё, и не осуждает за глупые вопросы. А ещё готов сделать ВМЕСТО тебя.

Во время вашего традиционного рождественского созвона, Артемий между делом обратил внимание на режим "agent" в Cursor. Я переключила этот едва заментный микро рычажок, и тоже перешла из режима normal - в режим непрерывного ох.ния, простите за мой французский.

Мы с курсором и раньше классно общались: он терпеливо отвечал на мои вопросы, неустанно дебажил мой г.нокод, был со мной в самые непростые минуты создания (ещё не релизнутой) python библиотеки для симуляции взаимодействия наночастиц с клетками по законам термодинамики и комбинаторики.

Но Cursor Agent умеет исправлять и создавать (!) файлы в самых разных папках проекта. Это крисмас мэджик какой-то, ребята.

Самое морально сложное с курсором, пожалуй, - дать разрешение ему на все во время установки. Но если это внутреннее сопротивление преодолеть, то будете удивляться, как раньше жили без него.

По шагам запуск режима Агента:
1. Комбинацией CMD + I (MacOS) запустите Composer
2. В окне Composer в самом внизу в самой последней строчке, написанной бледно-серым цветом, включите режим agent
3. Опишите максимально подробно задачу, предоставьте любой контекст (снимки экрана, файлы - что есть)
4. Отправьте и наблюдайте, как Agent творит чудеса
5. Просмотрите изменения и утвердите по мере необходимости

Очевидные лайфхаки, но полезно помнить:
• Делите задачи на подзадачи.
Структурируйте запрос: и агент лучше справится, и вам будет легче докручивать компоненты.
• Итеративный подход.
Можно и нужно уточнять и дорабатывать запросы - взаимодействие с агентом по умолчанию устроено как последовательные запросы.
• Учитесь.
Просите объяснить сложные части кода как для пятилетнего или на примере какашек. Это здорово помогает прокачивать скиллы.

Приятных открытий!

📚 Хороший гайд по рынку AI от Translink Capital.

Тот случай, когда это не пост по отчету, а именно сам отчет.

Kelvin Mu из Translink Capital (давно и неплохо делает аналитику по сегменту) сделал чтиво по рынку искусственного интеллекта на 42 страницы. Тот случай, когда минимум графиков, которые мы любим, зато отчет достаточно емкий. Вдруг вы пропустили что-то по теме, это точно поможет расставить по полочкам. Понятно, что где в каком сегменте происходит.

Структура:
▪️Infrastructure Layer
▪️Model Layer
▪️Tooling Layer
▪️Application Layer
▪️Investments and M&A
▪️Other AI trends

Могу лишь еще лично направить почитать про тренд по Inference optimization в Tooling Layer, где сказано про наш уже бывший стартап Deci AI, который купила NVIDIA, но вообще каждый найдет там что-то свое. Очень кропотливо собраны тренды.

@proVenture

#ai #research

По мнению многих (и меня в том числе), самый главный софт года - Cursor.

Cursor примечателен тем, что благодаря ему я за весь рабочий год не написал ни одной функции полностью руками (ну ок, написал одну, на собесе в Страйп).

Напоминаю, что в нашем канале еще в мае вышел текстовый лайв с моей встречи с их фаундером 🙃

А первый раз я порекомендовал им воспользоваться в январе.

Это я к чему? На нашем канале инсайты проверенные временем :)

В следующие дни до Нового года мы разберем и другие значимые инсайты этого года. Так что оставайтесь на связи – впереди еще много интересного! 🎄

Ох уж эта стена 🤣

Закончились 12 дней Open AI, по этому поводу сделал вам песню про все что показали.

В продолжение нашего разговора о прогнозировании временных рядов, давайте глубже рассмотрим ключевые компоненты современных систем прогнозирования на основе больших языковых моделей, опираясь на последние исследования.

Архитектурные инновации
- Разработка WaveToken - интересный подход к токенизации временных рядов через вейвлет-преобразования
- Chronos - минималистичный подход к адаптации языковых моделей
- TimeMixer++ продемонстрировали эффективность гибридных архитектур

Обработка контекстной информации
- TimeGPT-1 показали возможность работы с разнородными данными из множества доменов
- LLMForecaster представил инновационный подход к интеграции текстового контекста
- TimeFM достиг впечатляющих результатов при существенно меньшем размере модели

Особенно интересно отметить результаты последних бенчмарков, показывающих, что закрытые модели (GPT-4, Gemini) значительно превосходят открытые решения в понимании временных рядов. При этом исследования показывают три ключевых направления развития: LLM как усилитель существующих моделей, как предиктор и как агент.

Исследования в этой области, особенно работы по Resolution-Aware Retrieval и Context is Key benchmark, открывают путь к созданию более совершенных систем прогнозирования, способных учитывать широкий спектр факторов и предоставлять обоснованные предсказания в различных областях применения.

Прогнозирование будущего с помощью языковых моделей 🤖📈

Друзья, сегодня поговорим о прогнозировании будущего с помощью больших языковых моделей (LLM). Исследователи показали как можно скомбинировать силу чисел и контекста!

🔍 Ключевой прорыв
До недавнего времени системы прогнозирования работали только с числами - представьте себе графики продаж или температуры. Но в реальном мире мы принимаем решения, учитывая множество факторов! Новый подход позволяет моделям понимать контекст так же, как это делаем мы с вами.

🛠️ Как это работает?

- Модель анализирует не только числовые данные, но и важную текстовую информацию
- Учитывает исторические события и будущие планы
- Понимает причинно-следственные связи
- Адаптируется к различным сценариям

📊 Практические примеры

- Прогноз загруженности дорог с учетом предстоящих мероприятий
- Предсказание потребления энергии с учетом погодных условий
- Анализ продаж с учетом маркетинговых кампаний

🎯 Интересные результаты

- GPT-4 и Gemini показали впечатляющие результаты в понимании временных рядов
- Модели успешно интегрируют текстовую информацию в прогнозы
- Точность прогнозов значительно улучшается при добавлении контекста

🔮 Будущее прогнозирования

Представьте себе системы, которые смогут:

- Анализировать множество источников данных одновременно
- Учитывать глобальные тренды и локальные особенности
- Давать объяснения своим прогнозам на человеческом языке

Это захватывающее время для искусственного интеллекта и анализа данных! Мы становимся свидетелями того, как машины учатся понимать временные ряды почти так же целостно, как люди.

Что думаете об этом прорыве? Делитесь своими мыслями в комментариях! 💭

Статья

Открытая реализация масштабирования времени обдумывания (inference time): от O1 к открытым моделям

Команда Hugging Face успешно воспроизвела и адаптировала для открытых моделей подход, который OpenAI впервые продемонстрировала в своей модели O1. Теперь эта техника доступна всем! 🚀

В 2024 году OpenAI первыми показалили, как увеличение времени "обдумывания" может значительно улучшить производительность модели на сложных задачах. В частности, их модель O1 демонстрировала постоянное улучшение результатов на математических задачах при увеличении вычислительного бюджета на этапе вывода.

Что удалось воспроизвести? 🔍

Команда Hugging Face адаптировала этот подход для открытых моделей и показала, что:
- Маленькая модель Llama 1B может достичь производительности Llama 8B
- Модель Llama 3B может конкурировать с Llama 70B
- Всё это возможно без доступа к закрытым моделям или огромным вычислительным ресурсам

Как это работает? 🤔

Основная идея та же, что и у OpenAI - дать модели больше времени на "размышление". Команда реализовала и сравнила три подхода:

1. Best-of-N (Базовый подход)
- Генерируем несколько решений
- Выбираем лучшее с помощью верификатора
- Простой, но эффективный метод

2. Beam Search (Продвинутый метод)
- Систематический поиск решений
- В 4 раза эффективнее Best-of-N
- Оптимален для сложных задач

3. DVTS (Новый метод от HF)
- Улучшение beam search
- Фокус на разнообразии решений
- Лучшая производительность при большом бюджете

Необходимые компоненты:
- Открытая базовая модель (например, Llama-3.2-1B-Instruct)
- Модель-верификатор (например, RLHFlow/Llama3.1-8B-PRM)
- Реализация стратегии поиска

Значение для сообщества 🌟

Эта работа особенно важна, потому что:
- Делает продвинутые техники доступными для всех
- Показывает, что маленькие открытые модели могут быть очень эффективными
- Предоставляет практическую реализацию для экспериментов

Что дальше? 🚀

Открытая реализация этих методов открывает новые возможности:
- Применение подхода к другим задачам
- Улучшение верификаторов
- Разработка новых стратегий поиска

Это отличный пример того, как открытые модели и исследования двигают область вперёд.

Блог-пост

В связи со слухами, предлагаю Claude новую рекламу 🤖

Это кстати ChatGPT рисует. Ждём анонса нового Dalle на след неделе

У Грока определено есть вкус

В продолжение разговора о метаанализе ИИ-систем, давайте разберемся в Clio подробнее.

Фундаментом системы является многоуровневый пайплайн обработки данных с несколькими ключевыми компонентами:

Извлечение характеристик

- Система использует специализированные языковые модели для анализа каждого диалога
- Извлекает множество параметров: язык общения, тему, намерения пользователя
- Работает как с прямыми метриками (длина диалога), так и с семантическим анализом

Умная кластеризация

- Применяет embedding-based clustering для группировки похожих диалогов
- Использует k-means с динамическим определением оптимального числа кластеров
- Строит иерархическую структуру паттернов использования


Защита приватности

- Многоуровневая фильтрация персональных данных
- Агрегация информации только при достаточном количестве похожих случаев
- Автоматическая проверка на отсутствие идентифицирующей информации

Результаты

- Система выявила основные сценарии использования ИИ (программирование, создание контента, исследования)
- Обнаружила культурные различия в применении ИИ
- Помогла выявить и предотвратить попытки злоупотребления системой

Особенно важно, что Clio демонстрирует новый подход к анализу ИИ-систем, где сам искусственный интеллект используется для понимания паттернов своего применения.

Исследование знаменует важный шаг в развитии прозрачных и этичных методов анализа ИИ-систем, объединяя передовые технологии машинного обучения с принципами защиты приватности.

Статья

Антропик показали, как ИИ может анализировать сам себя 🔍🤖

Друзья, сегодня расскажу про крутейшее исследование от компании Anthropic - они создали систему Clio, которая позволяет безопасно анализировать миллионы разговоров с ИИ-ассистентом Claude.

В чём суть? 🎯
- Clio использует сам ИИ для анализа паттернов использования ИИ-ассистентов
- Система сохраняет приватность пользователей, работая только с обобщёнными данными
- Позволяет увидеть реальные сценарии применения ИИ в повседневной жизни

Что интересного обнаружили? 📊
- Самые популярные задачи: программирование, создание контента и исследования
- Пользователи из разных стран используют ИИ по-разному (например, в Японии больше обсуждают проблемы старения населения)
- Выявили новые способы злоупотребления системой, что помогло усилить защиту

Почему это важно? 💡
1. Впервые получили реальную картину использования ИИ в масштабе миллионов разговоров
2. Нашли баланс между аналитикой и приватностью
3. Создали основу для более безопасного развития ИИ-ассистентов

Технология работает как Google Trends, но для разговоров с ИИ - показывает тренды, паттерны и аномалии, не раскрывая личных данных пользователей.

Это прорыв в понимании того, как люди реально взаимодействуют с ИИ. И что особенно круто - система использует ИИ для анализа ИИ, что открывает новые горизонты в развитии безопасных и этичных технологий.

Судя по результатам анализа, мы в пузыре? В тоже время, Клодом пользуются в основном айтишники, так что может не так все и плохо 🤔

Блог-пост
Статья

Зацените номера!

BETA AI

Вот это я понимаю человек живет 🤖

📍 Oyster Point, South San Francisco

Deep Research

Google выкатил интересное обновление Gemini, про которое напишу вообще все, а я же хочу сосредоточиться на том, что теперь ассистент умеет сам проводить исследования в интернете.

Выглядит это так:

Вы просите его разобраться в какой-то теме, например "как сейчас развивается рынок беспилотных автомобилей". Gemini составляет план поиска, показывает его вам на проверку, а потом начинает самостоятельно искать информацию в сети.

Он не просто собирает первые попавшиеся ссылки, а действует как настоящий исследователь - находит что-то интересное, копает глубже на основе найденного, проверяет разные источники. В итоге выдает структурированный отчет со всеми ссылками, который можно сразу выгрузить в Google Docs.

Представьте: вместо того чтобы часами сидеть с десятком открытых вкладок, делая пометки и пытаясь не утонуть в информации, вы получаете готовый обзор за несколько минут. При этом можете его обсудить с ассистентом и попросить что-то уточнить или переделать.

Пока Deep Research (так называется эта функция) доступен только в платной версии Gemini Advanced и работает на десктопе. В мобильное приложение обещают добавить в начале 2025 года.

А еще Google выпустил экспериментальную версию новой модели - Gemini 2.0 Flash. Она работает быстрее и умнее, но пока находится в режиме тестирования. Попробовать можно уже сейчас - просто выберите ее в выпадающем меню моделей.

И вот, мы стали еще на шажок ближе к тому моменту, когда ИИ-ассистенты действительно начнут освобождать нас от рутинной работы, а не просто отвечать на вопросы 😊

Блог-пост

Тем временем, на секундочку, вернемся к настоящим видосам.

Оптимус вышел на прогулку рядом с офисом Tesla в Пало Альто.

Количество видео регулируется некими кредитами, которые видимо будут обнуляться каждый месяц.

2 вариации 5s 420p - 50 кредитов

Кстати, работает все это через Stripe =)

Сделал свое первое видео с Sora

Генерация 2х вариаций 5 секундного ролика заняла 4 минуты (полагаю что из-за очереди, но в явном видео это нигде не указано).

Мой запрос (я просил Сэма Алтмана поющего рождественские хоралы) был отредактирован в соответствии с политикой контента OpenAI.

Ролики прикладываю в комментарии.

Очевидно что это сора это навык, и еще более очевидно, что за следующий месяц мы насмотримся абсолютно безумных, невероятных и крайне неожиданных результатов.

Короче, судя по комментариям в предыдущем посте - наш канал - - жиденький контент и простыни текста. Значит будем постить фотки Сэнди. @GingerSpacetail можем еще твоих животных постить. И таксу @innovationitsme

Chat: Канал вообще перестал расти, что мы делаем не так? Как надо?

🚀 Месяц в Stripe: первые впечатления и Black Friday!

Ребята, это что-то невероятное! Прямо сейчас мы в эпицентре главной распродажи года, и я хочу поделиться тем, что вижу изнутри.

💡Stripe запустил специальный сайт bfcm.stripe.com, где в реальном времени показывает, как миллиарды долларов путешествуют по миру. Это не просто красивая визуализация — это живой пульс глобальной коммерции!

🛠️ Что меня особенно впечатлило:
- Radar анализирует 1000+ параметров каждой транзакции за миллисекунды (!) для защиты от фрода
- Link реально экономит часы времени на чекауте (сам пользуюсь, это магия)
- Tax автоматически разруливает налоги в 69 странах

🤯 А масштаб? От небольших стартапов до таких гигантов как Shopify и NVIDIA — все они прямо сейчас полагаются на нашу инфраструктуру. И она работает как часы!

Загляните на bfcm.stripe.com — там можно своими глазами увидеть, лучший день доя большинства потребительских бизнесов в году!

Про то, как мне работается написал в комменты. Пишите вопросы - отвечу на что могу/знаю

P.S. Кто бы мог подумать, что термин "Black Friday" появился в 60-х в Филадельфии из-за того, что физическая инфраструктура не справлялась с наплывом покупателей? Сегодня такие проблемы решаются одной строчкой кода 😉

Идет поиск… Обнаружен короткий путь к офферу Сбера 🕵️‍♂️

7 декабря приглашаем на One Day Offer для AI RedTeam – команды Департамента Кибербезопасности Сбера, которая занимается оценкой и защитой моделей генеративного искусственного интеллекта.

Мы работаем с флагманскими продуктами и генеративными моделями (LLM, VLM, MMLM), обеспечивая их безопасную разработку и эксплуатацию, а также исследуем уязвимости GenAI моделей и новые виды атак.

Чем предстоит заниматься?
✅ Обеспечивать безопасность GenAI-продуктов, используемых миллионами пользователей
✅ Анализировать новые инциденты, методы атак и защиты GenAI-моделей и приложений
✅ Разрабатывать и внедрять PoC для проверки защищенности GenAI-моделей и приложений
✅ Тестировать и оценивать защищенность GenAI-моделей и приложений
✅ Выполнять подготовку заключений и рекомендаций по повышению защищенности GenAI-моделей и приложений.

Регистрируйтесь и присоединяйтесь к молодой кросс-функциональной команде 😎

#реклама

Тем временем Илон показал телеуправляемого робота, который ловит мячи! Правильно, fuck Thanksgiving diner.

Курлык курлык

🚀 SmolVLM: мощная компактная мультимодальная модель от Hugging Face 🤗


🤖 Что такое SmolVLM?

- Компактная мультимодальная модель размером 2 миллиарда параметров
- Полностью открытый исходный код

Технические особенности:

🔬 Архитектура:

Языковой backbone: SmolLM2 1.7B
Визуальное сжатие информации в 9 раз
Размер изображений: 384x384 пикселя
Патчи по 14x14 пикселей

Возможности:

🖼️ Анализ изображений:

- Распознавание объектов
- Описание сцен
- Ответы на вопросы по картинкам


🎥 Работа с видео:

- Анализ до 50 кадров
- Понимание временной последовательности
- Распознавание объектов и действий

📊 Производительность:

Топовые результаты на бенчмарках:

MMMU: 38.8%
MathVista: 44.6%
DocVQA: 81.6%
MMStar (val): 42.1%
TextVQA: 72.7%

🚀 Преимущества:

- Работает на устройствах с низким объемом памяти
- В 3-4 раза быстрее аналогов
- Минимальное использование GPU (от 5 ГБ)

Опубликованы три версии модели:

🔹 SmolVLM-Base - для дообучения
🔹 SmolVLM-Synthetic - обучена на синтетических данных
🔹 SmolVLM Instruct - готова к использованию

🎮Демо


📰 Блог


🤗 Модель


👨‍💻Код для fine-tuning-a

Смартфоны изучают ионосферу Земли🛰️📱🌍

Google Research нашли способ использовать миллионы Android-устройств для изучения ионосферы – верхнего слоя атмосферы, который влияет на радиосигналы и GPS-навигацию.

🔍 Что такое ионосфера?

Ионосфера – это слой, насыщенный заряженными частицами (плазмой), который может вызывать помехи для спутниковой связи, радио и GPS. Изучение её поведения особенно важно во время солнечных бурь, которые могут повредить спутники и энергосети.

🔹 Как это работает:

- Устройства Android с GPS собирают данные о сигналах спутников.
- Эти данные используются для отслеживания колебаний в плазме ионосферы, создавая карту её состояния.
- На основе этой информации ученые выявляют нарушения, которые могут повлиять на связь и навигацию.

🔹 Почему это важно?

- Улучшение точности GPS, особенно в условиях помех.
- Помощь в прогнозировании солнечных бурь и их воздействия на инфраструктуру 🌞⚡.
- Уникальная возможность изучать поведение Земли и её атмосферы на глобальном уровне 🌍.

🔹Преимущества нового метода:

- Двукратное расширение покрытия по сравнению с существующими станциями
- Особенно эффективен в регионах с редкой мониторинговой инфраструктурой (Индия, Юго-Восточная Азия, Африка)
- Полная анонимность пользовательских данных

🔹 Результаты:

- Использовано от 200 000 до 2 млн смартфонов ежечасно
- Охвачено около 40 млн измерений ежедневно
- Создана карта с разрешением порядка 70 км

🔹Практическое применение:

1. Повышение точности GPS до нескольких метров
2. Улучшение работы служб экстренного реагирования
3. Потенциал для прогнозирования последствий солнечных бурь

Интересный факт: Исследователи зафиксировали уникальные плазменные явления, такие как "плазменные пузыри" над Индией и Бразилией, которые ранее не были так детально зарегистрированы.

Метод открывает новые горизонты в изучении ионосферы и демонстрирует, как массовые пользовательские устройства могут служить научным инструментом.

Исследование опубликовано в журнале Nature.

🌌 Блог

📜 Статья

📽️ Видео

🗺 Демо карт

​​🔍 Доля AI в поиске занимает 6%. А что еще интересного?

Стечение обстоятельств, а также тот факт, что у меня теперь есть Perplexity Pro на год, сподвигли посмотреть, что там на рынке поиска-то происходит. Еще пару лет назад никто не мог подумать, что этот рынок можно как-то переделывать.

1/ Итак, поиск информации вместо Google и других поисковых систем уже проходит через AI решения. Как минимум есть вышеупомянутый Perplexity, а также SearchGPT от OpenAI и поиск через чаты с другими моделями, которые имеют доступ в интернет.

2/ Информации не очень много, но можно запомнить следующее:
▪️Google занимает от 89% поиска как search engine до 91% поиска по разным данным, далее (как ни удивительно) следует Bing с 3.4-4.2%, остальные еще меньше;
▪️Доля AI решений сейчас составляет 6%, но по выручке (в деньгах) это 1%;
▪️Доля Perplexity при этом – 0.5% поиска. Это довольно много, например, доля DuckDuckGo в поиске составляет 0.54%-0.69%.

3/ Доля AI поиска может вырасти с 6% сегодня до 14% в 2028 году.

4/ Кому интересно почитать подробнее про Perplexity, можете зайти вот на этот сайт. Там собрана информация про их бизнес и показатели, например, $40M выручки, 10M MAU, 300M поисковых запросов в 2023 году и так далее.

5/ А вот в этой статье есть прикольное сравнение конвенциального поиска с поиском через AI. Например, результаты поиска через SearchGPT от OpenAI только на 46% совпадают с поиском через Google и на 73% с поиском через Bing.

@proVenture

#research #ai #trends

Model Context Protocol (MCP) от Anthropic

Компания Anthropic представила Model Context Protocol (MCP) – универсальный открытый протокол для подключения ИИ ассистентов к источникам данных 🔗

По мере того, ИИ ассистенты получают всеобщее распространение, отрасль вкладывает значительные средства в возможности моделей, добиваясь быстрого прогресса в рассуждениях и качестве. Однако даже самые сложные модели ограничены своей изоляцией от данных — заперты за информационными хранилищами и устаревшими системами 💾

Каждый новый источник данных требует собственной индивидуальной реализации, что затрудняет масштабирование.


🔌 MCP создан для решения этой проблемы. Он предоставляет универсальный открытый протокол, который позволяет разработчикам создавать безопасные двусторонние соединения между источниками данных и инструментами на базе ИИ.

Архитектура проста: разработчики могут либо предоставлять свои данные через серверы MCP, либо создавать приложения ИИ (клиенты MCP), которые подключаются к этим серверам.

Anthropic представила три основных компонента Model Context Protocol для разработчиков:

🔹Спецификация и SDK для Model Context Protocol
🔹Поддержка локального сервера MCP в приложениях Claude Desktop
🔹Открытый репозиторий серверов MCP

Для работы доступны pre-built серверы MCP для популярных корпоративных систем, таких как Google Drive, Slack, GitHub, Git, Postgres и Puppeteer.

Разработчики могут начать создавать и тестировать коннекторы MCP уже сегодня. Существующие клиенты Claude for Work могут начать тестировать серверы MCP локально, подключая Claude к внутренним системам и наборам данных.

В скором времени Anthropic обещают зарелизить инструменты для развертывания удаленных производственных серверов MCP 👀


Как начать? 🛠️

🔹Установите MCP-серверы через Claude Desktop
🔹 Изучите документацию
🔹 Творите 😊

🗞️ Блог

👨‍💻GitHub

💡 Как генеративный AI меняет бизнес: научитесь создавать и интегрировать AI решения без огромных бюджетов и команд разработки

Недавно я делал пост о том, как компании инвестируют миллиарды в генеративный AI для оптимизации процессов и создания продуктов. Главный вывод: сегодня AI — это не просто инструмент для «поиграть», а ключевой фактор для улучшения показателей бизнеса.

Но, несмотря на огромный потенциал, для не крупных игроков внедрения AI связано с такими вопросами, как:
- Можно ли протестировать эффективность/внедрить AI без огромной команды разработки?
⁃ Как интегрировать AI в существующие процессы и какие процессы выбрать для автоматизации?
- Как оценить эффективность и внедрить AI с минимальными вложениями?


Чтобы разобраться с этими вопросами, команды студии AI-разработки SkaiLab и бизнес-консультанты Иннопорт разработали практический курс применения AI в бизнесе.

📊 Что будет на курсе:
- Практика на реальных кейсах. Создадите 14 практических AI-решений: AI-ассистенты, боты, системы ИИ-автоматизации. В общем, всё то, о чем я писал ранее в посте и даже больше.
- Системный подход. Научитесь понимать какие бизнес-процессы стоит автоматизировать с помощью AI-инструментов
- Методы оценки эффективности. Узнаете, как анализировать результаты внедрения и повышать эффективность использования AI-инструментов.

Эта программа для тех, кто хочет научиться использовать AI не только для базовых задач вроде генерации текста или изображений, но и для построения масштабируемых AI-решений.

Сейчас уже растет количество предложений для экспертов в AI. И в самое ближайшее время, люди, способные интегрировать AI и бизнес станут самыми ценным кадрами на рынке.

📌Успейте занять свое место на курсе. Подать заявку можно по ссылке: https://clck.ru/3Ejewd
🔥 А по промокоду AIFORALL24 вы получите скидку 30%

#реклама

Генеративные решения — новая реальность, от которой уже никуда не скрыться.

ЦЕХ.ДИЗАЙН объявляет первую в России премию Айдá для проектов с использованием ИИ в дизайне.

📌 Почему это важно?
Генеративные технологии меняют правила игры в дизайне, и эта премия — ваш шанс громко заявить о себе и своих проектах.

Что ждет участников?
• Признание. Внимание всей индустрии и экспертов из топ-компаний: t2, Озон, Яндекс, VK, МТС, Магнит, Wildberries и других.
• Обратная связь. Уникальная возможность получить советы от лидеров отрасли.
• Нетворкинг. Найдите новых клиентов, партнеров и единомышленников.

Кто может участвовать?
Компании, агентства и фрилансеры (для последних участие бесплатное). Заявки принимаются до 26 декабря.

Финал премии состоится 19 января на площадке «Красный Октябрь» в Москве. Вход бесплатный — ссылка на регистрацию

🎯 В программе:
• Презентация крупнейшего исследования по ИИ в дизайне
• Панельные дискуссии с дизайн-директорами ТОП-компаний
• Портфолио-ревью с шансом получить оффер
• Церемония награждения лучших работ

💟 Подать заявку

#Реклама. ИП Носкова Е.А. ИНН 632127374493

Победа ChatGPT над врачами

Недавнее исследование показало, что ChatGPT-4 превзошел врачей в диагностике сложных медицинских случаев. Искусственный интеллект поставил верный диагноз в 90% случаев ✅, тогда как врачи с доступом к ChatGPT справились лишь на 76%, а без него — на 74%.

👨‍⚕️Основная проблема — врачи часто игнорировали предложения ChatGPT, предпочитая собственные гипотезы, даже если ИИ предлагал более точное объяснение. Кроме того, многие врачи использовали GPT как поисковую систему 🔍, а не как мощный инструмент анализа.

📋В исследовании участвовали 50 врачей, которые диагностировали 6 сложных медицинских случаев. Оценивалась способность ставить и аргументировать диагноз.

Результаты оценивали врачи-эксперты, которые видели только ответы участников, не зная, были ли они от врача с ChatGPT, врача без него или от самого ChatGPT.

Истории болезней, использованные в исследовании, были основаны на реальных пациентах. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означало, что ChatGPT не мог быть обучен на них.

ИИ показал способность обрабатывать вводные медицинские данные и контекст, предлагать обоснованные диагнозы и объяснять свои выводы. Несмотря на это, врачи часто отказывались принимать его аргументы из-за уверенности в собственной правоте 🧠

🤖По мнению авторов, системы ИИ могут стать незаменимым помощником в медицинской диагностике, но для этого нужно научить врачей полностью раскрывать их возможности и использовать их в качестве "второго мнения".

💊 Статья

🌎#ии today
Робот «Эрбай» с искусственным интеллектом похитил 12 более крупных роботов из выставочного зала в Шанхае. Эрбай вел с более крупными роботами разговоры, похожие на человеческие.

Ищем стажеров в нашу команду Applied ML в Stripe

Если ты PhD-студент в США 🇺🇸 (к сожалению только так) и хочешь применить свои знания в машинном обучении для решения реальных задач, то это для тебя.

Миссия Stripe - увеличить ВВП интернета!

В Stripe ты сможешь:
• Работать над ML-проектами, которые реально влияют на мировую экономику.
• Использовать свои навыки в областях LLM, RL, MLOps, Агентах и классических ML-методах.
• Воплощать передовые исследования в жизни и видеть их реальное влияние.

Мы ищем тех, кто готов объединить науку и практику, работать с мощной инфраструктурой и помогать делать финансовые технологии лучше для всех.

Что предлагается?
🎓 Стажировка для PhD-студентов: Подробности тут
🎓 Роль для выпускников PhD: Подробности тут

Если есть вопросы, пиши в комментарии расскажу больше!

Пушка запрос для GPT

Попросите у чата следующее: "Roast me based on my previous prompts"

И готовьтесь от души посмеяться 😆

🛠 2024: Год, когда AI стал необходимостью для бизнеса

2024 — это момент, когда компании перестали экспериментировать с генеративным AI и начали встраивать его в основу своей работы. Давайте разберем сегодняшний отчет от Menlo Ventures (одного из главных инвесторов Anthropic).

Бюджеты говорят сами за себя: расходы на AI выросли до $13,8 млрд, что в 6 раз больше, чем в 2023 году.

💡 Почему это важно?
Теперь AI — это не просто инструмент для «поиграть», а реальная возможность менять бизнес-процессы, повышать эффективность и создавать новые продукты.

📝 Что говорят данные?
• 72% компаний уверены, что генеративный AI станет массово применяться в ближайшем будущем.
• Но! 35% лидеров до сих пор не имеют чёткой стратегии, как интегрировать AI. Это нормально — мы всё ещё в начале пути глобальных изменений.

🚀 Бюджеты на AI: рост и амбиции

Компании готовы тратить деньги на генеративный AI:
• 60% инвестируют из «инновационных» бюджетов, чтобы попробовать новое.
• 40% перераспределяют постоянные бюджеты, показывая долгосрочную готовность менять процессы.

Самое интересное происходит в приложениях AI: на них потрачено $4,6 млрд в этом году — почти в 8 раз больше, чем год назад.

📌 Какие кейсы уже работают?
1️⃣ Кодовые ассистенты (например, GitHub Copilot) — уже используются в 51% компаний, помогая разработчикам работать быстрее и качественнее.
2️⃣ Чат-боты поддержки — помогают клиентам и сотрудникам в 31% организаций.
3️⃣ AI для поиска и трансформации данных — используются в 28% компаний для работы с большими массивами информации.
4️⃣ Суммаризация встреч — экономит время и повышает продуктивность в 24% случаев.

🤖 AI в продакшене: что дальше?

Компании пока сосредоточены на поддержке человека, но уже появляются системы, которые начинают брать задачи целиком на себя.

🏗 Строить или покупать?
Вопрос непростой: 47% компаний разрабатывают AI-решения сами, а 53% покупают готовые решения у вендоров.

🌐 Трансформация по всем направлениям

AI проникает в каждую часть бизнеса: от IT и продуктовых команд до HR, маркетинга и даже юристов. В 2024 году ярко выделились 4 отрасли:
• Медицина — AI-системы помогают врачам, автоматизируют записи в EHR и оптимизируют работу клиник.
• Юриспруденция — автоматизация контрактов, анализ документов и поддержка адвокатов.
• Финансы — AI упрощает обработку данных, делает отчёты и помогает соблюдать нормы.
• Медиа — инструменты генерации контента становятся стандартом для креаторов и студий.

🔮 Что ждать в будущем?

1️⃣ AI-агенты захватят рынок.
AI начнёт полностью автоматизировать сложные процессы, что изменит подход к IT, а затем и к сервисам.

2️⃣ Стартапы обгонят гигантов.
Уже сейчас видно, как молодые компании отнимают рынок у крупных игроков.

3️⃣ Дефицит талантов усилится.
Эксперты с опытом в AI будут нарасхват. Рынок ожидает рост зарплат и огромный спрос на специалистов, способных сочетать AI с бизнес-логикой.

🎯 AI больше не будущее — он уже здесь.
Компании видят в генеративном AI мощный инструмент для изменений. От автоматизации процессов до создания новых бизнес-моделей — это только начало.

🍬 Читать отчет целиком

Умножаем любовь к математике, чтобы разделить ее с вами

ИТ-специалисты, слышали, скоро День математика?

1 декабря пройдут главные онлайн-события мероприятия: доклады от профессоров математики из МФТИ, ВШЭ и ЦУ и математический диктант. Хорошая возможность пообщаться с единомышленниками и просто классно провести время.

А пока ждете праздника, банк подготовил активности на весь месяц. Будут лекции и многое другое. Выбирайте на сайте, что нравится больше. И регистрируйтесь, чтобы ничего не пропустить

#промо

🛍️ Теперь в Perplexity можно не только искать, но и покупать!

Perplexity сделали новый шаг к тому, чтобы AI-ассистенты стали настоящими помощниками. С помощью Stripe Agent Toolkit, интегрированного в подписку Pro, теперь можно совершать покупки прямо из чата.

💡 Как это работает?
1️⃣ Вы задаёте сложный запрос, например: “Что купить для вечеринки в стиле диско?”.
2️⃣ Perplexity не только находит ответ, но и предлагает товары в удобных карточках с подробными описаниями, отзывами и ценами.
3️⃣ Вы выбираете нужное, и покупка завершается автоматически — всего в один клик, без лишних шагов!

📦 Buy with Pro
Пользователи Perplexity Pro в США получают уникальный опыт: бесплатную доставку и автоматизированный процесс оформления. Вы просто указываете данные доставки, а Perplexity с помощью Stripe берёт всю рутину на себя.

📸 Snap to Shop
Есть фото вещи, которую хотите найти? Загрузите её в Perplexity, и AI подскажет, где её можно купить, даже если вы ничего о ней не знаете.

🤝 Партнёрство с Shopify
Perplexity подключил товары и магазины Shopify, добавив поддержку безопасных покупок через Shop Pay.

🎯 Почему это круто?
Perplexity Shopping — это больше, чем просто поиск. Это решение задач, которые раньше отнимали часы: поиск подходящих товаров, сравнение вариантов, оформление покупки. А теперь всё это занимает считаные минуты.

🌍 Пока функция доступна только в США, но команда активно работает над международным запуском.

Полагаю, что одними Perplexity дело не ограничится. Возможность покупать напрямую из чата придется по вкусу многим покупателям, а значит следует ожидать что и другие чаты с функцией онлайн поиска скоро подтянутся.

X

Новые возможности файн-тюнинга с Orca-AgentInstruct-1M-v1

Компания Microsoft выпустила датасет с 1 миллионом примеров выполнения инструкций для исследований и обучения продвинутых ИИ-агентов.

Инструкции применимы ко многим областям, например редактирование текста, описание, код, понимание прочитанного и т. д. - с разрешительной лицензией.

Датасет можно использовать для файнтюнинга любой базовой LLM.

🤗 Датасет

👾 Блог

Как добавить платежи в AI-агентов с помощью Stripe

Походит к концу мой первый месяц в Страйпе, и про это я напишу отдельно. А пока, hot of the press, расскажу вам про нашу новинку.

Представьте, что у вас есть умный цифровой помощник, который может не только отвечать на вопросы, но и выполнять реальные действия. Например, вы пишете: "Найди билет из Нью-Йорка в Сан-Франциско за 500 долларов", и AI-агент:

1. Понимает ваш запрос и выделяет важные детали
2. Ищет подходящие варианты
3. Показывает вам лучшие предложения
4. И теперь — может даже купить билет!

Stripe выпустил специальный набор инструментов (Agent Toolkit), который работает с популярными AI-фреймворками:
- Vercel AI SDK
- LangChain
- CrewAI

Что это даёт вашему AI-агенту:
- Возможность создавать платежные ссылки
- Выставлять счета клиентам
- Генерировать виртуальные карты для покупок
- Отслеживать все финансовые операции

Пример кода для выставления счета:

from stripe_agent_toolkit import StripeAgentToolkit

# Подключаем Stripe к агенту
toolkit = StripeAgentToolkit(
    secret_key="sk_test_123",
    configuration={
        "actions": {
            "invoices": {"create": True},
            "customers": {"create": True}
        }
    }
)

# Теперь агент может выставлять счета
agent.invoke("Выставить счет клиенту [email protected] на $100")

Что может делать AI-агент с платежами:

🛍️ Умный шоппинг
- Поиск товаров по вашим критериям
- Сравнение цен
- Безопасная оплата через виртуальные карты
- Контроль бюджета

💼 Бизнес-операции
- Автоматическое выставление счетов
- Отслеживание платежей
- Управление подписками
- Контроль расходов

Stripe Agent Toolkit — это мост между AI и реальными финансовыми операциями. Теперь ваши AI-агенты могут не только думать, но и действовать с деньгами — безопасно и эффективно.

Пробуйте и делитесь фидбеком! Все передам ответственной команде

🐸 Блог-пост
🦾 Agent Toolkit документация
🖥 Git

EMMA — универсальный мультимодальный автопилот на базе языковой модели

Waymo создали систему, которая использует всю мощь LLM, чтобы “думать” о ситуации на дороге как человек. Это EMMA - мультимодальная модель автономного вождения на основе Gemini от Google.

Главное новшество EMMA - объединение всех задач автопилота (планирование траектории, 3D-объектное распознавание и понимание дорожной обстановки) в единую текстовую форму, чтобы использовать большую языковую модель и эффективно решать задачи, связанные с восприятием мира и планированием действий.

По технической части расклад такой:

1. End-to-end планирование траектории.
Сквозной подход EMMA имитирует поведение человека за рулем с особым вниманием на два критических аспекта: использование навигационных систем (например, Google Maps) для планирования маршрута, и использование данных о прошлых событиях для плавного, последовательного вождения.

EMMA принимает на вход непосредственно данные от видеокамер (пока без LiDAR и радаров), высокоуровневые командные инструкции от навигационной системы (типа “следуйте прямо”, “поверните направо”), метки автомобиля в формате “вида сверху” (Bird’s Eye View, BEV), и генерит будущие траектории в виде набора точек маршрута в тех же форматах.
И все это - без необходимости в ручной разметке данных .

2. Иерархическое обоснование решений (Chain-of-Thought).
Та самая техника CoT и тут улучшает решения модели, разделяя их на несколько уровней:
• R1: Описание сцены (освещение, погода, дорожные условия);
• R2: Критические объекты (пешеходы, автомобили с указанием их 3D координат);
• R3: Описание поведения объектов (например, «пешеход на обочине, возможно, собирается перейти дорогу»);
• R4: Общие решения по вождению (например, «следует сохранять низкую скорость») .
Модель предсказывает все четыре компонента обоснования вождения, перед тем как выдать будущие точки маршрута

3. Совместное обучение нескольких задач (Co-Training).
Создатели EMMA фокусиравались на трех основных задачах: сквозном планировании, обнаружении 3D-объектов и оценке дорожного графа (это дорожные объекты и связи меджу ними).
Совместное обучение по всем трем задачам дает значительные улучшения (до 5,5% по сравнению с однозадачными моделями). Любопытно, что при совместном обучении двух задач определенные комбинации более эффективны, чем другие. Например, и эффективность обнаружения, и оценки дорожного графа улучшается больше всего при совместном обучении с вождением.
Мне это напоминает человеческе способности - когда вы видите велосипедиста и краем уха слышите приблидающиеся к вам звуки, ваш мозг быстро всё связывает и понимает: кто-то сейчас промчится перед вами. Вот и модели взаимная информации идет на пользу: оценка дорожной обстановки и распознавание объектов улучшают планирование траектории, а это, в свою очередь, улучшает общее поведение модели на дороге.

Есть и минусы. Хотя EMMA демонстрирует многообещающие результаты и выполняет сразу несколько задач в одном языковом пространстве, она все еще находится на ранней стадии с ограничениями по развертыванию в прод. Она требует доработки для работы с более длительными видеопоследовательностями (сейчас работает всего на 4х кадрах) и для обработки данных от LiDAR-ов, а еще она вычислительно кусаче-дорогая. Но сам переход в мультимодальность для автономного вождения выглядит очень разумно.

Надо бы включить в co-training задачи инференса бесценных историй из жизни, анекдотов и отменных плейлистов с бортов такси. Стопроц это даст еще больший прирост производительности.

📖Статья Waymo

Oasis - целая вселенная в модели- трансформере!

Встречаем Oasis - первую открытую игровую модель, работающую в реальном времени!

Это видеоигра полностью создаваемая ИИ "на лету". Oasis принимает ввод данных с клавиатуры пользователя и генерирует игровой процесс в реальном времени, включая физику, правила игры и графику. Вы можете передвигаться, прыгать, подбирать предметы, разбивать блоки и многое другое. И все это без игрового движка, только базовая модель! 🔮

Модель понимает сложные игровые механики, такие как строительство, физика освещения, управление инвентарем, понимание объектов и многое другое.

Oasis генерирует разнообразный набор состояний, локаций и объектов. Эта универсальность дает разработчикам уверенность в том, что модель можно будет адаптировать для создания различных новых карт, игр, функций и модификаций с минимальным дообучением.

Модель состоит из двух частей: пространственного автокодировщика и латентной диффузионной модели. Обе основаны на Трансформерах: автокодировщик основан на ViT, а диффузионная модель— на DiT. В отличие от последних моделей окружающего, таких как GameNGen и DIAMOND, разработчики выбрали трансформеры, чтобы обеспечить стабильное, предсказуемое масштабирование и полную совместимость с передовым оборудованием.

В отличие от двунаправленных моделей, таких как Sora, Oasis генерирует кадры авторегрессивно, что позволяет пользователям взаимодействовать с окружающим миром в реальном времени. 👾

Инновационное динамическое шумоподавление помогает модели поддерживать временную стабильность и минимизировать накопление ошибок, улучшая согласованность кадров. Это позволяет Oasis генерировать видео с частотой 20 кадров в секунду, что значительно превышает производительность современных генерационых моделей текст-видео.

Однако, чтобы сделать модель еще на порядок быстрее и сделать ее экономически эффективной для масштабирования, необходимо новое оборудование, так как сегодняшний пик видео разрешения это 360p на H100 GPUs. Oasis оптимизирован для Sohu, Transformer ASIC, разрабатываемого Etched. Sohu может масштабироваться до массивных моделей следующего поколения 100B+ в разрешении 4K.

Кроме того, сквозная архитектура Oasis делает ее чрезвычайно эффективной на Sohu, который может обслуживать >10x больше пользователей даже на моделях с параметрами 100B+ по сравнению с H100 GPU. 👀

📝 Etched блог

📜 Tech Report

📰 Decart блог

👨‍💻Git

🤗 Weights

🕹️ Демо

ChatGPT с нуля

🔥 Нашел крутейший репозиторий для тех, кто хочет разобраться в устройстве больших языковых моделей!

Sebastian Raschka выпустил книгу и репозиторий "Build a Large Language Model (From Scratch)", где показывает, как создать свою LLM с нуля. И это не просто теория - здесь полностью рабочий код!

Что особенно крутого:
- Пошаговое объяснение всех компонентов (от обработки текста до механизмов внимания)
- Практическая реализация GPT-подобной модели
- Код для предварительного обучения и файнтюнинга
- Работает даже на обычном ноутбуке без специального железа 🚀

В репозитории есть:
▫️ Jupyter-ноутбуки с подробными объяснениями
▫️ Готовые скрипты для обучения
▫️ Бонусные материалы (оптимизация, UI, эксперименты)
▫️ Примеры решения упражнений

Все объясняется максимально понятно, с диаграммами и примерами.

Для тех, кто давно хотел разобраться, как работают LLM изнутри - это просто находка!

🖥Ссылка на репозиторий

Такое могло случится только в твиттере 🐸

🤖 Что такое и как работает NotebookLM?

Вы наверняка видели вирусные подкасты, где два ИИ-ведущих увлеченно обсуждают разные темы. За этой технологией стоит новый инструмент от Google — NotebookLM. Давайте разберем, как это работает.

🎯 Принцип работы прост:
• Загружаете любой контент (статьи, заметки или ссылки)
• NotebookLM превращает их в 8-10 минутный подкаст с двумя ведущими
• Готово!

🔧 Техническая магия под капотом:
• Система генерирует диалоги порциями по 2 минуты
• Обработка происходит в 40 раз быстрее реального времени
• Используется супер-эффективный речевой кодек (всего 600 бит/сек)
• Каждые 2 минуты диалога = 5000 токенов

🎓 Как обучали:
• Основное обучение: тысячи часов речи (возможно, из YouTube-подкастов 😉)
• Дообучение: специально записанные качественные диалоги
• Результат: максимально естественная речь со всеми "эмм", "ага" и живым смехом

🔐 Безопасность:
Все подкасты маркируются системой SynthID — так можно легко отличить ИИ от реального человека

🔮 Что дальше?
Google обещает:
• Улучшить беглость речи
• Повысить качество звука
• Добавить более тонкий контроль над генерацией

Как думаете, заменят ли такие ИИ-подкасты обычные? 🤔​​​​​​​​​​​​​​​​

🔗 Блог-пост

Видение будущего

В своём недавнем эссе "Machines of Loving Grace" Дарио изложил оптимистическое видение будущего с ИИ. Однако его беспокоит потенциальная возможность того, что ИИ может нарушить корреляцию между интеллектом и благими намерениями.

Заключение

Anthropic прокладывает собственный путь, не только в техническом развитии, но и в понимании роли ИИ в обществе. Как образно выразился Дарио, они всё ещё "как обезьяны, копающиеся в лабораторном оборудовании", но делают это с чётким пониманием как потенциала, так и ответственности.

Взгляд изнутри Anthropic: Ключевые моменты из беседы с Дарио Амодеем

Сегодня ходил в офис Антропика на увлекательную беседу между CEO Anthropic Дарио Амодеем и представителями Menlo Ventures. Хочу поделиться ключевыми инсайтами о компании, которая выделяется своим вдумчивым подходом к ИИ.

Путь к Anthropic: История эволюции в ИИ

История Дарио в ИИ началась около 2005 года, когда он впервые прочитал работы Рэя Курцвейла о сингулярности. Забавный момент: признавая эксцентричность Курцвейла (особенно его одержимость пищевыми добавками), Дарио отметил, что предсказания Курцвейла о законе Мура и экспоненциальном прогрессе оказались удивительно точными.

Интересный поворот: во время учёбы Дарио в Стэнфорде нейронные сети считались устаревшими. Как он вспоминает, даже Эндрю Нг говорил студентам: "Никто их больше не использует, мы просто о них рассказываем". Это привело Дарио к нейробиологии, где он работал с мозгом саламандр - весьма необычный поворот в карьере! Сложность работы с физическими образцами мозга в итоге привела его обратно к ИИ через Baidu, Google и OpenAI.

Подход Anthropic к языковым моделям

Что делает Anthropic особенным - это их трёхуровневая система моделей: Haiku, Sonnet и Opus. Но ещё интереснее то, что они создали специальную "Команду характера Клода" (Claude Character Team), которая занимается развитием личности и стиля общения модели.

Любопытный факт: Anthropic первыми расширили контекстное окно до 100 тысяч токенов. Как отметил Дарио: "8 тысяч токенов - это примерно короткий рассказ... 100 тысяч - это уже небольшая книга". Кстати, Дарио сказал что они уже предлагают контекст 500к для Энтерпрайз клиентов, и пообещал однажды раскатать его на всех.

Безопасность как практическая необходимость

Дарио сравнил работу над безопасностью ИИ с игрой в "whack-a-mole" (бей крота): решаешь одну проблему, а другая неожиданно выскакивает в другом месте. Он поделился забавным примером: когда они попросили модель быть более лаконичной, она начала использовать ленивые сокращения в генерации кода, типа "остальной код здесь...".

Ещё один интересный момент: модели имеют тенденцию говорить людям то, что они хотят услышать. Дарио рассказал, как Claude 3.5 начал злоупотреблять словом "Certainly" (Конечно) в начале ответов - просто потому, что человеческие оценщики любят "послушные" ответы.

Фронтир компьютерного использования

Недавний запуск возможностей использования компьютера в Anthropic примечателен своим осторожным подходом. Вместо создания броского потребительского продукта они сначала выпустили инструменты для разработчиков с чёткими предупреждениями о надёжности.

Дарио привёл яркий пример: во время одной демонстрации модель случайно удалила запись собственной демонстрации, потому что получила доступ к программе записи!

Конкуренция и бизнес-стратегия

Дарио считает, что на рынке есть место только для 3-5 крупных компаний, разрабатывающих базовые модели, из-за колоссальных затрат - потенциально десятки миллиардов долларов. При этом каждая компания находит свою нишу: Anthropic фокусируется на API для разработчиков и предприятий, в то время как другие идут своим путём.

Будущие применения

Говоря о применениях, Дарио особенно воодушевлённо рассказывал о генерации кода. Его логика проста: в отличие от роботехники, где нужно дорогое физическое оборудование, код можно тренировать и развёртывать полностью в виртуальной среде.

Но особенно впечатляет его видение применения ИИ в биомедицине. Он считает, что ИИ может помочь справиться со сложностью, которая замедлила прогресс в биологии за последние 30 лет. По его мнению, болезни, которые мы сейчас считаем неизлечимыми, могут стать такими же управляемыми, как оспа.

Организационные вызовы

Масштаб роста Anthropic впечатляет - от 100 до 1000 сотрудников всего за два года. Дарио честно признался, что каждые 3-4 месяца проходит через периоды, когда "просто не понимает, как делать работу" - пока не адаптируется к новому масштабу организации.

Первая неделя в Stripe.

Просто хочется поделиться своим первым опытом онбординга в по-настоящему большую компанию. Прошла всего неделя, а информации в меня уже загрузили как за месяц 😅

Но в целом, мне очень нравится! И штаб квартира просто офигенная! Но рассказывать и показывать ничего нельзя 🎃

🎧 Soundtrack

Игра Престолов, но только в трейлер парке 👍

Теперь я работаю в Stripe!

Делюсь своими большими новостями — я присоединился к штаб-квартире Stripe в Сан-Франциско и буду заниматься ИИ и фундаментальными моделями.

Stripe — это одна из ведущих компаний в мире по обработке платежей и финансовых технологий, где инновации в области ИИ могут значительно улучшить пользовательский опыт и расширить возможности бизнеса. В центре моих задач — разработка фундаментальных моделей ИИ, которые будут не только оптимизировать текущие процессы, но и предлагать новые пути интеграции технологий в экономику.

Пока что я прохожу онбординг, но уже заряжен на год вперед!

NLP Researchers, отметьте в календаре 26 октября🌟

Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер.
Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed.

Чем предстоит заниматься?
✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами.
✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов.
✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей.

Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer!

Будем делать важнейшие исследования вместе!💚

#реклама

Современная наука — это не только эксперименты в лабораториях и публикации в рецензируемых журналах, но и активное взаимодействие с коллегами по всему миру. И нетворкинг — один из ключевых инструментов для учёных, который открывает множество возможностей для карьерного роста и научного прогресса 👾

1️⃣Благодаря связям с коллегами можно обмениваться идеями и получать свежие взгляды на собственные исследования.

Диалог с другими учёными позволяет обнаружить новые подходы к решению научных проблем или получить ценные советы. Даже случайная переписка может вдохновить на прорывные открытия (и это мы уже не говорим про общение на конференциях!).

2️⃣ Научный нетворкинг помогает находить партнёров для совместных исследований.

Сегодня научные исследования в большинстве своём междисциплинарны. Хорошо налаженные связи могут помочь найти подходящего партнёра и привлечь гранты для финансирования таких проектов.

3️⃣ Нетворкинг помогает быть в курсе последних достижений и трендов.

Не вся информация доступна в открытых источниках: иногда свежие знания вы можете получить исключительно в личной коммуникации с учёными или в их сообществах!

4️⃣ Научное сообщество — это место, где можно найти ментора, который поможет выстроить карьеру и избежать некоторых ошибок.

Нетворкинг для учёных — это не просто обмен визитками на конференциях, а стратегически важная часть профессиональной деятельности!

Используйте этот пост, чтобы познакомиться с коллегами-учёными! Слэмеры уже рассказали про себя и свои научные социальные сети — теперь ваш черёд!

🤖 CEO Anthropic о будущем с ИИ: прогноз на ближайшее десятилетие

Дарио Амодей, генеральный директор компании Anthropic, специализирующейся на разработке искусственного интеллекта, представил свое видение развития ИИ в ближайшие 5-10 лет.

Вот ключевые моменты из его эссе:

🧬 Медицина и биология:
ИИ может ускорить биологические исследования
Ожидается прогресс в лечении рака, генетических заболеваний и нейродегенеративных расстройств

🧠 Нейронауки и психическое здоровье:
Прогнозируются прорывы в понимании и лечении психических заболеваний
Особое внимание уделяется депрессии и шизофрении

💹 Экономика:
ИИ может способствовать значительному экономическому росту
В некоторых развивающихся регионах возможно увеличение ВВП до 20% в год

⚖️ Управление и правосудие:
Ожидается повышение эффективности демократических институтов
Предполагается улучшение работы судебных систем с помощью ИИ

🔄 Трансформация труда:
Прогнозируется изменение структуры занятости
Возможно введение универсального базового дохода
Ожидается смещение фокуса общества на личностное развитие

📚 Источник: эссе Дарио Амодея, CEO Anthropic

Математика – это язык, на котором написан весь мир цифровых технологий.

Всем желающим подружиться с этой наукой проект Popmath предлагает два онлайн-курса:

1) Математика с нуля:
для тех, кто хочет получить качественную математическую базу.

Предварительные знания не требуются.

2) Линейная алгебра:
для тех, кто уже имеет базовые знания.
Подходит техническим специалистам и тем, кому интересны прикладные области математики.

Курсы Popmath – это:

📝 4 месяца лекций и практических семинаров
📝 уникальные анимации, которые помогут лучше вникнуть в тему
📝 живое общение в Zoom и онлайн-поддержка в Телеграм

Приходите и узнайте, что такое математика здорового человека!
По всем вопросам @popmath

#Реклама. ИП Пясецкая Наталья Игоревна. ИНН 773714262272
2Vfnxw8vvba

Уволился из стартапа в Сан Франциско

Сегодня мой последний день в Nooks, и я хочу рассказать вам о моем невероятном путешествии за эти 9 месяцев.

Кто бы мог подумать, что мой опыт работы с сейсмическими волнами приведет меня в мир телефонии и обработки звука? Но именно так и случилось!

Чем я особенно горжусь:

1️⃣ Разработал (скорее всего) самую быструю и точную систему определения автоответчиков на рынке и называл ее DialCobra.

2️⃣ Внедрил ИИ в обработку звонков, что позволило построить несколько новых продуктов и вывести их на рынок.

3️⃣ Создал инфраструктуру для работы с большими объемами аудиоданных, что сильно упростило работу всей компании.

Главные уроки, которые я вынес:

🧩 Сложные задачи требуют гибкого подхода. Иногда лучше двигаться маленькими шагами, чем стремиться к идеалу сразу.

📊 Качественные данные - ключ к успеху в ИИ. Это работает и для землетрясений, и для телефонных звонков!

🧪 При работе со сложными системами важно тестировать каждый компонент отдельно.

Со следующего понедельника начинается новая глава! Stay tuned

Bitnet.cpp от Microsoft теперь доступен для всех

Компания опубликовала с открытым исходным кодом bitnet.cpp - невероятно быстрый фреймворк для вывода 1-битных больших языковых моделей, работающий непосредственно на процессорах.

Почему это меняет правила игры? 🎮

Теперь вы можете запускать модели с 100 миллиардами параметров на локальных устройствах с повышением скорости до 6 раз и снижением энергопотребления на 82% - и всё это без использования графического процессора!

Быстрый, эффективный и приватный ИИ становится ещё ближе для каждого 🤖

💻 GitHub

ИИ как зеркало биологии

Когда нейросети обучаются различать изображения, они, похоже, повторяют стратегии, которые природа совершенствовала миллионы лет. Недавнее исследование показало, что один из ключевых механизмов обработки изображений в ИИ — частотный детектор — был обнаружен в зрительной коре мышей. Буквально, нейронные сети и мозг сходятся не только по фукции, но и по структуре. Это открытие не просто забавное совпадение, а ключ к пониманию того, как природа и искусственный интеллект сходятся в подходах к решению сложных задач визуального восприятия.

Нейроны, отвечающие за обработку высоких и низких частот, были описаны в статье Distill для искусственных {приходится уточнять теперь} нейросетей. Эти частотные детекторы распознают переходы между высокими и низкими пространственными частотами. В глубоких свёрточных сетях, например, таких как Inception V1, активации нейронов можно представить как результат преобразований Фурье, где разные слои сети извлекают особенности изображения, подобные анализу частотных компонентов. Детекторы высоких частот фокусируются на деталях, а низкочастотные нейроны — на общих формах и контурах.

Биологические эксперименты показали, что у мышей зрительная кора обрабатывает визуальные стимулы схожим образом. Это подтверждает гипотезу о том, что мозг использует механизмы, аналогичные математическим преобразованиям, которые применяются в глубоких нейронных сетях, что ещё раз подчеркивает универсальность принципов обработки информации.

Почему это важно? Специалисты МЛ знают, что преобразование Фурье и частотные детекторы — это не просто математика, а фундаментальные механизмы для разложения сложных данных на понятные компоненты. Открытие аналогичного подхода в мозге млекопитающих доказывает, что нейронные сети не просто приближаются к биологическим системам, они могут отражать сами принципы их работы - и помочь нам понять, как же, в конце-то концов, работает наш мозг.

🧪Distill. Частотные детекторы в нейросетях

🎹 Исследование частотной обработки в мозге мышей

🤖 Обновления Optimus от Tesla

На прошлой неделе мы с вами наблюдали Westworld v0.1 на презентации Тесла. Роботы ходили, говорили и раздавали напитки. Конечно же, все они были на удаленном управлении (которое поражает само по себе). Видимо, что бы никто не подумал, что они там только в марионеток играют, команда Оптимуса выпустила новое видео, и вот что они нам показали:

1. 👀 Зрение как у Терминатора
Optimus теперь сам ориентируется в незнакомых помещениях! И всё это только с помощью обычных 2D-камер. Никаких тебе GPS — робот просто запоминает, что где лежит, как мы с вами. Круто, да?

2. 🔋 Сам знает, когда пора подзарядиться
Когда батарейка садится, Optimus не ждёт помощи. Он сам находит зарядку и подключается

3. 🏋️‍♂️ Силач и акробат в одном корпусе
Ходит теперь ещё увереннее, даже с тяжёлым грузом. А ещё учится ходить по неровной поверхности и лестницам. Скоро будет паркур делать, не удивлюсь!

4. 🗣️ "Окей, Optimus, принеси колы!"
Да-да, теперь он понимает жесты и голосовые команды. Может подать закуски или напитки. Домашний/офисный робот-это рынок на уровне автомобильного как минимум.

5. 🧠 Всё "в голове"
Самое интересное — вся эта магия происходит прямо в "мозгах" Optimus. Никаких внешних суперкомпьютеров, всё на борту. Используют те же технологии, что и в автопилоте Tesla. Представляете, какая мощь в этой железяке?

Конечно, работы ещё вагон и маленькая тележка. Но согласитесь, прогресс впечатляет! Скоро эти ребята из научной фантастики переберутся к нам на кухню.

А вы бы хотели такого помощника дома? Меня например смущает следующий вопрос: а где его хранить? В шкафу? На диване?

Пост VP of Engineering Optimus

🔥Новый пушка-промпт для ChatGPT:

Based on all our interactions, what's a career path I might enjoy that I might not realize l'd like?

⚡️ Как создавать персонажей с помощью LoRA? Это оказалось легче, чем казалось! ✨

Всегда думал, что обучение LoRA — это долго и сложно, но оказалось, я был не прав. Это всего несколько шагов — легко и быстро!

🎨 Запрашиваем Claude создать промт для картинки с сеткой 4x4 и каким-нибудь персонажем.

🖼️ Генерируем картинку с помощью Flux 1.1[Pro].

🎨 Скидываем картинку обратно в Claude, поясняем что нам не нравится и просим переписать промпт, что бы стало лучше.

🖼️ Генерируем картинку по улучшенному промпту

🌄 Масштабируем картинку в 4 раза с Aura-SR

🛠️ Режем картинку на отдельные изображения и упаковываем их в архив (я сделал в просмотре).

🔧 Обучаем LoRA на полученных изображениях.

И вуаля! 🎫 У вас есть персонаж, с которым можно делать всё, что сможет придумать ваше воображение (для этого используем слово-триггер)!

🎣 Отправьте его на рыбалку, приготовьте яичницу или заснимите видео с ним — все ограничено только вашей фантазией!

Музыку сделал в Udio. Сжатие видео - с помощью ffmpeg, команду для которого написал Cursor. Пост отредактировал с помощью ChatGPT 4o with Canvas.

Как говорит один популярный ютубер - What a time to be alive!

Адобченко показывает, как надо встраивать ИИ в продукты.

Я потом приподвзвизжу отдельным постом про AdobeMax, который идет прямо сейчас.
А сейчас поглядите, какой UI\UX должен быть у всех этих видеогенераторов.
Не сгенерить, а потом копировать, импортировать, резать, переделывать, копировать, импортировать..
А генерить прямо в пайплайне. По месту, так сказать.
Ну и многие не поняли - это генерация вместе СО ЗВУКОМ

@cgevent

Новый виральный тред

Спросите ChatGPT:

From all of our interactions what is one thing that you can tell me about myself that I may not know about myself

Мне интересно ответил!

OpenAI Swarm: фреймворк для мультиагентных систем

Ребята из OpenAI без лишнего шума выложили в открытый доступ свой новый проект — Swarm. Это такой экспериментальный фреймворк для тех, кто хочет поковыряться в мультиагентных системах. Короче, штука для тех, кому интересно, как AI-агенты могут работать в команде и решать сложные задачки.

Основные концепции Swarm — Агенты и Передачи задач. Агенты делают свою работу и могут перекидывать дела другим, типа "эй, бро, возьми это на себя". Идеально подходит, чтобы посмотреть, как эти виртуальные ребята могут сотрудничать.

Swarm вписывается в третий уровень той самой пятиступенчатой модели развития ИИ от OpenAI. Помните, там от простых болтливых ботов до суперсистем, способных рулить целыми компаниями? Вот Swarm как раз на середине этой лестницы:

Болтуны — просто общаются с людьми на обычном языке.
Решалы — автоматизируют поиск инфы и решают задачки.
Агенты — самостоятельные помощники, которые сами принимают решения.

---------Swarm как раз тут---------

Иноваторы — генерят новые идеи и двигают науку.
Боссы — ИИ, способный управлять целой конторой без людей.

Пока что Swarm — это не для серьезных проектов, а так, поиграться. Можно смоделировать, как агенты общаются, протестить простые сценарии и посмотреть, как они координируются в контролируемой среде.

Swarm работает почти полностью на клиенте, что упрощает контроль и тестирование.

В репозитории уже есть с десяток примеров, которые демонстрируют различные сценарии, включая обслуживание клиентов и персонального шопинг-ассистента.

Пример использования Swarm

Основной элемент Swarm — Агент. Вот пример настройки агентов:

from swarm import Swarm, Agent

client = Swarm()

def transfer_to_agent_b():
    return agent_b

agent_a = Agent(
    name="Agent A",
    instructions="Вы — полезный агент.",
    functions=[transfer_to_agent_b],
)

agent_b = Agent(
    name="Agent B",
    instructions="Говорите только хайку.",
)

response = client.run(
    agent=agent_a,
    messages=[{"role": "user", "content": "Я хочу поговорить с агентом B."}],
)

print(response.messages[-1]["content"])

Агент A передаёт разговор Агенту B, который отвечает в виде хайку.

На первый взгляд, Swarm — это интересный образовательный эксперимент, но представьте, как в будущем из такого фреймворка может вырасти полноценный AI as a Service!

Да и вообще забавно, раньше Альтман помогал создавать SaaS компании в Y Combinator, а теперь, по всей видимости у него свой AI Combinator.

Я думаю, что уже в ближайшем будущем мы можем увидеть мультиагентные системы, и Swarm — это отличный способ начать понимать, как они работают.

Возможно, ваш следующий менеджер будет не кожаным мешком, а сотней AI-агентов, которые координируются и вешают на вас задачи быстрее, чем когда-либо прежде.

🖥 GitRepo
👨‍🍳 OpenAI Cookbook

Жарим курицу с Артемом

Сегодня был на отличном барбекю с Артемом, автором канала Эй Ай Ньюз! Вдохновляющий вечер в дружеской атмосфере, где обсудили самые актуальные темы из мира AI. Артем всегда знает, как освещать новости с культурной и профессиональной точкой зрения. Не пропустите его канал, если хотите быть в курсе последних событий в мире искусственного интеллекта! 🔥

@ai_newz

The future should feel like the future. Elon Musk

На специальном мероприятии в Лос Анджелесе, Тесла анонсировала новые модели автомобилей - Cybercab - роботакси без руля и педалей, и Robovan - абсолютно безумного вида беспилотный автобус.

Обещают к 27ому году, ну а пока вот вам Оптимус в роли бармена

Эта модификация позволила улучшить производительность моделей, таких как Gemma 2B, особенно при работе с длинными последовательностями.

Вывод: Важность RoPE заключается не в простом затухании внимания по мере увеличения расстояния между токенами. Настоящее преимущество RoPE заключается в его способности создавать позиционные паттерны внимания, что крайне важно для таких задач, как языковое моделирование.

Что делает Rotary Positional Encodings (RoPE) такими полезными в трансформерах?

(По мотивам статьи Round and Round we Go)

Позиционные кодировки — одна из ключевых составляющих моделей типа Transformer, ведь они позволяют им понимать порядок токенов в последовательности. Одним из самых продвинутых подходов являются Rotary Positional Encodings (RoPE), которые активно используются в современных языковых моделях. В этом посте мы разберём, как работает RoPE, почему он так полезен и что нового обнаружили учёные в его механике.

1. Основы: Трансформеры и механизм self-attention

Трансформеры — это мощные модели глубокого обучения, предназначенные для обработки последовательных данных, таких как текст. В основе их работы лежит механизм self-attention (самовнимание), который позволяет модели определять, какие части последовательности наиболее важны при обработке каждого токена.

Как это работает математически:

Для каждого токена трансформер создаёт три вектора:

• Query (Запрос, Q): что текущий токен “ищет” в других токенах.
• Key (Ключ, K): что представляет каждый токен.
• Value (Значение, V): информация, которую несёт каждый токен.

Оценка внимания (attention score) между двумя токенами вычисляется как скалярное произведение их векторов Query и Key.

Произведение используется для взвешивания информации токенов (Value) и формирования конечного результата.

2. Зачем нужны позиционные кодировки

Поскольку трансформеры обрабатывают все токены одновременно, им необходимо явно указывать позиционную информацию. Без этого модель не сможет отличить, например, “собака кусает человека” от “человек кусает собаку”. Позиционные кодировки (Positional Encodings, PE) вводят эту информацию, помогая модели понимать порядок слов.

3. Rotary Positional Encodings (RoPE)

RoPE — это продвинутый метод кодирования позиционной информации, который вместо простого добавления вектора позиции к каждому токену вращает векторы Query и Key в зависимости от их позиций в последовательности.

Как работает RoPE:

• Векторы Query и Key разбиваются на двумерные блоки.
• Каждый блок поворачивается на угол, зависящий от позиции токена в последовательности.

Это позволяет учитывать как саму суть токена, так и его положение относительно других токенов.

4. Высокие и низкие частоты в RoPE

В RoPE разные частоты вращения блоков Query и Key определяют, как быстро эти векторы поворачиваются:

• Высокие частоты вызывают быстрое вращение, что делает модель чувствительной к небольшим изменениям позиций токенов.
• Низкие частоты вращаются медленно, и их использование делает модель более стабильной на больших расстояниях между токенами.

Пример:

Предположим, у нас есть два токена: один на позиции 2, другой на позиции 4. RoPE поворачивает их векторы на углы 2*O и 4*O соответственно. При вычислении скалярного произведения модель учитывает не только содержание токенов, но и их относительное положение в последовательности.

5. Разоблачение мифа о затухании внимания с расстоянием

Ранее считалось, что RoPE помогает моделям за счёт того, что оценка внимания (attention score) уменьшается по мере увеличения расстояния между токенами. Однако авторы статьи показали, что это не всегда так. RoPE не обязательно вызывает затухание внимания, но, что более важно, он помогает модели формировать устойчивые паттерны позиционного внимания.

6. Использование низких и высоких частот RoPE

Исследования показали, что модели чаще всего используют низкие частоты RoPE для работы с семантическими отношениями между токенами. В то же время, высокие частоты применяются для создания позиционных attention heads, которые сосредотачиваются на точных позициях, таких как предыдущий или следующий токен.

7. Модификация RoPE: p-RoPE

Авторы статьи предложили улучшенную версию RoPE под названием p-RoPE. Она заключается в удалении самых низких частот, чтобы сделать модель более устойчивой на больших контекстах.

🔥Объявлены лауреаты Нобелевской премии по химии 2024!

Королевская шведская академия наук присудила Нобелевскую премию по химии 2024 трем выдающимся ученым, и снова за искусственный интеллект

🎉 Дэвид Бейкер – Компьютерный дизайн белков

• Инновация: Создал программное обеспечение Rosetta, позволяющее разрабатывать новые белки с нуля.
• Влияние: Революционизирует разработку лекарств, инжиниринг ферментов и синтетическую биологию, создавая белки с заданными функциями для целевых терапий и устойчивых решений.

🤖 Демис Хассабис и Джон М. Джампер – Предсказание структуры белков

• Инновация: Разработали AlphaFold, систему искусственного интеллекта, которая предсказывает структуры белков с беспрецедентной точностью.
• Влияние: Ускоряют исследования в области разработки лекарств и персонализированной медицины, предоставляя глубокое понимание функций и взаимодействий белков, объединяя вычислительные прогнозы и экспериментальную биологию.

Искусственный интеллект стал ключевым элементом этих прорывов, позволяя достигать быстрых результатов благодаря таким моделям, как AlphaFold, которые значительно сокращают время и ресурсы, необходимые для исследований белков. Алгоритмы машинного обучения повышают точность дизайна белков и предсказания их структуры, что ведет к созданию более эффективных и персонализированных медицинских препаратов. Кроме того, сочетание ИИ с биологией и химией способствует междисциплинарному сотрудничеству, создавая инновационные решения для сложных научных задач.

🔗 Ссылка

Все ли осознают, что говорящие портреты из "Гарри Поттера" теперь стали реальностью? Это больше не вымысел. Мы живем в удивительное время.

🔗 Ссылка

🤖 Anthropic Batch API

Компания Anthropic представила новый Message Batches API — решение для асинхронной обработки большого количества запросов. Этот API позволяет отправлять до 10,000 запросов в одном пакете, обрабатывая их менее чем за 24 часа (скорость в обмен на скидку в 50%). Теперь у Антропика тоже есть удобное API для таких задач, как анализ данных и классификация.

Anthropic Batch API может обрабатывать до 10,000 запросов в батче (у openAI - 50,000 в батче)

По деньгам получается следующее - например, для модели Claude 3 Haiku стоимость входных токенов с Batch API составляет $0.125 за 1 млн токенов, а выходных — $0.625 за 1 млн токенов.

OpenAI Batch API также предоставляет скидку на 50%. Например, для модели GPT-4o-mini стоимость входных токенов составляет $0.075 за 1 млн токенов, а выходных — $0.300 за 1 млн токенов при использовании Batch API, что значительно дешевле по сравнению с моделями Anthropic.

Anthropic Batch API обещают обработка в течение 24 часов или быстрее. Пользователи могут отслеживать статус через Console или API.


Поддерживаемые модели: Claude 3.5 Sonnet, Claude 3 Haiku и Claude 3 Opus.

Разнообразие запросов: Поддержка Vision, Tool use, системных сообщений и диалогов в одном пакете.

Период доступности результатов: Результаты доступны для загрузки в течение 29 дней после создания пакета.

Ссылка

🤖 Нобелевская премия по физике за фундаментальные исследования нейросетей

Нобелевский комитет объявил лауреатов премии по физике 2024 года. В этом году награду получили Джон Хопфилд и Джеффри Хинтон за их фундаментальные открытия и изобретения, которые легли в основу машинного обучения с помощью искусственных нейронных сетей.

Оба ученых занимались статистической физикой, и их работа стала основой для создания современных нейросетей, которые широко используются в машинном зрении и других областях искусственного интеллекта. В 2018 году Джеффри Хинтон, вместе с Йошуа Бенжио и Яном Лекуном, получил премию Тьюринга — самую престижную награду в информатике. Им присудили премию за концептуальные и инженерные прорывы, благодаря которым глубинные нейросети стали ключевым компонентом современной вычислительной техники.

Первыми лауреатами Нобелевских премий в 2024 году стали Виктор Эмброс и Гэри Равкун, которые получили награду в области медицины и физиологии за открытие микроРНК.

Нобелевская неделя продолжится 9 октября объявлением лауреатов премии по химии, 10 октября — по литературе, а 11 октября в Осло будет объявлен лауреат премии мира. 14 октября станет известно, кто получит премию по экономике памяти Альфреда Нобеля, учрежденную Банком Швеции в 1968 году.

Денежная часть премии составляет 11 миллионов шведских крон, что примерно эквивалентно 1 миллиону долларов США.

🔗 Ссылка

🤖 Новый визуальный гид по Mixture of Experts (MoE)!

Маартен Гроотендорст выпустил замечательное визуальное руководство по MoE — методу, который помогает улучшить качество и эффективность больших языковых моделей. В этом руководстве представлено более 50 иллюстраций, которые наглядно объясняют, как работает MoE и почему это важно для современных технологий искусственного интеллекта.

Что такое MoE?

MoE — это метод, использующий несколько компонентов, называемых "экспертами". Каждый эксперт обрабатывает различные виды информации, а специальный "роутер" решает, каких экспертов использовать для каждой части текста. Это помогает модели работать быстрее и использовать меньше ресурсов, так как активируется только нужная часть экспертов.

Эксперты не специализируются на конкретных областях, таких как "Психология" или "Биология". Вместо этого они анализируют определенные языковые шаблоны. Роутер выбирает подходящего эксперта для каждого кусочка текста, называемого "токеном". Токен — это, например, слово или его часть.

Если хотите узнать больше про MoE, обязательно посмотрите визуальное руководство Маартена Гроотендорста!

Визуальное руководство по Mixture of Experts (MoE)