AI Для Всех

Ищем стажеров в нашу команду Applied ML в Stripe

Если ты PhD-студент в США 🇺🇸 (к сожалению только так) и хочешь применить свои знания в машинном обучении для решения реальных задач, то это для тебя.

Миссия Stripe - увеличить ВВП интернета!

В Stripe ты сможешь:
• Работать над ML-проектами, которые реально влияют на мировую экономику.
• Использовать свои навыки в областях LLM, RL, MLOps, Агентах и классических ML-методах.
• Воплощать передовые исследования в жизни и видеть их реальное влияние.

Мы ищем тех, кто готов объединить науку и практику, работать с мощной инфраструктурой и помогать делать финансовые технологии лучше для всех.

Что предлагается?
🎓 Стажировка для PhD-студентов: Подробности тут
🎓 Роль для выпускников PhD: Подробности тут

Если есть вопросы, пиши в комментарии расскажу больше!

Пушка запрос для GPT

Попросите у чата следующее: "Roast me based on my previous prompts"

И готовьтесь от души посмеяться 😆

🛠 2024: Год, когда AI стал необходимостью для бизнеса

2024 — это момент, когда компании перестали экспериментировать с генеративным AI и начали встраивать его в основу своей работы. Давайте разберем сегодняшний отчет от Menlo Ventures (одного из главных инвесторов Anthropic).

Бюджеты говорят сами за себя: расходы на AI выросли до $13,8 млрд, что в 6 раз больше, чем в 2023 году.

💡 Почему это важно?
Теперь AI — это не просто инструмент для «поиграть», а реальная возможность менять бизнес-процессы, повышать эффективность и создавать новые продукты.

📝 Что говорят данные?
• 72% компаний уверены, что генеративный AI станет массово применяться в ближайшем будущем.
• Но! 35% лидеров до сих пор не имеют чёткой стратегии, как интегрировать AI. Это нормально — мы всё ещё в начале пути глобальных изменений.

🚀 Бюджеты на AI: рост и амбиции

Компании готовы тратить деньги на генеративный AI:
• 60% инвестируют из «инновационных» бюджетов, чтобы попробовать новое.
• 40% перераспределяют постоянные бюджеты, показывая долгосрочную готовность менять процессы.

Самое интересное происходит в приложениях AI: на них потрачено $4,6 млрд в этом году — почти в 8 раз больше, чем год назад.

📌 Какие кейсы уже работают?
1️⃣ Кодовые ассистенты (например, GitHub Copilot) — уже используются в 51% компаний, помогая разработчикам работать быстрее и качественнее.
2️⃣ Чат-боты поддержки — помогают клиентам и сотрудникам в 31% организаций.
3️⃣ AI для поиска и трансформации данных — используются в 28% компаний для работы с большими массивами информации.
4️⃣ Суммаризация встреч — экономит время и повышает продуктивность в 24% случаев.

🤖 AI в продакшене: что дальше?

Компании пока сосредоточены на поддержке человека, но уже появляются системы, которые начинают брать задачи целиком на себя.

🏗 Строить или покупать?
Вопрос непростой: 47% компаний разрабатывают AI-решения сами, а 53% покупают готовые решения у вендоров.

🌐 Трансформация по всем направлениям

AI проникает в каждую часть бизнеса: от IT и продуктовых команд до HR, маркетинга и даже юристов. В 2024 году ярко выделились 4 отрасли:
• Медицина — AI-системы помогают врачам, автоматизируют записи в EHR и оптимизируют работу клиник.
• Юриспруденция — автоматизация контрактов, анализ документов и поддержка адвокатов.
• Финансы — AI упрощает обработку данных, делает отчёты и помогает соблюдать нормы.
• Медиа — инструменты генерации контента становятся стандартом для креаторов и студий.

🔮 Что ждать в будущем?

1️⃣ AI-агенты захватят рынок.
AI начнёт полностью автоматизировать сложные процессы, что изменит подход к IT, а затем и к сервисам.

2️⃣ Стартапы обгонят гигантов.
Уже сейчас видно, как молодые компании отнимают рынок у крупных игроков.

3️⃣ Дефицит талантов усилится.
Эксперты с опытом в AI будут нарасхват. Рынок ожидает рост зарплат и огромный спрос на специалистов, способных сочетать AI с бизнес-логикой.

🎯 AI больше не будущее — он уже здесь.
Компании видят в генеративном AI мощный инструмент для изменений. От автоматизации процессов до создания новых бизнес-моделей — это только начало.

🍬 Читать отчет целиком

Умножаем любовь к математике, чтобы разделить ее с вами

ИТ-специалисты, слышали, скоро День математика?

1 декабря пройдут главные онлайн-события мероприятия: доклады от профессоров математики из МФТИ, ВШЭ и ЦУ и математический диктант. Хорошая возможность пообщаться с единомышленниками и просто классно провести время.

А пока ждете праздника, банк подготовил активности на весь месяц. Будут лекции и многое другое. Выбирайте на сайте, что нравится больше. И регистрируйтесь, чтобы ничего не пропустить

#промо

🛍️ Теперь в Perplexity можно не только искать, но и покупать!

Perplexity сделали новый шаг к тому, чтобы AI-ассистенты стали настоящими помощниками. С помощью Stripe Agent Toolkit, интегрированного в подписку Pro, теперь можно совершать покупки прямо из чата.

💡 Как это работает?
1️⃣ Вы задаёте сложный запрос, например: “Что купить для вечеринки в стиле диско?”.
2️⃣ Perplexity не только находит ответ, но и предлагает товары в удобных карточках с подробными описаниями, отзывами и ценами.
3️⃣ Вы выбираете нужное, и покупка завершается автоматически — всего в один клик, без лишних шагов!

📦 Buy with Pro
Пользователи Perplexity Pro в США получают уникальный опыт: бесплатную доставку и автоматизированный процесс оформления. Вы просто указываете данные доставки, а Perplexity с помощью Stripe берёт всю рутину на себя.

📸 Snap to Shop
Есть фото вещи, которую хотите найти? Загрузите её в Perplexity, и AI подскажет, где её можно купить, даже если вы ничего о ней не знаете.

🤝 Партнёрство с Shopify
Perplexity подключил товары и магазины Shopify, добавив поддержку безопасных покупок через Shop Pay.

🎯 Почему это круто?
Perplexity Shopping — это больше, чем просто поиск. Это решение задач, которые раньше отнимали часы: поиск подходящих товаров, сравнение вариантов, оформление покупки. А теперь всё это занимает считаные минуты.

🌍 Пока функция доступна только в США, но команда активно работает над международным запуском.

Полагаю, что одними Perplexity дело не ограничится. Возможность покупать напрямую из чата придется по вкусу многим покупателям, а значит следует ожидать что и другие чаты с функцией онлайн поиска скоро подтянутся.

X

Новые возможности файн-тюнинга с Orca-AgentInstruct-1M-v1

Компания Microsoft выпустила датасет с 1 миллионом примеров выполнения инструкций для исследований и обучения продвинутых ИИ-агентов.

Инструкции применимы ко многим областям, например редактирование текста, описание, код, понимание прочитанного и т. д. - с разрешительной лицензией.

Датасет можно использовать для файнтюнинга любой базовой LLM.

🤗 Датасет

👾 Блог

Как добавить платежи в AI-агентов с помощью Stripe

Походит к концу мой первый месяц в Страйпе, и про это я напишу отдельно. А пока, hot of the press, расскажу вам про нашу новинку.

Представьте, что у вас есть умный цифровой помощник, который может не только отвечать на вопросы, но и выполнять реальные действия. Например, вы пишете: "Найди билет из Нью-Йорка в Сан-Франциско за 500 долларов", и AI-агент:

1. Понимает ваш запрос и выделяет важные детали
2. Ищет подходящие варианты
3. Показывает вам лучшие предложения
4. И теперь — может даже купить билет!

Stripe выпустил специальный набор инструментов (Agent Toolkit), который работает с популярными AI-фреймворками:
- Vercel AI SDK
- LangChain
- CrewAI

Что это даёт вашему AI-агенту:
- Возможность создавать платежные ссылки
- Выставлять счета клиентам
- Генерировать виртуальные карты для покупок
- Отслеживать все финансовые операции

Пример кода для выставления счета:

from stripe_agent_toolkit import StripeAgentToolkit

# Подключаем Stripe к агенту
toolkit = StripeAgentToolkit(
    secret_key="sk_test_123",
    configuration={
        "actions": {
            "invoices": {"create": True},
            "customers": {"create": True}
        }
    }
)

# Теперь агент может выставлять счета
agent.invoke("Выставить счет клиенту [email protected] на $100")

Что может делать AI-агент с платежами:

🛍️ Умный шоппинг
- Поиск товаров по вашим критериям
- Сравнение цен
- Безопасная оплата через виртуальные карты
- Контроль бюджета

💼 Бизнес-операции
- Автоматическое выставление счетов
- Отслеживание платежей
- Управление подписками
- Контроль расходов

Stripe Agent Toolkit — это мост между AI и реальными финансовыми операциями. Теперь ваши AI-агенты могут не только думать, но и действовать с деньгами — безопасно и эффективно.

Пробуйте и делитесь фидбеком! Все передам ответственной команде

🐸 Блог-пост
🦾 Agent Toolkit документация
🖥 Git

EMMA — универсальный мультимодальный автопилот на базе языковой модели

Waymo создали систему, которая использует всю мощь LLM, чтобы “думать” о ситуации на дороге как человек. Это EMMA - мультимодальная модель автономного вождения на основе Gemini от Google.

Главное новшество EMMA - объединение всех задач автопилота (планирование траектории, 3D-объектное распознавание и понимание дорожной обстановки) в единую текстовую форму, чтобы использовать большую языковую модель и эффективно решать задачи, связанные с восприятием мира и планированием действий.

По технической части расклад такой:

1. End-to-end планирование траектории.
Сквозной подход EMMA имитирует поведение человека за рулем с особым вниманием на два критических аспекта: использование навигационных систем (например, Google Maps) для планирования маршрута, и использование данных о прошлых событиях для плавного, последовательного вождения.

EMMA принимает на вход непосредственно данные от видеокамер (пока без LiDAR и радаров), высокоуровневые командные инструкции от навигационной системы (типа “следуйте прямо”, “поверните направо”), метки автомобиля в формате “вида сверху” (Bird’s Eye View, BEV), и генерит будущие траектории в виде набора точек маршрута в тех же форматах.
И все это - без необходимости в ручной разметке данных .

2. Иерархическое обоснование решений (Chain-of-Thought).
Та самая техника CoT и тут улучшает решения модели, разделяя их на несколько уровней:
• R1: Описание сцены (освещение, погода, дорожные условия);
• R2: Критические объекты (пешеходы, автомобили с указанием их 3D координат);
• R3: Описание поведения объектов (например, «пешеход на обочине, возможно, собирается перейти дорогу»);
• R4: Общие решения по вождению (например, «следует сохранять низкую скорость») .
Модель предсказывает все четыре компонента обоснования вождения, перед тем как выдать будущие точки маршрута

3. Совместное обучение нескольких задач (Co-Training).
Создатели EMMA фокусиравались на трех основных задачах: сквозном планировании, обнаружении 3D-объектов и оценке дорожного графа (это дорожные объекты и связи меджу ними).
Совместное обучение по всем трем задачам дает значительные улучшения (до 5,5% по сравнению с однозадачными моделями). Любопытно, что при совместном обучении двух задач определенные комбинации более эффективны, чем другие. Например, и эффективность обнаружения, и оценки дорожного графа улучшается больше всего при совместном обучении с вождением.
Мне это напоминает человеческе способности - когда вы видите велосипедиста и краем уха слышите приблидающиеся к вам звуки, ваш мозг быстро всё связывает и понимает: кто-то сейчас промчится перед вами. Вот и модели взаимная информации идет на пользу: оценка дорожной обстановки и распознавание объектов улучшают планирование траектории, а это, в свою очередь, улучшает общее поведение модели на дороге.

Есть и минусы. Хотя EMMA демонстрирует многообещающие результаты и выполняет сразу несколько задач в одном языковом пространстве, она все еще находится на ранней стадии с ограничениями по развертыванию в прод. Она требует доработки для работы с более длительными видеопоследовательностями (сейчас работает всего на 4х кадрах) и для обработки данных от LiDAR-ов, а еще она вычислительно кусаче-дорогая. Но сам переход в мультимодальность для автономного вождения выглядит очень разумно.

Надо бы включить в co-training задачи инференса бесценных историй из жизни, анекдотов и отменных плейлистов с бортов такси. Стопроц это даст еще больший прирост производительности.

📖Статья Waymo

Oasis - целая вселенная в модели- трансформере!

Встречаем Oasis - первую открытую игровую модель, работающую в реальном времени!

Это видеоигра полностью создаваемая ИИ "на лету". Oasis принимает ввод данных с клавиатуры пользователя и генерирует игровой процесс в реальном времени, включая физику, правила игры и графику. Вы можете передвигаться, прыгать, подбирать предметы, разбивать блоки и многое другое. И все это без игрового движка, только базовая модель! 🔮

Модель понимает сложные игровые механики, такие как строительство, физика освещения, управление инвентарем, понимание объектов и многое другое.

Oasis генерирует разнообразный набор состояний, локаций и объектов. Эта универсальность дает разработчикам уверенность в том, что модель можно будет адаптировать для создания различных новых карт, игр, функций и модификаций с минимальным дообучением.

Модель состоит из двух частей: пространственного автокодировщика и латентной диффузионной модели. Обе основаны на Трансформерах: автокодировщик основан на ViT, а диффузионная модель— на DiT. В отличие от последних моделей окружающего, таких как GameNGen и DIAMOND, разработчики выбрали трансформеры, чтобы обеспечить стабильное, предсказуемое масштабирование и полную совместимость с передовым оборудованием.

В отличие от двунаправленных моделей, таких как Sora, Oasis генерирует кадры авторегрессивно, что позволяет пользователям взаимодействовать с окружающим миром в реальном времени. 👾

Инновационное динамическое шумоподавление помогает модели поддерживать временную стабильность и минимизировать накопление ошибок, улучшая согласованность кадров. Это позволяет Oasis генерировать видео с частотой 20 кадров в секунду, что значительно превышает производительность современных генерационых моделей текст-видео.

Однако, чтобы сделать модель еще на порядок быстрее и сделать ее экономически эффективной для масштабирования, необходимо новое оборудование, так как сегодняшний пик видео разрешения это 360p на H100 GPUs. Oasis оптимизирован для Sohu, Transformer ASIC, разрабатываемого Etched. Sohu может масштабироваться до массивных моделей следующего поколения 100B+ в разрешении 4K.

Кроме того, сквозная архитектура Oasis делает ее чрезвычайно эффективной на Sohu, который может обслуживать >10x больше пользователей даже на моделях с параметрами 100B+ по сравнению с H100 GPU. 👀

📝 Etched блог

📜 Tech Report

📰 Decart блог

👨‍💻Git

🤗 Weights

🕹️ Демо

ChatGPT с нуля

🔥 Нашел крутейший репозиторий для тех, кто хочет разобраться в устройстве больших языковых моделей!

Sebastian Raschka выпустил книгу и репозиторий "Build a Large Language Model (From Scratch)", где показывает, как создать свою LLM с нуля. И это не просто теория - здесь полностью рабочий код!

Что особенно крутого:
- Пошаговое объяснение всех компонентов (от обработки текста до механизмов внимания)
- Практическая реализация GPT-подобной модели
- Код для предварительного обучения и файнтюнинга
- Работает даже на обычном ноутбуке без специального железа 🚀

В репозитории есть:
▫️ Jupyter-ноутбуки с подробными объяснениями
▫️ Готовые скрипты для обучения
▫️ Бонусные материалы (оптимизация, UI, эксперименты)
▫️ Примеры решения упражнений

Все объясняется максимально понятно, с диаграммами и примерами.

Для тех, кто давно хотел разобраться, как работают LLM изнутри - это просто находка!

🖥Ссылка на репозиторий

Такое могло случится только в твиттере 🐸

🤖 Что такое и как работает NotebookLM?

Вы наверняка видели вирусные подкасты, где два ИИ-ведущих увлеченно обсуждают разные темы. За этой технологией стоит новый инструмент от Google — NotebookLM. Давайте разберем, как это работает.

🎯 Принцип работы прост:
• Загружаете любой контент (статьи, заметки или ссылки)
• NotebookLM превращает их в 8-10 минутный подкаст с двумя ведущими
• Готово!

🔧 Техническая магия под капотом:
• Система генерирует диалоги порциями по 2 минуты
• Обработка происходит в 40 раз быстрее реального времени
• Используется супер-эффективный речевой кодек (всего 600 бит/сек)
• Каждые 2 минуты диалога = 5000 токенов

🎓 Как обучали:
• Основное обучение: тысячи часов речи (возможно, из YouTube-подкастов 😉)
• Дообучение: специально записанные качественные диалоги
• Результат: максимально естественная речь со всеми "эмм", "ага" и живым смехом

🔐 Безопасность:
Все подкасты маркируются системой SynthID — так можно легко отличить ИИ от реального человека

🔮 Что дальше?
Google обещает:
• Улучшить беглость речи
• Повысить качество звука
• Добавить более тонкий контроль над генерацией

Как думаете, заменят ли такие ИИ-подкасты обычные? 🤔​​​​​​​​​​​​​​​​

🔗 Блог-пост

Видение будущего

В своём недавнем эссе "Machines of Loving Grace" Дарио изложил оптимистическое видение будущего с ИИ. Однако его беспокоит потенциальная возможность того, что ИИ может нарушить корреляцию между интеллектом и благими намерениями.

Заключение

Anthropic прокладывает собственный путь, не только в техническом развитии, но и в понимании роли ИИ в обществе. Как образно выразился Дарио, они всё ещё "как обезьяны, копающиеся в лабораторном оборудовании", но делают это с чётким пониманием как потенциала, так и ответственности.

Взгляд изнутри Anthropic: Ключевые моменты из беседы с Дарио Амодеем

Сегодня ходил в офис Антропика на увлекательную беседу между CEO Anthropic Дарио Амодеем и представителями Menlo Ventures. Хочу поделиться ключевыми инсайтами о компании, которая выделяется своим вдумчивым подходом к ИИ.

Путь к Anthropic: История эволюции в ИИ

История Дарио в ИИ началась около 2005 года, когда он впервые прочитал работы Рэя Курцвейла о сингулярности. Забавный момент: признавая эксцентричность Курцвейла (особенно его одержимость пищевыми добавками), Дарио отметил, что предсказания Курцвейла о законе Мура и экспоненциальном прогрессе оказались удивительно точными.

Интересный поворот: во время учёбы Дарио в Стэнфорде нейронные сети считались устаревшими. Как он вспоминает, даже Эндрю Нг говорил студентам: "Никто их больше не использует, мы просто о них рассказываем". Это привело Дарио к нейробиологии, где он работал с мозгом саламандр - весьма необычный поворот в карьере! Сложность работы с физическими образцами мозга в итоге привела его обратно к ИИ через Baidu, Google и OpenAI.

Подход Anthropic к языковым моделям

Что делает Anthropic особенным - это их трёхуровневая система моделей: Haiku, Sonnet и Opus. Но ещё интереснее то, что они создали специальную "Команду характера Клода" (Claude Character Team), которая занимается развитием личности и стиля общения модели.

Любопытный факт: Anthropic первыми расширили контекстное окно до 100 тысяч токенов. Как отметил Дарио: "8 тысяч токенов - это примерно короткий рассказ... 100 тысяч - это уже небольшая книга". Кстати, Дарио сказал что они уже предлагают контекст 500к для Энтерпрайз клиентов, и пообещал однажды раскатать его на всех.

Безопасность как практическая необходимость

Дарио сравнил работу над безопасностью ИИ с игрой в "whack-a-mole" (бей крота): решаешь одну проблему, а другая неожиданно выскакивает в другом месте. Он поделился забавным примером: когда они попросили модель быть более лаконичной, она начала использовать ленивые сокращения в генерации кода, типа "остальной код здесь...".

Ещё один интересный момент: модели имеют тенденцию говорить людям то, что они хотят услышать. Дарио рассказал, как Claude 3.5 начал злоупотреблять словом "Certainly" (Конечно) в начале ответов - просто потому, что человеческие оценщики любят "послушные" ответы.

Фронтир компьютерного использования

Недавний запуск возможностей использования компьютера в Anthropic примечателен своим осторожным подходом. Вместо создания броского потребительского продукта они сначала выпустили инструменты для разработчиков с чёткими предупреждениями о надёжности.

Дарио привёл яркий пример: во время одной демонстрации модель случайно удалила запись собственной демонстрации, потому что получила доступ к программе записи!

Конкуренция и бизнес-стратегия

Дарио считает, что на рынке есть место только для 3-5 крупных компаний, разрабатывающих базовые модели, из-за колоссальных затрат - потенциально десятки миллиардов долларов. При этом каждая компания находит свою нишу: Anthropic фокусируется на API для разработчиков и предприятий, в то время как другие идут своим путём.

Будущие применения

Говоря о применениях, Дарио особенно воодушевлённо рассказывал о генерации кода. Его логика проста: в отличие от роботехники, где нужно дорогое физическое оборудование, код можно тренировать и развёртывать полностью в виртуальной среде.

Но особенно впечатляет его видение применения ИИ в биомедицине. Он считает, что ИИ может помочь справиться со сложностью, которая замедлила прогресс в биологии за последние 30 лет. По его мнению, болезни, которые мы сейчас считаем неизлечимыми, могут стать такими же управляемыми, как оспа.

Организационные вызовы

Масштаб роста Anthropic впечатляет - от 100 до 1000 сотрудников всего за два года. Дарио честно признался, что каждые 3-4 месяца проходит через периоды, когда "просто не понимает, как делать работу" - пока не адаптируется к новому масштабу организации.

Первая неделя в Stripe.

Просто хочется поделиться своим первым опытом онбординга в по-настоящему большую компанию. Прошла всего неделя, а информации в меня уже загрузили как за месяц 😅

Но в целом, мне очень нравится! И штаб квартира просто офигенная! Но рассказывать и показывать ничего нельзя 🎃

🎧 Soundtrack

Игра Престолов, но только в трейлер парке 👍

Теперь я работаю в Stripe!

Делюсь своими большими новостями — я присоединился к штаб-квартире Stripe в Сан-Франциско и буду заниматься ИИ и фундаментальными моделями.

Stripe — это одна из ведущих компаний в мире по обработке платежей и финансовых технологий, где инновации в области ИИ могут значительно улучшить пользовательский опыт и расширить возможности бизнеса. В центре моих задач — разработка фундаментальных моделей ИИ, которые будут не только оптимизировать текущие процессы, но и предлагать новые пути интеграции технологий в экономику.

Пока что я прохожу онбординг, но уже заряжен на год вперед!

NLP Researchers, отметьте в календаре 26 октября🌟

Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер.
Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed.

Чем предстоит заниматься?
✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами.
✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов.
✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей.

Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer!

Будем делать важнейшие исследования вместе!💚

#реклама

Современная наука — это не только эксперименты в лабораториях и публикации в рецензируемых журналах, но и активное взаимодействие с коллегами по всему миру. И нетворкинг — один из ключевых инструментов для учёных, который открывает множество возможностей для карьерного роста и научного прогресса 👾

1️⃣Благодаря связям с коллегами можно обмениваться идеями и получать свежие взгляды на собственные исследования.

Диалог с другими учёными позволяет обнаружить новые подходы к решению научных проблем или получить ценные советы. Даже случайная переписка может вдохновить на прорывные открытия (и это мы уже не говорим про общение на конференциях!).

2️⃣ Научный нетворкинг помогает находить партнёров для совместных исследований.

Сегодня научные исследования в большинстве своём междисциплинарны. Хорошо налаженные связи могут помочь найти подходящего партнёра и привлечь гранты для финансирования таких проектов.

3️⃣ Нетворкинг помогает быть в курсе последних достижений и трендов.

Не вся информация доступна в открытых источниках: иногда свежие знания вы можете получить исключительно в личной коммуникации с учёными или в их сообществах!

4️⃣ Научное сообщество — это место, где можно найти ментора, который поможет выстроить карьеру и избежать некоторых ошибок.

Нетворкинг для учёных — это не просто обмен визитками на конференциях, а стратегически важная часть профессиональной деятельности!

Используйте этот пост, чтобы познакомиться с коллегами-учёными! Слэмеры уже рассказали про себя и свои научные социальные сети — теперь ваш черёд!

🤖 CEO Anthropic о будущем с ИИ: прогноз на ближайшее десятилетие

Дарио Амодей, генеральный директор компании Anthropic, специализирующейся на разработке искусственного интеллекта, представил свое видение развития ИИ в ближайшие 5-10 лет.

Вот ключевые моменты из его эссе:

🧬 Медицина и биология:
ИИ может ускорить биологические исследования
Ожидается прогресс в лечении рака, генетических заболеваний и нейродегенеративных расстройств

🧠 Нейронауки и психическое здоровье:
Прогнозируются прорывы в понимании и лечении психических заболеваний
Особое внимание уделяется депрессии и шизофрении

💹 Экономика:
ИИ может способствовать значительному экономическому росту
В некоторых развивающихся регионах возможно увеличение ВВП до 20% в год

⚖️ Управление и правосудие:
Ожидается повышение эффективности демократических институтов
Предполагается улучшение работы судебных систем с помощью ИИ

🔄 Трансформация труда:
Прогнозируется изменение структуры занятости
Возможно введение универсального базового дохода
Ожидается смещение фокуса общества на личностное развитие

📚 Источник: эссе Дарио Амодея, CEO Anthropic

Математика – это язык, на котором написан весь мир цифровых технологий.

Всем желающим подружиться с этой наукой проект Popmath предлагает два онлайн-курса:

1) Математика с нуля:
для тех, кто хочет получить качественную математическую базу.

Предварительные знания не требуются.

2) Линейная алгебра:
для тех, кто уже имеет базовые знания.
Подходит техническим специалистам и тем, кому интересны прикладные области математики.

Курсы Popmath – это:

📝 4 месяца лекций и практических семинаров
📝 уникальные анимации, которые помогут лучше вникнуть в тему
📝 живое общение в Zoom и онлайн-поддержка в Телеграм

Приходите и узнайте, что такое математика здорового человека!
По всем вопросам @popmath

#Реклама. ИП Пясецкая Наталья Игоревна. ИНН 773714262272
2Vfnxw8vvba

Уволился из стартапа в Сан Франциско

Сегодня мой последний день в Nooks, и я хочу рассказать вам о моем невероятном путешествии за эти 9 месяцев.

Кто бы мог подумать, что мой опыт работы с сейсмическими волнами приведет меня в мир телефонии и обработки звука? Но именно так и случилось!

Чем я особенно горжусь:

1️⃣ Разработал (скорее всего) самую быструю и точную систему определения автоответчиков на рынке и называл ее DialCobra.

2️⃣ Внедрил ИИ в обработку звонков, что позволило построить несколько новых продуктов и вывести их на рынок.

3️⃣ Создал инфраструктуру для работы с большими объемами аудиоданных, что сильно упростило работу всей компании.

Главные уроки, которые я вынес:

🧩 Сложные задачи требуют гибкого подхода. Иногда лучше двигаться маленькими шагами, чем стремиться к идеалу сразу.

📊 Качественные данные - ключ к успеху в ИИ. Это работает и для землетрясений, и для телефонных звонков!

🧪 При работе со сложными системами важно тестировать каждый компонент отдельно.

Со следующего понедельника начинается новая глава! Stay tuned

Bitnet.cpp от Microsoft теперь доступен для всех

Компания опубликовала с открытым исходным кодом bitnet.cpp - невероятно быстрый фреймворк для вывода 1-битных больших языковых моделей, работающий непосредственно на процессорах.

Почему это меняет правила игры? 🎮

Теперь вы можете запускать модели с 100 миллиардами параметров на локальных устройствах с повышением скорости до 6 раз и снижением энергопотребления на 82% - и всё это без использования графического процессора!

Быстрый, эффективный и приватный ИИ становится ещё ближе для каждого 🤖

💻 GitHub

ИИ как зеркало биологии

Когда нейросети обучаются различать изображения, они, похоже, повторяют стратегии, которые природа совершенствовала миллионы лет. Недавнее исследование показало, что один из ключевых механизмов обработки изображений в ИИ — частотный детектор — был обнаружен в зрительной коре мышей. Буквально, нейронные сети и мозг сходятся не только по фукции, но и по структуре. Это открытие не просто забавное совпадение, а ключ к пониманию того, как природа и искусственный интеллект сходятся в подходах к решению сложных задач визуального восприятия.

Нейроны, отвечающие за обработку высоких и низких частот, были описаны в статье Distill для искусственных {приходится уточнять теперь} нейросетей. Эти частотные детекторы распознают переходы между высокими и низкими пространственными частотами. В глубоких свёрточных сетях, например, таких как Inception V1, активации нейронов можно представить как результат преобразований Фурье, где разные слои сети извлекают особенности изображения, подобные анализу частотных компонентов. Детекторы высоких частот фокусируются на деталях, а низкочастотные нейроны — на общих формах и контурах.

Биологические эксперименты показали, что у мышей зрительная кора обрабатывает визуальные стимулы схожим образом. Это подтверждает гипотезу о том, что мозг использует механизмы, аналогичные математическим преобразованиям, которые применяются в глубоких нейронных сетях, что ещё раз подчеркивает универсальность принципов обработки информации.

Почему это важно? Специалисты МЛ знают, что преобразование Фурье и частотные детекторы — это не просто математика, а фундаментальные механизмы для разложения сложных данных на понятные компоненты. Открытие аналогичного подхода в мозге млекопитающих доказывает, что нейронные сети не просто приближаются к биологическим системам, они могут отражать сами принципы их работы - и помочь нам понять, как же, в конце-то концов, работает наш мозг.

🧪Distill. Частотные детекторы в нейросетях

🎹 Исследование частотной обработки в мозге мышей

🤖 Обновления Optimus от Tesla

На прошлой неделе мы с вами наблюдали Westworld v0.1 на презентации Тесла. Роботы ходили, говорили и раздавали напитки. Конечно же, все они были на удаленном управлении (которое поражает само по себе). Видимо, что бы никто не подумал, что они там только в марионеток играют, команда Оптимуса выпустила новое видео, и вот что они нам показали:

1. 👀 Зрение как у Терминатора
Optimus теперь сам ориентируется в незнакомых помещениях! И всё это только с помощью обычных 2D-камер. Никаких тебе GPS — робот просто запоминает, что где лежит, как мы с вами. Круто, да?

2. 🔋 Сам знает, когда пора подзарядиться
Когда батарейка садится, Optimus не ждёт помощи. Он сам находит зарядку и подключается

3. 🏋️‍♂️ Силач и акробат в одном корпусе
Ходит теперь ещё увереннее, даже с тяжёлым грузом. А ещё учится ходить по неровной поверхности и лестницам. Скоро будет паркур делать, не удивлюсь!

4. 🗣️ "Окей, Optimus, принеси колы!"
Да-да, теперь он понимает жесты и голосовые команды. Может подать закуски или напитки. Домашний/офисный робот-это рынок на уровне автомобильного как минимум.

5. 🧠 Всё "в голове"
Самое интересное — вся эта магия происходит прямо в "мозгах" Optimus. Никаких внешних суперкомпьютеров, всё на борту. Используют те же технологии, что и в автопилоте Tesla. Представляете, какая мощь в этой железяке?

Конечно, работы ещё вагон и маленькая тележка. Но согласитесь, прогресс впечатляет! Скоро эти ребята из научной фантастики переберутся к нам на кухню.

А вы бы хотели такого помощника дома? Меня например смущает следующий вопрос: а где его хранить? В шкафу? На диване?

Пост VP of Engineering Optimus

🔥Новый пушка-промпт для ChatGPT:

Based on all our interactions, what's a career path I might enjoy that I might not realize l'd like?

⚡️ Как создавать персонажей с помощью LoRA? Это оказалось легче, чем казалось! ✨

Всегда думал, что обучение LoRA — это долго и сложно, но оказалось, я был не прав. Это всего несколько шагов — легко и быстро!

🎨 Запрашиваем Claude создать промт для картинки с сеткой 4x4 и каким-нибудь персонажем.

🖼️ Генерируем картинку с помощью Flux 1.1[Pro].

🎨 Скидываем картинку обратно в Claude, поясняем что нам не нравится и просим переписать промпт, что бы стало лучше.

🖼️ Генерируем картинку по улучшенному промпту

🌄 Масштабируем картинку в 4 раза с Aura-SR

🛠️ Режем картинку на отдельные изображения и упаковываем их в архив (я сделал в просмотре).

🔧 Обучаем LoRA на полученных изображениях.

И вуаля! 🎫 У вас есть персонаж, с которым можно делать всё, что сможет придумать ваше воображение (для этого используем слово-триггер)!

🎣 Отправьте его на рыбалку, приготовьте яичницу или заснимите видео с ним — все ограничено только вашей фантазией!

Музыку сделал в Udio. Сжатие видео - с помощью ffmpeg, команду для которого написал Cursor. Пост отредактировал с помощью ChatGPT 4o with Canvas.

Как говорит один популярный ютубер - What a time to be alive!

Адобченко показывает, как надо встраивать ИИ в продукты.

Я потом приподвзвизжу отдельным постом про AdobeMax, который идет прямо сейчас.
А сейчас поглядите, какой UI\UX должен быть у всех этих видеогенераторов.
Не сгенерить, а потом копировать, импортировать, резать, переделывать, копировать, импортировать..
А генерить прямо в пайплайне. По месту, так сказать.
Ну и многие не поняли - это генерация вместе СО ЗВУКОМ

@cgevent

Новый виральный тред

Спросите ChatGPT:

From all of our interactions what is one thing that you can tell me about myself that I may not know about myself

Мне интересно ответил!

OpenAI Swarm: фреймворк для мультиагентных систем

Ребята из OpenAI без лишнего шума выложили в открытый доступ свой новый проект — Swarm. Это такой экспериментальный фреймворк для тех, кто хочет поковыряться в мультиагентных системах. Короче, штука для тех, кому интересно, как AI-агенты могут работать в команде и решать сложные задачки.

Основные концепции Swarm — Агенты и Передачи задач. Агенты делают свою работу и могут перекидывать дела другим, типа "эй, бро, возьми это на себя". Идеально подходит, чтобы посмотреть, как эти виртуальные ребята могут сотрудничать.

Swarm вписывается в третий уровень той самой пятиступенчатой модели развития ИИ от OpenAI. Помните, там от простых болтливых ботов до суперсистем, способных рулить целыми компаниями? Вот Swarm как раз на середине этой лестницы:

Болтуны — просто общаются с людьми на обычном языке.
Решалы — автоматизируют поиск инфы и решают задачки.
Агенты — самостоятельные помощники, которые сами принимают решения.

---------Swarm как раз тут---------

Иноваторы — генерят новые идеи и двигают науку.
Боссы — ИИ, способный управлять целой конторой без людей.

Пока что Swarm — это не для серьезных проектов, а так, поиграться. Можно смоделировать, как агенты общаются, протестить простые сценарии и посмотреть, как они координируются в контролируемой среде.

Swarm работает почти полностью на клиенте, что упрощает контроль и тестирование.

В репозитории уже есть с десяток примеров, которые демонстрируют различные сценарии, включая обслуживание клиентов и персонального шопинг-ассистента.

Пример использования Swarm

Основной элемент Swarm — Агент. Вот пример настройки агентов:

from swarm import Swarm, Agent

client = Swarm()

def transfer_to_agent_b():
    return agent_b

agent_a = Agent(
    name="Agent A",
    instructions="Вы — полезный агент.",
    functions=[transfer_to_agent_b],
)

agent_b = Agent(
    name="Agent B",
    instructions="Говорите только хайку.",
)

response = client.run(
    agent=agent_a,
    messages=[{"role": "user", "content": "Я хочу поговорить с агентом B."}],
)

print(response.messages[-1]["content"])

Агент A передаёт разговор Агенту B, который отвечает в виде хайку.

На первый взгляд, Swarm — это интересный образовательный эксперимент, но представьте, как в будущем из такого фреймворка может вырасти полноценный AI as a Service!

Да и вообще забавно, раньше Альтман помогал создавать SaaS компании в Y Combinator, а теперь, по всей видимости у него свой AI Combinator.

Я думаю, что уже в ближайшем будущем мы можем увидеть мультиагентные системы, и Swarm — это отличный способ начать понимать, как они работают.

Возможно, ваш следующий менеджер будет не кожаным мешком, а сотней AI-агентов, которые координируются и вешают на вас задачи быстрее, чем когда-либо прежде.

🖥 GitRepo
👨‍🍳 OpenAI Cookbook

Жарим курицу с Артемом

Сегодня был на отличном барбекю с Артемом, автором канала Эй Ай Ньюз! Вдохновляющий вечер в дружеской атмосфере, где обсудили самые актуальные темы из мира AI. Артем всегда знает, как освещать новости с культурной и профессиональной точкой зрения. Не пропустите его канал, если хотите быть в курсе последних событий в мире искусственного интеллекта! 🔥

@ai_newz

The future should feel like the future. Elon Musk

На специальном мероприятии в Лос Анджелесе, Тесла анонсировала новые модели автомобилей - Cybercab - роботакси без руля и педалей, и Robovan - абсолютно безумного вида беспилотный автобус.

Обещают к 27ому году, ну а пока вот вам Оптимус в роли бармена

Эта модификация позволила улучшить производительность моделей, таких как Gemma 2B, особенно при работе с длинными последовательностями.

Вывод: Важность RoPE заключается не в простом затухании внимания по мере увеличения расстояния между токенами. Настоящее преимущество RoPE заключается в его способности создавать позиционные паттерны внимания, что крайне важно для таких задач, как языковое моделирование.

Что делает Rotary Positional Encodings (RoPE) такими полезными в трансформерах?

(По мотивам статьи Round and Round we Go)

Позиционные кодировки — одна из ключевых составляющих моделей типа Transformer, ведь они позволяют им понимать порядок токенов в последовательности. Одним из самых продвинутых подходов являются Rotary Positional Encodings (RoPE), которые активно используются в современных языковых моделях. В этом посте мы разберём, как работает RoPE, почему он так полезен и что нового обнаружили учёные в его механике.

1. Основы: Трансформеры и механизм self-attention

Трансформеры — это мощные модели глубокого обучения, предназначенные для обработки последовательных данных, таких как текст. В основе их работы лежит механизм self-attention (самовнимание), который позволяет модели определять, какие части последовательности наиболее важны при обработке каждого токена.

Как это работает математически:

Для каждого токена трансформер создаёт три вектора:

• Query (Запрос, Q): что текущий токен “ищет” в других токенах.
• Key (Ключ, K): что представляет каждый токен.
• Value (Значение, V): информация, которую несёт каждый токен.

Оценка внимания (attention score) между двумя токенами вычисляется как скалярное произведение их векторов Query и Key.

Произведение используется для взвешивания информации токенов (Value) и формирования конечного результата.

2. Зачем нужны позиционные кодировки

Поскольку трансформеры обрабатывают все токены одновременно, им необходимо явно указывать позиционную информацию. Без этого модель не сможет отличить, например, “собака кусает человека” от “человек кусает собаку”. Позиционные кодировки (Positional Encodings, PE) вводят эту информацию, помогая модели понимать порядок слов.

3. Rotary Positional Encodings (RoPE)

RoPE — это продвинутый метод кодирования позиционной информации, который вместо простого добавления вектора позиции к каждому токену вращает векторы Query и Key в зависимости от их позиций в последовательности.

Как работает RoPE:

• Векторы Query и Key разбиваются на двумерные блоки.
• Каждый блок поворачивается на угол, зависящий от позиции токена в последовательности.

Это позволяет учитывать как саму суть токена, так и его положение относительно других токенов.

4. Высокие и низкие частоты в RoPE

В RoPE разные частоты вращения блоков Query и Key определяют, как быстро эти векторы поворачиваются:

• Высокие частоты вызывают быстрое вращение, что делает модель чувствительной к небольшим изменениям позиций токенов.
• Низкие частоты вращаются медленно, и их использование делает модель более стабильной на больших расстояниях между токенами.

Пример:

Предположим, у нас есть два токена: один на позиции 2, другой на позиции 4. RoPE поворачивает их векторы на углы 2*O и 4*O соответственно. При вычислении скалярного произведения модель учитывает не только содержание токенов, но и их относительное положение в последовательности.

5. Разоблачение мифа о затухании внимания с расстоянием

Ранее считалось, что RoPE помогает моделям за счёт того, что оценка внимания (attention score) уменьшается по мере увеличения расстояния между токенами. Однако авторы статьи показали, что это не всегда так. RoPE не обязательно вызывает затухание внимания, но, что более важно, он помогает модели формировать устойчивые паттерны позиционного внимания.

6. Использование низких и высоких частот RoPE

Исследования показали, что модели чаще всего используют низкие частоты RoPE для работы с семантическими отношениями между токенами. В то же время, высокие частоты применяются для создания позиционных attention heads, которые сосредотачиваются на точных позициях, таких как предыдущий или следующий токен.

7. Модификация RoPE: p-RoPE

Авторы статьи предложили улучшенную версию RoPE под названием p-RoPE. Она заключается в удалении самых низких частот, чтобы сделать модель более устойчивой на больших контекстах.

🔥Объявлены лауреаты Нобелевской премии по химии 2024!

Королевская шведская академия наук присудила Нобелевскую премию по химии 2024 трем выдающимся ученым, и снова за искусственный интеллект

🎉 Дэвид Бейкер – Компьютерный дизайн белков

• Инновация: Создал программное обеспечение Rosetta, позволяющее разрабатывать новые белки с нуля.
• Влияние: Революционизирует разработку лекарств, инжиниринг ферментов и синтетическую биологию, создавая белки с заданными функциями для целевых терапий и устойчивых решений.

🤖 Демис Хассабис и Джон М. Джампер – Предсказание структуры белков

• Инновация: Разработали AlphaFold, систему искусственного интеллекта, которая предсказывает структуры белков с беспрецедентной точностью.
• Влияние: Ускоряют исследования в области разработки лекарств и персонализированной медицины, предоставляя глубокое понимание функций и взаимодействий белков, объединяя вычислительные прогнозы и экспериментальную биологию.

Искусственный интеллект стал ключевым элементом этих прорывов, позволяя достигать быстрых результатов благодаря таким моделям, как AlphaFold, которые значительно сокращают время и ресурсы, необходимые для исследований белков. Алгоритмы машинного обучения повышают точность дизайна белков и предсказания их структуры, что ведет к созданию более эффективных и персонализированных медицинских препаратов. Кроме того, сочетание ИИ с биологией и химией способствует междисциплинарному сотрудничеству, создавая инновационные решения для сложных научных задач.

🔗 Ссылка

Все ли осознают, что говорящие портреты из "Гарри Поттера" теперь стали реальностью? Это больше не вымысел. Мы живем в удивительное время.

🔗 Ссылка

🤖 Anthropic Batch API

Компания Anthropic представила новый Message Batches API — решение для асинхронной обработки большого количества запросов. Этот API позволяет отправлять до 10,000 запросов в одном пакете, обрабатывая их менее чем за 24 часа (скорость в обмен на скидку в 50%). Теперь у Антропика тоже есть удобное API для таких задач, как анализ данных и классификация.

Anthropic Batch API может обрабатывать до 10,000 запросов в батче (у openAI - 50,000 в батче)

По деньгам получается следующее - например, для модели Claude 3 Haiku стоимость входных токенов с Batch API составляет $0.125 за 1 млн токенов, а выходных — $0.625 за 1 млн токенов.

OpenAI Batch API также предоставляет скидку на 50%. Например, для модели GPT-4o-mini стоимость входных токенов составляет $0.075 за 1 млн токенов, а выходных — $0.300 за 1 млн токенов при использовании Batch API, что значительно дешевле по сравнению с моделями Anthropic.

Anthropic Batch API обещают обработка в течение 24 часов или быстрее. Пользователи могут отслеживать статус через Console или API.


Поддерживаемые модели: Claude 3.5 Sonnet, Claude 3 Haiku и Claude 3 Opus.

Разнообразие запросов: Поддержка Vision, Tool use, системных сообщений и диалогов в одном пакете.

Период доступности результатов: Результаты доступны для загрузки в течение 29 дней после создания пакета.

Ссылка

🤖 Нобелевская премия по физике за фундаментальные исследования нейросетей

Нобелевский комитет объявил лауреатов премии по физике 2024 года. В этом году награду получили Джон Хопфилд и Джеффри Хинтон за их фундаментальные открытия и изобретения, которые легли в основу машинного обучения с помощью искусственных нейронных сетей.

Оба ученых занимались статистической физикой, и их работа стала основой для создания современных нейросетей, которые широко используются в машинном зрении и других областях искусственного интеллекта. В 2018 году Джеффри Хинтон, вместе с Йошуа Бенжио и Яном Лекуном, получил премию Тьюринга — самую престижную награду в информатике. Им присудили премию за концептуальные и инженерные прорывы, благодаря которым глубинные нейросети стали ключевым компонентом современной вычислительной техники.

Первыми лауреатами Нобелевских премий в 2024 году стали Виктор Эмброс и Гэри Равкун, которые получили награду в области медицины и физиологии за открытие микроРНК.

Нобелевская неделя продолжится 9 октября объявлением лауреатов премии по химии, 10 октября — по литературе, а 11 октября в Осло будет объявлен лауреат премии мира. 14 октября станет известно, кто получит премию по экономике памяти Альфреда Нобеля, учрежденную Банком Швеции в 1968 году.

Денежная часть премии составляет 11 миллионов шведских крон, что примерно эквивалентно 1 миллиону долларов США.

🔗 Ссылка

🤖 Новый визуальный гид по Mixture of Experts (MoE)!

Маартен Гроотендорст выпустил замечательное визуальное руководство по MoE — методу, который помогает улучшить качество и эффективность больших языковых моделей. В этом руководстве представлено более 50 иллюстраций, которые наглядно объясняют, как работает MoE и почему это важно для современных технологий искусственного интеллекта.

Что такое MoE?

MoE — это метод, использующий несколько компонентов, называемых "экспертами". Каждый эксперт обрабатывает различные виды информации, а специальный "роутер" решает, каких экспертов использовать для каждой части текста. Это помогает модели работать быстрее и использовать меньше ресурсов, так как активируется только нужная часть экспертов.

Эксперты не специализируются на конкретных областях, таких как "Психология" или "Биология". Вместо этого они анализируют определенные языковые шаблоны. Роутер выбирает подходящего эксперта для каждого кусочка текста, называемого "токеном". Токен — это, например, слово или его часть.

Если хотите узнать больше про MoE, обязательно посмотрите визуальное руководство Маартена Гроотендорста!

Визуальное руководство по Mixture of Experts (MoE)