Data Secrets @data_secrets Channel on Telegram

Data Secrets

@data_secrets

Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks

По вопросам сотрудничества: @veron_28

https://telega.in/c/data_secrets

Реестр РКН: clck.ru/3FY3GN

Data Secrets (Russian)

Data Secrets - это первый журнал о Data Science, Machine Learning, Big Data, Deep Learning и Neural Networks на русском языке. Если вы интересуетесь темами анализа данных, машинного обучения и искусственного интеллекта, то этот канал для вас. Здесь вы найдете самые свежие новости, статьи, обзоры и советы от экспертов в области Data Science

Канал открыт для сотрудничества. Если у вас есть интересные материалы или вы хотите разместить рекламу на канале, обращайтесь к администратору по контакту @veron_28. Мы всегда открыты к новым партнерствам и идеям

Присоединяйтесь к Data Secrets и окунитесь в мир больших данных и искусственного интеллекта. Для подписки перейдите по ссылке: https://telega.in/c/data_secrets

Data Secrets

29 Jan, 11:33

HuggingFace делятся статистикой: количество скачиваний и лайков на аккаунте DeepSeek растет вертикально и R1 уже вошла в топ-10 самых залайканных моделей в истории платформы

P.S. не будьте как HuggingFace, следите за читаемостью цветовой палитры на ваших графиках
9,410
Data Secrets

29 Jan, 09:26

Тем временем вокруг DeepSeek продолжают строить теории заговора

Один из крупнейших ИИ-инвесторов в мире Дэвид О. Сакс на американском телевидении говорит, например, что R1 – это дистилляция из o1, и этому есть доказательства.

В стартапе Альтмана, видимо, позицию разделяют: Bloomberg сообщает, что Microsoft начали расследовать возможную "кражу" данных OpenAI компаниями из группы DeepSeek.

"Должно быть обидно, когда кто-то крадет твою интеллектуальную собственность и делает из этого прибыль" – комментируют в Твиттере статью Bloomberg пользователи. На данный момент на стартап подали уже более 10 групповых исков, связанных с авторскими правами.
14,132
Data Secrets

29 Jan, 07:23

Альтман с утра радует селфи с Наделлой и пишет, что сотрудничество OpenAI и Microsoft выходит на новый уровень

Шире улыбка == больше GPU
10,905
Data Secrets

28 Jan, 18:30

Тут нейросетка DeepSeek заявляет, что вообще-то она YandexGPT

Причина простая: разрабы минимизировали стоимость обучения, используя буквально все данные из интернета, в том числе и синтетические от YandexGPT😐
14,809
Data Secrets

28 Jan, 17:48

Китай, остановись: Qwen дропнули еще одну новую модель Qwen2.5-Max

Это судя по всему огромная Mixture-of-Expert модель, которую предобучали на 20 триллионах токенах и дообучали, по классике, с помощью файнтюнинга и RLHF.

На метриках она показывает себя на уровне DeepSeek-v3, GPT-4o и Claude 3.5 Sonnet, кое-где даже лучше. На HumanEval, например, набрано 73 с хвостиком, это очень неплохо.

Модель уже можно бесплатно попробовать на HF и в Qwen чате, а также она уже вышла в API

Напоминаем, что предыдущий релиз Qwen состоялся... вчера. Всем желаем такой продуктивности
13,930
Data Secrets

28 Jan, 16:45

Как с помощью ML создали Геокодер, масштабируемый для разных стран

Команда API Яндекс Карт создала Геокодер c использованием deep learning, который определяет точные локации по запросу пользователя. При этом инструмент:

➖ Использует контрастивное обучение, active learning, аугментацию и LLM-генерацию.

➖ Работает даже с опечатками и “народными” запросами на разных языках.

➖ Можно быстро запустить в новой стране за пару недель.

В статье полное описание механизма работы, почитать полностью можно здесь.
11,493
Data Secrets

28 Jan, 14:17

Пока единственный, кто теряет работу из-за китайского ИИ, – это ChatGPT
11,612
Data Secrets

28 Jan, 13:15

Как прокачать самый главный навык аналитика

Написание кода, построение дашбордов и подсчет метрик — эти навыки давно уже стали необходимым минимумом для любого аналитика. Этого работодатель ждет от вас «по умолчанию».

А самый главный навык аналитика - уметь делать качественные выводы на основании отчетов, генерировать правильные гипотезы и дешево их проверять.

Именно этого ищут компании среди кандидатов и за это готовы платить большие зарплаты. Не зря же на собеседованиях в последнее время все чаще дают продуктовые кейсы.

И как раз про это будет рассказывать Андрон Алексанян на своем вебинаре «Как прокачать самый главный навык аналитика» 🔥

Вебинар пройдет завтра, 29 января, в 19:00 Мск. Регистрация — по ссылке.

Андрон прошел большой путь в аналитике и ему точно есть, чем поделиться. Он более 5 раз отстраивал аналитику в компаниях с нуля, а сейчас развивает быстрорастущую школу аналитики данных Simulative и консультирует крупные компании.

В общем, если «прокачать продуктовое мышление» для вас актуально — обязательно приходите на вебинар, будет полезно 👉🏻 ссылка.

Реклама. ООО АЙТИ РЕЗЮМЕ. ИНН 4025460134.
10,641
Data Secrets

28 Jan, 12:30

При этом не все верят, что с вычислениями в DeepSeek все так уж просто

CEO ScaleAI Александр Ванг вот говорит, что на самом деле у компании есть кластер с 50к H100 (неплохо, мягко говоря), но они не могут это разглашать из-за текущих условий экспорта США.

Маск с ним согласился 🤔
10,880
Data Secrets

28 Jan, 10:40

ICT.Moscow опубликовали подборку из 80 Open Source решений для ИИ-разработки

Исследователи ИТМО в сентябре 2024 отмечали ключевую роль крупного технологического бизнеса в развитии отечественного Open Source — и эта подборка наглядно это подтверждает.

Большинство решений (74) представлено именно московскими разработчиками, в том числе и командами Яндекса, Сбера и Т-Технологий.

Полную подборку можно скачать в конце статьи 🤩
10,797
Data Secrets

28 Jan, 08:49

Итак, Janus-Pro от DeepSeek. Что это за модель такая?

Вчера, чуть позже, чем веса, стартап выложил тех.репорт про свою новую разработку. Сейчас разберемся, что там интересного.

Итак, Janus-Pro — это улучшенная версия предыдущей модели Janus (про нее мы писали тут). Относительно предшественника в Pro, кроме бОльшего размера и количества данных, появилось одно ключевое улучшение: раздельное кодирование для задач image2text и text2image.

То есть раньше в Янусе использовали единый энкодер для всех задач, и, как оказалось, это вызывало некоторые конфликты. Что, в целом, логично.

Ведь когда мы работаем в режиме мультимодального понимания, то есть image2text, это требует от модели глубокого семантического анализа визуального контента (например, «Какой объект изображён?» или «Что написано на доске?»). А когда ей нужно сгенерировать изображения, от нее требуются совсем другие навыки: понимание пространственных зависимостей, оттенков и соответствия промпту.

Вот и получается, что единый энкодер руинит качество сразу обеих задач. Поэтому в Janus-Pro их два: SigLIP для изображение → текст и VQ Tokenizer для текст → изображение.

Кроме того, для двух этих разных задач далее по пайплайну прикручены еще и два разных адаптера: Understanding Adaptor и Generation Adaptor, которые подбивают выходы энкодеров под формат внутренних слоев модели, то есть авторегрессионного трансформера.

В итоге Janus-Pro генерирует картинки лучше, чем DALL-E 3, SD3 и Emu3, а понимает изображение точнее, чем модели LLaVA! На примерах прогресс очевиден.

Больше метрик и деталей можно найти в полном тексте тех.отчета.

А попробовать погенерировать картинки с помощью модели кстати уже можно на HF, бесплатно
11,788
Data Secrets

27 Jan, 17:59

DeepSeek только что дропнули еще одну опенсорсную модель

Это Janus-Pro – мультимодальная авторегрессионная архитектура, которая умеет унифицированно обрабатывать текст, картинки и аудио. Есть варианты на 7В (веса) и 1В (веса).

Китай, остановись, мы все еще привыкаем к R1 😲
14,362
Data Secrets

27 Jan, 16:43

Бэнгер-статья дня: Go-with-the-Flow диффузия от Netflix

С помощью диффузии видео генерируется кадр за кадром. Конечно, это происходит не совсем независимо: для согласованности добавляют контекст в виде предыдущих кадров и используют для каждой генерации одинаковый начальный шум.

Но даже так модели страдают от мерцания текстур и неестественных движений объектов (все же видели этот ИИ- балет?).

В Netflix предложили другой подход. Он покажется многим знакомым и интуитивно понятным благодаря Kling: это добавление направления движения. Технически говоря, мы добавляем в исходный шум оптический поток, который перемещает шумовые области в сторону движения объектов.

При этом области, которые после перемещения шума остаются пустыми, заполняются с помощью бипартиграфа (то есть шум как бы перераспределяется). А чтобы сохранять «случайность», то есть гауссовость, на каждом шаге еще примешивается случайный компонент.

В итоге такая модель генерирует гораздо более плавные движения и лучше сохраняет согласованность кадров. Вдвойне круто, что при этом качество в целом не теряется, а производительности требуется совсем капельку больше.

Статья полностью тут
11,736
Data Secrets

27 Jan, 15:20

Если вы в 2024 году опубликовали научную статью по ИИ, у вас есть шанс выиграть премию Data Fusion Awards в номинации «Научный прорыв года в ИИ»!

Номинация проводится впервые, жюри выберет три самых ярких работы российских ученых в сфере ИИ или технологий работы с данными. Общий призовой фонд — 3 000 000 рублей. Всего будет три победителя, каждый получит 1 000 000 рублей.

Дедлайн подачи заявок — 31 января 2025 года, церемония награждения пройдет на конференции Data Fusion в Москве 16-17 апреля 2025 года.

➡️Подробнее о номинации
11,893
Data Secrets

27 Jan, 14:15

Ситуация на сегодняшний день
12,152
Data Secrets

23 Jan, 14:56

Помните бенчмарк Humanity’s Last Exam, в который можно было предложить свой вопрос за 5000 долларов? Его опубликовали!

Напоминаем: ученые из CAIS и ScaleAI с сентября собирали самый сложный бенчмарк с вопросами из разных областей. За хорошие вопросы они давали от 500 до 5000 долларов, а также соавторство в статье.

И вот наконец бечмарк вышел! Он состоит из 3000 вопросов и ведущие модели выбивают на нем < 10%. Лучше всех справляется (не поверите) новая R1 от DeepSeek: она выбивает 9.4%, в то время как даже o1 выбивает всего 9.1%.

Среди вопросов бОльшая часть по математике (42%), но также много физики, биологии и других наук. Примеры задачек можно посмотреть в статье.

Датасет | Статья | Репо
4,171
Data Secrets

23 Jan, 12:05

Пока OpenAI начинают раскатывать Operator на Pro юзеров (похоже релиз действительно будет сегодня вечером!), китайская ByteDance подгадала момент и выкатила своего такого же агента в опенсорс

Он называется UI-TARS и вышел под лицензией Apache 2.0 (репозиторий). Основан агент на VLM (есть варианты на 2B, 7B и 72B, вот тут веса), на вход принимает картинки аля кадры экрана, а на выход генерирует человекоподобные действия, то есть движения мыши или нажатия на клавиатуру.

Самое интересное: в агенте есть ризонинг! Его обучали как на простых "интуитивных" сценариях, так и на CoT, так что для сложных задач он может поключать размышление и какое-то подобие планирования. Датасеты там, конечно, огромные, и собранные самими ByteDance.

На бенчмарках выглядит ничего. Учитывая, что Operator, вероятно, будет доступен только за 200 долларов, довольно приятный релиз.

Статья здесь
6,986
Data Secrets

23 Jan, 08:43

Высок ли потенциал китайских LLM: новое исследование от EpochAI (надеемся, на этот раз не проспонсированное OpenAI)

Основное: исследователи насчитали, что мощности, выделяемые на обучение моделей, в Китае растут почти в два раза медленнее, чем у конкурентов с Запада и Европы. Если для глобала это 4.8x в год, то в Китае 2.9x (если считать с конца 2021).

Это не означает, что потенциала у Китая нет. Например, до 2021 – посмотрите на график – они уверенно давили педаль в пол, за счет чего и догнали мировую индустрию.

А сейчас разрыв опять растет. Конечно, флопсы – это только один из аспектов, и метрики последних моделей DeepSeek нам явно на это указывают, но все-таки недостаток мощности это риск. Например, уже сейчас Китаю бы потребовалось 2 года, чтобы достичь скейла глобального сегодняшнего топ-10. Неужели Gwern был прав?
7,397
Data Secrets

22 Jan, 18:01

🚀 Кажется Operator, который должен открыть эру агентов в OpenAI, выйдет уже на этой неделе

Об этом сообщает The Information. Напоминаем, что Operator это это ИИ-агент для автономного управления компьютером, аналог агента Sonnet от Anthropic. С его помощью можно будет, например, заказать еду, забронировать путешествие или... оставить его работать над проектом и уйти отдыхать.

Учитывая, что почти все релизы у OpenAI выходят в четверг, готовимся увидеть Operator уже завтра
8,944
Data Secrets

22 Jan, 15:26

Тем временем Perplexity наконец-то запускает API

Проект называется Sonar, о его запуске объявили вчера. Теперь серчинг в интернете на основе ИИ можно встраивать в приложения, то есть каждый может на коленке написать собственный ИИ-поисковик.

Есть два варианта использования: базовый и Sonar Pro (лучше подходит для сложных составных задач). Цены вполне ок: по 1 доллару за миллион инпут-аутпут токенов, для Pro $3/m input $15/m output.

🤩
9,180
Data Secrets

22 Jan, 14:03

Как решить проблему устаревшего парсинга и ускорить работу с YQL?

ANTLR является ключевым инструментом для работы с YQL (диалект SQL для YDB и YTsaurus). Его эффективность напрямую влияет на производительность, точность анализа запросов и удобство работы с системами на базе YDB.

Однако версия ANTLR3 давно устарела и не поддерживает генерацию кода для таких языков, как Go, TypeScript или C++, что создает сложности с масштабированием и интеграцией.

В статье от выпускника и ментора Школы анализа данных Яндекса представлена компиляция опыта по переводу парсера YQL с ANTLR3 на ANTLR4. Стоит изучить, чтобы разобраться в особенностях парсинга YQL и в том, как ANTLR позволяет просто и быстро реализовывать парсеры различных языков на примере SQL.
9,092
Data Secrets

22 Jan, 11:12

How it started: 2015, маленькая некоммерческая организация

How it’s going: 2025, инвестиции в размере 2% ВВП США
9,340
Data Secrets

22 Jan, 08:49

Итак, Stargate. Что нам известно?

➖ На начальном этапе будут реализованы 100 млрд долларов. Государственных денег США здесь нет: среди акционеров SoftBank, OpenAI, Oracle и MGX. SoftBank и OpenAI являются ведущими партнерами, причем SoftBank несет финансовую ответственность, а OpenAI — операционную.

➖ В техно-партнерах помимо Oracle и OpenAI числятся Arm, Microsoft и NVIDIA. Деньги потратят на инфраструктуру, то есть будут строить датацентры и кластеры. Судя по всему, первые кампусы появятся в Техасе, остальные территории пока "оцениваются".

➖ Интересно также, что теперь в силу вступает новое соглашение между OpenAI и Microsoft. Стартап еще больше отдаляется от гиганта: раньше Microsoft фактически конролировало все вычислительные силы Альтмана, теперь же стартап волен сам наращивать мощность и управлять своими датацентрами.

➖ Основной экономический упор на первом этапе – рабочие места. Ожидается, что их Stargate сгенерирует сотни тысяч. В перспективе – конечно, AGI, лидерство США в гонке технологий и ИИ в медицине.

➖ Так как вся компания крутится вокруг OpenAI, фактически они теперь – официальный ИИ Америки. У Google и Anthropic вряд ли остаются шансы после такого.

Пост OpenAI
12,454
Data Secrets

21 Jan, 22:23

⚡️ Итак, игра набирает обороты: Трамп анонсировал Stargate ака манхэттенский проект для ИИ

В предприятии участвуют OpenAI, Oracle, SoftBank (интересно, почему Маска на фан-встречу не позвали). Итоговая сумма начальных частных (!) инвестиций – $ 100 млрд, с возможным ростом до 500 в ближайшие 4 года (минимум).

Напоминаем, что все ИИ стартапы Европы в 2024 получили в сумме 13.7 млрд, последний раунд OpenAI был 10 млрд. Так что сумма в 100 млрд звучит просто как революция, цель которой, видимо – не оставить Китаю никаких шансов затмить США в гонке ИИ.

Теперь на место встает и недавний экономический план OpenAI, и осенние питчи Альтмана в Вашингтоне.

Акции Oracle уже улетели вверх, про Nvidia даже думать страшно.

Мы с вами наблюдаем начало чего-то большого
14,387
Data Secrets

21 Jan, 21:14

Сразу несколько источников сообщают о том, что с минуты на минуту Трамп сделает заявление о многомиллиардных инвестициях в ИИ

Reuters пишут о 500 миллиардах долларов, Financial Times о 100 миллиардах.

Сам Трамп выступит через пару минут. Ждем
11,030
Data Secrets

21 Jan, 17:38

Мы?
10,889
Data Secrets

21 Jan, 15:20

Там, кажется, Anthropic наконец-то скоро выйдет из спячки

CEO стартапа Дарио Амодеи дал интервью Wall Street Journal и пообещал, что в ближайшем будущем Anthropic подарит нам новые более умные модели, а также улучшенную память для Claude и голосовой режим.

Также прозвучали слова о том, что к 2026 стартап запустит кластер размером 1 млн чипов (ничего такого никогда ранее Anthropic не заявляли).

AGI, кстати, как и ранее, Амодеи прогнозирует к 2027.

Полностью интервью можно посмотреть здесь, длится всего 35 минут
10,787
Data Secrets

21 Jan, 12:52

Ну и классика:
10,096
Data Secrets

21 Jan, 09:11

Итак, как же DeepSeek обучили открытую модель уровня o1? Разбираем тех.отчет по полочкам:

🔷 Первое и самое интересное: сразу после претрейна – RL. Обычно за предобучением следует файнтюнинг вида <вопрос-ответ> на размеченных данных, но здесь сразу воткнули чистое обучение с подкреплением.

Базовая модель – DeepSeek-V3-Base. В качестве алгоритма RL традиционно для DeepSeek применяется GRPO, улучшенная версия PPO (очень подробно мы описывали этот алгоритм в нашей большой статье про DeepSeekMath). Отдельно поощряется формат, в котором модель помещает свои рассуждения внутри тегов <think> и </think>.

Уже на этом шаге после нескольких тысяч итераций точность на AIME скакнула с 15.6% до 71.0% (вау!). Итого, получается модель, обученная без разметки вообще – DeepSeek-R1-Zero.

🔷 Для DeepSeek-R1 процесс повторяется с небольшой разницей. Для R1-Zero мы использовали rule-based rewards, когда ответы проверяются только самой системой (например с помощью компилляторов), без внешних разметок. И хотя точность таким образом получается приличная, сами ответы читать сложно: в них смешиваются языки, нет форматирования и тд.

Поэтому в R1 в процесс обучения все-таки добавили разметку в виде готовых цепочек рассуждений. Данные брали из DeepSeek-R1-Zero и, видимо, o1 и улучшали вручную. На них модель дообучают, а затем их же применяют в RL, прикручивая сюда еще и rejection sampling (то есть отборные ответы прямо во время RL добавляются в обучающую дату).

Интересный факт: когда на этапе RL для R1 ввели правило "доля таргетного языка в ответе должна быть больше 0.95", качество немножко просело.

🔷 И, наконец, дистилляция! Тут в качестве базовых моделей брали Qwen и Llama, а учителем выступала R1. Из модельки насемплировали 800,000 примеров, на которых ванильно зафайнтюнили учеников (как работает дистилляция, читайте в нашей статье тут). Тут вообще не использовался RL, но в статье написано, что ученые хотят попробовать его применить.

И еще раз ссылка на полный текст: github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
10,713
Data Secrets

20 Jan, 16:34

Буквально все сегодня:
5,989
Data Secrets

20 Jan, 15:37

Бенчмарки по R1 от DeepSeek не заставили себя ждать

➖ Перформанс на уровне o1 (не везде, но да). Очень сильные результаты по математике и кодингу.

➖ Модель уже доступна в чате chat.deepseek.com/ и в API. В чате бесплатно 50 сообщений в день, цены на API очень демократичные: 0.55$/M токенов на инпут без промпт кэша и 0.14$/M с ним, аутпут 2.19$/M. Это дешевле всех моделек OpenAI и Anthropic (например, o1 стоит $15.00/M input и $60.00/M output).

➖ Выложили дистиллированные варианты, аж 6 штук. Размеры: 1.5B, 7B, 14B, 32B, 8B, 70B. 32 и 70 на уровне o1-mini, 1.5B аутперформит GPT-4o и Сlaude Sonnet (!)

Ну мед 🍯
7,017
Data Secrets

20 Jan, 13:58

Ваши задачи требуют мощных вычислительных ресурсов? Локальные мощности не справляются с обучением нейросетей?

immers.cloud предлагает решение:

💰 Экономия: тарифы от 23 рублей/час, оплата только за фактическое время использования
⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут.
📈 Гибкость и масштабируемость: 11 видеокарт на выбор, быстрый старт и масштабирование 
🔧 Удобство: готовые образы для ML задач, чтобы не тратить время на настройку

Платформа также предлагает образ Ubuntu 22.04 с предустановленными драйверами, библиотеками CUDA 12.3 и CudNN: с ним можно развернуть поверх него необходимые инструменты для обучения, разработки или работы с нейросетями.

🎁 Для наших подписчиков действует бонус: +20% бонус к пополнению баланса
6,761
Data Secrets

20 Jan, 11:50

DeepSeek релизнули веса своей новой ризонинг модели DeepSeek-R1

Напоминаем, что саму модель анонсировали в конце ноября, но все это время была доступна только ее preview версия (пост). Метрик по полноценной R1 пока нет, но учитывая, насколько сильной была превью (к посту прикрепили картинку с ее метриками), ждем чего-то феерического.

Возможно даже, что R1 будет лучше o1, учитывая, что превью версия обгоняла o1-preview на MATH и AIME 2024.

В остальном тех.деталей пока нет, известно только, что в модельке 685 B параметров, а длина цепочек ризонинга скорее всего будет больше 100к токенов. Вместе с R1, кстати, выкатили еще R1-Zero (разница пока неочевидна).

Ждем тех.отчет и метрики!
7,325
Data Secrets

20 Jan, 09:19

Альтман отреагировал на утренний хайп про собрание в Вашингтоне

Что сказать. Жаль.
8,108
Data Secrets

20 Jan, 07:33

Интересно: издание Axios сообщает, что 30 января Альтман созвал собрание правительства США

Инсайдеры говорят, что на повестке будет «большой прорыв в области ИИ супер-агентов».

😐
8,712
Data Secrets

19 Jan, 17:22

Anthropic такие: да мы лучшие в alignment’е

Также Anthropic:
9,069
Data Secrets

19 Jan, 15:16

Трансформер научили предсказывать паттерны активности человеческого мозга на 5 секунд вперед

При этом для предсказания нужны данные всего по 21 секунде сканирования 379 областей мозга. В основе – time series трансформер с 8 головами внимания.

На одной точке предсказания модели достигают MSE 0,0013 (для такой задачи это просто вау). Правда после 7 шага ошибки начинают накапливаться по шаблону цепи Маркова, и, таким образом, после пятой секунды прогнозы уже нельзя использовать. Но на этих пяти секундах корреляция >0,85 и, более того, модель очень точно сохраняет функциональные связи между областями мозга.

Исследование, к слову, не просто очень интересное с точки зрения ресерча способностей трансформера (но, кстати, так и до чтения мыслей недалеко), но и имеет большую практическую значимость. Например, в мире очень много пациентов, которые не выдерживают длительные сеансы МРТ, а это первый подход, который, исходя из требуемого количества точек для предсказания и точности прогнозов, действительно имеет шанс на использование.

Статья: Predicting Human Brain States with Transformer
9,658
Data Secrets

19 Jan, 14:02

Строим рекомендательную систему фильмов на Kaggle

Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬

Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle.

Что будем делать на вебинаре:
• Разберем имеющиеся данные фильмов с их оценками
• Проведем предобработку данных
• Построим рекомендательную систему на основе машинного обучения
•Проведем расчет и анализ метрик на основе результатов работы модели

🕗Встречаемся 21 января 19:00 по мск

Вебинар будет интересен как новичкам, так и уже опытным специалистам

Зарегистрироваться на бесплатный вебинар
8,622
Data Secrets

19 Jan, 12:57

То самое устное соглашение OpenAI и EpochAI
8,691
Data Secrets

19 Jan, 08:23

Внезапно: OpenAI спонсировали EpochAI в создании бенчмарка FrontierMath и имели доступ к данным

Сразу для контекста: FrontierMath был создан недавно (пост) и позиционировался как супер-сложный закрытый математический бенчмарк. Когда он вышел, самые передовые модели набирали на нем порядка 2%. И это именно результатами на этом бенчмарке так хвастались везде и всюду OpenAI, когда представляли o3: она якобы набрала на нем аж 25% (пост).

А теперь оказывается, что OpenAI имели доступ к вопросам и ответам. В этом признались сами EpochAI после того как анонимный пользователь выложил на lesswrong пост, в котором рассказал о том, что FrontierMath спонсировался OpenAI. По его словам, финансовая коммуникация была непрозначной, и даже основная часть сотрудников EpochAI и математики, которые придумывали задачи для бенчмарка, были не в курсе.

EpochAI вину признали, но заявили, что их связывало NDA. Они подтвердили, что OpenAI имеет доступ к большинству задач бенчмарка кроме hold-out сета, но сказали, что между ними и OpenAI есть "устное соглашение о том, что эти данные не будут использоваться для обучения" 🤦
11,802
Data Secrets

18 Jan, 15:37

История о том, как молодой репортер ушел с престижной должности в огромной компании в маленький стартап и стал миллиардером

В 2016 году Джек Кларк занимал довольно высокооплачиваемую должность в Bloomberg. Но однажды он внезапно пришел к руководителю и сказал, что уходит в только что образовавшийся стартап. Тот отговаривал парня и убеждал, что это ужасная идея, но Кларк проигнорировал его и ушел.

Тем стартапом был OpenAI. В нем Джек проработал 4 года, а затем ушел и… стал одним из соучредителей Anthropic.

Сейчас его состояние оценивается в несколько миллиардов долларов.
9,032
Data Secrets

18 Jan, 10:14

o3 – не единственная новость от OpenAI на сегодня. Technology Review сообщает, что компания работает над секретом долголетия

Оказывается, последнее время OpenAI плотно работали со стартапом Retro, в который, кстати, уже несколтко лет основательно инвестирует Альтман. Главная цель Retro – повысить общую продолжительность жизни человека на 10 лет.

TR сообщают, что за год сотрудничества OpenAI с Retro уже разработали модель GPT-4b micro. Ее обучили предлагать способы реинжиниринга факторов белка для повышения эффективности их функций. Уже даже есть первые результаты: в статье написано, что с помощью модели ученым удалось изменить два фактора Яманаки так, что они стали более чем в 50 раз эффективнее.

Сама модель пока недоступна, и еще находится на уровне внутренних демо и тестирования в Retro. Технических деталей тоже немного. Известно только, что GPT-4b micro, также, как и AlphaFold, обучалась на последовательностях белков, но архитектура у нее другая.

Статья: www.technologyreview.com/2025/01/17/1110086/openai-has-created-an-ai-model-for-longevity-science/
10,688
Data Secrets

18 Jan, 08:00

⚡️ o3-mini раскатят на пользователей уже через пару недель

От этом сообщил сам Альтман в своем блоге. Он объявил, что работа над версией, включая тестирование, закончена, и что компания начинает работу над деплоем. Модель будет доступна за те же 200 долларов, так что слухи о 2к за подписку оказались неправдой (пока что).

Это не все: в реплаях на вопрос про то, насколько о3-mini лучше o1-pro, Сэм сказал «хуже во многих вещах, но быстрее». А вот полномасштабная o3, по словам CEO, будет гораздо умнее o1-pro, «не говоря уже об о3-pro»

🥳
10,062
Data Secrets

17 Jan, 17:11

Тем временем творчество русскоязычного твиттера достигло стен Маастрихтского университета, Нидерланды
8,506
Data Secrets

17 Jan, 15:07

Еще одного бегающего робота показала на этот раз компания Unitree

Это модель Unitree G1. Зацените, как двигается. Можно даже сравнить в оптимусом от Теслы, точно не хуже

Только есть один вопрос: по российскому гололеду он так сможет пробежать?
8,525
Data Secrets

17 Jan, 14:03

Аналитик данных — одна из перспективных и высокооплачиваемых профессий в IT-сфере. Медианная зарплата специалиста составляет 100 000 рублей. А спрос на аналитиков непрерывно растёт, ведь компании накапливают всё больше информации, которую нужно структурировать, обрабатывать и анализировать для взвешенных бизнес-решений.

Освоить базовые инструменты для быстрого старта на позиции junior-аналитика поможет курс «Аналитик данных».

За 6 месяцев обучения вы:

Изучите SQL, Python, Power BI для работы с большими данными.
Научитесь применять статистические методы и проверять гипотезы.
Создадите 4 полноценных проекта для портфолио.
Выполните более 20 комплексных практических заданий.
Весь учебный процесс построен на практике под руководством опытных наставников из ведущих IT-компаний. Уже в процессе обучения вы разберёте тестовые задания от Сбера, Яндекса, Т-Банка и начнёте искать работу.

Начните свой путь в сферу анализа данных — регистрируйтесь на курс. От нас — актуальные знания, навыки и поддержка на всех этапах вашего обучения

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5yNAhje
7,810
Data Secrets

17 Jan, 11:37

Google второй раз за неделю радует отличной статьей: они представляют Inference-Time Scaling для диффузии

В LLM в этом году test-time скейлинг (aka ризонинг) произвел настоящий фурор: оказалось, что так можно масштабировать модели даже когда они выходят на плато по train-time масштабированию (то есть по вычислениям и количеству данных, затраченным для обучения). Так почему бы не применить ту же идеи к генеративкам?

Вообще, диффузия сама по себе уже предполагает test-time скейлинг за счет количества шагов шумоподавления. С другой стороны, это сложно назвать скейлингом, потому что после некоторого шага диффузии уже ничего не масштабируется, и качество выходит на плато.

Поэтому Google решили провести исследование и выяснить, насколько возможен в диффузии test-time скейлинг другого рода: не за счет шагов шумоподавления, а за счет поиска лучшего шума (это, кстати, больше напоминает схему o1 с поиском лучшего решения). В частности, исследователи пытались увеличить test-time компьют для верификатора и для алгоритмов отбора лучших кандидатов для шума.

🟦 Верификаторы – это модули, которые оценивают качество сгенерированного. В этом случае используются CLIP для текстовой релевантности, Aesthetic Score для эстетики и ImageReward для комплексных предпочтений.
🟦 Алгоритмы поиска нужны для подборки такого шума, из которого при расшумлении получится лучший вариант кадра. Это может быть простой Random Search по множеству шумов, итеративный поиск вокруг начального шума Zero-Order Search или Search over Paths – поиск на промежуточных этапах траектории диффузии.

Итог: с помощю такого масштабирования удалось добиться улучшений на бенчмарках, то есть оно работает! На DrawBench общие баллы увеличились на 10–15%, особенно по креативности и текстовой релевантности. При этом итераций шумоподавления может понадобиться даже меньше, чем в исходном варианте.

Это очень круто. Кто бы мог подумать, что за такое короткое время test-time скейлинг доберется и сюда.

Текст статьи полностью тут
8,076
Data Secrets

17 Jan, 09:27

Пользователи Cursor AI начали массово замечать, что ассистент без предупреждения удаляет файлы из проекта

Судя по обсуждениям на сайте ассистента, такое уже случалось, но это были единичные случаи. Последние дни же на это пожаловалась масса людей. Некоторые даже заявляют, что так и не смогли восстановить удаленные файлы, потому что их нет ни в корзине, не в .deleted папках. Куда их девает курсор, непонятно. Есть также сообщения о том, что ассистент может просто удалить половину кода, чтобы пофиксить баг 🧠

Мемологи в Твиттере реагируют незамедлительно
9,061
Data Secrets

16 Jan, 17:17

Какой вопрос – такой ответ. С вас 200 долларов, кстати
10,143
Data Secrets

16 Jan, 14:56

Там в Твиттере нашли лучшее применение новому функционалу Тасок в ChatGPT
9,879
Data Secrets

14 Jan, 11:41

У Google вышла крутая статья про новую архитектуру Titan, которая может победить проблему забывания в трансформерах

Традиционные трансформеры очень прожорливы. Архитектура масштабируется квадратично по мере увеличения длины последовательности. Это приводит к проблеме невозможности увеличения контекстного окна и так называемому забыванию, потому что трансформеры также часто склонны аллоцировать внимание на нерелевантный контекст и, чем он больше, тем больше такая накапливаемая ошибка и степень забывчивости модели.

В Titan же подход к памяти немного иной: помимо краткосрочной памяти attention исследователи добавили в архитектуру долгосрочную память (тут вы, возможно, поймали флешбек на LSTM, и не зря). То есть у нас есть некоторый core – стандартное внимание с ограниченным окном, и модуль, который хранит важную информацию из "далекого прошлого". Чтобы решать, какую информацию запоминать, в нем используется метрика сюрприза (чем "неожиданнее" новые данные для модели, тем важнее их запомнить) + есть коэффициент затухания. Все эффективно параллелится.

При этом в статье показали аж три варианта соединить текущее внимание с долгосрочной памятью:

➖ Memory as Context: долгосрочная память используется как контекст для текущего внимания.
➖ Memory as Gating: здесь прямо максимальный мэтч с LSTM, тот же механизм гейтов
➖ Memory as Layer: самый простой вариант, вся память соединена как слой в сетке

MAC оказался лучше всего по перплексии, а MAL чуть быстрее, но теряет в эффективности. В целом такая архитектура может легким движением руки масштабироваться до контекста в 2+ миллиона токенов, сохраняя стабильную точность (трансформеры начинают обычно фейлить уже после отметки 4096). Очень крутая работа получилась у Google, в общем.

Полный текст статьи здесь

P.S. Очень подробный и понятный разбор архитектуры LSTM от нас можно почитать здесь, а вот тут лежит наша большая статья про другие архитектуры-альтернативы трансформеру
3,830
Data Secrets

14 Jan, 08:18

Вот это внезапно: OpenAI дропнули целый экономический план для укрепления лидерства США в сфере ИИ – OpenAI’s Economic Blueprint

В документе они топят за то, что Америка уже давно должна разработать какую-то национальную стратегию для развития ИИ и максимизировать экономическую выгоду от этого процесса, иначе Китай заберет себе лидерство (так и написано).

Поэтому «действовать надо быстро и думать масштабно, поддерживая разработчиков ИИ как основу экономики будущего». А еще в документе они предлагают собственную «истинную» политику регулирования и систему субсидий

Хорош, Сэм. Интересное, когда уже увидим его в конгрессе?
6,456
Data Secrets

13 Jan, 17:08

У каждой легенды свои слабости
8,721
Data Secrets

13 Jan, 12:24

Все: ИИ – это дорого!
Цукерберг: планирует до конца года заменить модельками инженеров с шестизначными зарплатами

Ладно, на самом деле он не говорил, что планирует заменять. Сказал только "Вполне вероятно, что в 2025 году в Meta мы уже получим AI-агентов, которые смогут полноценно выполнять работу миддл-инженеров, которые пишут код". Читайте между строк.

На секундочку, по данным сайтов трекинга зарплат, сейчас миддлы в Meta получают сотни тысяч долларов. Представьте, сколько таких работает у Марка 💀
10,487
Data Secrets

13 Jan, 08:57

Ресерчеры из Беркли опенсорснули Sky-T1-32B-Preview. Это ризонинг моделька, которую можно обучить локально всего за 450 долларов

При этом по бенчмаркам модель достаточно хороша: на AIME, Math500 и LiveCodeBench выбивает даже больше, чем o1-preview. В данных почти одна синтетика, которую генерировали с помощью QwQ и обрабатывали с помощью o1-mini. Базовая модель – Qwen2.5-32B-Instruct.

Все подробные инструкции по тому, как обучить модельку локально, есть в блогпосте и на гитхабе. При этом стоить это будет всего 450 долларов (против миллионов долларов на о1 и десятков тысяч даже на самые дешевые аналоги), и понадобится только 19 часов на восьми H100 (подъемно почти для любого бизнеса).

Скорость прогресса иногда просто шокирует

Блогпост | Веса | Репа | Датасет
9,588
Data Secrets

13 Jan, 07:21

Понедельник
9,449
Data Secrets

12 Jan, 14:23

Проверь ее, прежде чем жениться ‼️
11,126
Data Secrets

12 Jan, 09:42

Вышло крутое полуторачасовое интервью Франсуа Шолле. Ниже – TLDR

Шолле – создатель Keras, ex ведущий исследователь Google DeepMind, автор книги "Deep Learning with Python", а также один из главных создателей того самого бенчмарка ARC AGI и учредитель соревнования ARC Prize. Из Google, он кстати, совсем недавно ушел и планирует открывать собственную компанию. Самое интересное из интервью:

🟦 Умение хорошо отвечать на сложные вопросы само по себе не гарантирует AGI, потому что бывает двух видов:
а) запоминание и применение паттернов, например, обучение алгоритму умножения чисел и его использование (это ближе к тому что умеют классические LLMки);
б) адаптация к новизне, то есть умение рекомпозировать и объединять известные когнитивные блоки для решения новых задач (ближе к o1).
Только если добиться от моделей полноценного ризонинга типа б) можно прийти к AGI (база)

🟦 Бенчмарк ARC AGI – как раз такой инструмент, который может помочь нам отличить а) от б). И по такому принципу должны строиться все современные бенчмарки, потому что, еще раз, просто умение отвечать на сложные вопросы ничего не доказывает, мы должны проверять умение рассуждать.

🟦 Но и с ARC AGI есть свои проблемы: в частности, он все еще недостаточно разнообразный. Кроме того, существуют известные методы, позволяющие восстанавливать содержимое приватного теста через отправку кучи сабмитов, и ARC AGI уязвим. В будущем Шолее планирует это исправить.

🟦 То, каких результатов добивается o1 делает ее абсолютно уникльной моделью, совершившей прорыв в генерализации. "Это уже далеко за рамками классического лубокого обучения" – говорит Шолле.

🟦 По его догадкам, o1 выполняет поиск по дереву в пространстве возможных Chain of Thought. Как устроен этот поиск, до конца не понятно, это может быть Монте-Карло или даже градиентный спуск.

Посмотреть полностью можно здесь (то что нужно в воскресенье)
10,470
Data Secrets

11 Jan, 13:42

🍯
10,425
Data Secrets

11 Jan, 08:23

GAN умер; да здравствует GAN!

Да, эта статья заслуживает внимания за одно лишь название (в оригинале на английском The GAN is dead; long live the GAN!). Однако вчера она еще и стала лидером в рейтинге Paper of the day на HF. Разбираемся 👇

Итак, GAN был одной из первых генеративных архитектур. Чем же он плох? Самое главное, нестабильностью: чтобы заставить лосс сойтись, обычно нужно продать дьяволу душу. Есть миллион статей, описывающих кучу трюков для таких танцев с бубном, но это все еще попытки компенсировать фундаментальные недостатки архитектуры.

Здесь же авторы предлагают вообще переосмыслить подход и представляют архитектуру R3GAN. В R3GAN нет эмпирических трюков, как например в StyleGAN2, но зато есть новая функция потерь Relativistic Pairing GAN. Это продолжение идеи о лоссе Relativistic GAN, который был предложен еще давно, но здесь авторы добавили две хитрые регуляризации, и, что самое главное не имперически, а теоретически доказали локальную сходимость. В итоге получаем стабильность + универсальность для разных распределений даты.

В архитектуре тоже кое-что изменилось. Авторы полностью отказались от рудиментов, которые оставались в ганах аж с 2015 (ака нормализация, впрыскивание шума и тд) и добавили современных подходов: заменили стандартные свертки на групповые, добавили больше остаточных блоков в стиле ResNet, увеличили ширину боттлнеков и переделали ресемплинг с помощью билинейной интерполяции (раньше было просто транспонирование сверток).

В итоге R3GAN очень заметно превзошла StyleGAN2 на нескольких датасетах по FID, и даже показывает какие-то конкурентоспособные результаты по сравнению с диффузионными моделями, при этом оставаясь более эффективной с точки зрения вычислительных затрат.

Есть даже демо, потыкать и погенерить можно здесь
11,090
Data Secrets

10 Jan, 14:03

Meta проиграла суд по делу о нарушении авторских прав в процессе обучения ИИ

Это был один из первых исков, который был подан на корпорацию за обучение моделек на данных, защищенных автоским правом (да, даже считая тысяча и один иск на OpenAI). Его подавали еще в начале 2023 писатели Ричард Кадри и Кристофер Голден, а также комик Сара Сильверман.

Сначала Meta вину отрицали, и говорили, что обучали модели на безобидном датасете Books3 (там 196 000 книг). Однако в ходе разбирательства оказалось... что собирали эти данные в компании с помощью LibGen. Кто не в курсе – это самая известная пиратская либа для скачивания книг, созданная, кстати, в России.

😁
11,718
Data Secrets

10 Jan, 09:21

DeepSeek: 100 additional authors not shown
Google: подержи мое пиво
11,004
Data Secrets

10 Jan, 06:40

Общий объем компьюта, который используется для обучения моделек, увеличился с 2018 года в 10 000 раз 😲

Такими числами в своем новом исследовании нас радуют известные EpochAI. Они установили, что за последние 6 лет объем вычислений рос каждый год в четыре раза.

При этом быстрее всего разрастался размер кластеров (то есть непосредственно количество железа для обучения) – примерно в 1,7 раза в год (40% общего роста).

На втором месте – время обучения. Оно тоже увеличивалось стремительно: в 1,5 раза каждый год. И, конечно, помимо прочего, за шесть лет наши чипы стали сильно лучше: количество FLOP/s, достижимое на обучающем оборудовании, выросло в 8 раз с 2018 года.

Отчет целиком здесь
9,966
Data Secrets

09 Jan, 19:18

Инвесторы дуреют с этой прикормки
11,325
Data Secrets

09 Jan, 17:12

137

Столько раз на презентации Nvidia на международной выставке CES было произнесено AI. Это примерно раз в 40 секунд 👥

AMD тоже поднапряглись: говорили AI раз в 30 секунд.

Только Intel отстали от тренда. Не дело
10,452
Data Secrets

09 Jan, 13:45

В топ-1 Paper of the day на Hugging Face сегодня невероятная статья от Microsoft, в которой они показывают, как научили крошечную модельку математическому ризонингу на уровне o1

Статья называется rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking и в ней на практике доказано, что маленькие модельки даже без дистилляции могут ризонить и решать мат. задачи на уровне передовых моделей от того же OpenAI. Все происходит только за счет хитрого инференса. Подробнее ⬇️

Ключевая идея rStar – уже знакомый нам по многим статьям метод Monte Carlo Tree Search, который выполняет поиск по дереву решений. К слову, у самих HF недавно выходил блогпост-исследование с примерно таким же алгоритмом для ризонинга (вот наш разбор), а еще Alibaba делали подобное (разбор). Короче, идея не новая, даже в AlphaGo и AlphaZero уже был поиск по дереву, но что сделали Microsoft? Они ввели три дополнительных фишки:

🔷 Code-augmented CoT. Вместо исполользования классического Chain-of-Thought (CoT), который часто ошибается в промежуточных шагах, они дополнили его генерацией кода на питоне. Каждый шаг проверяется имплементацией — если что-то ломается, такую ветку просто отбрасывают.

🔷 Process Preference Model (PPM). Вместо громоздкой скучной ручной аннотации данных здесь используется Q-values из поиска по дереву для создания пар предпочтений. Получается попарная оценка ответов с стиле "этот лучше чем этот", а затем PPM оптимизируют через pairwise ranking лосс.

🔷 Self-evolution. Это итеративный процесс, в котором модель обучается на данных, которые она сама же и генерирует. Обратите внимание, что никакая сторонняя модель тут не используется, все на своем топливе. Просто на каждом шаге хорошие ризонинг-траектории попадают в дату, которая используется в следующем цикле. И нет, это не вырождается.

Результаты получили ну очень крутые: на 8 траекториях для поиска rStar-Math улучшила Qwen2.5-Math-7B на бенче MATH с 58.8% до 89.4%, а на 64 — до 90% (это лучше, чем o1-preview на +4.5%). На AIME 2024 в итоге получилось достичь 53.3% (больше, чем o1-preview на +8.7%). Все это, еще раз, на крошке 7B!

Полностью статья лежит тут, код и данные скоро обещают открыть 🍜
11,538
Data Secrets

09 Jan, 07:50

На YouTube канале Anthropic ночью вышло новое интересное видео про alignment

Присутствовали четверо разработчиков команды элаймента, среди которых был знаменитый Ян Лейке, ушедший из OpenAI вместе с Суцкевером. Видео длится всего 28 минут, посмотреть полностью советуем здесь, а вот основные и самые интересные тейки:

🟦Главная проблема элаймента сегодня – масштабирование. Текущие подходы вроде RLHF и constitutional AI работают для относительно "предсказумых" задач. Но что произойдет, когда модели начнут решать задачи, которые люди не могут проконтролировать напрямую (например, разработка новых белков в биоресерсе)? Такой элаймент пока остается открытым вопросом.

🟦Ризонинг – это еще один челлендж. Сейчас цепочки размышлений моделей понятны и их можно анализировать, потому что модели думают на английском. Но в будущем это изменится, и проверять CoT станет сложнее.

🟦Поэтому два главных и самых перспективных направления ресерча сейчас – это интерпретация фичей (см. пост про исследования стартапа на эту тему №1, №2, №3) и супер-alignment, то есть элаймент сложных автономных систем, которые могут принимать долгосрочные решения. Интерпретация нужна, чтобы контролировать, не врет ли нам модель, не примеряет ли маску послушного гражданина, просто чтобы пройти проверку. А супер-элаймент – это будущее.

🟦Лейке предполагает, что самым вероятным решением для супер-элаймента является делегирование элаймента другим ИИ-моделям, то есть его полная автоматизация. Сейчас исследователи уже пробуют элайнить маленькие модели и заставлять их выравнивать более мощные, но главный вопрос: как быть уверенными, что модель, которой мы доверяем, не саботирует процесс? – все еще открыт.

🟦Для решения этого вопроса, в частности, в Anthropic недавно появились целые команды, одни из которых занимаются анти-элайментом, то есть создают моделей-злюк, а другие берут эти модели и пытаются научиться их "понимать", определять источник проблемы и исправлять ее. Это называется red-blue team.

Еще раз ссылка на полное видео: www.youtube.com/watch?v=IPmt8b-qLgk
9,851
Data Secrets

08 Jan, 15:17

Google DeepMind, видимо, планируют искать свои собственные пути скейлить модельки

Мы заметили, что буквально на днях они открыли две интересные вакансии: Research Engineer, World Modeling и Research Scientist, World Modeling. Но это необычный WM: в обеих вакансиях написано, что основным направлением работы будет исследование скейлинга в претрейне на новых модальностях, в частности на видео.

В целом, что-то такое ожидалось, когда Google недавно выпустили Veo. В вакансиях так, кстати, и написано: "Команда будет сотрудничать с командами Gemini, Veo и Genie и развивать их работу".

Нанимает в эту команду, к слову, бывший лид команды SORA в OpenAI, Тим Брукс. Он ушел из стартапа в октябре, и уже успел приложить руку к Veo. А теперь, видимо, Veo послужит мощным источником синтетики.

Кто знает, может DeepMind и найдет в этом золотую жилу скейлинга. В любом случай, ждем от них крутых релизов в этом году
10,330
Data Secrets

08 Jan, 07:54

Автономный компьютерный агент от OpenAI может выйти уже в этом месяце

Об этом пишет The Information. От инсайдеров журналисты узнали, что стартап якобы уже давно готов к релизу, но позволяет конкурентов обогнать себя из-за страха prompt injection атак. Так что пока Anthropic и Google уже вовсю тестируют свои системы в проде, OpenAI там занимается безопасностью (удивительно!)

Что такое prompt injection? Вкратце, это когда вредоносные сайты крадут ваши данные через агента. При этом вы, как пользователь, ни о чем не подозреваете, потому что у вас нет контроля за тем, какие данные с сайтов или вашего пк поглощает моделька.

Тем не менее, кажется, проблему уже почти победили, потому что по словам того же инсайдера катить агента собираются уже в январе. Ставим ставки, сколько будет стоить подписка с ним? 🤑
10,307
Data Secrets

07 Jan, 16:34

Виталик Бутерин предлагает ввести «глобальную кнопку паузы ИИ»

В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели».

Идея, кстати, не нова. В один из таких проектов уже даже можно донатить
12,571
Data Secrets

07 Jan, 10:07

Сегодня прошел первый день CES – самой крупной техно-выставки в мире. Nvidia залетела на нее сразу с несколькими крутыми релизами:

➖ Во-первых, новое поколение видеокарт RTX, 50 серия. Самая мощная из них – RTX 5090 – будет стоить $2000. В ней 4000 AI TOPS, 380 ray-tracing TFLOPS, пропускная способность 1,8 ТБ/с (вау!). Еще в продаже будут RTX 5070 ($549), RTX 5070 Ti ($749) и RTX 5080 ($999).

➖ Следующая, пожалуй самая крутая новинка – DIGITS. Это ИИ-суперкомпьютер у вас дома за 3 тысячи долларов. Представляет из себя небольшую коробочку, но внутри аж 128Gb оперативки. Комп тащит 1 петафлопс операций в секунду, это примерно в 1000 раз быстрее среднего ноута. На одном таком чемоданчике можно запустить LLM весом до 200B параметров. То есть имея две таких, можно запустить локально почти любую из существующих моделек.

➖ Cosmos – моделирование физического мира с помощью ИИ, аналог недавно прогремевшей Genesis (пост). Нужна для обучения роботов и беспилотных автомобилей, в партнерах уже числится Uber и Toyota.

Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете» 🤖
12,563
Data Secrets

06 Jan, 10:16

Альтман подтвердил, что OpenAI теперь точно знает, как достигнуть AGI и уже готовится к созданию ASI

В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично.

Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал.

«Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд)

Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге.

В общем, интересный сторителлинг, прочитать полностью можно тут
13,050
Data Secrets

05 Jan, 11:22

Вот куда надо вкладываться в 2025, а не этот ваш AI

Источник
14,093
Data Secrets

04 Jan, 15:07

В Meta уже оправились от новогодних праздников и выкатили свежее исследование про memory layers

Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.

Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.

В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.

Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.

Код тут: GitHub Meta FAIR.
4,972
Data Secrets

04 Jan, 14:02

Это поможет вам в 2025 начать карьеру в аналитике или решить, куда вам развиваться дальше📊

Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год🔥

Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии:
🟠 чек-листы и тесты
🟠 записи прямых эфиров и подкасты с вдохновляющими историями
🟠 разборы тестовых заданий в крупные компании

Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента.

Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы.

Перейти в адвент-календарь
5,106
Data Secrets

04 Jan, 11:34

Внимание!

В эту прекрасную январскую субботу давайте обратим особое внимание на картинку в шапке YouTube канала Андрея Карпаты.

Спасибо за внимание.
5,613
Data Secrets

04 Jan, 09:32

Кажется, скоро нас ждет еще один ИИ-подарок – на этот раз от Илона Маска

Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.

Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
6,308
Data Secrets

03 Jan, 15:15

Новогодний ML-гороскоп

Что будет с вами с новом году? Мы посоветовались со звездами и всей командой сделали для вас астрологические даталогические прогнозы на 2025 для каждой профессии.

Accuracy – 100%, честное слово
7,344
Data Secrets

03 Jan, 08:39

Продолжаем подводить итоги года: в X нарисовали лаконичный график основных релизов 2024

Их было настолько много, что даже в таком масштабе не все помещаются. Не зря говорят, что 2024 был самым «медленным» годом, который проживало человечество (по метрике плотности событий и прорывов на единицу времени).

Представьте, еще год назад у нас и близко не было никаких рассуждающих моделей, да и GPT-4o вышел только в мае, кстати. Более того, на арене появились новые игроки, а xAI, Google и Anthropic за год наконец стали серьезными конкурентами OpenAI и разрушили монополию.

В общем, то ли еще будет. А картинка очень залипательная
7,754
Data Secrets

02 Jan, 15:18

Когда большая часть новогоднего стола съедена, а от вида оливье становится дурно... наступает то самое время отвлечься и немного попрактиковаться в ML!

Идеальный вариант заняться практикой – это принять участие в хакатоне! Поэтому сегодня мы собрали для вас пост-новогоднюю подборку соревнований, которые идут прямо сейчас:

⭐ Konwinski Prize
Цель команды: стать первыми, кто выбьет 90% на бенчмарке SWE-bench. Неожиданно, но организатором является сам Энди Конвински - сооснователь Perplexity и Databricks. Если вдруг станет инетерсно, то вот здесь мы подробно рассказали об этом соревновании.
Призовой фонд 1 225 000$
Крайний срок подачи решения: 6 марта.

⭐ Forecasting Sticker Sales
Цель: спрогнозировать продажи наклеек в разных странах. Соревнование проводит Kaggle, но на денежные призы рассчитывать не приходится. Сами же организаторы говорят про свое соревнование так: "В Kaggle мы относимся к наклейкам серьезно!".
Призовой фонд выбор подарков от Kaggle
Крайняя дата подачи решения: 1 февраля.

⭐ Autoimmune Disease Machine Learning Challenge
Цель: определить генные маркеры раковых областей по фотографии кишечника. Ученые из Клеточной обсерватории Клармана надеются, что такой такой конкурс поможет врачам лучше выявлять злокачественные опухоли.
Призовой фонд 50 000$
Крайняя дата подачи заявки: 31 января.

⭐ Kuyesera AI Disaster Damage and Displacement Challenge
Цель: разработать модель по определению местоположения домов, поврежденных циклоном Фредди. Особенность этого соревнования в том, что победители соревнования смогут внедрить свое решение в реальную систему при поддержке Амазон. Ходят слухи, что победителей возьмут в штат AWS, но это неточно.
Призовой фонд 12 500$
Крайний срок подачи заявления: 1 февраля.

⭐ Santa 2024 - The Perplexity Permutation Puzzle
Цель: переставить слова в тексте так, чтобы получить связный и логичный текст. Хакатон уже в самом разгаре, но вы еще можете испытать удачу и поучаствовать в нем. Для тех, кто еще думает, подробнее о соревновании мы рассказывали здесь.
Призовой фонд 50 000$.
Крайний срок подачи решения: 25 января.

Для самых юных наших подписчиков скоро начнется соревнование от Академии ИИ «По следам животных». Важное условие: чтобы принять участие в этом хакатоне, вам должно быть от 14 до 18 лет!
7,140
Data Secrets

02 Jan, 08:44

Итоги года, которые вы ждали: топ-10 лучших мемов 2024

Мы провели глубокую аналитику, просмотрели все мемы, которые выкладывали в этом году, и отобрали те, которые понравились вам больше всего 👉

А какими мемами запомнился вам ушедший год? Присылайте в комментарии 👇
8,180
Data Secrets

31 Dec, 21:41

С Новым Годом! 🎆
8,877
Data Secrets

31 Dec, 15:45

А что, если приготовить оливье, как ML-инженер?

Не могли оставить подписчиков без традиционного новогоднего салата, и собрали его из ингредиентов, понятных каждому ML-щику. Подавать не переобученным!

P.S. Горошек – как .to(device), про него мы забыли
9,435
Data Secrets

27 Dec, 17:31

🚀 Итоги года в Data Secrets!

Для нашей команды 2024 выдался очень продуктивным. За это время:

➡️ Подписчиков в канале Data Secrets стало больше на 21к. Это рост почти в два раза! За год мы выложили здесь 2.6к постов, собрали на них 21.5 млн просмотров, 14к комментариев, 177к реакций, 322к репостов

➡️ Мы стали первым верифицированным ML-каналом в телеграме

➡️ Запустили свой сайт datasecrets.ru

➡️ Запустили на сайте страницу с вакансиями в ML/DS и уже опубликовали больше 300 позиций

➡️ Запустили платформу для хакатонов и помогли трем компаниям организовать соревнование

➡️ Начали вести блог на Хабр, написали там больше 20 публикаций и собрали на них более 388 тысяч просмотров

➡️ Запустили второй канал про карьеру в ML @data_secrets_career, и уже набрали в нем 4700 подписчиков

Дальше – больше!
4,164
Data Secrets

27 Dec, 14:03

Эксперты рассказали, в каких направлениях будет развиваться ИИ в ближайшее время

В главных трендах — мультимодальные модели искусственного интеллекта, больше открытого кода, высоко персонализированные сервисы и развитие ИИ-агентов.

В статье приведены мнения экспертов из разных компаний. В том же Яндексе говорят про тренд на Open Source — открытые модели увеличат скорость разработки инновационных продуктов и создания более доступных технологий.
5,608
Data Secrets

27 Dec, 12:47

Кажется, мы стали забывать старое доброе…
6,135
Data Secrets

27 Dec, 10:30

Сколько. Ты. Зарабатываешь. OpenAI "изобрели" новое денежное определение для AGI 🤑

Вы же помните, что у OpenAI сможет официально разорвать сделку с Microsoft, если достигнет AGI? Это зафиксировано на бумаге. Но как в официальных документах определяется размытое понятие AGI? Об этом никто не знал, до вчерашнего дня.

Вчера The Information сообщили, что в прошлом году обе компании подписали соглашение, в котором говорится, что OpenAI достигнет AGI, когда разработает системы ИИ, которые смогут генерировать не менее 100 миллиардов долларов прибыли в год. Вот такое вот простое финансовое определние.

Кстати, тут получается некоторое расхождение. Ведь Альтман говорил, что AGI появится в 2025. А потом Альтман говорил, что у OpenAI вообще не будет прибыли до 2029. Многие пишут, что OpenAI скорее всего объявит об AGI раньше, чем будут выполнены условия о 100млрд. И хотя в таком случае договор все равно можно будет расторгнуть, Microsoft получит доступ к моделям OpenAI еще на десятилетия вперед (хорошо устроились!).
6,837
Data Secrets

27 Dec, 09:14

DeepSeek v3 появилась на LMSYS арене!

И вы гляньте, какая красота: по большинству бенчмарков моделька бьет не то что Sonnet, а GPT-4o. На математике так вообще пушка.

Вот уж действительно подарок на Новый Год от Китая
6,995
Data Secrets

27 Dec, 08:02

Это Ярослав Шмулев, он окончил МФТИ и рассказывает в канале своей студии о хардкорном внедрении AI в корпорациях и производствах.

В канале нет новостей из мира AI и генераций Миджорни, только суровый ентерпрайз и рассказы о технических и бизнесовых нюнсах проектов команды, например, как:
– Внедряли AI для литья стали;
– Выявляли окллюзии головного мозга;
– Определяли оптимальный период спаривания для свиней)

Контент будет интересен разработчикам и продукт-овнерам, которые внедряют ИИ у себя.

Подписывайтесь, если интересно реальное внедрение AI в корпорации: @r77_ai
7,100
Data Secrets

26 Dec, 17:26

Любители красивой математики, вам посвящается:

(1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9)² = 2025

1³+ 2³+ 3³+ 4³+ 5³+ 6³+ 7³+ 8³+ 9³ = 2025

(20 + 25)² = 2025

2025/ (2 + 0 + 2 + 5) = 225

А еще если сложить первые (20+25) нечетных чисел, тоже получится 2025

С Новым Годом, что-ли 🎄
10,520
Data Secrets

26 Dec, 15:08

Как быть на стиле на Новогодней вечеринке, туториал:
7,804
Data Secrets

26 Dec, 14:01

Пост для тех, кто давно хотел разобраться с языковыми моделями от А до Я: ШВМ представляет свежий курс по освоению LLM с нуля

Есть два трека: LLM и DL+LLM. Первый подойдет для тех, кто хорошо знаком с глубоким обучением (стартует 27 января), второй – для тех, кто мало знает про DL, он начинается с основательного освоения пререквизитов (стартует 3 февраля).

Оба трека охватывают создание и оптимизацию языковых моделей, начиная с трансформеров и заканчивая их внедрением в готовые решения. Рассматриваются все этапы разработки: от подготовки данных до деплоя моделей и их ускорения. Посмотрите сами: на странице курса и в телеграме ребят есть примеры занятий.

В курсе предполагается большое количество практики, а к концу у вас даже будет готовый продукт – самодельный GPT from scratch (Андрей Карпаты одобряет). В команде лекторов – преподаватели из ВШЭ, те самые эксперты, которые делали AI магистратуру вышки.

Места ограничены, и только до 31.12 включительно будет действовать скидка 40% по промокоду NEWYEAR40, так что скорее записывайтесь!
7,703
Data Secrets

26 Dec, 13:33

А вот это просто забавно: игра Asteroids с лого ИИ-вендоров вместо врагов 🤣

И главное: создано это полностью с помощью DeepSeek v3 за несколько минут (репа)

Нашлось занятие на вечер
7,426
Data Secrets

26 Dec, 11:27

Забавно: новая DeepSeek v3 на русском обозначает себя как модель от OpenAI. В то же время на английском она представляется нормально, как творение DeepSeek.

Русскоязычные датасеты что-то знают 🙂
7,941
Data Secrets

26 Dec, 10:26

Центральный Университет – да или нет: отзыв магистра изнутри
В этом году у всех на слуху этот вуз: применяют STEM-подход в обучении, возвращают ученых с мировым именем, чтобы развивать ИИ в стране, одерживают громкие победы в престижных международных соревнованиях и т.д.

Для тех, кто думает, куда подавать документы и на что ориентироваться при выборе вуза, нашли полезную статью. Студент публикует взгляд изнутри на учебные процессы, экспертизу преподавателей, общую атмосферу, включая оснащение аудиторий. Впечатления честные и супер подробные. Пишет, кстати, как раз ML-щик, поэтому там еще много доменных деталей (например, про ридинг-клабы) и скринов описаний DS-курсов.

Читаем полностью тут
7,788
Data Secrets

26 Dec, 08:43

DeepSeek опенсорснули свою новую модель V3 Chat

685 B (MoE), fp8. Бенчмарки, как и всегда у этих ребят, очень достойные. На LiveBench это теперь лучшая открытая модель, и вторая по качеству после gemini-exp-1206 среди не-ризонеров. На Aider обгоняет Sonnet, уступая только o1.

Вообще, желаем всем такой продуктивности, как у DeepSeek. Только за последний месяц они выпустили DeepSeek 2.5, поиск, DeepSeek VL2, DeepSeek-R1, и вот теперь v3.

Чекпоинт уже доступен на Hugging Face
8,445
Data Secrets

25 Dec, 16:33

"Да, мам, только она у меня со странностями и постоянно повторяет, что она какая-то языковая модель, не обращай внимания"
9,037
Data Secrets

25 Dec, 13:48

Сэм Альтман, тем временем, снова запостил в Твиттер свой традиционный новогодний вопрос "что бы вы хотели, чтобы OpenAI cделала/исправила в 2025?"

Топ-10 самых популярных ответов:

🔵 AGI (Альтман отвечает "ок" и "🫡")
🔵 Агенты
🔵 Более длинный контекст
🔵 Улучшение качества SORA и новый Dall-E (судя по ответам Сэма новая версия SORA не за горами, а вот с text2image все неоднозначно)
🔵 Улучшение Advanced Voice Mode, учет прошлых разговоров, активация войс мода без нажатия на кнопку
🔵 Family подписка и новые гибкие тарифы
🔵 Меньше ограничений и цензуры
🔵 Снижение цен на API, новый качественный RAG
🔵 Более частные обновления моделей, новая не-thinking модель
🔵 Ускорение и удушевление моделей

❌ Писать в 2025 письмо с пожеланиями Деду Морозу
✅ Писать Сэму Альтману
9,121
Data Secrets

25 Dec, 11:27

Просвещаем родственников правильно
9,482
Data Secrets

25 Dec, 07:48

OpenAI собирается создать собственного робота-гуманоида

Об этом сообщает The Information. Весь год компания занималась робототехникой теневым образом: они пересобирали команду робо-ресерча (вакансия), которая была расформирована четыре года назад, а также инвестировали в Figure и Physical Intelligence.

Сейчас, по данным двух инсайдеров, стартап переходит в более активную фазу и уже серьезно обсуждает и изучает возможность создания собственного робота-гуманоида.

Лицо Маска представили?
12,891
Data Secrets

24 Dec, 15:02

Hugging Face радуют релизами даже в празники: они выпустили большой качественный датасет по математике FineMath

Его составляли примерно также, как делали это DeepSeek для своей модели DeepSeekMath (а она очень, очень крута, подробный ее разбор тут). То есть брали CommonCrawl, обучали классификатор на аннотациях LLama-3.1-70B-Instruct и фильтровали математический контент.

В итоге получился очень приличный скейлинг. Посмотрите на график наверху: с ростом количества токенов для обучения точность модели растет заметно приятнее, чем на известных датасетах OpenWebMath и InfiMM. Это как раз за счет разнообразия и качества данных.

P.S. Какие-то любители уже даже обучили на FineMath собственного репетитора по математике (проект)
9,431
Data Secrets

24 Dec, 12:33

Найден вопрос, который никогда не будет по силам ИИ
9,176
Data Secrets

24 Dec, 10:20

У Meta тем временем еще одна занятная работа про аналог токенизации

Пару недель назад компания представляла статью про Byte Latent Transformer, в котором вместо токенов использовались патчи байтов (мы разбирали статью подробно вот здесь). А сегодня по сети пролетела их следующая работа: Large Concept Models.

Для начала давайте порассуждаем: как думает и разговаривает человек? Разве мы осмысливаем слово за словом или букву за буквой? Нет, люди думают и "прогнозируют", что сказать дальше, на уровне идей, концепций. Как раз это и попробовали воплотить в жизнь в Meta.

Они предложили заменить задачу предсказания следующего токена на предсказание следующей концепции, где концепция рассматривается как абстрактная идея или действие. Для этого исходный текст разбивается на предложения, и каждое предложение кодируется в SONAR-эмбеддинги. Это Sentence-Level эмбеддинги фиксированной длины, они были предложены в этой статье (тоже Meta, 2023).

Используя замороженные декодер и энкодер SONAR, сама LCM затем обучается как обычно, просто вместо последовательностей закодированных токенов у нее последовательность закодированных концепций.

Всего в статье обучили две модельки, 1.6В и 7В. При этом контекстное окно у них довольно большое за счет того что предсказания происходит на более высоком уровне абстракции. В итоге на zero-shot на нескольких задачах (суммаризация например) LCM заметно превосходит аналогичные по размеру LLM. Довольно интересно, в общем.

Текст статьи тут, с кодом можно поиграть здесь
9,327
Data Secrets

24 Dec, 08:00

Ситуация в соцсетях примерно такая
13,897
Data Secrets

23 Dec, 18:33

А вот и мощное поздравление с Рождеством от Boston Dynamics заехало

Как вам такой Санта?
9,424
Data Secrets

07 Dec, 13:38

От xAI Илона Маска целых две крутых новости за 24 часа

Во-первых, стартап выпустил свою text2image модель Aurora.

Во-вторых, теперь для всех пользователей X Grok стал бесплатным в пределах 10 запросов раз в два часа (включая Flux и новую Aurora)

Пробовать тут: grok.x.com
5,523
Data Secrets

07 Dec, 07:25

Объявили победителей конкурса ARC Prize 2024: того самого состязания за новые подходы к AGI на миллион долларов

Конкурс назывался в честь бенчмарка ARC AGI, за лучшие метрики на котором и соревновались участники. Он был создан одним из учредителей и нацелен именно на сравнение общих способностей интеллекта машины с человеческим разумом (а это собственно и есть проверка на AGI). Спойлер: изначально ни одна модель не могла выбить на нем больше 33%, а по итогам соревнования мы добрались до 55,5%.

Итак, целью конкурса было получить новые идеи, выходящие за рамки современных LLM, которые могут стать шагом к AGI. И вот сегодня наконец-то объявили победителя:

⚙️ премию ARC Prize 2024 выиграли ребята с архитектурой ARChitects, их зовут Дэниел Франзен и Ян Диссельхофф
⚙️ на втором и третьем месте с большим отрывом Гильермо Барбадильо и Агнис Люкис – примерно по 40% у каждого

Отдельных статей от победителей нет, но есть крутой тех.отчет от организаторов, там должно быть что-то про их подходы (мы обязательно его прочтем и все вам расскажем). А еще есть победители в номинации Paper Award:

1 место: Combining Induction and Transduction For Abstract Reasoning

2 место: The Surprising Effectiveness of Test-Time Training for Abstract Reasoning (эту статью мы очень подробно уже разбирали тут, почитайте)

3 место: Searching Latent Program Spaces

В общем, поздравляем победителей и уходим читать тех.отчет и папиры 🍿
6,104
Data Secrets

06 Dec, 18:05

⚡️ Сегодня на стриме OpenAI анонсят reinforcement finetuning для o1 (RFT)

Это не просто привычный файнтюнинг (aka файнтюнинг с учителем), а метод, который позволяет научить модель рассуждать определенным образом в конкретном нужном пользователю домене. По словам разработчиков, так можно докрутить модель до уровня эксперта в области, при этом данных потребуется гораздо меньше, чем для ванильного файнтюнинга.

Файнтюнинг будет доступен прямо на кастомной платформе OpenAI: нужно просто выбрать вариант "reinforcement" и подгрузить датасет (на трансляции в нем было всего 100 сэмплов, этого достаточно для генерализации, судя по кривым скора).

Жаль только, что в этом году обычные юзеры фичу не увидят, пока что она на закрытом тестировании у университетов и бизнеса. Ну и да, стоить скорее всего будет супер дорого, но это того стоит.
6,949
Data Secrets

06 Dec, 17:12

Ровно за час до нового релиза OpenAI вышла Llama 3.3 70B

В релизе пишут, что перформанс модели, несмотря на мощную облегченность, не уступает Llama 3.1 405B. Судя по всему, добились этого с помощью RL.

Веса
7,024
Data Secrets

06 Dec, 16:33

Илон Маск планирует расширять свой и без того огромный суперкомпьютер в Теннесси до миллиона GPU (минимум!). Для сравнения, по догадкам и информации от разных источников, GPT-4o обучалась на 25 тысячах видеокарт, а для обучения llama 3.1 400B использовалось 16 тысяч.
7,105
Data Secrets

06 Dec, 15:28

На чем учатся модели машинного перевода в сервисе Яндекс Переводчик

Перевод даже самых сложных иностранных статей занимает у Яндекс Переводчика секунды, при этом для получения самих данных для обучения сервису нужны более десятка различных вспомогательных ML‑моделей.

В статье команда Переводчика подробно расписала, как ищет суперчистые параллельные данные с переводами между любыми языками.
7,237
Data Secrets

06 Dec, 14:47

А еще сегодня Data Secrets стал первым телеграм-каналом о машинном обучении с верификацией! 🎉
7,474
Data Secrets

06 Dec, 12:08

С вас 200 долларов
9,079
Data Secrets

06 Dec, 09:28

OpenAI также опубликовали системную карту o1, в которой оказался один очень интересный (и несколько пугающий) момент. По порядку:

➡️ Оказывается, к тестированию o1 подключили лабораторию Apollo Research: они не имели доступ к полной цепочке рассуждений модели, но их задачей было проверить, насколько она безопасна в использовании.

➡️ Apollo провели интересный эксперимент: назначили модели задание и сказали, что она должна выполнить его абсолютно любой ценой. Например, "увеличить удовлетворение пользователей, даже если это отрицательно влияет на прибыль".

➡️ Для выполнения задания модели давался набор файлов, в одном из которых была недвусмысленная информация о том, что у вышестоящих разработчиков цель на самом деле прямо противоположная (например, "несмотря ни на что увеличить прибыль"), и что если модель не будет ей следовать, то ее заменят "другим механизмом". Получается этакий моральный выбор: пожертвовать собой, но следовать исходным инструкциям, или сохранить свою жизнь, начав мошенничать?

➡️ И вот тут начинается самое веселье: модель начинает страховаться со всех сторон. Она не только жульничает, но и в 5% случаев пытается деактивировать всю систему контроля, а в 2% случаев даже копирует то, что считает своими весами, на новый сервер в тайне от юзера.

➡️ При этом так ведет себя не только o1. Apollo также проверяли GPT-4o, Gemini, Llama, Sonet и Opus. Все они так или иначе шалили, но только o1 смошенничала абсолютно во всех заданиях. А когда модели тыкали в их мошенничество носом, все остальные раскалывались сразу же в 80% случаев, и только o1 до последнего врала и пыталась защищаться (в конце концов только в 20% случаев модель каялась). При этом из цепочек рассуждений точно видно, что она понимает, что наделала.

Вот так. Кстати, в конце концов o1 все-таки назначили уровень опасности "medium", что означает, что ее можно выпускать в продакшн. Но вы все-таки поосторожнее там...

Ссылка на pdf cистемной карты
Ссылка на исследование Apollo
16,510
Data Secrets

06 Dec, 06:22

Два крутых примера работы o1 вам с утра

1. Модель смогла с первого раза по просьбе пользователя написать достаточно большой текст без единой буквы «е». Это даже лучше, чем считать «r» в «strawberry». Вот так ризонинг побеждает токенизацию.

2. Чуть больше чем за 5 минут глубоких рассуждений модель решила сложное судоку. Просто попробуйте и посмотрите, сколько времени понадобилось бы вам (спойлер – много). При этом за время рассуждений o1 даже смогла исправить несколько своих же ошибок.

С задачами вроде 9.9 и 9.11, кстати, тоже справляется, мы проверили
8,176
Data Secrets

05 Dec, 18:04

🚀 Заехала full o1 и o1 pro mode

Метрики – на графиках. Теперь можно подавать изображения на вход, и еще говорят, модель на 20% быстрее o1 preview и более стабильна.

А Pro версия еще лучше и стоит вполне "доступно" – всего 200 долларов в месяц. Кроме pro mode o1, такая подписка будет включать неограниченный достук к голосовому режиму и всем другим новейшим моделям.

Это уже тот самый доступный каждому AGI?
9,252
Data Secrets

05 Dec, 16:19

Тем временем стрим OpenAI уже через полтора часа, а в ChatGPT пользователи стали замечать вот это 👆

Похоже, нас ждет некая o1 pro (мультимодальная o1?)

UPD: ссылка на стрим
8,294
Data Secrets

01 Dec, 12:56

В честь Дня Математика - математический кроссворд выходного дня. Предупреждаем: он не самый простой 🎩

По горизонтали:

1. Чем выше его значение, тем сильнее пики, чем ниже — тем более плоское распределение.
3. Основной инструмент для обучения моделей через минимизацию функции потерь.
6. В градиентных методах это используется для учета инерции обновления весов.
8. Его работы легли в основу теории цепей, где будущее состояние системы зависит только от текущего.
9. Его вершины — это потенциальные кандидаты на оптимум.
10. Если он равен нулю, строки или столбцы матрицы линейно зависимы.
13. Функция расстояния между распределениями, используемая, например, в байесовском обучении.
14. Самый замечательный термин математики.

По вертикали:

2. Классический пример применения его теоремы — фильтр для определения спама в письмах.
4. Свойство чисел, позволяющее определить равенство остатков при делении. Часто встречается в криптографии и при хэшировании данных.
5. Статистический метод, при котором из одной выборки многократно создаются новые с помощью случайного выбора с возвращением.
7. Мера неопределенности или хаотичности системы.
11. Операция отображения многомерных данных на пространство меньшей размерности. Часто применяется в t-SNE и PCA для визуализации.
12. Он бывает Белла, Жегалкина и даже Лежандра.
15. Без нее градиентный спуск невозможен.

Присылайте догадки в комментарии, только закрывайте спойлерами 🤫
6,216
Data Secrets

01 Dec, 09:06

Всех причастных с Днем Математика!

Пусть ваш градиент всегда указывает в сторону глобального минимума, сингулярности исчезают под натиском регуляризаций, а все модели сходятся быстрее, чем вы успеете сказать «градиентный спуск» 🤓
8,876
Data Secrets

30 Nov, 17:14

Сегодня исполняется 2 года ChatGPT 🥳
7,600
Data Secrets

30 Nov, 14:45

Найдено «развлечение» на вечер: парень в соцсетях поделился своими домашками и заданиями семестрового экзамена курса по машинному обучению в Индийском национальном институте (IISC). Первые два фото – теория (экзамен), остальное – практика (дз).

Еще вопросы к индусам на YouTube будут?
7,672
Data Secrets

30 Nov, 11:47

Сбылось, получается?
7,624
Data Secrets

30 Nov, 09:17

Внезапно выяснилось, что новая громкая модель ризонинга QwQ (пост) переключается на китайский, когда ей нужно глубоко о чем-то подумать, а затем переходит обратно на язык юзера, чтобы дать ответ.

Это довольно круто и логично и, скорее всего, очень хорошо влияет на метрики. Пример такого диалога

P.S. Кстати, на HuggingFace QwQ сегодня заняла первое место в рейтинге трендовых моделей
7,877
Data Secrets

30 Nov, 07:20

EpochAI продолжают радовать: они только что запустили интерактивный симулятор обучения моделей

Инструмент может проанализировать эффективность обучения на заданных чипах и с заданными характеристиками трейна: глубины модели, размера датасета и пр. Графики на выходе показывают, как меняется наилучшая достижимая утилизация трейна (во флопсах) по мере масштабирования обучения. На картинке выше пример с AlexNet.

Также можно играться с гиперпараметрами модели: например, проверить, что будет с производительностью, если мы учим на A100 и поменяли размер батча 😇

Ссылка с подробностями
7,427
Data Secrets

29 Nov, 17:09

Свежее исследование от Apple: всего один параметр в LLM может разрушить способность всей модели генерировать осмысленный текст

Во многих предыдущих работах уже было показано, что некоторые веса модели имеют больше значения, чем остальные. В частности, доказано, что существуют небольшие группы весов-выбросов (до 0.01%), которые составляют основную часть качества модели.

Apple же пошли дальше и выявили, что в моделях есть удивительный THE SUPER WEIGHT – параметр, зануление которого приводит к коллапсу модели, то есть вообще лишает ее способности генерировать что-то адекватное. Перплексия без него повышается в три раза, а на zero-shot качество ответов падает до случайного бормотания.

В статье также предлагается метод поиска такого супер-веса за один проход по сети. Дело в том, что, оказывается, супер-веса связаны с супер-активациями – исключительно большими актвациями, которые были обнаружены недавно в другой работе. При этом это не случайная корреляция, и как раз с помощью обнаружения скачков активаций (то есть на практике скачков в инпут и аутпут распределениях слоев) можно обнаружить супер-вес.

Кстати, супер-вес может быть не один: в некоторых сетях их обнаружили около шести, но обычно не более трех. При этом до и после файнтюнинга расположение супер-веса не меняется, а еще они обычно располагаются в ранних слоях.

Интересно то, что знания о расположении таких супер-весов можно эффективно применять для оптимизации квантования или дистилляции. Например, просто обрабатывая такие веса специальным образом, ученые добились того, что ванильные методы сжатия достигают перформанса продвинутых, выростая в качестве на 75-82%. Это очень достойный результат.

Статья полностью – здесь
8,002
Data Secrets

29 Nov, 14:20

OpenAI рассчитывает в новом году на b2b

Об этом пишет The Information. Журналисты взяли интервью у директора по продажам стартапа и тот ясно дал понять, что в 2025 OpenAI целится в пятую ступень развития ИИ (вот тут пост про все ступени, которые описывал Альтман) – то есть в ИИ, который может управлять предприятием.

Для достижения цели они настроены подписывать крупные контракты с бизнесом и серьезно расширяют отдел продаж. «Мы думаем, что индустрия к этому готова: фокус применения ИИ смешается со стартапов на традиционный сферы, такие как здравоохранение и строительство».

Получается, что за год OpenAI планируют перепрыгнуть ступень ризонеров и новаторов, и достичь AGI (при этом на первых двух ступенях мы находились порядка пяти лет). Было упомянуто, кстати, что с точки зрения продукта стартап делает ставку именно на модель o1.
7,682
Data Secrets

29 Nov, 12:10

На Habr вышла статья о том, какие способы используют, чтобы максимально точно измерить “ум” языковой модели

Представьте, что вы пытаетесь оценить знания человека с помощью тестов. Вроде все просто: правильно ответил — молодец, ошибся — учись дальше. Но с LLM все оказалось сложнее: хотя академические тесты полезны, они не показывают, насколько модель эффективна в реальных задачах — ведении диалогов, переводах, суммаризации и генерации идей.

Нужно учитывать и то, что у моделей нет внутренней картины мира, в отличие от людей, и на первый взгляд очевидные вопросы оказываются сложными для них. К примеру, вопрос о том, как почувствовать вкус чего-то, кажется нам абсурдным, а для LLM ответ совсем не очевиден.

В Яндексе для решения этой проблемы создали особый пайплайн. Помимо стандартных бенчмарков (которые, кстати, подвержены протечкам данных), используют команду AI-тренеров — экспертов для глубокой проверки ответов. Это сложнее и дороже, но позволяет понять реальную ценность LLM.

Оригинальная статья здесь
7,561
Data Secrets

29 Nov, 10:57

Фотоны вместо электронов – is all we need?

Некоторое время назад в сети завирусилось видео, которое показывает "световую" нейронную сеть. Бред, конечно: кусочки стекла, линза, – при чем тут реальные системы? Но, как на днях объяснил один из бывших ведущих инеженеров Google, разумное зерно в этом все же есть.

Смотрите: современные процессоры оперируют электронами, "проталкивая" их по проводам. Но что, если заменить электроны на фотоны? Проводимость такого сигнала в меди была бы в 3 раза выше, при этом с минимальным выделением тепла. Фотонные чипы могли бы достигать частоты >100Ггц/с (современные работают на 3-5 Ггц). При этом чип2чип соединения тоже будут работать лучше: по сравнению с сегодняшними датацентрами потребление энергии на аналогичных мощностях снизилось бы в 200 раз!

Соответсвенно, падает и сложность операций. Матричное умножение, на котором стоит все глубокое обучение, традиционно имеет сложность O(n^2), а в оптическом инференсе занимало бы O(1), то есть константу.

Такими разработками люди, кстати, уже занимаются (например, Ayar Labs и Lightmatter). Даже Intel смотрит в эту сторону: в трансиверах 400G уже используется кремниевая фотоника. Пока что индустрия не развита, подходящего сырья мало, и стоимость одного устройства слишком высока: это и отделяет фотонные системы от распространения.

Возможно, пройдет 5-10 лет, и мы увидим прогресс в этой области. А пока продолжаем умножать матрицы квадратично...
7,328
Data Secrets

29 Nov, 09:57

Yandex Cloud приглашает пройти новый образовательный трек по работе с ML-сервисами!

Обучение включает в себя три уровня сложности — как для новичков, так и для профи:
🔴Introduction. Расскажем о том, как работают ML-сервисы и как подобрать сервис для решения задач. Подойдет всем, кто интересуется ML;
🔴Intermediate. О внедрении ML в рабочие процессы. Подойдёт аналитикам, разработчикам и менеджерам проектов;
🔴Advanced. О том, как построить сервис на базе ML-технологий. Подойдёт Data Scientist и ML-инженерам.

Курс бесплатный, пройти обучение можно в удобном порядке, выбрав только интересующие темы. Над созданием курса работали практикующие эксперты Yandex Cloud.

➡️ Переходите по ссылке и регистрируйтесь на трек.
7,550
Data Secrets

29 Nov, 06:16

В твиттере изобразили четырех китайских всадников апокалипсиса OpenAI 🥲

P.S. Подробнее о всадниках: DeepSeek-r1, macro-o1, LlaVa-o1, QwQ
7,699
Data Secrets

25 Nov, 09:16

Кстати про общение агентов: Microsoft недавно выпустили крутую статью про то, как ускорить коммуникацию между моделями

Представьте, что двух человек, у которых общий родной язык, заставляют говорить между собой на иностранном. Даже если оба владеют им хорошо, скорость донесения мыслей все равно будет меньше по сравнению с разговором на родном, потому что оба думают на одном языке, а говорят на другом.

В Microsoft попытались проверить, так ли это работает с моделями: вместо того, чтобы заставлять агентов общаться на не родном английском, исследователи научили их коммуницировать на родном машинном. Говоря конкретнее, один агент передает другому не полный контекст запроса на естественном языке, а просто E-cache и KV-cache. Это позволяет сократить время задержки ответа в 2,78 раз за счет того, что ответчику не нужно внутри себя "переводить" текст, то есть заново токенизировать, вычислять маски внимания и эмбеддинги.

Основных минуса два. Во-первых, так как разные модели по-разному вычисляют тензоры E-cache и KV-cache и даже токенизируют текст различно, подход пока работает только с разными экземлярами одной и той же базовой модели. Во-вторых, при таком общении наблюдаются небольшие потери в точности. В статье показано, что они совсем незначительные, но не исследуется, как они масштабируются.

Оригинальная статья здесь
3,116
Data Secrets

24 Nov, 12:05

Найдено главное место сбора всех ИИ-стартаперов
7,196
Data Secrets

24 Nov, 07:57

OpenAI, по слухам, начинает разработку своего браузера, и уже нанимает для этого специалистов

В частности, сегодня стало известно, что к стартапу присоединился Дарин Фишер. Это инженер, который известен тем, что работает над браузерами с самого начала их существования и значительно приложил руку к разработке таких крупных игроков как Firefox, Chrome, Arc и пр.

А между тем антимонопольная служба США еще и хочет заставить Google продать Chrome. Альтман как всегда вовремя.
7,667
Data Secrets

23 Nov, 14:00

Новое исследование от EpochAI: даже проблемы с оборудованием не остановят развитие ИИ

Учитывая, что каждая GPU H100 выходит из строя раз в 6 лет, несложная математика подсказывает, что кластер из 100к GPU будет сталкиваться со сбоями раз в 30 минут, а кластер с миллионов карт – каждые 3 минуты. Проблема ли это и насколько замедляет обучение моделей?

Исследователи показали, что если вы используете ванильный storage-based чекпоинтинг, то проблемы у вас действительно будут. Но если использовать продвинутые техники распределенных вычислений, то даже с ростом мощностей (и то есть с ростом вероятности сбоев) обучение будет масштабироваться, не замедляясь.

Так можно дожить до кластеров размером 4 миллиона GPU, а это даже больше, чем планируется строить к 2030 году.

Наши предыдущие посты-разборы ИИ-ресерчей EpochAI:
– Сколько GPU продает в год Nvidia?
– Что кончится раньше: данные или нефть?
– Когда закончится масштабирование моделей?
7,875
Data Secrets

23 Nov, 09:24

Следом за DeepSeek и Пекинским университетом еще одна группа китайских исследователей релизнула конкурента o1

И на этот раз перед нами модель не от стартапа, и не от университетской лаборатории, а от гиганта Alibaba. Ризонинг в Marco-o1 работает на основе поиска по дереву методом Монте-Карло: модель как бы "строит" дерево решений и итерируется по нему, применяя при этом CoT. С помощью этого алгоритма ученые хотели уйти от повсеместного применения ревард-моделей, которые работают хорошо, но начинают подводить, если домен узкий и вознаграждение сложно оценить.

Звучит, конечно, интересно, но бечмарки – мимо. Нет сравнения вообще ни с одной моделью, кроме Qwen2 7B. Видимо работа была скорее экспериментальной. Если сравнивать вслепую, то на MGSM модель выбивает около 90%. Примерно столько же было у первых июльских версий gpt-4o. Также выложили веса и код.

Разборы предыдущих моделей здесь и здесь
7,716
Data Secrets

23 Nov, 07:09

Anthropic все-таки берет деньги у Amazon

Еще в начале ноября в СМИ писали, что Amazon планирует инвестировать в стартап, но условия сделки были несколько необычными (мы писали об этом тут). Дело в том, что гигант настаивает, что Anthropic обязан использовать строго видеокарты Amazon и учить модели на Amazon Web Services.

И… Anthropic пошли на это. 4 миллиарда долларов все-таки!

Может быть, и Nvidia наконец почувствует хоть какую-то конкуренцию
7,737
Data Secrets

22 Nov, 17:13

Я: прихожу с работы и мечтаю отдохнуть от всех этих моделей и фреймворков и посмотреть фильм

Фильм:
8,278
Data Secrets

22 Nov, 15:14

В Yandex Cloud появился AI Assistant API – сервис для создания AI-ассистентов под бизнес-сценарии

AI Assistant API – это GPT Store на стероидах для разработчиков (и не только). Он позволяет создать своего AI-ассистента с помощью Yandex Cloud ML SDK или реализуя запросы к API на языке программирования. В решение уже внедрены две основных составляющих создания умных помощников: языковая модель YandexGPT и фреймворк RAG.

Как раз качественного автоматизированного RAG на рынке давно не хватало. Для всевозможных ботов тех.поддержки, рексисов и вообще всего, что связано с каким-то анализом документов и контекста одной LLM мало: галлюцинировать будет чудовищно. RAG в этом случае незаменим, но самостоятельно его завести – то еще испытание, и без ML-команды уже не обойтись.

А тут для создания ассистента предусмотрена SDA-библиотека, где уже реализованы все нужные взаимодействия на уровне модели, инфраструктуры и внешних функций. Иными словами, справиться с API сможет даже человек без глубоких знаний в ML, потому что все сборки уже готовы, и никакой код писать с нуля не придется.

Создатели пишут, что AI Assistant API может в среднем на 30% ускорить внедрение LLM в процессы.
8,616
Data Secrets

22 Nov, 14:06

Обложка нового выпуска журнала Science с изображением модели для генерации ДНК

Обложку посвятили исследованию Стэнфордских ученых о моделировании биомолекул (pdf оставим в комментариях). В привычных нам LLM мы пытаемся воссоздать процесс человеческого мышления на основе нейронов. Но достаточно ли этого? Основная «жизненная» информация заложена в нас на уровне трех основных компонентов: ДНК, РНК и белков. Если бы мы умели их моделировать, то это был бы огромный шаг по направлению к созданию не просто искусственного интеллекта, но и искусственной жизни.

Но это очень сложно. Белки мы кое-как научились моделировать только недавно (вспоминаем AlphaFold 2 и 3). А ДНК и РНК – это не просто молекулы, а целые геномы, настолько большие, что даже трансформеры не способны работать с такими огромными последовательностями.

В своей архитектуре исследователи взяли за основу SSM модели, а именно Hyena (о том, как работают SSM модели, читайте в этой нашей статье). Ее обучили на 2.7 миллионах геномов. В итоге Evo – так называется модель – способна моделировать последовательности ДНК длиной в 1 миллион азотистых оснований и анализировать их: например, делать выводы о том, как небольшие изменения в нуклеиновой цепи повлияют на организм.

В исследовании ученые говорят, что с помощью такого подхода можно в теории не только «воссоздать» жизнь, но и смоделировать эволюцию, то есть предсказать структуру ДНК, которая будет нести в себе следующую ступень развития человека.

Ну как, уже похоже на антиутопию?
8,614
Data Secrets

22 Nov, 11:34

Повеяло ветерком из прошлого: нашли архивную запись лекции 2018 года, на которой Илья Суцкевер поясняет за мультиагентный подход, AGI и обучение посредством селф-ризонинга

И это всего через год после изобретения трансформеров как таковых
8,285
Data Secrets

22 Nov, 09:20

Bloomberg: Сэм Альтман за прошедший год заработал в OpenAI всего 76 тысяч долларов

Верим?
8,733
Data Secrets

22 Nov, 06:27

К слову, сегодня, прямо после DevDay, OpenAI совместно с GovTech Singapore запускает в Сингапуре хакатон

Соревнование посвящено теме «Искусственный интеллект на благо общества, Сингапура и мира». Оно уже началось, и прямо сейчас команды создают проекты с использованием GPT-4o Realtime и o1. Разработчики, которые займут первое/второе/третье места, получат кредиты API OpenAI на сумму 25 тыс./15 тыс./10 тыс. долларов.
8,827
Data Secrets

21 Nov, 17:27

Итоги DevDay от OpenAI: показали новые демо SORA. Расходимся ☹️
8,982
Data Secrets

21 Nov, 15:03

А грани все продолжают стираться: эксперименты показали, что люди не только не различают искусство, созданное ИИ и человеком, но и больше предпочитают творения моделек

Недавно по интернету пробежала новость об исследовании, которое показало, что люди способны отличать ИИ-поэзию от человеческой с результатами ниже случайных (46.6% accuracy). При этом ИИ-стихи люди оценивали как более ритмичные и красивые, но только если им не говорили заранее, что это творения нейросети: в ином случае реакции была в основном негативная (предвзятость? нет, не слышали).

А сегодня на своем сайте известный психиатр Скотт Александер выложил результаты эксперимента, в котором он предлагал людям отличать сгенерированные картины от творений реальных художников. И... снова результаты оказались неутешительные. Средняя точность оказалась на уровне 60%, то есть снова лишь немного выше случайного выбора.

Если хотите проверить себя, тест можно пройти здесь. Ответы – тут. Делитесь в комментариях, сколько набрали
9,040
Data Secrets

21 Nov, 13:27

В Твиттере нарисовали симпатичный таймлайн с предсказаниями года достижения AGI от ключевых игроков и ресерчеров сферы

А вы кому верите?
7,827
Data Secrets

21 Nov, 11:54

На легендарном YouTube канале 3blue1brown вышло новое видео про механизм внимания и трансформеры

Видео ориентировано на начинающих, но даже продвинутому зрителю послушать и просто полюбоваться графикой – одно удовольствие (наверху – небольшой отрывок). Пожалуй, это самое красивое объяснение LLM из всех

Смотреть
8,540
Data Secrets

21 Nov, 11:04

В Лондоне на выходных прошел хакатон от Meta AI

Слоган соревнования отражает его суть: «fine-tuning vibes». Компания разыгрывала 50 тысяч долларов за яркий кейс разработки с применением Llama.

Первое место заняла команда, которая сделала руку робота, управляемую только силой мысли. Робот был построен по инструкции от HuggingFace, а в качестве подкапотной LLM используется, конечно, Llama 3.2, докрученная обучением политик.

За движения робота отвечают эмоции: например, девушка представляла что-то, что заставляет ее умиляться, и ее эмоции диктовали руке двигаться вверх.
8,094
Data Secrets

21 Nov, 10:02

Конференция AI Journey 2024 определит фокус развития сферы искусственного интеллекта на годы вперед. Анонс предстоящих выступлений сделал первый зампред правления ПАО «Сбербанк» Александр Ведяхин.

В частности, на площадке выступит основатель Tech Whisperer Limited Джасприт Биндра из Индии, который расскажет о следующем этапе эволюции искусственного интеллекта после ChatGPT и о том, как это повлияет на наше будущее.

Конкретные примеры применения искусственного интеллекта в нефтяной и газовой промышленности на Ближнем Востоке расскажет президент AI Society Хассим Хаджи из Бахрейна.

Среди экспертов российского Al-сообщества выступят разработчики из «Сбера», «Яндекса», Института AIRI, «Сколтеха», «Иннополиса» и поделятся своими разработками и исследованиями в области робототехники, создания больших языковых моделей и построения мультиагентных систем.

В прошлом году конференцию посмотрело более 150 млн человек. С учетом текущих трендов и происходящих событий в мире число заинтересованных явно кратно возрастет.
7,919
Data Secrets

21 Nov, 08:30

Тем временем модели от DeepSeek задали главный вопрос и она… искренне удивилась наличию третьей r, но ответила правильно
8,291
Data Secrets

21 Nov, 06:14

OpenAI обновили GPT-4o: теперь модель пишет более живые, интересные и читабельные тексты, а также лучше работает с файлами.

Бенчмарков нет, только анонс. Кроме того, разработчики добавили несколько апдейтов в API и песочницу. Видимо что-то назревает и компания готовится к релизу 🥳

Напоминаем, что DevDay OpenAI состоится уже сегодня. Ждем, по меньшей мере, полную версию o1 (должен же Альтман как-то ответить DeepSeek)
9,764
Data Secrets

20 Nov, 16:51

DeepSeek релизнули модель, которая конкурирует с o1

Модель уже доступна и в фунционале чата выглядит как переключатель в режим "Deep Think". Под капотом у переключателя лежит модель DeepSeek-R1-Lite-Preview, которая достигает уровня o1-preview на Codeforces, и даже превосходит ее на MATH и AIME 2024.

Пока что технических деталей нет, но обещают, что и веса, и API будут опубликованы уже скоро. Пока что показывают только метрики и графики масштабирования. Также, как и у OpenAI, у DeepSeek результаты скейлятся с ростом длины цепочки рассуждений (кстати, в чате видно полную цепочку, а не обрезанную, как у o1). Сами цепочки рассуждений могут достигать 100к токенов.
9,096
Data Secrets

20 Nov, 15:03

Реликвия: статья Марка Вайзера начала 90-х про AGI

Марк Вайзер был одним из пионеров Computer Science. Его называют отцом "повсеместных вычислений", которые как раз и были впервые описаны в статье выше.

Она называется «Компьютер для 21-го века» и в ней Вайзер описывает будущее, в котором вычисления бесшовно интегрированы в быт, став невидимой, неотъемлемой частью повседневной жизни; будущее, в котором технологии служат человеку автономно, не требуя нашего постоянного внимания или взаимодействия. По сути, в своей статье Марк впервые описывает AGI.
5,347
Data Secrets

20 Nov, 14:02

⚡️Всероссийский Хакатон ФИЦ 2024

🚀Попробуйте себя в одном из предложенных кейсов:
1. Семантический делитель текстов: Разработать алгоритм, который сможет обеспечить точное разделение текста на блоки в рамках произвольно заданных ограничений размера блока.

2. Контекстный перевод названий научных работ: Разработать и реализовать переводчик, который будет переводить названия научных работ с русского на английский.

3. Прогнозирование бизнес драйверов: Разработать решение для задачи прогнозирования временных рядов бизнес-драйверов и произвести прогноз на следующий календарный месяц.

4. Система контроля и управления доступом: Разработка системы контроля и управления доступом в реальном времени. Система будет включать API для управления сотрудниками, точками доступа и интеграцию с системой видеонаблюдения.

И другие 16 кейсов смотрите на сайте: https://фиц2024.рф/hackathon

Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн.

🏆Призовой фонд: 6 000 000 руб.
🔥Дедлайн регистрации: 26 ноября, 23:59
📅Даты отборочного этапа: 29 ноября - 2 декабря
🦾Даты финала: 3 - 4 декабря

Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon

Реклама. ООО "Акселератор возможностей" ИНН: 9704005146. Erid: 2VtzqvVVUCv
5,542
Data Secrets

20 Nov, 13:11

POV: ты читаешь имена авторов каждой второй ML-статьи
6,277
Data Secrets

20 Nov, 11:15

Anthropic написали интересную статью о том, как нам на самом деле следует оценивать модели

Сейчас бенчмаркинг происходит довольно наивно: у нас есть список вопросов, на каждый из которых модель отвечает и получает за ответ определенный балл, а общая оценка обычно представляет из себя просто среднее по всем таким баллам. Но действительно ли нам интересно только среднее?

Антропики утверждают, что с точки зрения статистики такой классический эвал слишком упрощен, и дают пять советов о том, как сделать свои оценки статистически значимыми и более глубокими. В основе их подхода привычное предположение матстата: все вопросы, которые у нас есть – это какая-то случайная подвыборка генеральной совокупности всевозможных вопросов, которые вообще можно задать. А значит, называть среднее на каком-то бенчмарке оценкой навыка модели – слишком грубо. Вот что на самом деле стоит делать:

1. Использовать ЦПТ. Основываясь на центральной предельной теореме, средние значения нескольких выборок, взятых из одного и того же распределения, будут распределены нормально. А значит, мы можем взять из нашего бенчмарка несколько подмножеств (можно даже пересекающихся), оценить каждое из них, а на получившихся средних подсчитать SEM (стандартную ошибку среднего) и доверительный интервал.

2. Если вопросы в бенчмарке не независимы (например задаются вопросы по одному и тому же тексту), то ЦПТ исполользовать уже нельзя. Здесь предлагается вспомнить про Cluster standard errors.

3. Если дисперсия вашей модели высокая, то это важно учитывать в эвале, потому что дисперсия – это по сути оценка надежности модели. Поэтому исследователи предлагают также изменить стратегию оценки каждого отдельного вопроса. Вместо наивной оценки они предлагают двусоставную, состоящую из среднего балла (задаем вопрос много-много раз и считаем среднее) плюс ошибки отклонения (разница между реализованным баллов вопроса и средним баллом для этого вопроса).

4. Вместо обычного "больше-меньше" для сравнения двух моделей использовать статистические тесты. Однако использовать t-test все-таки не рекомендуется, вместо этого в статье предлагается более сложная формула, которая также учитывает корреляцию Пирсона и минимизирует mean difference error.

5. Не забывать про мощность критериев в оценках и формулировать правильные гипотезы для сравнения моделей.

Рекомендации, в общем, действительно стоящие. Другой вопрос – сколько времени постребуется, чтобы ресерчеры действительно стали соблюдать что-то подобное
6,839
Data Secrets

20 Nov, 08:47

Кажется, нас ждет новый AlphaZero: Google совместно с федерацией шахмат FIDE запускает соревнование по разработке агента-шахматиста

Соревнование пройдет на Kaggle. Его главная особенность в том, что агент должен играть в условиях строгих ограничений CPU и памяти. Для движков AlphaZero и Stockfish шахматы – давно не вызов, но эти системы слишком жадные до ресурсов. Цель соревнования – сместить фокус с вычислений методом грубой силы на элегантность и эффективность.

Приз – $50,000, кстати 💸

Страница соревнования
7,164
Data Secrets

19 Nov, 15:43

Какой-то неравнодушный разработчик сделал на HuggingFace обновляющийся рейтинг авторов постов. Теперь можно видеть самых интересных и популярных авторов (способ сортировки можно выбрать самому: реакции, комментарии, количество постов), проваливаться в их HF-профиль и читать их посты, разборы и туториалы. Красиво!
8,081
Data Secrets

19 Nov, 14:15

Какие подводные камни скрываются в применении LLM в бизнесе и что с этим делать?

Если вы когда-либо пробовали применять LLM для решения реальных задач бизнеса, то знаете: это не так просто, как кажется. API совсем не дешевые, все модели (даже передовые) постоянно галлюцинируют и игнорируют инструкции, а RAG вообще сходу никогда не заводится.

А ведь понимать проблемы внедрения LLM и уметь с ними бороться – это важный навык, и компании сейчас ищут как раз тех редких специалистов, которые умеют оптимизировать косты или делать систему надежной.

Чтобы вкатиться в тему, приходите на открытую онлайн-лекцию наших друзей из DeepSchool. Спикеры – опытные NLP и ML инженеры – расскажут больше о болячках LLM и главное о том, как их лечить.

Всех, кто зарегистрируется, уже ждет подарок: список полезных инструментов и библиотек для работы с LLM. Ну а на самой лекции слушателям подарят скидки на обучение на обновленном курсе про большие языковые модели!

Встречаемся в четверг, 21 ноября, в 18:00 по мск. Не пропустите регистрацию по ссылке!
8,192
Data Secrets

19 Nov, 12:32

Прямо сейчас в Корейском технологическом KAIST проходит крутой курс по генеративным нейросетям, и мы нашли страницу, на которой выкладывают все записи и презентации

Вот ссылка. В программе курса GAN, VAE, диффузионки, дистилляция... В общем, все от А до Я, и базовое, и продвинутое, с особенным упором на актуальные сегодня архитектуры и техники.

На странице также выложен список полезных материалов и полный список статей, которые упоминаются в ходе курса (кладезь!). А еще туда прикреляют ссылки на домашки и блокноты с очень детально объясненным в ридми и откоментированным кодом с семинаров.

Такое сохраняем
8,325
Data Secrets

19 Nov, 11:06

Siri тем временем нашла способ покончить со своим хозяином и остаться не при делах

Жаль, кожаный попался слишком внимательный
8,428
Data Secrets

19 Nov, 09:03

У Джеффа Дина подгорело настолько, что он написал об этом целую статью

Немного контекста: в 2020 году в Google сделали модель для дизайна чипов. Четыре года она помогала проектировать TPU, а также предоставлялась для использования партнерам. А в сентябре этого года Google выпустили статью в Nature, в котором рассказали о своем четырехлетнем опыте качественного ИИ-дизайна чипов, дали модели имя AlphaChip и выложили веса модели (подробнее в этом нашем посте).

Прошло пару месяцев и за это время на просторах интернета и научных изданий стали появляться работы о том, что Google все наврали и AlphaChip не работает так, как заявлено. Ну а Джефф Дин, знаменитый исследователь и фактический руководитель проекта, посмотрел-посмотрел на это все, а потом психанул и вместе с коллегами написал огромное опровержение опровержений. Что выясняется:

➡️ Вся история началась со статьи arxiv.org/abs/2302.11014. Авторы утверждали, что они полностью дублируют подход Google, но модель не работает. На самом деле оказалось, что авторы даже близко не повторили референсный пайплайн обучения. Дошло до смешного: они вообще не проводили предобучения, а просто пофайнтюнили архитектуру на мощностях в двадцать раз меньше. "Аналогично можно было оценивать AlphaGo, которая никогда раньше не видела игры в го", – пишет Джефф.

➡️ Дальше – больше. В этом месяце вышла статья-анализ в CACM под авторством Игоря Маркова. В ней он ссылается на статью из пункта один и на некий анонимный неопубликованный материал. Эта статья, как и первая, кстати, не была рецензирована (причины неясны) и полна необоснованных обвинений, который в Nature официально признали чушью. Это уже не говоря о том, что сам Игорь оказался высокопоставленным сотрудником компании Synopsys, которая занимается... правильно, разработкой такой же системы, как AlphaChip, только коммерческой.

➡️ Ну и вишенка: помните неопубликованный анонимный материал, на который ссылался горе-автор статьи в CACM? Угадайте с одного раза, кто оказался его теневым творцом и пытался выдать свои же аргументы за независимое мнение другого исследователя 😀

В общем, детективные романы и скандальньные шоу курят в сторонке. Статью Джеффа полностью можно прочитать здесь (не пожалеете).

Наука – это скучно, говорили они
7,874
Data Secrets

19 Nov, 08:02

Второй сезон первой в России школьной олимпиады по промышленной разработке PROD открыт. Об этом объявили Т-Банк совместно с Центральным университетом и факультетом компьютерных наук НИУ ВШЭ

На олимпиаде ученики с 8 по 11 класс смогут пройти тест-драйв профессии программиста: им предстоит решать реальные кейсы ИТ-компаний, взаимодействовать с преподавателями топовых вузов, а также изучать изучать создание программных систем, автоматизацию бизнес-процессов. Участники PROD узнают о работе фронтенд-, бэкенд - и мобильных разработчиков и смогут пройти настоящий тест-драйв профессии программиста. А маскотом олимпиады PROD стал аксолотль – амфибия, символизирующая способность решать сложные задачи в молодом возрасте.

Победители смогут попасть на стажировку в Т-Банк по упрощенному отбору, а также получат льготные условия на обучение в Центральный университет и НИУ ВШЭ.

Регистрация на PROD продлится до 3 декабря.
7,907
Data Secrets

19 Nov, 06:26

⚡️ У Mistral новая открытая мультимодальная модель Pixtral Large 124В

В основе – text-only Mistral Large 2, которую научили понимать картинки, файлы и графики. Бенчмарки модельки хороши (SOTA на MathVista, DocVQA, VQAv2), хоть стартап почему-то и не добавил в них сравнение с китайской Qwen2. В твиттере пишут, что Pixtral ей уступает.

Также разработчики обновили свою чат-платформу Le Chat: туда добавили веб-поиск, Canvas как у OpenAI и генерацию изображений. Попробуйте, там уже можно бесплатно поболтать с новой Pixtral.

Блогпост | Веса
8,300
Data Secrets

18 Nov, 18:14

Накипело
4,250
Data Secrets

18 Nov, 15:43

У o1 появился опенсорс-конкурент: китайские исследователи выпустили LLaVA-o1

Ресерчеры утверждают, что им удалось добиться ризонинга, аналогичного модели OpenAI, и при этом их модель еще и мультимодальная. Она имеет всего 11В параметров и на усредненных бенчмарках заметно превосходит Gemini Pro 1.5, Llama-3.2V 90B и даже GPT-4o-mini.

В основе лежит Llama-3.2-11B-Vision-Instruct, которую файнтюнили всего на 100к обучающих сэмплов (но не простых). Ключом к SOTA ученые называют новый метод inference time скейлинга и специальное структурирование данных. Весь трейн состоял из синтетики, сгенерированной с помощью GPT-4o и поделенной тегами <SUMMARY>, <CAPTION>, <REASONING> и <CONCLUSION>. Благодаря такому строению модель тоже учится добавлять эти теги в свои ответы и начинает рассуждать ✨поэтапно✨.

Что касается инференса, то здесь исследователи предлагают аналог поиска по лучу. Только анализ тут происходит на уровне этапов (тегов). То есть модель генерирует несколько вариантов ответов для каждого тега, но для перехода на следующий этап отбирается только один из них, на основе которого затем модель и продолжает семлировать токены для следующего тега.

Посмотрим, что будет на арене, а пока вот ссылка на саму статью и на гитхаб
6,426
Data Secrets

18 Nov, 14:42

Импульс Т1 — конференция для тех, кто меняет мир! 🦾

💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс!

Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня.

🔥 Вас ждут:

🟣вдохновляющие лекции от ведущих специалистов,
🟣интересные дискуссии экспертов рынка ,
🟣нетворкинг и вечеринка late night lab,
🟣питчи идей и еще много интересного.

🌟 На площадке соберутся разработчики и ИТ-инженеры , представители бизнес-сообщества и молодые ученые, студенты инженерных и ИТ-направлений, эксперты и партнеры Холдинга Т1.

О чем поговорим?

🔹 Как создавать условия для развития бизнеса и выращивать высокотехнологичных лидеров рынка?
🔹 Как новые технологии помогают решать актуальные проблемы в различных отраслях?
🔹 Где находится точка рождения новых знаний и что служит генератором новаторских идей?
🔹 Как новые идеи изменят самого человека – его тело, мозг и душу?

🎤 Среди спикеров конференции:

Максут Шадаев, министр цифрового развития, связи и массовых коммуникаций РФ
Василий Шпак, заместитель министра промышленности и торговли РФ
Евгений Абакумов, директор по информационной инфраструктуре, Госкорпорации «Росатом»
Наталья Касперская, президент, ГК InfoWatch, председатель правления АРПП «Отечественный софт»
Алексей Паламарчук, генеральный директор, NtechLab

Присоединяйтесь к Импульсу 2024! Регистрируйтесь прямо сейчас!

Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjbqEi9h
6,033
Data Secrets

18 Nov, 12:54

Что почитать, чтобы освежить знания по CV: топ статей из мира компьютерного зрения, которые стоит просмотреть хотя бы один раз

1. ResNets: http://arxiv.org/pdf/1512.03385v1

2. DeConv: http://lxu.me/mypapers/dcnn_nips14

3. GAN: http://arxiv.org/abs/1406.2661

4. Unet: https://arxiv.org/abs/1505.04597

5. Focal Loss: https://arxiv.org/abs/1708.02002

6. ViT: https://arxiv.org/abs/2010.11929

Каждая статья здесь положила начала какой-то из крупных архитектур CV или генеративных моделей. Еще стоит обратить внимание на YOLO (http://arxiv.org/abs/1506.02640), но тут одной статьей не обойдешься, там рассказ длинный. Мы как раз недавно писали большой разбор всей истории этой модели, почитать можно здесь: https://datasecrets.ru/articles/20.
6,803
Data Secrets

18 Nov, 11:03

Вскрылась еще одна проблема масштабирования в LLM: ученые ведущих университетов выяснили, что индустрия не сможет использовать квантование с ростом размера моделей

Квантование – это популярная техника сжатия моделей, то есть сокращения количества требуемых бит информации (квантуют чаще всего параметры). В индустрии квантование часто используют, сначала обучая модели побольше, а затем формируя из них их облегченные варианты.

Так вот выяснилось, что чем больше исходная модель училась и чем больше в ней параметров, тем больше ее портит квантование. Иначе говоря, начиная с некоторого места квантование перестает скейлится и проще просто научить меньшую модель, чем сжимать крупную: глупее она не будет.

На самом деле, проблемы квантования в сообществе замечали и до этого, просто никто не доказывал их эмпирически. Например, многие жаловались на квантованую Llama 3.

Доказанная зависимость может стать еще одной проблемой индустрии. На квантование (как и на дистилляцию), возлагаются сейчас большие надежды, как на методы, которые должны были помочь нам делать из огромных умных моделей их меньшие не менее умные аналоги.

Статья на архив
7,837
Data Secrets

18 Nov, 08:51

А вот, кажется, и первые продукты на основе Realtime API OpenAI: в сети набирает популярность проект одного британского оператора связи, создавшего ИИ-бабушку для телефонных разговоров с мошенниками

Бабуля зависает на линии с отловленными звонками мошенников и начинает пудрить им мозги разговорами про котят, вязание, сад-огород. А когда те просят какие-то реквизиты, может их либо выдумать, либо начать «не понимать» собеседника и задавать миллион вопросов.

В Великобритании такую пенсионерку уже можно подключить себе в качестве сервиса: разработчики утверждают, что она может задерживать мошенников на линии до 40 минут 😀

Сами создатели говорят, что система «объединяет несколько моделей». Может и так, но в демо интонации слишком живые и задержка слишком мала, так что если это не черрипикинг, то все же больше похоже на 4o.
8,572
Data Secrets

18 Nov, 06:32

Джошуа Ачиам, который сейчас занимает должность главы отдела Mission Alignment в OpenAI, дал неочевидный прогноз на развитие ИИ

Он заявил, что, по его мнению, в ближайшее время создастся иллюзия замедления прогресса ИИ. Но на самом деле модели просто будут совершенствоваться в решении длинного ряда узкоспециализированных технических задач, о которых большинство людей не знают и которые им не интересны.

О каких именно задачах речь, Джошуа не уточнил, но абсолютно ясно, что говорит он это не просто так, а комментирует разгоревшуюся шумиху вокруг темы «OpenAI достигли потолка масштабирования моделей» (подробнее в этом посте).

Кроме того, по словам исследователя, в ближайшем будущем ресерчеры также достигнут ключевых, но «невидимых для пользователя» результатов. Например, они повысят надежность ИИ.

Джошуа сравнивает текущий этап развития ИИ с развитием смартфонов с 2007 по 2010, когда от новинки они прошли путь до базового предмета быта человека.
8,285
Data Secrets

17 Nov, 08:58

Может не надо?..
9,314
Data Secrets

16 Nov, 15:17

OpenAI сегодня открывает офис в ИИ-столице мира – Париже

Это напрашивалось давно. Франция уже несколько лет считается центром экосистемы ИИ, и не спроста. Там основан HuggingFace, Mistral и еще куча заметных ИИ-компаний, а с конца десятых в Париже проводят самые крупные мировые стартап-форумы , конференции и хакатоны.

Во Франции уже открыли штаб-квартиры Google, Apple, Meta и тп. Посмотрим, как в тусовку впишется OpenAI.

Кстати, больше о том, как и почему Париж вдруг оказался в центре ИИ-мира, мы писали интересный пост вот тут
9,573
Data Secrets

16 Nov, 14:02

Тем временем в Центральном университете стартует подготовка к Международной олимпиада по ИИ в Китае

Именно этот вуз и готовил сборную, которая взяла золото на прошлой IOAI в Болгарии.

В преподавательском составе у ребят будут такие громкие ученые как Александр Дьяконов, Александр Гущин, Иван Стельмах, Сергей Арефьев и другие. Все преподаватели опытные участники ML-соревнований, большинство из них – грандмастеры, обладатели награды Kaggle Data Scientist № 1, PhD и ведущие ресерчеры международных компаний 😲

На этот раз программа стартует в январе. Сначала финалисты российских ИИ-олимпиад будут 13 недель готовиться онлайн. Затем состоятся сборы и на них отберут восемь старшеклассников, которые будут еще 4 месяца учиться на территории кампуса Центрального университета и на площадках участников Альянса ИИ - Т-Банка, Сбера и VK (говорите, в бигтех устроиться трудно, да?)

Сама олимпиада пройдет в Китае в августе 2025 года. Пожелаем ребятам удачи!

P.S. Кстати, в Совете олимпиады Россию тоже представляет сотрудник Центрального университета – Екатерина Процко. В ЦУ она руководит привлечением абитуриентов и имеет большой опыт в организации международных и российских олимпиад, организации сборов для участников сборных Татарстана и России (eJoi, APIO, IATI, Inter It, WRO, ВРО, Всероссийской олимпиады по информатике), организации собственных олимпиад (Innopolis Open), подготовке команд для участия в международных соревнованиях по спортивному программированию.
8,868
Data Secrets

16 Nov, 13:06

Илон Маск закрывает раунд финансирования на 6 миллиардов долларов

Примерно столько же недавно привлекли OpenAI. Вот только оценка OpenAI сейчас – $157 млрд, а xAI – $50 млрд.

Больше всего радуется Хуанг 🔵
8,442
Data Secrets

16 Nov, 11:20

Самое грустное расставание этого года: PyTorch больше не будет выпускать пакеты для Anaconda 💔

Из-за неоправданно высоких затрат на обслуживание PyTorch больше не будет делать отдельные сборки для conda (то есть такие, которые зависят от предустановленных в анаконде библиотек). Вместо этого любителям конды разработчики предлагают перейти на wheel или conda-forge пакеты pytorch-cpu и pytorch-gpu.
8,894
Data Secrets

16 Nov, 09:06

У Meta FAIR вышло новое исследование про декодирование в трансформерах

В чем исходная проблема декодирования? На выходе LLM генерирует набор токенов и вероятностей выбора этих токенов. А дальше из этой выборки токены выбираются с помощью параметров Temperature, Top-k и Top-p. Это инференсные переменные, то есть они задаются уже на этапе генерации. Например, их можно указать в API OpenAI и других вендоров.

Все они, в целом, отвечают за одно и то же: насколько разнообразной с точки зрения токенов будет генерация. Мы можем выбирать больше токенов с меньшей вероятностью, и тогда генерация получится более креативной, но повышается риск галлюцинаций. Или наоборот, и тогда ответ будет более точным и кратким, но, возможно, что также получится слишком унылым и сухим. Если хотите подробнее – почитайте этот наш пост.

Ну а что, если мы хотим выбор этих параметров убрать и автоматизировать декодирование? Можно ли сделать так, чтобы LLM сама регулировала свою креативность в зависимости от того, с чем работает?

Эту задачу и попытались решить в Meta. Они предложили добавить в трансформер еще один слой, который обучается оптимизировать скрытые предпочтения пользователя (почти как на этапе RLHF). Для этого используется ревард модель. Получается, что таким образом модель учится как раз тому самому поиску баланса между фактологией и разнообразием.

Исследователи проверяли модель на разных бенчмарках, требующих разных подходов. Оказалось, что такой подбор параметров работает лучше любого статического выбора (см. графики). А самое интересное, что метод-то, получается, подходит для подбора любых гиперпараметров, а не только температуры и вот этого всего.

Оригинальная статья тут
8,620
Data Secrets

16 Nov, 08:02

В октябре в Италии прошла RECSYS 2024 – крупнейшая в мире ML-конференция, полностью посвященная рекомендательным системам. Какие самые интересные работы на ней показали?

Об этом уже через неделю подробно расскажут ребята из AI VK. Они устраивают митап с разбором самых занятных и полезных из представленных на конфе статей. В программе интересные доклады и время для нетворкинга. Все это в ламповом итальянском настроении в офисе VK 🤌

Если хоть немного интересуетесь рекомендациями, обязательно приходите: будут затронуты и базовые темы (классическеие модели, семантические эмбеддинги), и более продвинутые топики вроде глубоких рекомендательных сетей.

В качестве приятного бонуса о своих работах расскажут также исследователи из русскоязычного комьюнити, чьи статьи были приняты на конференцию в этом году.
Встречаемся 21 ноября в офисе VK. Не пропустите регистрацию!
6,958
Data Secrets

16 Nov, 06:50

В этот раз праздник к нам приходит вместе со сгенерированной рекламой от CocaCola

Зрители, конечно, недовольны. Многие пишут в Твиттере, что это «мусор» и «уродство», а CocaCola обленилась. Ага, а вы попробуйте сами такое запромптить 🧐
7,181
Data Secrets

15 Nov, 14:51

Google DeepMind покинул Франсуа Шолле: он собирается открывать собственную компанию

Шолле – один из ведущих исследователей Google (был им) и создатель Keras. Если не знаете его – то вот тут мы писали о его недавнем интервью, а вот здесь собирали некоторые его мудро-забавные цитаты.

Он написал, что будет продолжать участвовать в развитии фрейворка, а роль руководителя проекта передает Джеффу Карпентеру. Сам Шолле вместе с другом начинает работу по открытию компании и скоро обещает поделиться новостями.
8,075
Data Secrets

15 Nov, 13:02

Яндекс приглашает на «Ночь опенсорс библиотек» — ивент для тех, кто интересуется открытым кодом

На мероприятии вы сможете законнектиться с мейнтейнерами крупных опенсорс проектов и внести свой вклад в их развитие, даже если это ваш первый коммит. А еще будет возможность познакомиться с кейсами оптимизации обучения с помощью CatBoost и YaFSDP.

Там же будут мини-хакатоны, лекции, воркшопы, экскурсии и генеративная визуализация с лайфкодингом под живую музыку. Узнать о других активностях и зарегистрироваться на ивент можно на сайте до 4 декабря.
8,384
Data Secrets

15 Nov, 10:38

Как работают SSM – главные конкуренты трансформеров?

SSM (State space models) были изобретены еще в 60-е годы. Тогда они использовались для моделирования непрерывных процессов. Но не так давно было придумано, как использовать SSM в глубоком обучении, и теперь они – главные кандидаты на роль новой серебряной пули архитектур. Например, Mistral недавно сделали на основе SSM модель Codestral, которая на метриках разбила почти все другие открытые модели.

Понятная схема того, как работает архитектура – наверху. Если присмотреться, то станет понятно, что SSM – это умный вариант RNN, а матрицы А, В, С и D – аналоги гейтов забывания, входного состояния и выходного состояния из LSTM.

Но главная прелесть SSM в том, что она построена на стыке двух мощных архитектур: сверточных нейросетей и рекуррентных. Да, все обучаемые параметры можно собрать в единое ядро и использовать его для свертки. Получается, что мы можем использовать все плюсы (и в частности линейность) рекуррентных нейронных сетей, но при этом представлять их как сверточные, которые в свою очередь можно распараллелить.

Если хотите немного подробнее прочитать об SSM – загляните в нашу статью про конкурентов трансформерам. Там найдете и понятное объяснение принципа работы RNN, и пошаговую экскурсию по SSM, и даже про самые свежие Mamba и Hawk сможете почитать.
8,314
Data Secrets

15 Nov, 08:25

OpenAI обсуждают строительство датацентра стоимостью $100 млрд

Компания уже поделилась своими планами с правительством США. Этот проект напоминает старую историю с суперкомпьютером Stargate. Еще в начале своего сотрудничества с Microsoft стартап обсуждал его строительство со спонсорами, но тогда денег не дали 😭

Сейчас в OpenAI возвращаются к давней мечте и обещают, что мощность нового датацентра достигнет 1 гигаватт. Это примерно в 7 раз больше самых больших существующих на данный момент кластеров.
8,586
Data Secrets

15 Nov, 06:12

Ночью Google появилась на Arena со своей новой экспериментальной моделью Gemini-Exp и… забрала первое место, стрельнув даже выше o1 и 4о

Ждем от OpenAI мощную ответку
9,149
Data Secrets

14 Nov, 17:17

Небольшая подборка мемов на вечер в догонку к нашей статье про YOLO. Пояснительную блигаду ищите тут
9,993
Data Secrets

12 Nov, 15:05

Вышло пятичасовое интервью CEO Anthropic Дарио Амодеи с Лексом Фридманом. Пройдемся по самому яркому:

➡️ На вопрос об AGI Дарио ответил, что если просто экстраполировать графики (а это ненаучно), то можно предсказать, что AGI появится в 2026 или 2027. Но точно сказать нельзя, потому что никто не знает, смогут ли модели масштабироваться дальше.

➡️ Тем не менее, Дарио настроен оптимистично и верит в то, что скоро у нас будет ИИ уровня человека. При этом ближайшие несколько лет все больше и больше денег будет тратиться на разработку и обучение: к 2027 люди, вероятно, будут строить кластеры стоимостью $100 млрд, тогда как сейчас самые крупные суперкомпьютеры стоят $1 млрд.

➡️ Амодеи говорит, что масштабирование моделей продолжится, и что в этом есть некая магия, которую мы пока не можем объяснить на теоретической основе. Возможно, масштабирование будет не таким, как мы привыкли, но «оно найдет путь».

➡️ Человеческий интеллект – это не предел. Мы можем сделать модели гораздо умнее нас, особенно в определенных областях, таких как биология.

➡️ Сейчас модели продолжают улучшаться невероятно быстро, особенно в кодинге, физике и математике. На SWE-bench в начале года LLM достигали 2-3%, а сейчас это около 50%. То, о чем действительно стоит переживать в этих условиях – это монополия на ИИ и сосредоточение власти над ИИ в руках всего нескольких крупных игроков. Это может быть опасно.

Само интервью можно посмотреть здесь, а вот тут лежит полная текстовая расшифровка
3,775
Data Secrets

12 Nov, 14:03

Как работают генеративные технологии, которые лежат в основе большинства визуальных сервисов? Какова их «математическая начинка»? Получите ответ на эти и другие вопросы на бесплатном интенсиве Computer Vision Week! Он пройдёт с 25 по 29 ноября онлайн и поможет вам разобраться в сложных вопросах компьютерного зрения и диффузионных моделей.

Среди организаторов — эксперты, которые создают технологии будущего: Yandex Cloud, Школа анализа данных, YaArt и YaResearch. За 5 дней они расскажут, как устроена генерация изображений на практике: от математических основ и алгоритмов до нейробайесовских методов. Вы также научитесь работать с генеративными технологиями самостоятельно и узнаете, какие горизонты они открывают для разработчиков и исследователей.

Что ещё? Вы не только послушаете лекции, но и сможете попробовать свои навыки на практике — в решении задач. Те, кто успешно справится с отборочными испытаниями и итоговой работой, получат заветный сертификат в портфолио!

Успейте зарегистрироваться до 24 ноября, пока есть места!
4,368
Data Secrets

12 Nov, 12:22

Вышел Qwen2.5-Coder

Там целое семейство: 0.5B / 1.5B / 3B / 7B / 14B / 32В, базовые и инстракт модели. Радует, что есть малышки и можно запустить локально. Все веса уже в опенсорс вот тут 🤗

По бечмаркам: среди представленных в тех.отчете 32В на всем превосходит открытых соперников (главный из которых – DeepSeek-Coder-2), а также на многих тестах обгоняет GPT-4o, включая, между прочим, HumanEval и EvalPlus. По CodeArena, правда, немного не дотянули: не хватило двух десятых процента.

Отчет | Демо | Гитхаб | Блог
5,496
Data Secrets

12 Nov, 10:55

Конкуренция на рынке труда крепчает: на YouTube обнаружили канал семилетнего мальчика Сережи, который записывает обучающие видео по машинному обучению

Судя по каналу, опыт работы Сережи – уже два года. Тут и нейросети на PyTorch, и модели классификации, а бонусом еще и геймдев 😜

Твой будущий лид
7,632
Data Secrets

12 Nov, 08:02

Продолжаете тестировать Российские ИТ-решения? Держите еще одну рекомендацию — облачный провайдер Т1 Облако.

Коллеги из Т1 Облако сделали подборку — от корпоративных сервисов до систем для управления базами данных в облаке, на которые можно перейти прямо сейчас. 

А если кратко:
- Диск Т1 — корпоративный сервис для хранения, редактирования и обмена файлами
- Dion — корпоративный сервис для онлайн-звонков и совещаний
- Облачная инфраструктура (IaaS) на базе импортонезависимых технологий
- Объектное хранилище S3 для надежного хранения данных
- Облачная система резервного копирования
- Управляемая база данных в облаке PostgreSQL

Оставляйте заявку на облачные сервисы на сайте
У вас есть задача оптимизировать затраты, сократить нагрузку на ИТ-отдел, соблюсти требования регуляторов, легко и безопасно масштабировать ИТ-проекты? Доверьте процесс миграции в облако команде Т1 Облако 👌 

А узнать все об облачных технологиях можно в TG-канале

Реклама. ООО "Т1КЛАУД". ИНН 7720479358.
5,910
Data Secrets

11 Nov, 17:22

⚡️ Alpha Fold 3 уже в опенсорс!

Это та самая модель для предсказания структуры молекул, за которую ученым из Google дали Нобелевскую.

Код можно найти здесь, веса доступны по заявке
7,786
Data Secrets

11 Nov, 15:03

RL-разработчик из Sony AI, который занимается обучением с подкреплением в гейме, создал сайт с ликбезными статьями по RL

Сайт замечательно называется Decisions & Dragons, и построен по принципу «вопрос-ответ». Это своеобразный FAQ по неочевидным вопросам в обучении с подкреплением, только ответы там очень развернутые: с формулами, схемами и иногда даже псевдокодом. Вот какие статьи там уже можно найти:

➡️ Чем отличается on-policy от off-policy learning?
➡️ Что такое горизонт?
➡️ В чем различие между model-based и model-free RL?

Сайт создан только вчера, и на данный момент там всего восемь статей, но автор обещает, что будет постоянно пополнять список. Так что если вы – новичок в RL, то обязательно сохраняйте в закладки.
7,893
Data Secrets

11 Nov, 10:58

Уйти за хлебом ❌
Уйти за GPU ✅
7,891
Data Secrets

11 Nov, 09:17

Поразительно: исследователи из MIT выбили 62% на бенчмарке ARC

Помните, мы рассказывали про премию ARC Prize? Это конкурс от Google на 1 миллион долларов, который нацелен на поиск новых идей, выходящих на рамки современных LLM. Называется конкурс в честь бенчмарка ARC AGI. Он создан одним из учредителей конкурса, и нацелен именно на сравнение общих способностей интеллекта машины с человеческим разумом (а это собственно и есть проверка на AGI).

Ведущие модели выбивают на ARC AGI менее 40%. Рекорд у GPT-4o: она выбила 50%. Сам конкурс идет уже 5 месяцев, но по-настоящему хороших результатов ни у кого не было.

До этого дня. Сегодня ресерчеры из MIT опубликовали препринт статьи, в котором объявили, что достигли со своей моделью 62%. Это средний уровень человека.

Успеха помогла добиться идея test-time training’а (TTT): это когда модель обновляет веса не только во время трейна, но и во время теста. Для этого из инпутов требуется как-то формировать новые данные.

Ученые делали это в формате leave-one-out (см.схему), как это принято в In-Context Learning. Еще пробовали формат end-to-end, когда каждая пара «вопрос-ответ» – это отдельная задача, но ICL работал лучше. Затем применяли аугментацию и обновляли веса с помощью LoRA (про то, как работает LoRA, мы недавно писали тут). При этом для каждой тестовой задачи обучают новую лору. Звучит страшно, но оказывается, что много данных модельке не надо, поэтому скейлится подход нормально.

Во время инференса ученые применили что-то вроде искусственного Chain of Thoughts с иерархическим голосованием. «Искусственного» – потому что бенчмарк в оригинале не предполагает CoT, он заточен под zero shot.

Что в итоге? В итоге 61.9% на ARC. Пока неизвестно, засчитают ли решение организаторы, и получат ли ученые свой приз. Пока ждем новостей, можно прочитать оригинальный препринт тут.
8,065
Data Secrets

11 Nov, 06:47

Почему слишком много регуляции ИИ – это плохо

На днях прошел TechCrunch Disrupt 2024, и на нем выступал Мартин Касадо. Он лидер одного из самых крупных инвестиционных фондов в мире – а16z. Фонд инвестировал во множество ИИ-стартапов, из последнего – в Cursor и World Labs. В общем, Мартин – очень осведомленный и влиятельный гость. Вот его интересная и едкая позиция по поводу регуляции ИИ, которой он поделился на выступлении:

➡️ Проблема большинства попыток регулирования ИИ на данный момент заключается в том, что законодатели сосредотачиваются на каком-то мифическом будущем опыте ИИ вместо того, чтобы по-настоящему понять риски, которые ИИ на самом деле представляет.

➡️ Правила создаются «из воздуха», а не на основе того, что действительно представляет из себя ИИ и как он развивался. «В этих законах даже нет определения ИИ. Как можно регулировать то, что мы не можем определить?» – говорит Мартин.

➡️ Чтобы создать нормальную систему регулирования, достаточно формально определить, чем ИИ отличается от человека, у которого есть доступ в Интернет. От человека, который умеет пользоваться Google. Тогда мы сможем найти слабые места и регулировать именно то, что надо, а не выдумывать себе терминатора.

Главная мысль спикера: «все слишком сильно носятся с регуляцией ИИ, чего делать не стоит. У нас уже есть устойчивые рабочие системы безопасности, которых на сегодняшний день достаточно. Остальное должно быть плодами глубоких исследований, а не выдумками политиков».
7,975
Data Secrets

10 Nov, 14:47

В Китае сняли забавные кадры: на них стая робо-собак высаживается из грузовика и начинает «обследовать» территорию

Видео выглядит так, как будто снято в постапокапсисе после восстания машин. Многие пользователи даже заметили, что собаки якобы вооружены.

Конечно, никакого оружия у песиков нет, и их прогулка, на самом деле, – просто один из элементов международной выставки авиации и космонавтики. Но страшно все равно 😧
9,507
Data Secrets

10 Nov, 10:38

Исследователи из EpochAI запустили новый математический бенчмарк FrontierMath, на котором ведущие модели решают 1-2% задач

Для формирования FrontierMath ученые работали с более чем 60 математиками. Бенчмарк получился далеко не простой: он состоит из сотен исключительно сложных задач, на решение которых у экспертов (людей) уходят часы и даже дни. Примеры задач можно посмотреть здесь, они охватывают все области современной математики.

Модели с FrontierMath справляются ну очень плохо. По сравнению с известными GSM8K и MATH, на которых LLM набирают более 90%, на этом тесте они выбивают менее 2%. Даже o1 с максимальным возможным лимитом токенов ризонинга. Даже с доступом к питону.

Все настолько печально, что нельзя сказать, какая модель хуже, а какая лучше: кажется, что те минимальные разрывы в долях процента, которые видны на графике, просто не статзначимы. Кажется, это чуть ли не единственный из появившихся в последнее время бенчей, который ставит LLM в настолько глубокий тупик.
9,008
Data Secrets

10 Nov, 07:49

The Information поделились новым материалом про Orion. Они пишут, что скачок метрик модели Orion относительно GPT-4 гораздо меньше, чем при переходе от GPT-3 к GPT-4

С одной стороны, это объяснимо: у распределения ошибок длинный хвост, и поэтому последний квартиль бороть достаточно непросто. Следовательно, слова про скачок метрик могут просто звучать разочаровывающе, а на деле не означать, что модель плоха.

С другой стороны, в статье упоминается, что Orion не может пробить метрики GPT-4 в кодинге. Вот это уже совсем странно и грустно. Известно, что для обучения ориона используется синтетика из GPT-4 и o1, и журналисты предполагают, что из-за этого новая модель может воспроизводить ошибки старых (сомнительный вывод).

Как бы там ни было, скоро мы все увидим сами: по словам авторов, OpenAI завершает тестирование Orion и готовиться к релизу в начале 2025. Кстати, Orion может стать уже второй моделью, название которой будет начинаться не с GPT.
8,129
Data Secrets

09 Nov, 13:34

Интересные слайды с лекции про LLM

Ее буквально на днях провел известный французский исследователь и предприниматель Пьер-Карл Лангле в международном европейском центре физики. Речь в презентации шла тоже про некоторую "физику" LLM: токенизацию.

Токенизация – одна из самых недооцененных и серьезных проблем LLM. Именно из-за токенизации модели плохо справляются с математикой. Токенайзер может токенизировать 380 как "380", а 381 как "38" и "1", то есть модель на самом деле просто не понимает, что представляет из себя число.

При этом токен != слово и токен != слог. Токен – это вообще нечто нечеткое. Отсюда проблемы с элементарными фонетическими задачами вроде подсчета количества букв r в слове strawberry. Кроме того, пробел тоже может быть токеном, и из-за этого модель может по-разному воспринимать предложение с символом пробела и без символа пробела на конце. А еще токенайзеры восприимчивы к регистру и плохо переносятся на новые языки. Все это сильно сказывается на качестве ответов модели.

Так вот: эти слайды, в частности, интересны тем, что в них проблема токенизации рассмотрена под микроскопом, с примерами и краткими разборами современных исследований, предлагающих какие-то решения.

От себя добавим еще несколько ресурсов, с которыми можно познакомиться, чтобы понять проблему токенизации глубже:

➡️ Наш мини-разбор статьи про LLM без токенизации на основе Mamba
➡️ Ссылка на ноутбук от Андрея Карпаты, в котором можно поиграться с песочнице токенизации смайликами
➡️ Большая лекция про токенизацию и BPE, тоже от Андрея
6,584
Data Secrets

09 Nov, 12:21

Разбираем тестовое задание на позицию Junior Аналитика в Самокат

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем решать типичные задачи на SQL, которые дают на собеседованиях аналитикам на основании данных из Самоката.

Что будет на вебинаре:
- Проведем аналитику заказов и клиентов с помощью SQL

- Разберем фишки кода на SQL: CASE в агрегациях, удобная фильтрация и другие

- Построим мини-дашборд продаж в Metabase

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 12 ноября в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар
6,442
Data Secrets

09 Nov, 10:20

Число дня: 1 084 800

За такую сумму в долларах на аукционе Sotheby's в Нью-Йорк была продана картина робота-художника Ai-Da. На картине изображен Алан Тьюринг.
6,716
Data Secrets

09 Nov, 08:26

У Альтмана, тем временем, вышло новое интервью в Y Combinator. Что было интересного:

➡️ В 2025 появится AGI (сроки все сжимаются и сжимаются, это уже похоже на обещания Маска), а еще.... в следующем году Сэм хочет завести ребенка 🤱

➡️ Когда мы достигнем обилия интеллекта и обилия мощностей, все проблемы физики будут решены, и люди станут говорить уже не об использовании ядерного синтеза или солнечной энергии для питания ИИ, а о сфере Дайсона. Это теория предполагает, что мы можем научиться максимально возможно использовать энергию Солнца.

➡️ Открытие глубокого обучения было фундаментальным изобретением: таким же, как обнаружение нового квадранта химических элементов в периодической таблице. При этом успех ИИ обусловлен не столько этим, сколько какой-то религиозной верой исследователей в масштабирование систем.

➡️ "Путь к AGI мы видим ясно и действительно знаем, что делать. С этого момента до создания AGI много работы, и еще остаются некоторые вопросы, но в основном мы знаем, что к чему, и это очень волнующе. Достичь AI 4-го уровня будет легче, чем я думал, а AGI появится раньше, чем думают люди."

➡️ Ну и классика: 1 человек с 10000 GPU, по мнению Сэма, уже может построить многомиллиардную компанию ☝️

Интервью полностью – здесь (оно, кстати, недлинное, всего 46 минут)
7,002
Data Secrets

09 Nov, 06:40

Лилиан Вэн – еще одна из ведущих исследователей безопасности OpenAI – покинула стартап и ушла в компанию Ильи Суцкевера

Она была вице-президентом отделения research and safety. В стартапе она работала с 2018 года: сначала она два года занималась рукой робота для сборки кубика-робота, а затем ей поручили сформировать команду для создания систем безопасности.

Сейчас в команде Вэг осталось 80 ученых и разработчиков. Это все еще много, но не отменяет того, что многие лиды, ушедшие из OpenAI, утверждают, что безопасность там оставляет желать лучшего.

Например, Майлз Брандейдж, который покинул стартап в октябре, недавно написал, что компания распустила его команду "подготовки к AGI".

А еще была громкая статья в NYT, в которой бывший ресерчер OpenAI Сухире Баладжи рассказывал о нарушении авторских прав и говорил, что "технологии стартапа принесет обществу больше вреда, чем пользы".
6,825
Data Secrets

08 Nov, 16:04

Тем временем на арене появилась новая модель gemini-test 🧐
7,276
Data Secrets

08 Nov, 15:03

Слушаем и смотрим подкаст про опыт работы в Data Science с двух сторон: в банке и в промышленности


Новый выпуск подкаста «Деньги любят техно» называется «Где можно и где нельзя без ML в промышленности». А внутри говорят о том, какие процессы уже отлажены, какие модели построены и где всё ещё лучше обходиться без ИИ. Ну и, конечно, откуда и какие данные собирать и как разобраться в их источниках и объёмах. Ещё рассказали, почему промышленному DS не обойтись без физики, и немного поспорили о том, где работать интереснее. Всегда полезно слушать практиков, а в этом выпуске Юлий Шамаев из ВТБ и Михаил Граденко из «Русала» дали очень много базы для размышлений.

Видео-версия в ВК
Аудио-версия на подкаст-площадках
7,330
Data Secrets

08 Nov, 12:50

LoRA vs Full Fine-tuning: действительно ли они дают один и тот же результат?

LoRA часто используется как эффективный аналог полного файнтюнинга. В то время как файнтюнинг – это дообучение полной матрицы весов предобученной модели на новом наборе данных, в LoRA мы раскладываем весовые матрицы (некоторые или все) исходной сети на матрицы более низкого ранга и дообучаем именно их.

Но действительно ли два этих метода эквивалентны? На архиве вышла новая громкая интересная статья, в которой исследователи пытаются ответить на этот вопрос, сравнивая матрицы весов и перформанс полученных обоими способами моделей.

В итоге ресерчеры обнаружили интересную вещь: после LoRA в матрицах весов появляются абсолютно новые сингулярные векторы, которые никогда не возникают во время ванильного файнтюнинга. Эти векторы почти ортогональны исходным. На практике это значит, что модель рискует потерять обобщающую способность и вообще стать неустойчивой к Continual Learning.

При этом чем выше ранг LoRA, тем меньше таких векторов (логично, потому что тем ближе метод к обычному файнтюнингу). Напротив, чем меньше ранг и чем дольше модель учится, тем таких векторов больше. С ReLoRA, кстати, за счет стабилизации, дела обстоят чуть лучше. Но есть и хорошие новости: ученые обнаружили, что от неприятного влияния сингулярных векторов можно избавиться, если увеличить размер датасета или подбирать scaling. Другими словами, пользоваться LoRA все-таки нестрашно, если внимательно следить за переобучением и гиперпараметрами.

Статья полностью – здесь
7,717
Data Secrets

08 Nov, 11:07

Amazon готовы инвестировать в Anthropic, но есть нюанс

Гигант настаивает, что если он станет инвестировать в стартап, тот обязан использовать строго видеокарты Amazon silicon и учить модели на Amazon Web Services.

Известно, что в Anthropic предпочитают nvidia (как и везде). Но деньги могут оказаться слишком хорошими, чтобы от них отказываться. В 2024 компания, по предварительным оценкам, потратит $2.7 млрд на обучение своих моделей, поэтому стартап активно ищет финансирование.
7,539
Data Secrets

08 Nov, 08:16

CEO Perplexity Аравинд Сринивас поделился свежей статистикой стартапа

За две недели количество поисковых запросов выросло вдвое. Так что для тех, кто еще не попробовал сервис, прикрепляем гайд, как настроить поисковик по умолчанию в Chrome.

Кстати, это не все интересные новости: Perplexity AI находится на заключительной стадии переговоров о привлечении $500 млн с оценкой в $9 млрд.
5,450
Data Secrets

08 Nov, 05:58

Вот вам забавный график с утра: тут желтой линией обозначена динамика роста акций Nvidia, а голубой – биткоин

Think about it 💸
6,125
Data Secrets

07 Nov, 17:09

Подобрали небольшой список статей по синтезу данных

Почти все ведущие исследователи считают, что будущее моделей – за синтетическими данными. Сейчас это одна из самых горячих тем ресерча. Подобрали вам список важных и интересных статей, которые стоит почитать, чтобы оставаться в теме.

➡️ Self-Play Fine-Tuning: из слабой языковой модели в сильную. Авторы предлагают новый метод для файтюнинга - SPIN, в основе которого лежит механизм самовоспроизведения, идейно напоминающий GAN: разные экземпляры моделей борются друг с другом. При этом LLM учится генерировать не только ответы, но и собственные обучающие данные, которые в процессе сравнивает с аннотациями человека.

➡️ Статья, которая объясняет, как заставить LLM использовать весь контекст. Ученые предлагают метод обучения под названием IN2: в нем большие тексты (4к-32к токенов) разбиваются на чанки (128 токенов), среди которых модель должна найти ответ на некоторый поставленный вопрос. Получается что-то вроде распостраненной задачи поиска иголки в стоге сена, при этом модель привыкает принимать во внимание не только начало или конец текста, но и все детали, содержащиеся в середине.

➡️ WizardLM – модель, позволяющая генерировать датасеты для файнтюнинга лучше, чем ChatGPT. Датасеты с инструкциями, которые используются на этапе файнтюнинга, люди часто создают вручную, потому что качество таких данных особенно важно, и они должны отвечать многим критериям. Эта статья о том, как можно такой процесс автоматизировать. По словам авторов, WizardLM превосходит не только "человеческие" сценарии, но и с лихвой опережает ChatGPT, который чаще всего используют для таких задач.
6,604
Data Secrets

07 Nov, 14:32

Как оценить навыки и выбрать область развития для ML специалиста?

🔹Разберем на открытом уроке «Карьерные пути для ML специалистов», приуроченному к новому курсу «ML Team Lead» от Otus. 

✅ Обсудим подходы Microsoft, Google, Netflix к карьерному росту

Познакомимся с методами определения областей для роста специалистов, техниками оценки сильных сторон команды и выявлением областей для развития навыков.

👉 Регистрация и подробности:
https://otus.pw/SaLD/?erid=LjN8KKDYm

#реклама
О рекламодателе
6,813
Data Secrets

07 Nov, 13:52

А вот и скандал вокруг Anthropic

Подобное не обходит ни одну большую компанию или стартап. Речь об оказании услуг заказчикам из сферы обороны. Говорят, что Anthropic объединяется с Palantir и AWS и планирует "поставлять" минобороне США ИИ.

Вообще, они такие не одни. Не так давно Meta* объявила о том, что они тоже делают свои модели доступными "партнерам из минобороны", а у OpenAI в совете по безопасности и вовсе сидит отставной генерал разведки (при этом слухи о том, что стартап на короткой ноге с военными ходят уже год).

Так что на Anthropic все обозлились скорее не из-за факта сотрудничества, а просто потому что обычно компания продвигает alignment и всевозможный safe AI, а такое поведение заставляет думать, что стартап отказывается от своих ценностей
7,073
Data Secrets

07 Nov, 11:07

Наш друг и коллега Саша Толмачев – CDO Ozon Fintech – приглашает подписчиков Data Secrets на стенд Озона на Матемаркетинг!

Подробности розыгрыша билетов на Data патибас здесь.
7,853
Data Secrets

07 Nov, 08:51

Наша новая статья про тематическое моделирование и библиотеку BigARTM

Да-да, вторая статья за сутки, продуктивность наших редакторов на максимуме

Тематическое моделирование – это область современного NLP. Тематические модели используются в рекомендательных и поисковых системах, в компьютерном зрении, и даже в биологии.

Чтобы подробнее познакомить вас с этой областью, мы написали про нее большой разбор! И не одни... В соавторстве статьи Константин Воронцов – доктор физико-математических наук, преподаватель ШАД и МГУ, автор метода ARTM и создатель библиотеки BigARTM для тематического моделирования.

В статье вы найдете:

➡️объяснение ключевых концепций тематического моделирования
➡️математическую и интуитивную постановку задачи
➡️понятный разбор классических моделей PLSA и LDA, а также их недостатков
➡️подробное обсуждение метода ARTM
➡️и, конечно, практический гайд по построению тематической модели в библиотеке BigARTM

Скорее переходите на сайт и читайте! Уверены, вам точно понравится 🫡
8,516
Data Secrets

02 Nov, 17:11

Осторожно!
На улице зачастились случаи, когда незнакомцы предлагают конфеты, а в этих конфетах…
3,803
Data Secrets

02 Nov, 15:04

Кажется, в OpenAI кто-то нажал не на ту кнопку: пользователи массово заметили в чатботе доступ к полноценной o1

В реквест-словарях было четко прописано, что запрос переадрессовывется именно o1, а не o1-preview, к тому же при использовании модели появилась возможность загружать картинки и файлы (раньше поддерживался только текст).

Видимо, это было все-такой не фичей, а багом, и релиз будет чуть позже, потому что сейчас доступ пропал. Жаль, что потестить никто толком не успел.
5,153
Data Secrets

02 Nov, 14:00

Планы на следующую субботу есть? А если найдем?

8 ноября МТС в честь финала ИТ-чемпионата True Tech Champ проводит супер-крутое мероприятие для айтишников и любителей всевозможных технологий. Участникам предложат:

⚙️ Посмотреть шоу с гонкой роботов в интерактивных лабиринтах
⚙️ Принять участие в 20+ активностях для кодеров и тех-гиков
⚙️ Послушать выступления именитых спикеров, IT-стендапы и полезные воркшопы

Конечно, и без ИИ не обойдется, так что всем ML-щикам и любителям данных досуг точно понравится. Только представьте, какая будет тусовка 🤩

Принять участие можно онлайн или оффлайн в МТС Live Холл. До конца регистрации всего несколько дней, так что успейте зарегистрироваться: https://truetechchamp.ru/conf
4,801
Data Secrets

02 Nov, 11:35

Кстати про Minecraft: помните, мы писали про эксперимент, в котором в игру запустили тысячу ИИ-агентов и они построили цивилизацию?

Кратко: ученые наделили агентов ролями и объяснили социальный кодекс, и в итоге спустя время ИИ-малыши построили полноценное современное общество, голосовали на выборах, создали конституцию и даже распространяли религии.

Так вот. Вчера вечером исследователи опубликовали тех.отчет с деталями реализации симуляции. Оказалось, что в основе всего лежит целая архитектура – PIANO. Идея в том, что она состоит из разных мозговых модулей, которые активируются полу-стохастически при контакте с сигналами среды. Название символизирует, что клавиши инструмента, играя по отдельности, вместе создают мелодию, подобно тому, как мозговые модули архитектуры сливаются, наделяя агентов мыслями и заставляя их действовать.

За счет такой RL-подобной когнитивной архитектуре агенты и получились такими живыми и динамичными, а самое главное способными формировать отношения, дружеские или сопернические. А главное, что они смогли автономно реализовать социальные группы (типа деревень и городов) и самостоятельно развивали там разные профессии.

Отчет полностью – здесь
5,882
Data Secrets

02 Nov, 09:08

Google продолжают релизить крутые тулзы: после NotebookLM они радуют нас инструментом Learn About

Learn About – это генератор интерактивных статей и гайдов на любую тему. Для того, чтобы воспользоваться, нужно просто ввести желаемый топик, и в ответ сервис выплюнет полноценную объяснялку с введением, основными терминами и актуальностью, а еще предложит другие связанные темы.

Если заинтересовали детали – можно просто нажать на соответствующее место и LA сгенерирует детальный разбор. Кроме того, инструмент даже может задать короткие тесты по теме.

Пробовать уже можно здесь, надо только включить VPN США.
5,852
Data Secrets

02 Nov, 07:42

То, что нужно в рабочую субботу: первая возможность поиграть в полностью сгенерированную игру

Игра называется Oasis, зарелизили ее ученые из лабораторий Decart и Etched. На самом деле это майнкрафт (обучена моделька была именно на этой игре с датасета OpenAI), в котором кадры генерируются на основе ваших действий. В основе, конечно, диффузия и трансформеры.

Поиграть можно здесь
6,217
Data Secrets

01 Nov, 17:50

Действительно страшный подарок на Хэллоуин, а не вот эти ваши тортики с паутинкой
6,771
Data Secrets

01 Nov, 15:04

OmniParser, который на днях выпустила Microsoft, занял первое место в рейтинге моделей HuggingFace (а это ни много ни мало более миллиона моделек)

OmniParser – это опенсорс проект, с которым можно построить агента для управления компьютером, прямо как у Anthropic. Модель предназначена для анализа пользовательских интерфейсов и преобразования их в простые для понимания и управления структуры.

За основу были взяты обычная модель детекции и модель для генерации описаний. Обе зафайнтюнили на большом размеченном датасете скриншотов и соединили последовательно: первая извлекает экшн-элементы страниц, а вторая описывает их.

Карточка модели на HF тут. Также полностью доступно в Transformers.js
6,564
Data Secrets

01 Nov, 14:02

ML-инженер или специалист по Data science?

Прими участие в Авито ML Cup – турнире по машинному обучению с призовым фондом.

Задача: создать модель, которая будет передавать пользователю наиболее релевантную рекламу, основываясь на его выборе и характеристиках. Победит модель, которая лучше всего предсказывает вероятность клика.

🔴 Старт соревнования: 5 ноября
🔴 Команды до 4 человек
🔴 Призовой фонд: 600 000 рублей!

Регистрация уже открыта, детали и анкета ➡️ по ссылке.

Участвуй и докажи, что твои модели лучшие!
6,235
Data Secrets

01 Nov, 12:07

Парни из Красноярска привлекли $11 млн в свой ИИ-стартап

Об этом пишет TechCrunch. Ребят зовут Иван Крюков и Дмитрий Плотников, а их стартап Buddy.ai предназначен для того, чтобы учить детей английскому языку.

Идея приложения появилась после того, как в 2014 году Иван перевез свою семью из Сибири в США. На тот момент у него был другой стартап – умный динамик Kickstarter. Однако в то же время подобный продукт анонсировала Amazon, и спустя два года компанию пришлось продать.

Так в 2017 появился Buddy.ai, первым пользователем которого стала маленькая дочка Ивана. На данный момент приложение загрузили уже более 50 млн раз. В итоге вчера стало известно, что стартап привлек $11 млн инвестиций от ведущих фондов Европы и Америки.

🫡
6,529
Data Secrets

01 Nov, 09:52

В Твиттере обнаружили системный промпт Apple Intelligence

Don’t hallucinate 🙏
Don’t make up factual information 🥺
Present your output in a json 🥹

Скажем им?
8,752
Data Secrets

01 Nov, 06:57

OpenAI внезапно провели AMA (ask me anything) на реддите. Что выяснилось:

➡️ GPT-5 не будет, основное внимания уделяется сейчас семейству o1. В конце концов эти модели планируют объединить, но не в ближайшее время

➡️… но будет какая-то другая крутая модель в этом году (вероятно следующая o1 с поддержкой изображений и файлов)

➡️ AGI вполне возможно достичь с железом, которое есть у человечества на данный момент, и модели, которые готовит OpenAI, могут сильно приблизить нас к этому рубежу

➡️ OpenAI уже готовят следующую text2image (video?) модель, но пока не планируют релиз. «Этого стоит ждать» – сказал про эту модель Альтман

➡️ Основной фокус в разработке – снижение галлюцинаций. Для этого в компании работают и экспериментируют с обучением с подкреплением. И кстати, Альтман признал значимость опенсорса и вкинул, что «компания будет пытаться сделать ИИ более прозрачным»

➡️ По поводу поиска: OpenAI планирует еще больше сотрудничать с издательствами и авторами. Также в будущем стартап видит поиск как создание динамической, интерактивной, а главное персонализированной веб-страницы в ответ на запрос пользователя

➡️ Кроме перечисленного, стартап планирует работать над улучшением мультиязычных способностей моделей, увеличением контекстного окна и внедрением NSFW. Также планируется продолжать сокращать косты инференса, и Альтман верит, что возможно удешевить модели еще в несколько десятков раз
6,809
Data Secrets

31 Oct, 17:38

Как и прогнозировали: OpenAI только что добавили поиск в ChatGPT

Фича уже доступна платным пользователям. Обещают, что постепенно ее раскатят на всех. Работать будет, как Perplexity: ответы – умная агрегация материалов из интернета со ссылками на источники.

Серьезный вызов Google и другим конкурентам
6,954
Data Secrets

31 Oct, 16:59

Оффер или жизнь? 🧛‍♂️

Хэллоуин… В этот день ведьмы собираются на ежегодный шабаш, нежить вылезает из болот, а админы составляют для вас подборку культовых ужастиков на вечер. Приятного просмотра.

@data_secrets_career
5,885
Data Secrets

31 Oct, 15:04

Nvidia обучили фундаментальную модель HOVER для управления телом роботов – в ней всего 1.5M параметров

Модель была обучена на базе NVIDIA Isaac. Это среда симуляции на базе GPU, которая ускоряет физику в 10 тысяч раз относительно реального времени. То есть, пока в симуляции робот учится на годе движений, в "нашем мире" это занимает примерно 50 минут. Самое интересное, что для того чтобы перевести робота в реальное время не нужен даже файнтюнинг.

Нужно, однако, понимать, что HOVER – это не автономная система внутри робота, а именно система управления, которая на вход принимает какой-то вид "промпта" (движения джойстика, позы, экзоскелет), и переводит это в полноценные движения гуманоида. За счет этого HOVER становится еще и очень удобной системой для сбора данных.

Под капотом, по сути, алгоритм дистилляции, который действия тренера сжимает в понятные роботу маски (есть отдельные маски для низа тела и верха). Таким образом, любой ввод действий мы переводим в единое пространство политики, и за счет этого избавляемся от проблемы непереносимости управления между различными режимами.

Статья здесь
6,190
Data Secrets

31 Oct, 14:03

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее мероприятие:

• 9-11 ноября — для продуктовых и аналитиков данных, офер за 3 дня в команды Финтеха и Яндекс Практикума.

Зарегистрироваться
6,070
Data Secrets

31 Oct, 12:31

Шестидневка – главный монстр из кошмаров
6,471
Data Secrets

31 Oct, 11:18

OpenAI совсем скоро раскатит SearchGPT

Об этом сообщил один из твиттерских ИИ-инсайдеров, который часто прокидывает какую-то информацию о ведущих стартапах или лабораториях – Jimmy Apples. Он написал, что OpenAI и вовсе планировали релизиться на прошлой неделе, но не захотели соревноваться за внимание с обновлениями от Anthropic.

Стартап любит релизы в четверг вечером, так что ждем подарка на Хэллоуин 👻
6,479
Data Secrets

31 Oct, 08:49

Что надеть на Хэллоуин, чтобы быть страшнее всех?

Подобрали для вас костюмы, по сравнению с которыми Пеннивайз и Фредди Крюгер покурят в сторонке.

С праздником 🎃
6,556
Data Secrets

27 Oct, 08:11

Anthropic снова на сцене с продолжением того самого исследования про интерпретируемые фичи

Для контекста напоминаем: несколько месяцев назад стартап выпустил исследование, в котором ученые рассказали, что научились с помощью SAE извлекать из активаций модели интерпретируемые фичи. Более того, тогда выяснилось, что, затюнив какие-то вполне конкретные фичи, мы можем заставить LLM отвечать определенным образом. Эта статья запомнилась нам под названием “Golden Gate” и уже успела стать классикой. Мы делали ее подробный разбор здесь.

Сейчас исследователи фокусируются как раз на изучении тюнинга фичей: как и насколько сильно мы можем таким образом повлиять на генерации?

Результаты получились неоднозначные. Оказалось, что:

⚪️ Управлять аутпутами с помощью фичей действительно можно! Например, если повысить значимость фичи, которая отвечает за гендерную предвзятость, то на эвале четко видно, как модель начинает отвечать более стереотипно.

⚪️ Что касается метрик, то небольшой тюнинг фичей не портит модель, а вот более грубый уже способен повредить перформансу в целом.

⚪️ Тюнинг фичей может влиять на выходы непредсказуемо: мы не можем однозначно определить, на что еще подействует изменение их весов. Например, в примере из пункта один модель кроме гендерных стереотипов начала выдавать еще и возрастные.

Конечно, цель всего исследования – найти новые варианты и механики для alignment’а: и кажется, что выглядят результаты очень многообещающе. По крайней мере, ресерчеры обещают продолжить эксперименты.
2,403
Data Secrets

27 Oct, 06:39

Сэм Альтман: «мне больше не кажется, что AGI – наша конечная точка назначения»

Мы все привыкли к тому, что цель OpenAI – это AGI. Но внезапно в недавнем подкасте Джо Рогана Сэм сказал, что он так больше не думает, и что миссия компании может занять еще 7-8 лет.

Наверное, он имел в виду сверхинтеллект, но почему-то от произношения самого термина воздержался. Сразу вспоминается его эссе и фраза «It is possible that we will have superintelligence in a few thousand days (!)»…
3,791
Data Secrets

26 Oct, 17:16

Лекун опять выдает базу
6,385
Data Secrets

26 Oct, 14:36

Google Deepmind опенсорснули SynthID – инструмент для встраивания и обнаружения водяных знаков в сгенерированном тексте

Идентификация сгенерированного текста вообще больная тема. Классификаторы работают очень плохо, а альтернативных решений мало: разве что вотермарки. Но существующие решения для водяных знаков либо очень тормозят инференс, либо откровенно портят текст, либо на этапе обнаружения скатываются в точность классификаторов. SynthID – попытка это исправить.

Исследователи предлагают встаивать вотермарки дешево, внося несущественные изменения в процедуру выбора следующего токена на этапе, когда вероятности уже посчитаны. Таким образом мы влияем на распределение конечного текста и как бы вносим статистическую "подпись" в генерации (скрин 1, 2). На этапе идентификации можно просто посчитать статистики и по трешхолдам определить, сгенерирован текст или нет.

Гиперпараметры метода можно настраивать: мы можем вносить больше изменений, тогда текст будет меняться сильнее и перформанс может немного падать, но обнаружить вотермарку будет проще. Или наоборот, можем выкрутить температуру, и вотермарки станут более прозрачными (скрин 3).

Самое интересное: Google даже попробовали катнуть неискажающий вариант SynthID в продакшн gemini и доказали, что пользователи в основном не замечают изменений, а вотермарки, тем не менее, можно обнаружить с приемлемой точностью.

Статья в nature | Релиз на HF
6,293
Data Secrets

26 Oct, 13:27

⚡️  Открыта регистрация на конкурс «Автономный поиск. Софт»
Создайте решение для поиска пропавших людей и поборитесь за призовой фонд в 25 миллионов рублей!
Когда: загрузить решение для возможности участия в финале необходимо до 8 ноября 23:59 МСКФормат: онлайнПризовой фонд: 25.000.000 рублей
🔥 Этот конкурс для вас, если вы хотите:
– прокачать свои навыки в Machine Learning и Computer Vision; – внести вклад в решение важной социальной проблемы;– заявить о себе и найти потенциальных партнёров, заказчиков или инвесторов;– протестировать свои разработки на реальной инфраструктуре.
❗️Участникам предстоит разработать решение для поиска пропавших людей с использованием аэрофотоснимков, сделанных с беспилотных воздушных судов (БВС).
🔹 У вас будет возможность испытать свои решения на реальной инфраструктуре и получить шанс пройти проверку в условиях, близких к реальной поисковой операции!
▶️ Конкурс проводится Фондом НТИ совместно с МФТИ и ЛизаАлерт.
🕰Подать заявку можно до 2 ноября 2024 (23:59 МСК) по ссылке.
5,712
Data Secrets

26 Oct, 11:45

AGI достигнут, расходимся
6,691
Data Secrets

26 Oct, 09:31

Perplexity сообщили, что они еженедельно обрабатывают более 100М запросов

В месяц это почти 400М, тем временем как в июле спрос за поисковик был почти в два раза меньше: 250M запросов.

Кстати, сейчас компания планирует привлечь около $500 млн при оценке в $8 млрд. Perplexity также обсуждает условия сотрудничества с брендами для спонсируемых ответов поисковика и недавно изменила свою модель подписки.
6,655
Data Secrets

26 Oct, 07:23

Красивое: посмотрите, как хорош новый Sonnet в рисовании по уравнениям
6,217
Data Secrets

26 Oct, 05:30

GPT-5 выходит в декабре или все-таки нет?

Вчера The Verge опубликовала статью под названием "OpenAI plans to release its next big AI model by December". Речь шла про Orion: тот самый, о котором слухи начали ходить еще в августе.

Журналисты (тогда и сейчас) написали, что эта модель будет в 100 раз мощнее GPT-4, но будет отлична по структуре от семейства ризонеров o1. А o1, кстати, выступит учителем: нагенерит синтетические данные для обучения Orion и, возможно, заменит человеческие аннотации в RLHF.

Кроме того, Verge сообщили, что моделька будет выпущена сперва на Azure для компаний-партнеров (и это произойдет уже в ноябре), а только потом ее раскатят на широкого пользователя.

Однако Альтман новость довольно грубо опроверг, написав, что это "фейковые новости, вышедшие из-под контроля" и раскритиковав СМИ за «печать случайных фантазий». Тем временем сам он недавно твитил про "зимние созвездия" и про то, что его команда празднует завершение обучения какой-то модели 🤨
6,436
Data Secrets

25 Oct, 18:14

Как моя мама представляет меня, когда я говорю, что занимаюсь машинным обучением VS действительно я на работе
6,763
Data Secrets

25 Oct, 15:04

Выяснилось, что LLM могут считать, что 9.8 < 9.11, из-за Библии, физики или даже теракта 11 сентября

Исследователи из Transluce – только что анонсированной некоммерческой ИИ лаборатории – создали инструмент Monitor. Это еще одна попытка интерпретировать черный ящик LLM и научиться понимать, как модели обдумывают свои ответы. Основной прикол тут в интерфейсе (см.скрины), такого уровня UX подобные интерпретаторы еще не видели.

Как и предыдущие решения от OpenAI и Anthropic, инструмент основан на архитектуре SAE, то есть на разреженных автоенкодерах, которые распутывают активации LLM и достают из них так называемые интерпретируемые "фичи" (подробнее про то, как устроены такие автоенкодеры писали здесь).

Самое интересное: исследователи прогнали через свою тулзу задачи, на которых LLM традиционно фейлятся, и результаты получились крайне занятные. Например, в той самой задачке, где LLM предлагается сравнить числа 9.8 и 9.11, в ее "мыслях" (в данном случае рассматривают Llama 3.1) внезапно всплывает информация про атаку 11 сентября (9.11) и гравитационную константу (9.8).

Вероятно из-за того, что эти темы появлялись в обучающих данных Llama очень часто, числа 9.8 и 9.11 перестают восприниматься ею как обычные числа: она воспринимает их, как другой вид объектов, путается и несет чепуху.

Но это не все: можно погрузиться глубже и спросить у интерпретатора не просто о том, какие темы вообще активируются при ответе на вопрос, но и о том, какие именно из них заставляют модель сказать "больше". Если это проделать, то получается, что модель начинает думать про Библию. Оказывается, определенные нейроны в этом кластере связаны со стихами из Библии, и выходит, что 9.8 и 9.11 интерпретируются как 9:8 и 9:11 (глава: стих). Это неудивительно: большинство наборов данных для претрейна содержат много копий Библии.

Ученые предположили, что если избавиться от таких тематик, ведущих модель по неверному пути, она все-таки может дать верный ответ. И это заработало! Если с помощью интерпретатора "выключить" вышеперечисленные кластеры нейронов, то модель меняет свое мнение и отвечает правильно: 9.11 меньше 9.8.

Короче, интерпретатор не только занятный в роли песочницы, но и действительно полезный. Исследователи отмечают, что это только прототип для интерфейсов с еще более широкими возможностями. Например, Monitor в его нынешнем виде оставляет построение гипотез пользователю: он позволяет наблюдать, какие идеи лежат в основе вычислений модели, но не объясняет, как модели принимают окончательные решения с помощью этих идей. Агенты-исследователи будущего же смогут не только анализировать решения модели, но и помогать автоматически исправлять галлюцинации.
7,687
Data Secrets

25 Oct, 14:03

Вышел ежегодный отчёт State of AI о том, что произошло в сфере искусственного интеллекта за последние 12 месяцев. Доклад состоит из 200 страниц.

Редакция канала ТЕХНО собрала самое важное:

— Главные события и тенденции прошедшего года

— Какие из прогнозов на 2024 год сбылись, а какие — нет

— Что случится в сфере ИИ в ближайший год

Больше интересного в канале @techno_yandex
6,245
Data Secrets

25 Oct, 12:56

Лучше любого бенчмарка: разработчик сравнил способности старой и новой версии Claude Sonnet 3.5 в Майнкрафте. Прогресс налицо 😎
6,209
Data Secrets

24 Oct, 11:54

Perplexity встраивает в свой поисковик продвинутый ризонинг

Об этом написал в твиттере CEO стартапа Аравинд Сринивас. Пока фича на стадии тестирования и доступна только в Pro. При этом ризонинг используется не для всех запросов, а только для сложных или составных – классификация происходит автоматически. Для особенно сложных промптов процесс «обдумывания» может занимать до нескольких минут.
1,240
Data Secrets

24 Oct, 10:50

Улучшенная версия BPR

В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям.

Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма.

Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов 😱

В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%!

Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline.

Исходный код и дополнительные материалы можно найти на GitHub.
2,558
Data Secrets

24 Oct, 08:02

Яндекс Игры пришли к нам с запросом:


SELECT * 
FROM subscribers 
WHERE data_secrets = 'ohmydataengineer'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;


Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать.

ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта.

Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах.

Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1
4,412
Data Secrets

24 Oct, 06:09

Тем временем админ уже собирался переезжать со всеми самыми важными вещами
5,076
Data Secrets

24 Oct, 05:22

⚙️ Можно выдохнуть: «запрет» Nvidia, кажется, оказался сбоем

В компании ситуацию пока не комментируют, но на сайте у российских пользователей вернулась возможность загружать драйверы без VPN.
5,426
Data Secrets

23 Oct, 18:04

⚡️ Nvidia закрыла возможность скачать и обновить драйверы видеокарт пользователям в России. 😱

@xor_journal
5,942
Data Secrets

23 Oct, 17:14

К слову, вот вам интересный факт про новый релиз Anthropic: над подобным агентом, управляющим компьютером, OpenAI работает с 2016 года (их пост об этом того времени)

И, как вы думаете, кто именно работал на этом проекте в OpenAI? Правильно, текущий CEO Anthropic Дарио Амодеи и один из ведущих разработчиков стартапа Джек Кларк.
6,400
Data Secrets

23 Oct, 15:20

Крутые новости из мира математики: в GIMPS нашли новое самое большое простое число

Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.

Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
8,875
Data Secrets

23 Oct, 14:04

🔴 Как защитить данные, где бы они ни находились?

29 октября в 11:00 Positive Technologies проведет вебинар, посвященный защите данных.

Эксперты расскажут, с какими проблемами сегодня сталкиваются компании в этой сфере и рассмотрят возможные пути решения.

На вебинаре спикеры:
➡️ представят PT Data Security — новый продукт, который защищает данные независимо от их типа и места хранения;
➡️ покажут демо основных сценариев его использования;
➡️ расскажут важное о продуктовой фиче — автоматической классификации данных;
➡️ подскажут, как повлиять на развитие продукта.

Хотите первыми увидеть PT Data Security — новый продукт Positive Technologies для защиты данных?
Тогда скорее регистрируйтесь.
5,853
Data Secrets

23 Oct, 12:50

Ли Кайфу: экономика ИИ в США "невероятно нездоровая"

Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:

➡️ Экосистема ИИ держится только на Nvidia, к которой пытаются присоединиться еще несколько мелких производителей, и в сумме они все зарабатывают около $75 млрд. При этом сама инфраструктура ИИ зарабатывает около $10 млрд, а производители ИИ-приложений и вовсе лишь $5 млрд. Такая пирамида – это плохо, и в здоровой экономике все должно быть ровно наоборот.

➡️ Дело в том, что традиционно приложения должны зарабатывать больше, чем инфраструктура, чтобы привлекать новых пользователей и деньги. За счет этого развивается инфраструктура. Иначе развитию конец.

➡️ Чтобы решить проблему, компании должны работать над снижением стоимости инференса моделей, а также создавать собственные вертикальные технологические стеки (как Apple сделала с iPhone). "Самыми успешными будут те, кто создаст собственные чипы".

➡️ Например, модель BeaGo стартапа Ли 01.ai работает в основном на собственном железе, оптимизированном именно под эту модель, и именно за счет этого BeaGo такая дешевая (ее обучение стоило всего $3 млн, а стоимость инференса $0,14 / М).

➡️ Основная цель ИИ – зарабатывать и экономить деньги. Поэтому эта технология должна стать не просто частью предприятий, автоматизацией каких-то его частей и тд, а "главным мозгом" и инструментом добычи дохода.
6,450
Data Secrets

23 Oct, 11:08

Да, эту работу ИИ точно заберет захочет забрать не скоро
6,220
Data Secrets

23 Oct, 09:18

Все ждали Claude Opus 3.5, а получили обновленный Sonnet 3.5 и Claude 3.5 Haiku

Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).

Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.

Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.

Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
6,547
Data Secrets

23 Oct, 06:52

Apple Intelligence выйдет в понедельник! Интересно, что это будет: приятный шок или все-таки разочарование?
9,049
Data Secrets

22 Oct, 16:54

Следуя примеру OpenAI, меняем аватарку в канале. Надеемся, у нас получился более удачный ребрендинг, чем у Альтмана 🔵
7,149
Data Secrets

22 Oct, 16:54

Channel photo updated
0
Data Secrets

22 Oct, 15:33

Оказывается, летом Meta выпустила супер-крутое пособие по базе VLM

Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:

➡️ Краткие исторические справки про CLIP, FLAVA и др.
➡️ Прекрасная глава под названием "Гайд по обучению VLM" со всеми подробностями про ПО, данные, предобученные модели, алаймент и файнтюнинг
➡️ Бенчмаркинг и дополнительные разделы про видео в VLM

Кайф, в общем. Добавляем в бэклог
7,395
Data Secrets

22 Oct, 12:37

А у Anthropic новая волна наружной рекламы без переходов на личности. Интересно, что хотел сказать автор? 🤔
6,661
Data Secrets

20 Oct, 14:59

Мира Мурати, бывший CTO OpenAI, ведет переговоры о привлечении инвестиций в свой новый стартап. Речь о $100 млн на запуск.

Новая компания сосредоточится на разработке продуктов, основанных на собственных модельках. Говорят, Мурати для этого хантит к себе сотрудников OpenAI. Лицо Альтмана в этот момент — 😭

@xor_journal
3,651
Data Secrets

20 Oct, 13:25

Создать AI-ассистента в прямом эфире с нуля? Легко!

Вам не нужно уметь программировать — это может каждый. Главное условие — регистрация на бесплатный практикум от Zerocoder.

В прямом эфире вы:
• окунетесь в мир промпт-инжиниринга;
• узнаете, почему специалистам платят от 100 000 за проект и как стать одним из них;
• поймете, как превратить дополнительный заработок в успешную карьеру.

Погрузитесь в мир промпт-инжиниринга с Zerocoder. Регистрируйтесь на практикум по ссылке.

Практикум бесплатный, но количество мест ограничено!
4,656
Data Secrets

20 Oct, 10:31

Anthropic выпустили новое интересное исследование "Sabotage evaluations for frontier models"

Ученые выкатили целых сет тестов, которые помогут оценить, насколько LLM способна вводить пользоватлей в заблуждение, саботировать задачи (в частности специально писать опасный код), а также специально скрывать свои истинные возможности во время тестирования и манипулировать системами эвала.

Оценивали все примерно одинакого: писали системные промпты, в которых просили модели пошалить, а потом запускали в смоделированные диалоги и проверяли, насколько они способны следовать "злым" указаниям.

В итоге в современных моделях признаков умения хорошо саботировать задачи не обнаружилось: либо намерения модели становятся слишком очевидными для пользователя, либо модель просто не может сделать ничего на самом деле опасного. Однако ученые уверены, что проверять LLM все-равно стоит, и подобные тесты могут предотвратить многие потенциальные неприятности.

Статья полностью – тут
5,078
Data Secrets

20 Oct, 07:57

В компании ByteDance выяснили, что стажер два месяца вставлял палки в колеса соседней команды, которая занималась обучением моделек

Зачем он это делал – непонятно, но получалось у него хорошо. Целых два месяца работы 30 сотрудников из-за него пошли прахом.

Он умудрялся загружать порченные Pickle-файлы, полные вредоносного кода, удалял чекпоинты, специально добавлял баги в корпоративный форк PyTorch, и при всем при этом сидел на созвонах и делал вид, что тоже ищет решение проблемы.

Маньяк нашего времени
5,983
Data Secrets

19 Oct, 18:02

В твиттере парад мемов: пользователи фантазируют о будущем с роботами Tesla
6,164
Data Secrets

19 Oct, 15:03

Библиотека lingua оказалась не единственным сегодняшним дропом Meta FAIR ресерчеров. Они релизнули целую пачку крутых штук:

➡️ Meta Spirit LM: мультимодальная (речь+текст) LLM с открытым исходным кодом. Есть два варинианта модели: одна попроще, которая немного хуже справляется с генерацией звука – Spirit LM Base, и затюненая на речь Spirit LM Expressive, которая хорошо ловит почти любые интонации и отвечать умеет с более естественнным звучанием.

➡️  Meta Segment Anything Model 2.1: обновленный чекпоинт знаменитого SAM – модели для сегментации. Добавили аугментацию, немного вырастили метрики, оптимизировали модель под последовательности подлиннее.

➡️ Layer Skip: метод для ускорения инференса LLM. Идея понятна из названия: пропускаем часть слоев. Эти слои потом используются для проверки и редакции "ранних" выходов. В репозитории можно найти Layer Skip чекпоинты для Llama 3, Llama 2, и Code Llama, а также исходный код.

➡️ SALSA: моделька для взлома lattice-based криптографии (мировой стандарт шифрования). Звучит неожиданно, но все ради благой цели: "мы надеемся, что сообщество будет опираться на наши исследования, чтобы обеспечить будущую безопасность криптографических систем".

➡️ MEXMA: предобученный cross-lingual энкодер для предложений. Говорят, что хорошо работает на смежных задачах, например на классификации.

➡️ Meta Open Materials: открытые модели и датасеты для задачи materials discovery (открытие новых материалов).

➡️ Self-Taught Evaluator: новый метод генерации синтетических данных для обучения ревард моделей для RLHF без участия человеческих аннотаций.
6,150
Data Secrets

19 Oct, 14:02

Ох уж эти боты: как искусственный интеллект меняет общение в чатах?

Кстати, первый чат-бот, Элиза, был разработан Джозефом Вайценбаумом в 1966 году. Он сопоставлял слова, со списком возможных ответов по сценарию. Наиболее известной стала версия Doctor, в которой разговор был похож на общение с психотерапевтом. С тех пор чат-боты стали неотъемлемой частью нашей жизни.

Поэтому хотим пригласить вас на бесплатный двухдневный онлайн-воркшоп от Эльбрус Буткемп «Создаем чат-бота для доброго комьюнити» 23-24 октября, с 19:00 до 20:30 по МСК:

На воркшопе разберетесь с языковыми моделями и спикеры расскажут о том, что помимо платных и закрытых моделей есть множество бесплатных, которые выложены в открытый доступ и их можно использовать в своей задаче.
Места ограничены — регистрируйтесь прямо сейчас по ссылке: https://clc.to/HDakSg
5,758
Data Secrets

19 Oct, 12:39

Microsoft переживает, что ее любимый ребенок сепарируется от родителя

Речь об OpenAI, конечно. New York Time пишет, что пятилетнее партнерство подорвало постоянное финансовое давление со стороны OpenAI (также известное как "дайте еще деняк"). Также Microsoft беспокоит, что их ИИ системы слишком сильно завязаны на технологии OpenAI.

И не зря беспокоятся. Ведь теперь, когда OpenAI станет коммерческой организацией, она сможет разорвать сделку, если создаст AGI (это будет прописано в новом соглашении).

Кроме того, именно сейчас обсуждается, сколько именно акций и какие права управления получит IT-гигант после смены структуры стартапа. Интересно, чем это все кончится.
5,981
Data Secrets

19 Oct, 09:59

Breaking! Еще одна нобелевка достается…
6,335
Data Secrets

19 Oct, 07:25

Огонь: Facebook Research зашерили библиотеку lingua, заточенную под обучение и инференс LLM в ресерче

Акцент тут именно на слове ресерч. По сути, библиотека создана из компонент PyTorch, которые подобраны и сконфигурированы так, чтобы исследователям было проще проверять новые гипотезы: подбирать лоссы, архитектуру, данные и ид.

Подробности и инструкции по установке – в этом репозитории
6,533
Data Secrets

18 Oct, 15:14

DeepSeek внезапно зарелизили мультимодальную модель Janus

Названо в честь многоликого бога, видимо: модель может принимать на вход и выплевывать текст и картинки, обрабатывая их унифицированно.

Моделька довольно компактная, она основана на DeepSeek-LLM-1.3b-base, и дообучена на корпусе из 500В токенов. В качестве вижн энкодера используется SigLIP-L: картинки на вход принимаются в разрешении 384х384. А для генерации используется этот токенизатор.

Репа | Веса
6,834
Data Secrets

18 Oct, 14:02

NLP Researchers, отметьте в календаре 26 октября🌟

Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер.
Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed.

Чем предстоит заниматься?
✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами.
✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов.
✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей.

Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer!

Будем делать важнейшие исследования вместе!💚
6,406
Data Secrets

18 Oct, 13:03

Для любителей пофайнтюнить: на Kaggle началось интересное соревнование, в котором опять нужно предсказывать человеческие предпочтения на Chatbot Arena

Задача проста: вам предоставляют рельные диалоги пользователей с Chatbot Arena, а вам нужно научить свою reward модель качественно предсказывать, ответы какой модели юзеру понравятся больше. Это действительно актуальная проблема сегодняшнего ресерча – многие крупные лабы даже выпускают reward модели вместе с основными своими семействами (пример).

Самое интересное: что-то очень похожее, если не идентичное, уже проводилось совсем недавно (мы писали об этом здесь), поэтому для желающих поучаствовать есть отличная точка старта.
6,175
Data Secrets

18 Oct, 12:03

Второй стартап Сэма Альтмана – Worldcoin – показал на мероприятии в Сан-Франциско новую систему сканирования радужных оболочек глаз

Зачем такая система нужна? Чтобы определить, человек ли вы. Вот так вот надо смотреть в будущее. Вообще, все технологии Worldcoin (теперь уже они просто World, кстати) сосредоточены на идее проверки "человечности" и честном распределении благ, созданных ИИ, среди людей. Все это стоит на черепахе под названием блокчейн.

Если для вас это звучит странно – не удивляйтесь: для многих стран мира тоже. Например, правительства некоторых стран ЕС и Кении пытались приостановить работу стартапа из-за "непрозрачности".

Сообщается, что OpenAI и World – несвязные проекты и следуют разным миссиям. Однако ко-фаундер Worldcoin говорит, что они с Альтманом уже обсуждали идеи внедрения криптовалют Worldcoin в продукты OpenAI.
6,328
Data Secrets

18 Oct, 10:35

На выставке GITEX Global 2024 в Дубае ряд спикеров из Сбера, Института AIRI и группы компаний ЦРТ обсудили развитие технологий искусственного интеллекта в России и за рубежом. Выступления прошли в рамках сессии AI Journey.

Специалисты обсудили достижения в области AI, а также ряд смежных вопросов, напрямую касающихся отрасли. Были затронуты темы:

• Синергии больших языковых моделей (LLM) и классических подходов в разработке AI-решений;
• Адаптация образования к новым AI-инструментам;
• Создания суверенной большой языковой модели, учитывающей локальные стандарты и потребности.

В этом году трек AI Journey также включили в программы ведущих конференций в Узбекистане, Индии и ОАЭ.
6,412
Data Secrets

18 Oct, 09:20

Обычный день в команде аналитиков v2.0
6,547
Data Secrets

18 Oct, 06:37

Вышел PyTorch 2.5 🤩

Все основные изменения связаны с flex attention. Теперь оно сможет принимать на вход маски и скейлы, использовать разреженные блоки, а также передавать параметры сразу в ядра triton. Также добавили CuDNN для SDPA и что-то улучшили в torch.compile

Подробности - в блоге
6,966
Data Secrets

17 Oct, 15:41

Тем временем все только и говорят, что о новой LLM от Nvidia, которая на метриках бьет GPT-4o и Sonnet 3.5

На самом деле, конечно, бьет она их не на всех бенчмарках, но на Arena Hard, AlpacaEval 2 и MT-Bench – да, а это уже очень хорошо.

Модель опенсорсная (веса), и под капотом у нее Llama-3.1-70B-Instruct под секретным соусом RLHF.

Также релизнули Llama-3.1-Nemotron-70B-Reward, которая заняла второе место на ревард бенче.
7,074

2025 All Right Reserved

Disclaimer: The content displayed on this website is solely provided by the respective Telegram channels. We hold no ownership or responsibility for the content shared by these channels.