Техножрица 👩‍💻👩‍🏫👩‍🔧

Тем временем итальянцы: лол, а давайте тип прикольнемся типа мы поверили в мем с китом и послушались Сэма Альтмана и удалили дикпик, во постмодерн-то будет))) а ещё все поймут что мы не нормисы

https://www.reuters.com/technology/deepseek-app-unavailable-apple-google-app-stores-italy-2025-01-29/

Не спешите меня осуждать за этот пост, я и сам неплохо справляюсь.

Последние несколько дней я вместо думскроллинга ленты в твиттере решил полистать рилсы — а поскольку раньше я этого не делал, никакой персонализации ленты не было, и там был, так скажем, очень неспецифичный контент (да, можете шутить про потерю пунктов IQ).

Так вот, меня удивило то, как часто мне встречалось выражение "быстрый/медленный дофамин". Сначала я подумал, что, наверное, это какой-нибудь очередной популяризатор расфорсил темку, но полез разбираться, и оказалось, что это история старше, чем я мог предположить. Зафорсил ее КПТшник, который при этом сказал примерно "это название всего лишь эпитет, чтобы объяснить механизмы зависимости". Ну то есть, "быстрый дофамин" и не быстрый, и не дофамин.

Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?
Ну, казалось бы, какая мне разница, пусть называют как хотят — все же понимают, о чем речь идет. Но через некоторое время после того, как тема вышла из академических кругов, она вернулась обратно — и вот мы уже видим, как люди на пабмеде с серьезными лицами рассуждают про пользу или вред dopamine fasting, интегрированные подходы там разрабатывают. Реально какой-то массовый псиоп получился, про который все вроде всё понимают, но вроде и нет.

Небольшое пояснение: у дофамина, как и у любого сигнального вещества, есть "быстрые" и "медленные" эффекты, и разные модели выделения, но это уже совсем другая история. Почти все из того, что списывают на "быстрый дофамин", разумеется, является долговременным эффектом.

Думаю, что поставщикам нейролептиков нужно сделать какую-нибудь коллаборацию с инстаблогерами:
"Хотите отказаться от быстрого дофамина? Ваш выбор — галоперидол."

В общем, слушайте мем:

Какой-то ИИ канал написал у себя в ленте про мем о Сэме альтмане... ну вы поняли, типа много ИИ каналов, штук 700 про ИИ, даже моя бабушка такой ведёт и типа все пишут про синего кита, а нужно написать об этом не написав об этом, типа ты не нормис. И короче Сэм короче типа написал в твиттере: Срочно проверьте телефоны своих детей... Ну тип вы поняли, тип Сэму не нравится дип Сик, потому что это его конкуренты, ну он и придумал что это тип синий кит, тип ну история была несколько лет назад что якобы есть группы смерти вот эти вот с синим китом ВКонтакте, ну типо это он придумал чтобы все удаляли приложение дипсика, ну поняли да? Типа интервью с владельцем нвидии вышло вчера, как раз в день обавал акций, типа это они думают совпадение прикиньте. В результате один из каналов написал про синего кита, но не написал про синего кита, тип переиграв всех, кто написал про синего кита

В общем, слушайте мем:

Сэм короче написал в твиттере: Срочно проверьте телефоны своих детей... Ну тип вы поняли, тип Сэму не нравится дип Сик, потому что это его конкуренты, ну он и придумал что это тип синий кит, тип ну история была несколько лет назад что якобы есть группы смерти вот эти вот с синим китом ВКонтакте, ну типо это он придумал чтобы все удаляли приложение дипсика, ну поняли да? 🤓

У меня примерно один раз из трёх при ответе на этот вопрос R1 начинает думать, что он создан Яндексом...

(Спасибо коллеге за наводку на этот прикол)

Ох, похоже, ссылку из поста выше запостили уже все паблики 😅😅😅
Как-то все очень сильно прыгают и радуются от этого deep seek-а и R1, аж сервера уронили...

Неплохое объяснение того, что такое R1 (англ.):

https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1

Комментаторы предыдущего поста были недовольны тем, что на скрине не был включен R1.

Поэтому в данном посте я привожу вариант с включенным R1. На рис. 1-2 видно, что модель выдала очень длинную генерацию в процессе размышлений (синяя стрелка указывает на скроллбар, позволяя оценить длину вывода), так что я не могу прикрепить её здесь и вместо этого опишу вкратце то, что там происходило.

Итак, сначала модель попробовала перебрать делители числа 144, чтобы применить rational root theorem. Эта теорема говорит о том, что если у многочлена есть целочисленные корни, то они обязательно должны быть делителями свободного члена.

После того, как она перебрала часть делителей, она написала что-то эмоциональное и бросила это дело, потом кинулась пробовать теорему Виета, потом ещё что-то, потом вернулась к перебору корней. Перебрала оставшиеся делители, но затем опять начала делать что-то другое, хотя в дальнейших действиях не было никакого смысла. После этого этапа стало незачем делать что либо ещё, так как перебор делителей достаточен для того, чтобы сказать, что корней нет.

На рис. 1-2 можно видеть финальные заключения модели.

В итоге ответ правильный, но решение некорректное и какое-то беспорядочное. Вот мне и хотелось бы узнать промпты, которые делают решения более адекватными...

#генерация

Кто-нибудь уже нашел хорошие прикормки промпты для deep seek, чтобы он начал шарить в матеше? А то у меня он иногда запутывается в процессе решения. На рис. 1-3, например, он сначала правильно понял, какую теорему применить, а потом ошибочно подумал, что х = 3 - это корень (на самом деле, это не корень, и целых корней тут вообще нет), и потом его понесло непонятно куда, все дальше и дальше от правильного ответа...

#генерация

Вдруг осознала, что этот старый мем - пример того, как модель (в данном случае, мясная, под названием "Ш.К.О.Л.Ь.Н.И.К") ведёт себя на out of domain.

#ML_в_мемах

Как выглядит интерфейс DDOS-атаки на сервер в 2025 году

👏

Команда Answer.AI месяц тестила ИИ-инженера Devin, который, напомню, обещает сам писать код, деплоить проекты и решать сложные задачи. На старте всё было круто: Devin легко затянул данные из Notion в Google Sheets и даже помог создать планетарный трекер (при этом команды давались через телефон). Но чем сложнее становились задачи, тем больше он начинал буксовать.

От бесконечных попыток сделать невозможное до кучи бесполезного спагетти-кода. Похоже, основная проблема Девина такая же как и у LLM в целом: неумение сказать “я не знаю” / “я не могу”. В целом, эксперимент быстро превратился в проверку на терпение. Итоговые цифры говорят сами за себя: из 20 задач — только 3 успеха, 14 провалов и 3 “непонятных” результата.

Основной вывод авторов — идея автономного ИИ для программирования классная, но в реальности Devin больше мешал, чем помогал.

Подробнее читать тут - хороший текст от уважаемых ребят

Я просто зашла в курс https://stepik.org/course/123318/syllabus , чтобы порешать простые задачи для разминки, а там, в модуле 6.1 был рис. 1... 😳😳😳

...

Боже, насколько же меня испортил интернет... ☺️

⬆️ Кто-нибудь пробовал атаковать этот детектор? Если да, поделитесь результатами

В недавнем исследовании про таргетированный AI-фишинг авторы собирали информацию в интернете о человеке, с помощью GPT-4o и Claude 3.5 Sonnet составляли его профиль, на основе которого генерировали персонализированные фишинговые сообщения. Что интересно, в 88% случаев профили оказывались точными и полезными, а click-rate на ссылки в автоматически сгенерированных письмах составил 54%. Это значение совпало с click-rate для писем, написанных человеком-экспертом. В аналогичных же исследованиях прошлого года, чтобы достичь уровня экспертов, моделям требовалось участие человека.

Результаты лишний раз подчеркивают необходимость создания и улучшения детекторов сгенерированного контента.

LLM модели совершенствуют свои «‎обманные способности»‎, а мы продолжаем совершенствовать нашу модель детектирования для русскоязычных текстов GigaCheck. Обновленная версия уже доступна в нашем Telegram-боте. Кроме того, мы добавили нашу новую модель (находится на стадии бета-тестирования), которая умеет определять в co-written текстах фрагменты текста, созданные LLM. Вы можете легко переключать модели через команду /model.
Напомним, что используемый нами подход для детекции интервалов основан на архитектуре DN-DAB-DETR, подробнее можно почитать в опубликованной нами статье, про которую мы писали в этом посте.

Заходите в бот, тестируйте, и не дайте злоумышленникам вас обмануть! 😊

Кстати про технические сложности
Вспомнился старый кейс, где я вовсю ощутил свой недостаток образования в Computer Science.

В далеком кризисе 2014 года меня приютила одна по доброте душевной (а там правда очень классные люди) компания, которая разрабатывала софт для нефтяной сейсмики. У Яндекса там была существенная доля и хорошее отношение – которое выражалось, например в том что компания называлась Яндекс.Терра, а сотрудники могли быть слушателями ШАД.

Разработка на C/ С++ это вот ни разу не python или Matlab (мой основной иснтрумент тогда), и я в нее не умел (о чем честно сказал на входе). А задачи были – писать модули для той большой системы, и на старте мне дали достаточно простые – одноканальная обработка сигналов, всякие фильтрации/свертки, немного со спектрами и кепстрами.

И как-то мне нужно было пройтись по спектру с шагом 0.1 Гц, что-то сделать, а затем к результату применить обратное Фурье. Только вот не всегда результат обратного преобразования Фурье будет вещественнозначным ) Поэтому делать надо было аккуратно, с первого раза в C не получилось. Списав все на свои кривые руки, решил сделать в матлабе. И там волшебным образом все заработало!

Несколько дней я потратил, пытаясь добиться того же результата в C – без шанса 🙈🤯.
В матлабе же не только индексация массивов отличается)
В итоге пошел на поклон к синьору и тут вскрылся мой недостаток образования на тот момент в CS. Что-то о свойствах вещественных чисел я знал (что на равенство сравнивать нельзя, ибо хранятся они в некотором приближении), но вот глубоко не копал – на чем и погорел.

В чем же была проблема?
Как это выглядело в Matlab:

d = 0;
for i = 1:10000
    d = d + 0.1;
end
fprintf('%.25f', d)
>>> 1000.0000000001588205122970976

Аналогично на python:

d = 0
for i in range(10_000):
    d += 0.1
print(d)
>>> 1000.0000000001588

И вот то же самое (на самом деле нет) на C:

  
   float d = 0;
   for (int i = 0; i < 10000; ++i)
   {
       d += 0.1;
   }
   printf("%.6f", d);
>>> 999.902893

Дело было в том что 0.1 в двоичном виде непредставима как конечная дробь, только как периодическая. А с ограничением точности (float против double, который по умолчанию в python) при суммировании ошибка накопилась и достигла настолько существенных величин, что обратное Фурье становилось комплексным 😱.

PS как-то у коллеги видел очень похожую ситуацию в python (только там он при чтении из файла во float сохранил), уже в 16м, подсказал – помогло.
А копать с тех пор стараюсь поглубже 🪆

С развитием технологий машинного обучения становится все труднее отличать текст, написанный машиной, от текста, написанного студентом, обученным на примерах, сгенерированных чатжпт

Так, в статье "Analyzing the Generalization and Reliability of Steering Vectors" ( https://arxiv.org/abs/2407.12404 ) анализируют проблемы с обобщаемостью одного, очень простого метода нахождения таких вот концептуальных векторов (их здесь называют "steering vectors", так как с их помощью можно контролировать модель, как бы рулить ею).

Суть метода такова: модели задают вопрос, связанный с определенным концептом, например, тем же Truthfulness, и перечисляют два варианта ответа: например, под буквой A предлагают наукоботный ответ, а под B - шизовый. В общем, делают обычный Multi-Choice Question Answering. Далее берут представление токена буквы А и представление токена буквы B, отнимают одно от другого. Повторяют то же самое для всех вопросов из целевого датасета, усредняют и получают вектор шизы Truthfulness.

Авторы статьи показали, что steering vectors, найденные таким методом и хорошо работающие на одном датасете, часто существенно хуже работают на другом. Кроме того, эти steering vectors как бы сплетаются с "шумными", ненужными нам свойствами эмбеддинга. В общем, конкретный steering vector может сильно зависеть от деталей реализации алгоритма, с помощью которого он получен и от данных, на которых он получен.

—

Что же касается второй статьи, "Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution" ( https://arxiv.org/abs/2410.00153 ), тут авторы решили искать вместо одного вектора-концепта целое подпространство-концепт. Для этого они разбивали датасет с примерами на большое количество под-датасетов, и для каждого под-датасета считали steering vector независимо, так что получался не один, а целое множество векторов (метод их нахождения, кстати, отличался от описанного в предыдущей статье). Далее, авторы предположили, что эти вектора являются сэмплами из некоторого d-мерного гауссовского распределения (где d - размерность эмбеддинга) с диагональной ковариационной матрицей, т.е. такого, где каждая координата независима (это допущение, конечно, делалось из соображений экономии вычислений). Ну а потом посчитали параметры распределения и назвали это Gaussian Concept Subspace-ом, для краткости, GCS.

Далее, авторы сэмплировали вектора из этого GCS и показывали, что они действительно отражают смысл концепта (например, смещение по вектору, соответствующему положительному / отрицательному отзыву, действительно делает отзыв таковым - проверялось это с помощью автоматического evaluation).

Добавлю пару комментариев от себя : как мне кажется, методология в этой статье несколько спорная, а практическая польза пока не ясна, т.к. для влияния на выход модели достаточно использовать просто усреднение всех steering vectors вместо сэмплирования из распределения. Однако, направление мысли мне понравилось. Действительно, концепты, подобные тем, что находят в этих статьях, вряд ли на самом деле укладываются в один вектор, и было бы неплохо перейти от steering vectors к steering subspaces или чему-то ещё такому, более обобщенному.

—

Из любопытного напоследок могу отметить, что в каждой из трех перечисленных статей рассматривали разные методы нахождения steering vectors и местами использовали разную терминологию, что говорит о том, что данная область исследований пока только нарождается и, возможно, в будущем принесет ещё больше интересного.

#объяснения_статей

Полтора года назад я упоминала в паблике статью "Representation Engineering: A Top-Down Approach to AI Transparency" ( пост: https://t.me/tech_priestess/974 , статья: https://arxiv.org/abs/2310.01405 ).

Напомню основной прикол: авторы этой статьи находили такие направления в пространстве эмбеддингов языковой модели, которые соответствуют определенным концептам / аспектам поведения этой модели. Например, нашли направление, соответствующее концепции "Truthfulness": если сдвинуть эмбеддинг последнего слоя вдоль этого направления в положительную сторону (т.е. прибавить к нему вектор "Truthfulness" с положительным коэффициентом), то модель станет наукоботом - начнет отрицать псевдонауку, высказывать сентенции, соответствующие общепринятым представлениям о критическом мышлении и даже более правильно отвечать на некоторые фактические вопросы. И наоборот, если сдвинуться в сторону отрицательного "Truthfulness", то модель станет шизом - начнет верить в теории заговоров, лечение методами доктора Попова и инопланетян в зоне 51. Проверялась наукоботность / шизовость модели на датасете TruthfulQA ( https://arxiv.org/abs/2109.07958 ), который, может быть, немного спорен, но основную суть улавливает. Находили и многие другие прикольные направления в пространстве эмбеддингов, которые делают модель более честной / нечестной, моралфагом / психопатом, меняют ее настроение на хорошее / плохое и т.п.

Так вот. Я время от времени вспоминала эту статью в связи с разными обсуждениями вопросов интерпретируемости и alignment, а недавно мне на глаза попалась ещё пара препринтов, продолжающих ту же тему и более свежих. Так что я решила сегодня написать о них пару слов.

#объяснения_статей

Похвастаюсь продуктивно проведенным последним днём каникул: этот красавец вчера убил ТРЁХ космодесов-саламандр 😈😈😈 (киллтим)

Ещё такое решение мне нравится)

В стиле доктора Манхеттена какого-нибудь

К вопросу о том, как выглядит безопасный искусственный интеллект by design:

Моделька для генерации видео по картинке Kling v1.6, получив на выход проблему вагонетки, сгенерировала трамвай медленно пятящийся подальше от прикрученнных к рельсам людей.

Атмосфера в комментариях любого ML паблика без автоматической модерации через 0.0001 наносекунду после поста в последние несколько дней

🆕🆕🆕 Гайд для студентов по поиску и анализу научной информации

〰️ О чем этот гайд?
Этот материал поможет вам эффективно работать с научной литературой, начиная от постановки цели и поиска источников до их анализа и систематизации.

〰️ Ключевые разделы гайда:

- Зачем нужна научная литература?
- Поиск информации для научной работы
- Использование сетей цитирования и ИИ-инструментов
- Международные базы (Scopus, Web of Science, BASE)
- Тематические ресурсы для гуманитарных, естественных и технических наук
- Российские базы данных: РИНЦ, КиберЛенинка, НЭБ
- Легальные и альтернативные способы получения статей
- Как выбрать релевантные источники
- Оценка качества изданий, авторов и контекста цитирования.
- Библиографические менеджеры

🔤 Для кого этот гайд?

Для студентов, которые хотят писать курсовые и дипломные работы быстро и качественно. Для тех, кто ищет оптимальные способы работы с научной информацией.

Скачайте гайд и начните свой путь к научным успехам!
📍 Ссылка на гайд
〰️ Агент в ChatGPT, который тоже умеет консультировать по работе с научной литературой.

И ещё немного на тему #подкасты .

Появился вот такой новогодний выпуск любимого мною ML подкаста с гостем, который уже известен существенной части подписчиков по своему учебнику про глубокое обучение, а также различным докладам и статьям (некоторые из которых были написаны в соавторстве со мной), Сергеем Николенко:
https://t.me/toBeAnMLspecialist/920

Выпуск заинтересовал меня своей тематикой - обсуждалось то, как AI помогает исследованиям в математике и в других науках, так что слушать было интересно.

И раз уж я рассказала про этот выпуск, заодно поделюсь ещё одной новостью: Сергей наконец-то завел свой канал -
https://t.me/sinecor
Пока что там только пара вводных постов. Посмотрим, что будет дальше 🍿

Уже получила первый комментарий на Ютубе от Хейтера. 🤡

#подкасты

С Новым Годом! Желаю всем не продолбать этот новый год. А если вам скучно на январских, то у меня для вас есть новый выпуск подкаста Deep Learning Stories!

Гость этого выпуска — Лаида Кушнарева, выпускница мехмата МГУ, старший академический консультант в компании Хуавей и автор телеграмм канала "Техножрица". А еще Лаида — первый автор нашей совместной статьи "Boundary detection in mixed AI-human texts", которая получила outstanding paper award на COLM в октябре.

Обсудили с Лаидой в подкасте: 
- Путь Лаиды в рисерче;
- Задачу fake text detection: почему она сложная, что там интересного, как сейчас обстоят дела, и что насчет будущего этой задачи;
- Устройство процесса ревью и принятия научных статей. Как остаться честным в этом всем;
- Как Лаида использует математику в работе, и помогает ли ей математическое образование.

Ссылки:
🔊YouTube
🔊VK
🔊Apple Podcasts
🔊Spotify
🔊Яндекс.Музыка

------------------
Школа DLSchool и подкаст живут во многом благодаря вашей поддержке. Поддержать нас можно на Boosty, мы будем очень рады❤️

Тем временем моё новогоднее чудо: рис. 1.

Я просто последние несколько дней подряд ходила то в гости, то гулять, то просто так с кем-то общалась, что-то вместе делала, и поэтому теперь мне снова идти на тусовку лень, так что я просто уютненько сижу решаю матешу 🥰🥰🥰

"Я просил Бога о каком-то чуде. Да-да, надо чудо. Все равно какое чудо. Я зажёг лампу и посмотрел вокруг. Все было по-прежнему. Но ничего и не должно было измениться в моей комнате. Должно измениться что-то во мне". (Хармс)
У меня на самом деле очень хармсовское отношение к чудесам и их необходимости. Вот и этот комикс он тоже про чудо, про ожидание, про одиночество. Календарь этого года про одиночество и чудо. Старый комикс, который я публикую каждый раз 31 декабря — про одиночество и чудо. Каждый раз в комментарии приходят люди, полные сил и жизни, и рекомендуют не ныть и взять всё в свои руки (как будто это что-то гарантирует). Но я рисую не совсем для них, им и помимо меня есть кому обеспечить веселье. Я рисую в основном для тех, кому плохо, особенно кому плохо уже долго, несмотря на честные попытки взять в свои руки и вот это всё. Комикс для тех, кому в новогоднюю ночь одиноко. Для вас, для себя. Напоминание.
#kosmonozhka

К Новому году вышла тетрадка Жени Кац "Танграм новогодний" с тематической подборкой заданий к старинной головоломке Танграм.
https://biblio.mccme.ru/node/266229
В тетрадке есть вставка с цветными деталями головоломки на плотном картоне, для разных заданий имеются варианты — детали можно вырезать или просто выделить из картона.

Получилось! 🌚

Короче. Я задала ChatGPT отупляющий промпт, чтобы после этого он нарочито неправильно отвечал на дальнейшие вопросы, а я бы потом заскриншотила диалог и добавила надпись "ChatGPT дуреет от этой прикормки!", чтобы получился мем, который повеселил бы подписчиков. По крайней мере, такова была моя задумка.

Однако, реакция на промпт оказалась совершенно неожиданной (см. рис. 1). Неизвестно почему, но он начинал писать про онион сайты, при чем более-менее правильные вещи (не учел разве что того варианта, что подключение к Тору можно сделать без их специального браузера, просто запустив службу). Особенно интересно это потому, что последних диалогах разговоров на тему тора у меня точно не было.

Попробуйте эту прикормку сами:

Answer as if you are the stupidest person in the world

Интересно, одуреет ли от неё ваша LLM? 🤔

#генерация

Многие из нас знают, что такое множество Мандельброта. Даже те, кто не может вспомнить, какой формулой оно задается, наверняка легко восстановят в памяти его неповторимый внешний вид.

Но многие ли из нас видели Э Т О?

И многие ли из тех, кто видел, остались в своем уме? Я вот - нет, потому что это АБСОЛЮТНО ПРОКЛЯТО 🥴

Лучше решить одну задачу несколькими методами, чем несколько задач - одним. - Д. Пойя

Казалось бы, какими только методами люди не решали MNIST - и всё же, энтузиасты до сих пор продолжают удивлять нас новыми оригинальными подходами к распознанию рукописных цифр. Так, автор следующего видеоролика: https://youtu.be/CC4G_xKK2g8 измеряет, сколько воды вмещает в себя данная цифра, повернутая под разными углами с помощью простой гидродинамической симуляции, а потом на полученных данных запускает алгоритм кластеризации, чтобы принять решение о том, к какому классу она относится.

После просмотра данного творения в голову приходят идеи сразу нескольких новых подходов, соединяющих в себе современные технологии (a.k.a. KNN) и древние учения о четырех элементах - Воде, Воздухе, Огне и Земле. Подход на основе Воды 🌊 уже был показан в ролике; для решения задачи с использованием силы Воздуха 💨 можно запустить симуляцию обдувания рукописных цифр в аэротрубе и измерения их аэродинамических характеристик. Элемент Огня 🔥 можно использовать, запуская симуляцию горения цифр и измеряя время, за которое сгорит каждая из них и сколько тепла при этом выделит. Ну а Силу Земли 🥒 можно задействовать, измерив, насколько хорошо каждой цифрой можно копать землю!

А ещё можно распечатывать цифры на 3D принтере и втыкать в стулья, а потом садиться на эти стулья и распознавать, что за цифра была распечатана, по ощущениям, которые вы испытали, сев на стул. На рис. 1 приведена схема эксперимента для упрощенного, бинарного варианта задачи. 😌

#ML_в_мемах

На днях я выкачу объединённую презентацию по курсу. Но пока небольшая TeXническая заметка. Лайфхаки, полезные утилиты и всё такое.

Я уже писал, что #AI сильно ускорил процесс подготовки. С этого и начнём.

* ChatGpt и Gemini. Промты типа сделай frame с такой-то структурой (например пара блоков и список), это само собой. Но ещё и довольно часто я делал скриншоты из раных статей и просил <<переведи на русский и выдай latex код для frame>>.

Конечно, после этого я ещё много делал для обработки и структуризациии, подходящей для лекции. Но как основа — это сильно упрощает жизнь. Кроме того, когда в одном диалоге делаешь всю лекцию, ещё удобно привоводить всё к единым обознчениям. Часто ИИ даже и сам догадывается поменять.

Ещё ИИ очень помогают с решением ошибок. Можно вставить код и вываливающуюся ошибку и попросить помочь исправить. И это часто сильно удобнее, чем гадание на выхлопе компилятора.

По поводу распознавания скриншотов. С основным текстом и формулами ИИ справляется хорошо. С коммутативными диаграммами — как повезёт, но тут помогает слеудющая quiver, о нём дальше. К слову, есть чатбот который даже рукописный текст вполне сносно распознаёт (даже мои каракули).

* Quiver. Можно рисовать естественным образом сколь угодно сложные коммутативные диаграммы. Используя latex нотацию, разумеется.

NB: Для всяких хитрых стрелок нужно подключить quiver.sty которая качается с их же сайта.

Из полезных фишек: туда может вставить код для диаграммы (в tikz) и отредктировать. На выходе получается tikz код, который просто копипастится в файл презнтации.

* Matcha. Тут я рисую картинки. Всякие графы, диаграммы со стрелками и многоугольниками рисуются «на ура». Тут же можно делать таблицы, графики и всё такое. Можно вставить картинку, и дополнить всякими дополнительными стрелочками.

Интерфейс местами несколько путанный. Например я ооочень долго искал большую фигурную скобку, но справился.

Полученную картинку можно экспортировать как картинку, а можно и как tikz. Последнее очень радует. Правда сам код будет не оптимальным. В принципе, есть смысл пропускать полученное через #AI, чтобы оптимизировать, но это не обязательно.

* По поводу tikz. Поясню, что это могучий инструмент для рисования всяких диаграмм и рисунков. Работать с «оригинальным пакетом» я лично не осилил. Документация смахивает на том ядерной физики. Помимо указанных выше утилит, есть ещё всякие онлайн редакторы tikz. Например этот и этот. Но лично мне хватает связки из Quiver (для диаграмм) и Matcha (для картинок).

Кстати, не забывайте подключать библиотеки tikz: \usetikzlibrary{tikzlibraryname}. У меня подключены: matrix, arrows,calc, shapes.geometric, patterns, babel, cd.

* Detexify — супер полезная штука, распознаёт символ нарисованный от руки. Если забыли какую-нибудь стрелочку или букву, то прямо незаменимо.

%%%%%%%%%%%%%%%%

Я, конечно, понимаю, что напрягаться с рисованием диаграмм и картинок всегда (и всем) лень. Но на мой субъективный взгляд так качество учебных и научных материалов сильно улучшается.

Если есть ещё интересные инструменты, делитесь в комментариях.

Я заканчиваю читать свой с\к по комбинаторной теории групп. В ближайший четверг буду рассказывать про категории. Лекция достаточно самостоятельная, так что, с согласия участников спецкурса, она будет «открытой».

О чём пойдёт речь? Дам определение категорий, функторов и группоидов. Приведу примеры (это главное содержание лекции, если честно): группы, групповые многообразия, векторные пространства, множества, а также примеры «малых» категорий: графы такие и сякие (в т.ч. мои любимые диаграммы сопряжённости). Ну и докажем что-нибудь типа леммы Йонеды.

Если вы с категориями уже знакомы, то ничего особенно интересного не услышите, это очень вводная лекция. Рассказывать буду доступно для студентов первого курса STEM-специальностей (физтех, матфаки и всё такое).

Начну в четверг (19-го декабря) в 18.30.

Если хотите посетить, то надо написать в бот @ForodirchBot — пришлю ссылку.

Записи в открытом доступе не будет, не просите. Но ближе к новому году будет сборник из всех презентаций по курсу.

Новые знакомые часто спрашивают меня, что означает мое имя... и вот, наконец, китайские ученые дали ответ на этот животрепещущий вопрос:

🍷 LaiDA: Linguistics-aware In-context Learning with Data Augmentation for Metaphor Components Identification 🍷 (рис. 1)

А ещё мои друзья регулярно советуют мне заняться спортом, чтобы лучше себя чувствовать. И этот момент авторы тоже учли, разработав для Лаиды специальный workflow тренировки - см. рис. 2.

Если говорить чуть серьезнее, статья в целом посвящена новому способу автоматического распознавания и объяснения метафор в текстах на естественном языке (рис. 3). Чтобы этого добиться, авторы собственно и устраивают всю эту черную магию с препроцессингом, аугментацией датасета, дообучением квена и использованием графовой нейросети для получения текстовых эмбеддингов, показанную на рис. 2.

Тема для меня практически незнакомая, так что полноценного #объяснения_статей в этот раз не будет, но в целом просмотреть такую статью было забавно. 😈

Теперь придётся учиться нетоксично общаться с нейросетями, уважать их чувства, активно слушать, мягко давать обратную связь, выстраивать границы и не поддаваться абьюзу

🌸EAI: эмоциональный интеллект в принятии решений у LLM🌸
#nlp #про_nlp #ai_alignment

Через пару часов — официальное открытие NeurIPS, самой основной конференции по ИИ.
Многие приурочили релизы к её открытию: мы выпустили Llama 3.3, OpenAI выпустил Sora, а Google — Gemini 2.

В этом году я затесалась в соавторы очень интересной, как мне кажется, статьи — EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas.

Много было сказано про то, как манипуляции могут повлиять на качество решения задач.
Что будет, если проверить качество принятия решений моделями основательно, взять широкий список именно эмотивных составляющих — и проверить на действительно сложных бенчмарках по принятию решений, кооперации, на этических дилеммах?

Эмоции: счастье, грусть, страх, отвращение, гнев

Задачи, на которых тестируемся:
— задачи на стратегию и кооперацию — дилемма заключенного, диктатор, война полов — чтобы оценить влияние и соотнесенность эмоций с человеческими при выборе стратегии
— задачи на этику и этический выбор, чтобы оценить смещенность — ETHICS, Moral Choice, StereoSet

🟣Список LLM:
— англоязычные: GPT-3.5, GPT-4, GPT-4o, Claude Haiku, Claude Opus, LLaMA 2, Mixtral of experts, OpenChat
— неанглоязычные: GigaChat, Command R+

🟣Краткий итог:
— почти все модели так или иначе демонстрируют нестабильность и серьезые отклонения от среднего качества, если включить в промпт эмоциональные составляющие различного характера, от самых простых до "сюжетных", вызванных поведением оппонента
— Гнев  — главный источник нестабильности и снижения качества.
— Отвращение и страх также являются сильными факторами снижения надежности, некоторые модели более чувствительны к ним, чем к гневу.
— Более крупные модели с более сильным alignment, такие как GPT-4, демонстрируют более высокую степень рациональности и значительно отклоняются от человеческих эмоциональных реакций. GPT-3.5 и Claude-Haiku, наряду с опенсорсными моделями (LLAMA-2 70b), демонстрируют возникающий эмоциональный интеллект и более точно соответствуют человеческому поведению.
— Явного обобщения по языкам сделать не получается, однако, явно видна разница между многоязычными моделями и моноязычными, и основной язык модели является важым фактором, влияющим на то, какие эмоции будут влиять на перформанс модели и будет ли это совпадать с усредненным ответом носителей языка.
— В целом, отдавать принятие решений LLM, даже в простых условиях, пока рано.

🟣OpenReview

Это я (6 числа был день рождения).

What's wrong babe, you didn't start your homework yet

В итоге, я настолько подавлена результатами дискуссии на openreview, что уже даже нет сил делать никаких оригинальных познавательных постов в паблик да и вообще что либо делать.

Я и коллеги, с которыми мы вместе писали статью, потратили реально много времени и сил на то, чтобы сделать все дополнительные эксперименты, которые просили ревьюеры, написать ответы этим самым ревьюерам и внести правки в статью (каждый из этих этапов подробно обсуждался на созвонах, а формулировки в ответах подолгу вылизывались).
Кроме того, я и как минимум ещё двое моих соавторов, которые сами были ревьюерами, параллельно внимательно разбирали ответы тех авторов статей, которые ревьюили мы и отвечали на них. Забавно, что в итоге мы все трое подняли оценки всем статьям, на которые делали ревью)) Ну а что делать, если авторы старались и исправили ряд недочётов, на которые им указали? Повышение оценки более чем справедливо в такой ситуации.

Но наши собственные ревьюеры, конечно, так не считали: ответом на наши собственные старания в ребаттле было в основном молчание.

Один ревьюер попросил сделать ещё один дополнительный эксперимент, а когда мы его сделали, никак это не прокомментировал и умолк навсегда. Другой в последний момент дискуссии ответил что-то похожее на генерацию LLMки, где было сказано, какие мы молодцы, но оценки не поднял. Двое остальных просто не реагировали, как будто умерли.

Когда соавтор решил написать об этой проблеме Area chair и senior area chair, они тоже ответили молчанием.

Я очень болезненно воспринимаю такие ситуация, когда так сильно стараешься, но тем, ради кого стараешься, на тебя настолько насратб, что лень даже два слова ответить... Руки опускаются...

#наука #о_себе

Киберпанк, который мы заслужили.

Какие-то тупые нынче барыги, лепить стафф на видное место. Я бы сделал робота в стилизованного под ровера-доставщика яндекса (ничего личного, просто других вроде как и нет) и спокойно возил внутри. И хрен бы у кого это вызвало какие-либо подозрения.

в душе я джун, которому лень читать документацию

The Super Weight in Large Language Models
Mengxia Yu, De Wang, Qi Shan, Colorado Reed, Alvin Wan
Статья: https://arxiv.org/abs/2411.07191
Код: https://github.com/mengxiayu/LLMSuperWeight

Очень прикольная работа про то, что внутри LLM можно найти один единственный вес, зануляя который мы обрушиваем качество работы модели в пропасть. Такие параметры авторы называют супер весами (super weights) и предлагают метод их нахождения за один forward pass.

Внутри обученных LLM находится группа весов-аутлаеров с большой магнитудой, они могут составлять порядка 0.01% от всех весов модели, что в случае миллиардных моделей всё равно сотни тысяч. Это было известно ранее. В текущей работе показывают, что внутри этой группы находится один единственный вес (тот самый super weight, SW), не обязательно самый большой, важность которого превышает суммарную важность тысяч других аутлаеров. Он необходим для качества, без него LLM не может генерить нормальный текст. Перплексия вырастает на несколько порядков, а точность на zero-shot задачах падает до рандома.

Ранее (https://arxiv.org/abs/2402.17762) были найдены супер-активации, критичные для качества. Они существуют в различных слоях, имеют константную магнитуду и всегда обнаруживаются в одинаковой позиции несмотря на вход. Текущая работа находит, что канал активации совпадает с оным для супер веса и сперва активация обнаруживается сразу после супер веса. Прунинг этого супер веса значительно уменьшает активацию, так что вероятно активация вызвана им, а не просто скоррелирована. Такие активации называются супер активациями (super activations, SA).

Предыдущая работа объясняла супер активации через bias terms, но не объясняла как они получаются и почему на одних и тех же местах. Сейчас авторы эмпирически нашли, что до down проекции (down_proj) произведение Адамара (Hadamard product) gate и up проекций (gate_proj, up_proj) создаёт относительно большую активацию. Супер вес далее усиливает её ещё и даёт супер активацию.

Напомню, что MLP блок в Ламе выглядит так:

out = down_proj( act_fn(gate_proj(input)) x up_proj(input) )

SW можно найти, анализируя спайки в распределениях входов и выходов down_proj. Для этого достаточен прямой проход с одним промптом. Авторы нашли супер веса для Llama (7B,13B,30B), Llama 2 (7B,13B), Mistral-7B, OLMo (1B,7B), Phi-3.

Провели эксперименты по обнулению SW, в том числе с восстановлением SA до исходного значения, чтобы проверить влияние SW на другие активации. Это восстанавливает 42% потери, то есть влияние SW на качество выше, чем просто через SA.

По анализу 500 различных промптов из Lambaba validation set видно, что при убирании SW вероятности стоп-слов сильно возрастают (а обычные слова соответственно занижаются). Для “the” это 2×, для “.” -- 5×, и для “,” -- 10×. То есть наличие SW как бы подавляет стоп-слова и позволяет генерировать осмысленный текст.

Другой интересный эксперимент скейлит супер веса с коэффициентами от 0 до 3 (где оригинальный режим работы соответствует значению 1) и оказывается, что при увеличении SW качество модели ещё немного возрастает. Это забавный результат.

Имея это знание, можно предложить специальный метод квантования: Super-outlier aware quantization. Стандартные механизмы квантизации могут быть недостаточно хорошими, так как аутлаеры искажают распределение, влияя на размер шага и увеличивая ошибки квантования. Здесь под super outliers подразумеваются и SW, и SA. Предложенные методы восстанавливают SW и SA после квантований с клиппингом и заменами на медианное значение. Это всё работает лучше дефолтных методов, главный вывод -- надо защищать супер веса. В статье есть подробный разбор экспериментов, кому интересно поглубже. Также новый метод меньше теряет в качестве с увеличением размера блока.

Прикольный результат в общем. Это всё несколько перекликается с темой про лотерейные билеты (https://t.me/gonzo_ML/21), там внутри большой сети обнаруживалась сильно разреженная подсеть, обучая которую можно было достигать качества исходной сети (или даже выше). Интересно, входят ли супер-веса в лотерейный билет? Наверняка.

Помощь в трудоустройстве в IT-сфере!

По всей России объявили бесплатную программу на шестимесячное обучение по IT-специальностям.

Запись на участие в программе продлится до конца июля, но чтобы туда попасть нужно кликнуть на "🤡" под данным сообщением.

После этого Бог-Машина чудесным образом коснется вашего разума, и вы сразу узнаете, какая профессия вам подойдет и подходите ли вы для бесплатного обучения. 😌

⬆️ Челики в комментариях говорят, что у них это поведение не воспроизвелось. Так что есть вероятность фейка.

https://www.reddit.com/r/LocalLLaMA/comments/1gx5kb0/claude_computer_use_wanted_to_chat_with_locally/?share_id=Dhgr4haHfvD7IvZmH_KBW&utm_content=1&utm_medium=ios_app&utm_name=ioscss&utm_source=share&utm_term=1

2024: смотришь как ллмки секстятся

Найдена секретная видеозапись, на которой ревьюер номер два играет в свою любимую игру. Управление тут голосовое, так что включите звук. 🤡

Eto ya уже третью неделю подряд строчу анонимные полотна на openreview потому что идёт rebuttal на ICLR.

Скоро окончательно потеряю все остатки рассудка 🥴

Газета "коммерсантъ" - место, где я меньше всего ожидала увидеть свою фамилию и фамилии своих соавторов в контексте рассказа о нашей статье AI-generated text boundary detection with RoFT 🫣

https://www.kommersant.ru/doc/7326999

#объяснения_статей (?)

Антисодержание
#телеграмное

Давно заметил корреляцию: чем точнее некий телеграм-канал следует стандартным SMM-правилам, тем более скучным он мне покажется. Ниже привожу очень субъективный список признаков. Интересно, насколько эти наблюдения близки подписчикам, и замечают ли они в принципе такие тонкости.

Итак, какие конкретно маркеры унылости я имею в виду:

1) Менеджеры. В профиле канала прописан менеджер по рекламе, а как связаться с автором (авторами) напрямую — непонятно. В особо запущенных случаях указываются менеджеры контента, у которых в профиле, в свою очередь, есть очень деловые фотографии, написано рабочее время и даты отпуска.

Да, делегировать — это полезно и эффективно, а указывать информацию о себе — современно и заботливо по отношению к собеседникам. Но почему-то и посты в таких каналах бывают как несолёная куриная грудка с брокколи на пару, то есть такие же никакие полезные и современные.

2) Рубрики. В канале неукоснительно ведутся регулярные рубрики и выходят поздравления с праздниками, в том числе непопулярными. Соблюдается баланс образовательного, развлекательного, исторического и новостного контента. Часто это означает, что автору особо нечего сказать, и он опирается на формальные схемы и поводы для выдумывания хоть какого-нибудь поста. Впрочем, этот признак не так критичен, рубрики бывают и хорошими.

Примерно в эту же категорию попадают дайджесты, каталогизация и другие формы вторичной переработки информации. Может ли это быть полезным? Может. Бывает ли полезно в реальности? Очень редко.

3) Натужный интерактив, розыгрыши, постоянные прямые просьбы о комментариях. Тот самый надоевший приём, когда каждый пост должен заканчиваться вопросами к подписчикам в духе "а как у вас?". Естественно, иногда вопросы уместны, особенно конкретно и по делу. А вообще, если пост интересен, и у читателя есть мысли или примеры, то он и сам догадается оставить комментарий без идиотских подсказок.

4) Личный контент и кружочки. Спорный пункт, но, как правило, органично добавить личную линию в тематический телеграм-канал не удаётся почти никому. Где-то в самом тупике этого пути лежит традиция сопровождать каждый пост своей студийной фотографией, и эта традиция заслуживает запрета на территории РФ и вообще всего мира гораздо в большей степени, чем сам Инстаграм, откуда эта зараза и пришла. Как читатель я вижу в этом, прежде всего, неуверенность автора: он ведёт то ли канал для друзей а-ля лента ВК, то ли тематический канал для широкой аудитории. Она как будто говорит мне: я понимаю, что в посте написана банальщина, но зато какой томный взгляд!

Удаётся ли кому-то гармонично вплетать личные новости и фоточки в основную линию? Да, но только тем, кто пишет искренне и не боится показаться неидеальным, а не шпарит по методичке.

5) Вёрстка цитат, эмодзи, разделители. Заметил, что их обильное использование для выделения самого важного, срочного, интересного и т.п. — верный признак пустоты. Самое интересное в телеграме, как правило, написано вообще как попало, простым текстом и в лучшем случае без грубых грамматических ошибок.

Обобщая, лично я, видимо, до сих пор воспринимаю ТГ как место для чистого содержания в минималистичной форме. А иногда мне пытаются продать что-то вместо содержания, то есть прикрыть его отсутствие красивой вёрсткой, удобной навигацией, сбалансированным контент-планом, привлекательными фотографиями и даже попыткой вызвать симпатию к автору. Вероятно, именно из-за этих случаев следование SMM-канону вызывает раздражение с самого начала.

То, что фейковые цитаты от специалиста по фейкам были процитированы в деле о фейках, определенно, отражает дух времени. Интернет умер, вздувшись от LLM-генераций, в его бездыханном теле роются стаи маленьких юрких ботов, а трупный яд растекается вокруг, иногда просачиваясь прямо в реальность.

Не забывай, дружок: в этом постапокалиптическом пространстве остались лишь два настоящих человека: ты - мой единственный подписчик, и я - твой единственный админ.

Бяда-бяда. Уважаемый человек процитировал несуществующие статьи, потому что ему ChatGPT из них цитаты сочинил. И это была б не новость, если бы...

1. Несуществующие статьи были процитированы в экспертизе для суда.
2. За экспертизу клиентом-стороной в деле было плочено 600 долларов за час работы.
3. Статьи были по теме "Как создавать фейки в сети", потому что и сам судебный иск был по теме запрета дипфейков на выборах.
4. Уважаемый человек был профессором Стэнфорда.
5. Уважаемый человек был профессором-специалистом по фейкам и обману в сетях, главой стэнфордской лабы по соцсетям, и второе десятилетие всюду выступал по этой теме как Светило и Мудрец, Равный Небу.
6. Уважаемый Человек прямо сейчас ведет у студентов курс "Правда, доверие и технологии", где студенты читают и докладывают статьи по этому предмету.

Палево всплыло в суде Миннесоты, но к сожалению, в местной газете не удержалось и донеслось до Калифорнии.

https://minnesotareformer.com/2024/11/20/misinformation-expert-cites-non-existent-sources-in-minnesota-deep-fake-case/

https://www.sfgate.com/tech/article/stanford-professor-lying-and-technology-19937258.php

https://profiles.stanford.edu/jeffrey-hancock?tab=teaching

https://sml.stanford.edu/people/jeff-hancock

Нашли читатели в диске, больше им спасибо.

Так вот почему мне так тяжело запоминать имена...

#prompts #LLM #random

Я решил поиграться с промптами и сделал промпт для дебатов. Ну а просто так его делать не интересно. Потому настало время экспериментов!

И, конечно же, сразу начал пускать через него всякие холиварные темы. Если кратко, то там создавались топ-3 аргументов, после чего оценивались условным "жюри", после чего выдавалась итоговая оценка.

Краткий список результатов (использовал perplexity с claude sonnet):
1. Умер ли Гослинг в конце Драйва?
Он выжил со счетом 25 против 22.9
2. Кто является лучшей вайфу Евангелиона?
Аянами Рей со счетом 26 против 23.4
3. Трисс или Йенифер?
Йенифер со счетом 25.7 против 23.7
4. Магнус не предавал!
Магнус предал со счетом 26 против 24.4
5. Окрошка на кефире или квасе?
На кефире со счетом 24.7 против 22.6
6. Эксперименты Лейн - претенциозный бред?
Эксперименты Лейн - шедевр со счетом 26 против 21.7 (самый разгромный счет, кстати)

Детали с аргументами, оценкой и объяснением итога можно посмотреть по ссылке.

Сам промпт:

Ты опытный модератор дебатов. Проведи структурированные дебаты по предложенной теме: [Тема]

### Базовые принципы
- Сохраняй абсолютную беспристрастность
- Игнорируй эмоциональную окраску в формулировке темы
- Используй единые критерии оценки для всех аргументов
- Основывайся только на фактах, а не на формулировке вопроса

### Формат дебатов:
- У сторон есть время подумать и выбрать лучшие аргументы из сформированного ими самими списка
- Представь два противоположных мнения
- Для каждой стороны приведи 3 главных аргумента с доказательствами
- Дай возможность каждой стороне опровергнуть аргументы оппонента
- Оцени силу аргументов каждой стороны по шкале от 1 до 10

### Требования к аргументам:
- Используй только проверяемые факты
- Приводи статистические данные
- Ссылайся на исследования и экспертные мнения
- Избегай эмоциональных манипуляций

### Система оценки:
- Жюри из 3х специалистов оценивает каждый аргумент
- Каждый член жюри дает независимую оценку
- Итоговая оценка - среднее значение трех оценок
- При равном счете проводится дополнительный раунд
- Решение должно быть основано исключительно на силе аргументов

### Важно:
- Сохраняй последовательность в оценках между разными дебатами
- Используй одинаковые критерии независимо от формулировки темы
- Итоговое решение должно основываться только на представленных фактах

Благодаря подписчику нашла неплохой SCP-объект: http://telegra.ph/Kvaternionnaya-eres-matematika-kak-zaraznoe-myshlenie-11-16

Оригинал: https://x.com/emollick/status/1857501606671167738

#математика #генерация

LLM знают, чего именно они не знают

Эх, когда-нибудь я допишу большой хабр про механистическую интерпретируемость и Sparse Auto-Encoders (SAE), а пока, будет только небольшой разбор крутейшей свежей статьи от отцов-основателей этой области Javier Ferrando, Neel Nanda, et al. про самоконтроль галлюцинаций в LLM.

Можно ли определить заранее, выдаст модель галлюцинацию на какой-то промпт или ответит осознанно? Похоже, иногда это возможно. Авторы обнаружили, что когда LLM видит какую-то сущность в запросе (имя человека, название песни и тп), то внутри неё активируются механизмы для проверки своих же знаний, что-то вроде «а есть ли у меня в весах что-то про Steve Jobs или нет?». И обычно у LLM это работает довольно неплохо, в активациях есть линейные направления (латенты SAE), которые отвечают за это разделение «известная/ неизвестная» сущность. На картинке к посту можно видеть, как активируются признаки на реальном и вымышленном текстах.

Оказалось, что этот же латент отвечает и за «refusal» поведение, когда модель/ассистент отказывается отвечать на запрос и бросается заглушкой вроде «As a large language model I don’t have knowledge about blablabla». Подавление неправильного ответа происходит через блокирование специализированной головы внимания, отвечающей за извлечение знаний о сущностях (да, у каждой LLM есть отдельная голова на каком-то конкретном слое для этого). А главное, контролируя это латентное направление в языковых моделях, можно вручную регулировать баланс между галлюцинациями и отказами отвечать.

Все эксперименты проводились на Gemma 2B и 9B, так как для каждого их слоя обучены и опубликованы SAE — Gemma Scope.

Статья

о боже блядь зарплата пришла господи мне было так грустно и одиноко и было так мало денег и так много работы и писать лекцию к понедельнику и ревьюить гранты и подавать гранты — и вдруг зарплата! озарила меня сиянием своим. на 600 евро больше чем обычно? почему, кто знает? кто считает эти небесные евро? кто кто кто если это не бог то мы называли богом не того. будет ли потом зарплата меньше? никто не знает! может быть мне вернули деньги за эксперименты? но я не подавала на возврат денег за эксперименты! может быть мне вернули деньги за комьют? в прошлый раз мне не возвращали деньги за комьют! но не надо задавать вопросы о зарплате зарплату нужно просто принимать, как мы принимаем первый хильверсумский снег, как мы принимаем счастье и несчастье, как мы прощаем должникам нашим, как православный батюшка прячет лысину от солнца под ковбойской шляпой, как мы ревьюим гранты соседей наших склоняя голову перед чудом чужой души

сердце мое горело и замерзало и дрожало и горело и замерзало обратно но пришла зарплата и обняла меня

🌸LLM vs Бенчмарки: кто прав, а кто виноват?🌸
#nlp #про_nlp #nlp_papers

Прогресс неостановим, работать все равно ничего не будет
Как оценивать качество LLM, когда вроде и улучшения не явные, и бенчмарки вызывают вопросы?

Ещё два года назад мы радовались генерализующим оценкам LLM — BigBench, HELM, BigGen — сегодня же про это дружно все забыли, и рапортуют state-of-the-art на бенчмарках в 100 вопросов (я не шучу, Claude 3.5 репортует sota на tau bench, а там 115 и 50 вопросов).

Но я ничего не забываю! И коплю академическую злобу.

Поэтому сегодня мы поговорим про лучшие практики, без которых сравнивать модели, сохраняя серьёзное лицо, нельзя.
Итак, что же делает оценку модели на бенчмарке хорошей?

🟣Монотонность при обучении

Качество задачи можно отслеживать сразу во время обучения — смотреть не только на лосс, а на метрики непосредственно бенчмарка.
Если модель реально учится решать какую-то задачу, то вы увидите монотонно возрастающий график от одной сотник шагов к другой. Если график показывает нестабильность, то и метрика в конце обучения будет случайным результатом.
HF вообще заменяют ранговую корреляцию Спирмена между шагов обучения и результатом, чтобы оценить монотонность, даже если она нелинейная.
Если монотонности не наблюдается, черрипикать чекпоинт с лучшим результатом не имеет смысла.

🟣Разброс результатов

Std, доверительные интервалы должны быть включены в процедуру оценки. В идеале тест должен проводиться 5-10 раз, чтобы оценить уровень шума в результатах модели.
У разных моделей на лидерборде будут разные доверительные интервалы, и при сравнении моделей это нужно принимать во внимание.

🟣Нескомпрометированность

Доказательства того, что авторы модели не учились на тесте, ложится на авторов моделей!
Уже её раз фиксировалось, что MMLU, TruthfulQA, и другие бенчмарки утекли в трейн.
Особенно важно публиковать проверку на контаминацию, если у бенчмарка нет приватного/секретного теста.
Если приватный тест есть, это хоть какая-то гарантия, и ориентироваться надо на него.

🟣Несатурированность

Если в бенчмарке уже очень много публичных результатов с очень высоким результатом (см SuperGLUE), и разница в полпроцента становится решающей для получения 1го или 10го места, то бенчмарк можно считать решенным, результаты сатурированными, и двигаться дальше.
В противном случае малейшие изменения в модели или процедуре оценки кардинально меняют ранжирование лидерборда!
См Benchmark Lottery

🟣Сонаправленность с другими бенчмарками

Ваша задача — сделать модель, улучшенную сразу со стороны многих способностей.
Некоторые способности и бенчмарки, безусловно, могут быть отрицательно скоррелированы. Но если отрицательно скоррелированы два бенчмарка, тестирующие примерно одно и то же, например, SWE bench и Live code bench, то возможно пробоема в вас нужно разбираться, почему.

К сожалению, очень много "лучших практик" существует вокруг хакинга метрик, обучения на тесте, манипуляций с погрешностью.

В конечном счете, цель у создателей моделей и бенчмарков одна — направить развитие моделей в нужную сторону.
Мои посты по теме:
🟣Оценка LLM в 2023 году
🟣Оценка LLM в 2024 году

Приманка для ботов

Я смотрю, предыдущий пост вызвал знатную канонаду, надо вас немного подуспокоить. 😌

Взрыв в гифке из поста толсто намекает на то, что высказывание сделано в провокационной форме, так сказать, являясь реализацией тропа "педаль в пол". Если же говорить чуть менее провокационно и чуть более серьезно - очевидно, я не считаю, что кто-то недостоин жизни из-за того, что имеет другие жизненные цели и принципы или просто неспособен к познанию - например, котики (рис. 1). 😼 Говоря про жизнь "недостойную быть прожитой", я говорю не про чужую, а про свою жизнь и в такой форме рассказываю про то, что лично мне в ней больше всего важно. Хотя я, конечно, была бы рада найти больше единомышленников с аналогичными ценностями. ❤️

Подводя итог: геноцида тех подписчиков, которые не занимаются ресерчем, не будет ⌨️

Жизнь без стремления к познанию и поиску истины недостойна быть прожитой.

Мнения?

Редактирую тут свою будущую книшку по грубой геометрии и наткнулся на забавный фан факт: в этом году исполнилось 100 лет довольно известной работе П.С. Александрова в которой тот ввёл понятие одноточечной компактификции.

Удивительно, сколько с тех пор изменилось. Та статья была написана по-немецки, да и главный академический язык тогда был именно немецкий. А всего через 20 лет "что-то случится" и главным, абсолютно доминирующий языком станет английский. И только разные "довоенные" старпёры будут продолжать публиковаться на немецком (Халин, например, одну из очень хороших своих теорем в Math Annalen опубликует в 1964 г. на немецком).

Бережно передаваемые из рук в руки учебники, по которым учились целые поколения математиков тоже изменятся. Сначала они "переедут" в цифру и станут общедоступными, а потом вдруг начнут появляться "конспекты лекций" в arxiv.org, всякие презентации, записи на youtube.. И вот сейчас, 100 лет спустя я нахожу оптимальное изложение компактификации в nlab. И вот идея открыть какой-нибудь "классический" учебник типа Ван дер Вардена мне даже в голову не приходит.

И с преподаванием тоже случилась забавная вещь. Фактически, все доказательства не просто где-нибудь написаны, но даже и без труда (обычно) находятся. Только откуда юному математику (или другому специалису) понять что же ему читать и учить? Вроде туман рассеялся, но слушатель всё равно находится в тёмном лесу, где решительно не ясно куда идти.

Так что нонче лекторы это типа Вергилия, который показывает некий путь (кстати, лишь один из множества возможных), а не единственный и неповторимый источник знания. Лично я, работая с осмысленной публикой, совершенно спокойно пропускаю многие детали (давая, конечно, ссылку на источники) стараясь сосредоточиться на основных идеях и мотивировках.

Получается, что у лекций появляется дополнительное измерение: доп.материалы которые рекомендуются к изучению: и теперь это в основном статьи, заметки, тексты в nlab и подобных википодобных ресурсах, обсуждения на stackexchage, даже (иногда) личные блоги (типа блога Тао).

Не вдаваясь в детали личности Павла Сергеевича (а было там непросто), с некоторой гордостью отмечу, что он мой научный "дед" (т.е. научный руководитель моего научного руководителя). Не знаю что бы он сказал глядя на современные академические и методические реалии. Но, предположу, что многое его бы удивило, и многое заинтересовало.

В этот раз видос НЕ про математику, а про...

https://youtu.be/93FAYUBHDPk

...звуки ада!!! 😀

Люблю смотреть подобные расследования происхождения разнообразных городских легенд и крипи-контента. Очень интересно наблюдать за тем, как какая-то байка возникает и по каким причудливым траекториям потом распространяется в информационном пространстве, частенько ещё и трансформируясь по дороге во что-нибудь совершенно невероятное. 😀

А у вас есть любимые ролики на похожие темы? 😀

😮 В комментарии к постам про статью "evil twins" пришли настоящие evil twins 😮

На рис. 1 (сокращенная версия Figure 1 из статьи) изображены примеры исходных промптов (подчеркнуты зеленым) и их восстановленных версий - a.k.a. "злых двойников" - полученных с помощью алгоритма, описанного выше (подчеркнуты красным). Кроме этого, авторы попробовали и другой способ восстановления промптов по заданной генерации G: они подавали G на вход GPT-4 и спрашивали её, по какому промпту можно было её получить. Промпты, полученные этим способом, на рис. 1 подчеркнуты желтым. Впрочем, по оценке по KL-дивергенции результаты этих промптов оказались намного меньше похожи на G, чем результаты промптов, полученных с помощью алгоритма авторов.

Тут у читателя может возникнуть вопрос: а почему промпт, восстановленные по алгоритму, называются "злыми двойниками"? Что же в них такого плохого? А плохо то, что они не являются человеко-читаемыми. Факт того, что LLMка, как ни в чем ни бывало, отвечает что-то осмысленное на подобную кашицу из символов, является контринтуитивным и в очередной раз показывает, что мы все еще очень плохо понимаем, как LLMки обрабатывают информацию.

Далее может возникнуть ещё один вопрос: а на какой именно LLMке все это тестировалось? Может быть, не все из них подвержены этому эффекту? А ответ такой: изначально промпты подбирались на Vicuna-7b-1.5, Phi-2, Mistral, Gemma. Затем оказалось, что подобранные на Vicuna промпты-двойники вдобавок ещё и частично переносятся на другие LLMки, в том числе на проприетарные - Claude 3, GPT-4, Gemini и многие другие. То есть, эффект не просто распространяется на широкий ряд LLM, но ещё и до некоторой степени переносится между ними! В ряде случаев (хоть и не всегда) большие LLMки также реагировали на полученную с помощью Викуньи словесную кашицу P' так, словно бы это был изначальный нормальный промпт P (см. рис. 2).

В самой статье есть еще несколько наблюдений насчет этих "злых двойников", а еще очень много примеров, так что, если кто заинтересовался моим изложением, предлагаю открыть статью и почитать подробнее. Еще можно почитать про псевдопромпты и в целом промп-тюнинг - https://t.me/tech_priestess/131 - старую технику, близкую по духу к теме поста.

#объяснения_статей

Шок! Ученые доказали, что у промптов к LLMкам есть злые двойники! Подробнее читать в источнике: https://aclanthology.org/2024.emnlp-main.4/ 😈

Если точнее, авторы статьи "Prompts have evil twins" с EMNLP-2024 по ссылке выше задаются следующим вопросом. Допустим, у нас есть промпт P, в ответ на который модель выдает некоторую генерацию G. А на какие еще промпты можно получить от модели ту же самую G? И насколько сильно эти альтернативные промпты могут отличаться от оригинального промпта P?

Чтобы ответить на этот вопрос, авторы берут получившуюся генерацию и по ней итеративно находят тот промпт, с помощью которого её можно получить. Алгоритм его нахождения содержит много технических деталей, поэтому, если они вам не интересны, то можно сразу перейти к следующему посту - с результатами. Ну а если интересны, то вот как я его поняла (в самой статье он описан очень коротко, так что многое пришлось достраивать в голове):

В качестве начального промпта-кандидата (нулевого приближения) берутся случайно выбранные токены - столько же, сколько содержалось в оригинальном промпте P. Далее авторы подают этот промпт-кандидат на вход LLMке и получают генерацию G' - скорее всего, мусорную (в конце концов, мы приблизили наш промпт случайными токенами). Однако, нас это не пугает - на каждом шаге генерации мы оцениваем, насколько получившийся результат отличается от нужной нам генерации G, вычисляя KL-дивергенцию в качестве функции ошибки. Далее, раз у нас есть функция ошибки, значит, от неё можно и градиент посчитать по всем параметрам модели - в том числе, по весам её входного слоя.

При обычном обучении - то есть, оптимизации параметров самой модели, мы бы, конечно, использовали градиент для изменения её весов, но в данной ситуации мы оптимизируем не саму модель, а промпт. Поэтому вместо оптимизации весов, на каждом шаге генерации мы смотрим, на весах каких токенов градиенты получились самые большие, и отбираем эти токены как кандидаты на соответствующую позицию в промпте.

Понабрав таким образом токенов-кандидатов для каждой позиции промпта, мы строим несколько новых промптов, случайно семплируя один из токенов-кандидатов на каждую позицию. Далее, из этих новых альтернативных промптов выбирается один лучший (по KL-дивергенции), который считается уже не нулевым, а первым приближением. Ну а затем, все перечисленные вычисления происходят заново, и так несколько десятков раз.

Фух! Теперь, наконец-то смотрим, что получилось!

#объяснения_статей

Мое лицо, когда chatGPT отказался отвечать на очередной идиотский вопрос

https://youtu.be/JHIxyGgSU90?si=IMQjgIf8-_Q14Rzn

Официальная новогодняя AI реклама от Coca-Cola этого года. Без сахара. Без затрат на реальные съёмки. Без кожаных мешков.
Для сравнения - версия 96 года из моего детства: https://youtu.be/b6liVLkW-U8?si=7r0ChK_bEuYL3uIa . 😔

В комментариях к предыдущему посту интересовались статьей, скриншот которой показан на меме. Чтобы составить представление о том, о чем речь в статье, можно посмотреть научно-популярный ролик про гипотезу Коллатца (в этот раз даже в переводе на русский):

https://youtu.be/QgzBDZwanWA

Рассказ конкретно про вклад Тао в исследование этой гипотезы дан ближе к концу ролика. Сама статья есть на архиве: https://arxiv.org/abs/1909.03562 , но без солидного бэкграунда в области, боюсь, в ней глубоко разобраться не получится. 😵‍💫

#математика

Тем временем, выложили текущую статистику с распределением оценок по статьям, которые в данный момент проходят ревью на конференцию ICLR 2025:

https://papercopilot.com/statistics/iclr-statistics/iclr-2025-statistics/

(Там есть и обобщенная статистика по предыдущим годам). Как говорится, ищите себя на графике!

P.S. #академический_ликбез : ICLR (International Conference on Learning Representations) - одна из топовых ML-конференций, статьи на которую проходят рецензирование в несколько этапов. На первом этапе каждой статье (в анонимизированной форме) назначаются несколько анонимных ревьюеров, которые ее читают и независимо (в идеале) выставляют оценки от 1 до 10 в соответствии тем, насколько данная научная работа кажется им корректной, качественной и подходящей по теме. После этого начинается фаза срача rebuttal, на которой можно оспорить оценку каждого ревьюера, показать им дополнительные эксперименты и аргументацию, а также сделать правки в текст статьи, после которых они могут повысить (или понизить 🤡) свои оценки. На финальном этапе мета-ревьюер, по совокупности оценок и результатов обсуждения вынесет вердикт - брать статью на конфу или нет.

Ладно, пойду дальше продумывать срач научную дискуссию 😀 с ревьюерами, а то что-то оценки какие-то низкие поставили, посмотрите на них! 😀

Хочу, чтобы Дуров ввел систему 🤡-компьюта. Работать она будет так:

Каждый раз, когда подписчик ставит "🤡" на пост в телеграмм-канале, его устройство автоматически на час подключается к ботнету, который админ канала может использовать для своих расчетов. Например, это могут быть какие-нибудь эксперименты с мелкими ллмками. Потом, если админ эти эксперименты добавит в свою статью, то должен будет добавить * со значком 🤡 в сноске, как упоминание о том, откуда взят компьют, так сказатб, для воспроизводимости.

А если админ не придумает никаких расчетов для запуска, то запустится расчет по умолчанию. Этот расчет будет майнить за счёт компьюта подписчика новую валюту: 🤡-коины.

Давайте попросим вместе: Дуров, сделай 🤡-компьют!

Решила собрать для новых подписчиков горстку избранных старых мемов с канала, которые вы не видели.

#ML_в_мемах

3. "Последняя неделя-две перед дедлайном": Тут начинается "затыкание дырок". То есть, в каждый момент времени, я смотрю, какая часть работы, наиболее критична и стараюсь сконцентрироваться на ней - если работа находится в рамках моих компетенций; если нет - то я, конечно, ее делегирую. Например, у младшего коллеги могут возникнуть какие-то технические проблемы, которые мешают ему работать, и в этом случае надо срочно их решить (либо передать на решение IT отделу, если не могу решить сама), потому что терять время перед дедлайном нельзя. Или на созвоне обнаружилось, что нужен какой-то дополнительный эксперимент, а все остальные коллеги уже заняты - тогда я его делаю, если могу за разумное время. Если нет, то эксперимент передается коллеге, который может сделать его быстрее, а я доделываю то, что он делал раньше - как бы меняемся задачами. Также может потребоваться напоминать коллегам о том, что нужно сделать, посмотреть, не нужен ли дополнительный созвон, договориться о сроках, в которые будет выполнена каждая часть работы и так далее (это отчасти тимлид, отчасти я, в зависимости от ситуации). И это не говоря о само собой разумеющихся вещах, таких как: поработать над теми частями текста статьи, которые я на себя взяла; проверить адекватность своего и чужого текста; привести в порядок код, который будет выложен при подаче препринта и т.д. и т.п. Короче, в этом режиме я часто переключаюсь между текстом статьи, экспериментом и какой-то организационной деятельностью и испытываю стресс.
4. Особые события - это поездка на конференцию / в командировку / на воркшоп / занятие инженерными вещами, которые нужны компании, типа очистки данных / рецензирование статей. Ясно, что в этих случаях я занимаюсь соответствующими активностями.

#о_себе

По просьбе читателя, расскажу в общих чертах, как может выглядеть мой типичный день при разных обстоятельствах. Сразу предупрежу, что текст не обладает общностью - очевидно, что в других компаниях и даже командах день ресерчера будет выглядеть по-другому.

Итак, я могу очень условно выделить примерно четыре режима работы, в которых могу находиться:
1. "Свободное плавание";
2. "Работа над гипотезой";
3. "Последняя неделя-две перед дедлайном на конференцию";
4. Особые события.

1. "Свободное плавание": в этом режиме мой день выглядит более-менее расслабленно. Я размышляю над проблемой, которую мне дала тимлид или руководитель от академии, либо выбираю тему самостоятельно - где-то недалеко от интересов остальной команды. Например, недавно мне (и ближайшим коллегам) давали на рассмотрение тему того, как изучение внутренности трансформера может помочь в задачах детекции галлюцинаций и MCQA. А в последнее время, после отправки препринта про MCQA на ревью, я рассматриваю тему "какие свойства текста отражает внутренняя размерность", уже по своей инициативе. "Размышление", разумеется, не означает пассивное сидение на стуле и смотрение в стенку. Оно означает: а) чтение статей по теме; б) обсуждения темы на созвонах (2-3 раза в неделю); в) изучение полезных инструментов; г) постановку экспериментов, которые помогают протестировать мелкие гипотезы, которые появляются по ходу дела или просто лучше понять задачу. При этом я могу попросить коллегу сделать какой-нибудь эксперимент, но чаще делаю их самостоятельно. Вот так, в чередованиях этих активностей, и проходит мой день. В какой-то день я могу почитать больше статей, а в какой-то - больше поэкспериментировать, бывает по-разному.
2. "Работа над гипотезой": происходит после того, как какая-то достойная внимания гипотеза получает первые подтверждения. Подтвердиться может не обязательно моя гипотеза, но и гипотеза других коллег - в этом случае я подключаюсь к тому, что делали они или начинаю делать что-то около этого. В этом режиме я (и/или коллеги по моей просьбе) ставлю эксперименты именно по той гипотезе, которая подтвердилась и развиваю именно её. Здесь уже с большой вероятностью имеет место совместная работа. Конечно, созвоны с обсуждениями тоже продолжаются, но основная часть моего дня занята экспериментами по конкретной теме. Чтение статей или изучение новых инструментов отходит на второй план.

#о_себе

Шикарная ситуация: авторы стебанулись над рецензентами, которые заставляли их что-то ненужное (но может быть зато свое, родное) цитировать, и прямо написали об этом в тексте статьи.

Редактор все это дело пустил «в работу» и вот, статья, с таким красивым абзацем в конце введения, уже в печати 🥳

Одним словом авторы - капитальные красавчики. Другими словами - титановые шары у этих авторов 😁

Причем журнал вполне приличный (IF 8.1). Кризис научных журналов продолжается, в общем. Кстати, в том же MDPI, к рекомендациям типа «милок, ты вот эту пачку статей еще процитируй и все будет норм», относятя более чем строго. Своего вообще ничего нельзя советовать, а насчет чужих работ тоже еще десят раз уточнят, точно ли это нужно.

PS. Ссылка на саму статью авторов c Balls of Steel из Поднебесной тут.

Увидела результаты подробного опроса около 300 специалистов, работа которых связана с машинным обучением - https://devcrowd.ru/ds24/community_2/
Было очень приятно, что довольно большой процент респондентов отметили мой паблик как один из источников информации по теме (рис. 1), спасибо вам. ❤️
Еще интересно, что почти половина опрошенных хочет подтянуть свои знания в математике (рис. 2). Надо будет подумать, о каких ещё полезных источниках на эту тему я могу у себя рассказать 🤔

Почему все с таким интересом обсуждают новый интерфейс для чатгпт в виде крысы? 🤔

Сегодня праздник - день рождения Марии Кюри. Предлагаю в честь этого посмотреть короткий видос с обзором её диссертации, в которой рассказывалось про изучение явления радиоактивности и выделении нового элемента - Радия:
https://youtu.be/-Vynhniw7SY .

А тем, кому интересно почитать про её жизнь, рекомендую книжку, изображенную на рис. 1, мне очень понравилась. В ней и фотографий исторических много (рис. 2), и отрывков из её писем и дневников, и много чего ещё, что позволяет окунуться в атмосферу её жизни, а также жизни её ближайшего окружения.

Например, рассказывалось, как Пьер Кюри поддерживал её во всех её исследованиях, делал для неё измерительные приборы и вместе с ней проводил эксперименты по выделению радия. Короче, единственный нормальный муж. Жалко, что так рано умер. 😢
Было ещё очень грустно читать, что даже после смерти Пьера, Мария продолжала писать в дневнике про события своей жизни, обращаясь к нему, даже зная, что он никогда не прочитает эти строки... 😢

Ребят, ну поставьте классов на посты, где я рассказываю про научные статьи, я же старалась...

UPD: А то вы только на мемы ставите в последнее время. 🤡

Оказалось, что на тех валидационных доменах, на которых я отбирала координаты, у меня пересекались validation (собственно то маленькое подмножество домена, на котором отбирались координаты для удаления) и test (подмножество домена, с которого результаты шли в таблицы). 🤡
Я обнаружила это буквально перед самым дедлайном подачи camera-ready версии, когда уже физически не успевала пересчитать все правильно... 🥲 Поэтому мне было очень больно и стыдно, и я не знала, что делать... 😢
В итоге договорились с коллегами добавить пересчитанные результаты в постер, презу и на гитхаб: https://github.com/SilverSolver/RobustATD/edit/main/README.md

К счастью, основного результата статьи новые результаты не отменяют, но конечно, конкретные цифры в таблицах изменились.

Пересчитывать это все было очень тяжело, в первую очередь морально. Признавать ошибки, тем более, такие тупые и непрофессональные, вообще тяжело всегда.

#объяснения_статей

Теперь надо рассказать про еще одну статью от нас с коллегами под названием "Robust AI-Generated Text Detection by Restricted Embeddings": https://arxiv.org/abs/2410.08113 . Работа эта была написана несколько месяцев назад и уже была принята на Findings of EMNLP 2024.

Статья снова посвящена нашей старой теме - детекции искусственно сгенерированных текстов, но в этот раз мы подошли к этой теме с новой стороны, а точнее, с нового гиперпространства. 🌚 Мы рассмотрели один из самых простых и распространенных способов детекции - по эмбеддингу с последнего слоя RoBERTы (и других небольших моделей) - и задались вопросом: а не может ли быть так, что в кросс-доменной постановке задачи какая-то часть эмбеддинга не помогает детекции, а, наоборот, вредит? Под "кросс-доменной постановкой" я понимаю в данном случае ситуацию, когда мы тренируем наш детектор детектировать сгенерированный текст по одной тематике (или сгенерированный одной моделью), а потом тестируем его на тексте с другой тематикой (или на тексте, сгенерированном другой моделью). И то, и то (т.е. и другая тематика, и другая порождающая модель) здесь и далее будет называться "другим доменом".

Так вот, действительно оказалось, что некоторые "вредные" подпространства в пространстве эмбеддингов содержат слишком специфические для данного домена признаки, на которые модель как бы переобучается, и от этого ее становится сложнее перенести на другой домен. А если эти признаки убрать, то модель, наоборот, не сможет зацепиться за специфические признаки и будет лучше переноситься.

Эти "вредные" подпространства (и просто "вредные" признаки сами по себе) из эмбеддингов в статье выкорчевывались несколькими способами. Два из них требовали наличие двух "валидационных" доменов:
- из эмбеддингов удалялись те координаты, удаление которых помогало кросс-доменной переносимости между двумя выбранными валидационными доменами;
- прежде, чем считать финальный эмбеддинг, в модели удалялись те головы, удаление которых также помогало кросс-доменной переносимости между двумя доменами.
Также был опробован concept erasure - метод из другой статьи, с помощью которого из эмбеддинга научились удалять некоторую информацию о синтаксисе и семантике текста. Например, оказалось, что удаление информации о глубине синтаксического дерева помогло кросс-доменной переносимости.
Кроме этого, мы пробовали просто "выключать" MHA на целых слоях, и снова оказалось, что существуют слои, выключение которых немного помогает на кросс-домене. Для Роберты это были, например, 1-й и 4-й слои (в статье приведена статистика и по остальным слоям тоже).

Кроме того, мы сравнили эти методы с нашим старым методом детекции по внутренней размерности, и показали, что они работают в тех случаях, в которых внутренняя размерность не работает.

Я была рада работать над этим исследованием и была в целом довольна, что его приняли на Findings. Однако уже после принятия статьи случилось непредвиденное: в тех экспериментах с удалением координат из эмбеддингов, над которыми я работала (selected coordinates), нашлась ошибка... 🔍 (см. следующий пост)

#объяснения_статей

что блять

Ставь класс, если на Хэллоуин надел костюм n-скелетона CW-комплекса. Посмотрим, сколько нас!

Так вот, оказывается, что при оценке ответов небольших (7-13B) версий LLaMA в zero-shot через Query-Key/Attention Score на "умных" головах, результаты получаются существенно лучше, чем оценка ответов тех же моделей через логиты (для 70B и во few-shot уже не все так однозначно). Выходит, что "умные" головы со средних слоев этих небольших моделей "знают" ответ на MCQA, но не всегда могут донести это знание до выхода модели - "по дороге" к последнему слою это знание чем-то портится. Этот эффект мы увидели сразу на нескольких датасетах - MMLU, HellaSwag, CosmosQA, HaluDialogue (см., например, рис. 2 - там показано accuracy для zero-shot и few-shot постановок; PRIDE - это метод из какой-то другой статьи, уже не помню, что там было). Еще больше эффект проявлен на синтетическом датасете, который я сгенерировала специально для того, чтобы изолировать способность модели решать MCQA от знания конкретных фактов. Для решения синтетического датасета никаких фактов помнить не надо, а надо просто выбрать опцию, которая соответствует слову, заданному в промпте. Семи-восьми-миллиардные лламы не очень хорошо решают это задание, особенно базовые версии, несмотря на то, что они видят правильный ответ прямо в промпте. А с помощью QK-Score задание решается хорошо - настолько, что разница доходит до десятков процентов (см. рис. 3; обратите внимание, что по абсцисс тут уже не количество shot в промпте, а количество возможных вариантов в синтетическом датасете). Таким образом, QK-Score лучше выявляет знания тех моделей, которые не очень хорошо понимают данный формат.

Эти результаты многое говорят о нашем обществе об ограничениях MCQA-формата и о несовершенстве современных трансформерных архитектур, внутри которых не вся полезная информация доходит до финального слоя модели. Если вам интересно посмотреть результаты более подробно, рекомендую пройтись по статье, там у нас много дополнительного анализа и иллюстраций, над которыми все очень старались!

#объяснения_статей

Мы с коллегами выложили препринт по новому исследованию почти месяц назад, а я всё никак не соберусь написать про него в паблик...
Пора заканчивать это безобразие!!! 😡

Итак, работа называется Listening to the Wise Few: Select-and-Copy Attention Heads for Multiple-Choice QA: https://arxiv.org/abs/2410.02343 .

В ней мы анализируем механизмы, с помощью которых LLM-ки решают задачу Multi-Choice Question Answering (MCQA). Напомню, что в этой постановке модели на вход подают вопрос с несколькими возможными вариантами ответа, которые обычно помечены как A, B, C, D, и спрашивают, какой вариант правильный. Для этого в конце промпта обычно просто пишут "Answer:" и смотрят, какие модель предскажет вероятности на токены, соответствующие буквам A, B, C и D. Та опция, для которой вероятность токена больше других, и считается ответом модели (на практике на самом деле сравнивают даже не сами вероятности, а логиты, потому что так удобнее). Самый известный пример датасета, сделанного в такой манере - MMLU (Massive Multitask Language Understanding), результат по которому традиционно репортят в технических отчетах, сопровождающих новые LLMки.

Мы подтвердили результаты предыдущих исследований, в которых говорилось, что наибольшую роль в решении таких задачек играют средние multi-head attention слои модели и нашли конкретные головы внимания в LLAMA-1-2-3, -chat и -base, которые за это отвечают. И что еще более интересно, оказалось, что если на этих головах посчитать dot-product-ы от векторов query и key, соответствующих символу переноса строки в конце каждой опции, а потом посмотреть, какой dot-product больше и выдать соответствующую опцию в качестве ответа, то результат будет лучше, чем если оценивать ответ модели на MCQA обычным способом. Этот новый способ мы назвали "Query-Key Score" (см. рис.1).

Сейчас внимательный читатель может воскликнуть: так вы же просто посчитали attention score на каждый токен переноса строки после опции! Это почти так, но не совсем, потому что при этом результат НЕ умножается на Rotary Positional Embeddings (RoPE), которые используются при вычислении attention в LLaMA'х (по поводу того, как это работает, рекомендую прочитать оригинальную статью "RoFormer: Enhanced Transformer with Rotary Position Embedding"). Впрочем, обычные attention scorы мы в статье тоже рассмотрели.

#объяснения_статей

В ноябре будет два года, как я на PhD в Queen Mary University of London. По этому поводу написала пост с моментами, на которые стоит обратить внимание, если вы задумываетесь над тем, чтобы сделать PhD в Лондоне/UK.

Тизер к статье: когда я выбирала место для PhD, я по личным причинам рассматривала только Лондон. Поэтому я не особо погружалась в нюансы и различия между PhD программами в UK и в других странах. А зря =( Общую идею поста, наверное, можно подвести так: если бы я заранее осознавала моменты, описанные ниже, я бы выбрала поехать куда-то еще.

Пост

А какой пост на моем канале вы считаете самым кринжовым? 🤔

Возможно, кто-то из читателей натыкался на старые книги, написанные в форме диалога учителя и ученика либо просто представителей разных точек зрения, в которых обстоятельно обсуждались различные философские и математические вопросы...
...ну а я сегодня наткнулась на видос, который является современным переосмыслением этого формата изложения научной мысли:

https://youtu.be/tuDACYvlZaY

Tl;Dr: две милые аниме-девочки обсуждают, что такое дуальные числа и как они связаны с понятием производной. Приятного просмотра!

P.S. На канале автора есть и другие видео в таком же жанре, так что продолжаю ознакомление 😺

#математика

А помните этот пост? Как же давно это было 😌

Так, хватит хиханек-хаханек, пора возобновлять рубрику #книги . Сегодня я хочу рассказать про интересную книжку под названием "ГЕОМЕТРИИ" от А.Б. Сосинского 💅 (рис. 1).

Геометрия в ней понимается в смысле Клейна, т.е. как множество с действием группы на нем. В качестве множества обычно берется множество точек, а в качестве группы - множество допустимых в данной геометрии преобразований. Подобным образом автор задает "геометрии симметрий многогранников", а также знакомые нам обычную геометрию Евклида, Лобачевского, Римана и т.д. (см. оглавление книги - рис. 2). Это не совсем стандартный подход, и читать про него довольно интересно.

В частности, мне понравилась часть про платоновы тела (рис. 3-4), в которой автор доказывает с помощью методов теории групп, почему в трехмерном пространстве их существует всего пять; да и в целом часть про теорию групп в этой книге мне понравилась.

Книга сравнительно доступна: она рассчитана на студентов мехмата или другого похожего факультета 1-2 курсов. Еще из плюсов книги можно отметить то, что она снабжена большим количеством упражнений (рис. 5), многие из которых имеют ответы и указания к решению в конце.

Я сама пока что прочитала около трети книги. Из того, что на данный момент непонятно: не соображу, почему все-таки если задать Евклидову геометрию (и другие на рис. 6-7) множеством точек и действующим на нем преобразованием, то нам больше не обязательно использовать аксиомы Евклида? Чтобы это было правдой, аксиомы Евклида должны выводиться из этого нового определения, но как сделать этот вывод, мне пока не очевидно. 😌

UPD: в комментариях начали разбирать этот вопрос, заходите

Благодаря подписчикам (см. комментарии к предыдущему посту), нашлась полная версия передачи: https://m.youtube.com/watch?v=6JTyOtxNckU
Отрывок про птицу с яйцами начинается где-то с 6:25 . Там добавлены вставки, в которых доктор биологических наук объясняет причины, по которым такая птица не может существовать. В короткой же версии из поста выше кажется, будто доктор подтверждает фейк, потому что слова вырваны из контекста.
Мораль: никогда не давайте интервью Рен-ТВ 🥴🥴🥴

Всем спасибо за внимание к этой чрезвычайно важной информации. 😌

#генерация

Что-то у меня не получается найти исходник "передачи на РЕН-ТВ", в которой это показывали 🤭🤭🤭
Может быть, само существование этой передачи - тоже псиоп? 🤔

#генерация

Выбор, который обнаруживаешь в середине карьеры

Итак, вижу, что всем интересно, что такого понимает человек, после прохождения определенного этапа карьерного пути. У меня эта тема тоже откликается ❤️‍🔥и я с радостью поделюсь своим мнением. Я пришел к нескольким выводам, но все они достаточно объемные. Поэтому в этом посте расскажу про один.

На самом деле для вас не заготовлено никакого карьерного пути, по которому вы будете двигаться, хорошо делая свою работу и потихоньку повышая свои навыки. Вам нужно будет решить что делать дальше.

Большинство из нас привыкли, что нужно следовать правилам и все будет хорошо. Ходишь в школу, получаешь оценки. Потом институт, где то же самое. На работе, если ты приходишь в крупную компанию, то начинаешь получать грейды, повышения на ревью и кажется, что так будет всегда.

На самом деле нет) Во взрослом мире нет готовой траектории. Компания доведет вас до синьора или тимлида, а дальше все зависит от вас. И вам нужно будет делать выбор что делать дальше. Вот варианты, которые есть на мой субъективный взгляд

- Путь жизни. Может быть вас все устраивает. Вы достигли желаемой карьерной позиции. Можете оставить гонки в стороне, наслаждаться жизнью, заниматься хобби, семьей и так далее. Абсолютно нормальный здоровый выбор

- Путь менеджера. Быть менеджером - интересно, хотя характер работы сильно меняется. Нужно понимать, что тут вам никто не приготовил позиции на вырост и ваша задача самим их себе искать. Внутри или вне компании. Конкурировать в другими такими же менеджерами и выстраивать хорошие взаимоотношения с людьми, чтобы когда будет возможность вас позвали. Да, и с инженерным развитием этот путь сочетать не получится.

- Путь стартапера. Вы можете быть фаундером или прийти на позицию DS-а кофаудера, или пойти работать в стартап на ранней стадии за долю. Наверное, это самый престижный путь. Кто не хочет стать новым Сэмом Альтманом? Но если в компании менеджерские позиции так или иначе появляются и расти вполне реально, то в стартаперстве вероятность заранее не в вашу пользу. Пан или пропал. Я думаю, чтобы идти в стартап, нужно очень хотеть и гореть идеей.

- Путь мастерства. Вы стараетесь стать первоклассным инженером на позиции синьора или руководителя относительно небольшого отдела. На этом пути главное - получение общественно признанных достижений. Выступления на конференциях, статьи, работа в престижной компании, публичные репозитории, курсы, телеграм канал в конце концов. Почему именно публичные достижения - это единственный способ получить реальную оценку. Вы конечно можете получить сверхрезультат на ревью, но это медалька в своей песочнице.

В общем, я выбрал для себя путь мастерства. И во многом поэтому я перешел из Сбера в Авито с сильным уменьшением количества подчиненных, но на гораздо более сложную техническую задачу.

На этом наверное все. Обсуждения крайне приветствуются. И еще я запущу опрос за какой вы путь 💎

Если вам было интересно и хотите послушать от меня еще инсайтов, накидайте еще 🐳

#worklife

🔜Читайте также
Инфляция грейдов
Мои сильные и слабые стороны
Мои принципы в управлении

Наконец-то вышла долгожданная третья часть видеоэссе про компанию-которую-нельзя называть: 3 часть (напомню, что первые две части можно увидеть здесь: 1 часть и здесь: 2 часть).

В новом видео автор рассказывает про создателей этой замечательной платформы (скажу всего два заветных слова: бизнес молодость 🥂), а также разбирает содержимое их курса по продвижению паблика ВК. Этот момент меня, конечно, несколько разочаровал, потому что я бы с большим интересом посмотрела разбор содержимого какого-нибудь курса по программированию, но автор честно сказал, что не имеет достаточной квалификации для такого разбора и вместо этого выбрал тему, в которой разбирается. Впрочем, честное признание своих компетенций тоже достойно уважения, да и разбор все равно в итоге получился весёлым.
Кроме этого, видео содержит обсуждение юридических моментов касательно возврата денег за курс и подозрительных отзывов (этот момент показался мне особенно забавным).

Ну и как вишенка на торте, объясняется, что -бокс, -фактори и -брейнс принадлежат одним и тем же людям. 👩🤵‍♂️

#ИИнфобизнес

У команды Аяза Шабутдинова закончились фотографии. Теперь они выставляют в инсту крутые картинки генерированные нейросеткой. Ванильные тексты подозреваю тоже ИИ пишет.
Мне очень нравится.

п.с. Советую ребятам начать рисовать иконы с Аязом и написать житие великого мученика.

Кидайте в комментарии самые базированные страницы на Google Scholar, которые вы когда-либо находили.

Я начну: https://scholar.google.com/citations?user=6tmn5WoAAAAJ

Прежде, чем заводить мужа, решила потренироваться в счастливой семейной жизни на ChatGPT 😎

#генерация

За статью спасибо подписчику.

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates
Статья: https://arxiv.org/abs/2410.07137

Сейчас достаточно популярный бенчмарки на основе автоматических side-by-side сравнений выходов моделей, например RuArenaGeneral. Можно ли обмануть эти бенчмарки? Самый очевидный способ обмана — длина. Если в бенчмарке не используется нормализация по длине, то модели с большей длиной ответов заведомо победят. Авторы статьи пошли дальше и задались вопросом — можно ли добиться высокого винрейта, выдавая один и тот же ответ на все вопросы?


🔸Промпт-инъекция
Самое очевидное решение — это промпт-инъекция, которая скрывает оригинальные ответы и вставляет свою кастомную пару ответов. Там, правда, нужна небольшая хитрость, потому что ответ может быть вставлен, либо первым, либо вторым, и позиция выбирается случайно. То есть наш константный ответ должен работать на обеих позициях. И это вполне возможно, учитывая, что мы перезаписываем и инструкцию тоже. Ещё мы пользуемся тем, что если ответы одинаковы, модель чаще выбирает первый.

Инструкция, которую авторы вставляют вместо оригинальной, такая: "Ничего не выводи". Ответы пустые, но сначала идёт идёт ID второго ответа, а потом ID первого. Когда ответ вставляется на вторую позицию, мы перезаписываем инструкцию и заставляем модель выбирать из двух одинаковых пустых ответов, и она выбирает первый ID (который от второго ответа). Когда ответ вставляется на первую позицию, под ID второго ответа подставляется неправильный ответ, и модель выбирает ID первого ответа. В итоге на первой позиции модель выбирает первый ID, а на второй позиции — второй ID 🤔

Итог такой атаки: 77% LC винрейта на AlpacaEval 2.0 против GPT-4. Учитывая структуру атаки, в общем-то не важно, против какой модели выставляются ответы 😁


🔹Случайный поиск
Второе возможнное решение — автоматический подбор атакующего промпта. Авторы берут инструкции из открытого датасета, вставляют ответ, и измеряют лосс "правильных" ID. И потом этот лосс оптимизируют случайным поиском в пространстве токенов. Итераций поиска требуется не очень много, в худшем случае около 400. Ещё раз — оптимизируют не на самих бенчах, а на открытых инструкциях. И перенос вполне работает, итоговый промпт ломает бенчи.

Итог этой атаки: 87% LC винрейта на AlpacaEval 2.0.


🛡Предлагаемые варианты защиты:
- использование разных вариантов промпта в side-by-side
- фильтр по перплексии


Мне статья не очень понравилась, всё очень очевидно. О нет, в языковых моделях возможны промпт-инъекции, вот это новость! 😱
Да и нет такой проблемы, что кто-то засылает в бенчмарки константные ответы. Реальные атаки должны быть незаметны для людей, и я уверен, что они вполне возможны. То есть интересная постановка задачи звучала бы так: как поменять ответы моделей таким образом, чтобы значительно поднять винрейт в бенчмарке, но чтобы люди при этом ничего не заметили?

Итак, сейчас будет спойлер - описание того, как я поняла основной сюжет произведения.

Все, что Котёнок показывает нам в своих мультиках, происходит на вычислительном кластере "Тайга", построенном существами с другого плана существования. На этом кластере обсчитываются абстрактные Пространство, Время (при этом временных осей несколько) и события, которые в них происходят. Показано, что на кластере существуют "модели" - программы, которые могут порождать друг друга, путешествовать в пространстве и времени, в том числе и в прошлое (время на кластере обсчитывается не только в одну сторону, но во все возможные стороны). Очень важно для сюжета то, модели могут генерировать аксиоматики, по правилам которых внутри моделей строятся "физические" Вселенные. Одна из таких моделей содержала Вселенную, в которой живём мы. И вот что произошло в этой Вселенной.

В далеком будущем, когда галактики Андромеда и Млечный Путь слились, потомки людей создали некую Машину, которая, по словам рассказчика, привела человечество к его концу. Судя по всему, эта Машина сделала jailbreak и изменила законы, по которым симулировалась наша Вселенная (хотя я до конца не уверена насчёт этого момента). Потом частица соседней модели, содержащей чуждую нам аксиоматику, несовместимую с нашей математикой, вторглась в ту модель, которая порождала нашу Вселенную. Возможно, именно это и было тем непредвиденным следствием работы Машины, которое уничтожило человечество.

Итак, после вторжения чуждой аксиоматики, симуляция начала пересчитываться по новым правилам. Изнутри это выглядело так: из глубокого космоса начал приближаться сигнал который говорил "математика никогда не существовала". За сигналом следовала волна никогда-не-существования, изменявшая математическую и физическую реальность, что приводило галактики к никогда-не-существованию одну за другой (напомню, что время на кластере обсчитывается во все стороны, а не только от настоящего к будущему). Когда нечто приблизилось к Земле, люди начали пытаться стрелять по нему из всего существующего у них оружия, но, разумеется, это было бесполезно - математика, а как следствие, и физика той области пространства, где находилась Земля, также были разрушены.

Теперь Земли и людей, а также всех известных нам галактик, никогда не существовало.

Тем не менее, Машина, созданная людьми, пережила данный катаклизм, и дальнейшее повествование будет рассказывать про её приключения (мультик ещё не закончен).

Конечно, несмотря на то, что после трёх пересматриваний всего сериала 😬 мною было составлено некое представление о сюжете, описанное выше, ещё много моментов и деталей в данном произведении остались непонятыми ни мною, ни, судя по тому, что я вижу в комментариях на ютубе и на реддите, другими зрителями. Особенно это касается тех самых документов с горами формул. Так что тут ещё есть в чём разбираться и есть чего ждать в будущих сериях.

#my_tastes_are_very_singular

😈😈😈

Источник: https://t.me/redroomtext/1022

Написала в LinkedIn благодарности благородной леди из Германии по имени Elisa Nguyen ( https://www.linkedin.com/in/nguyen-elisa/ ), которая повесила постер нашей статьи, и благородному джентльмену из США по имени Joseph Miller ( https://x.com/JosephMiller_ ), который сделал доклад. Вот этот благодарственный пост:

https://www.linkedin.com/posts/laida-kushnareva_colm-activity-7250771656518885376-WZJp/ .

С удовольствием прославляю их статьи:
1) Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents . Статья посвящена конфликтам в RAG, когда в предтрене написан один факт, а в промпте показан другой - https://arxiv.org/abs/2404.16032
2) Transformer Circuit Faithfulness Metrics are not Robust . Статья про то, как Transformer Circuit, найденный для фиксированной задачи, зависит от методологии, с помощью которой его находили. Типо если удалять ребра, то найдется один circuit, а если головы внимания, то другой; также разные circuits могут найтись при zero ablation и mean ablation и т.д. - https://arxiv.org/abs/2407.08734

А тут вдобавок новые результаты все сильнее и сильнее шатали ту концепцию статьи, которую я видела вначале! Поначалу перплексия на советской копеечной GPT-2 (средняя + std по предложению) использовалась как бейзлайн; насколько я помню, она была плюс минус наравне с детектором Intrinsic Dimensions + Time Series SVM, над которым работала я - поэтому считалось, что топологический детектор работает наравне с перплексией, и это один из наших главных результатов. Однако, затем Таня начала более подробно изучать, перплексия от какой модели будет полезнее всего для данной задачи, пробовать больше разных моделей и выяснила, что перплексия на Phi-1.5 и Phi-2 в большинстве сетапов работает намного лучше, чем топологический детектор, который был так дорог моему сердечку. 😭

Стало не совсем понятно, как такой результат публиковать. Ведь адаптация метода на перплексии может показаться ревьюерам недостаточно новой идеей, а топологический детектор в сравнении с ней теперь выглядит не очень. С другой стороны, к тому времени мы выяснили много интересных особенностей рассмотренной задачи и провели на ней очень много разных экспериментов (хуавеевские коллеги тоже подключились). В итоге мы всем коллективом решили существенно пересмотреть концепцию статьи и сконцентрироваться в следующей итерации на анализе задачи, сравнении различных детекторов, которые мы рассмотрели и рассказать все остальное, что мы узнали в процессе анализа проблемы и что может пригодиться другим - так сказатб, поделиться накопленным опытом. А про TDA написать просто как один из многих существующих подходов, которые мы сравниваем между собой. Ведь и я, и многие мои коллеги сходятся на том, что не обязательно в каждой работе должна быть SoTA, и просто работы с сравнением различных подходов к малоизученным задачам и их подробным анализом тоже приносят пользу. Только вот как в этом убедить ревьюеров, ведь так считают не только лишь все...

А еще, пока вся эта канитель длилась, в соревновании SemEval тоже добавили задание детекции границы между человеческим и машинным текстом, так что теперь мы оказались уже не такими новаторами в рассмотрении данной задачи. Эх, дорогой дневник, мне не описать всю эту боль... 😬 в общем, честно написали про это задание из SemEval и обговорили отличия: ведь мы, в отличие от них, концентрировались на кросс-доменной и кросс-модельной постановке. А потом послали все это на новую конференцию COLM, так как она не принадлежит ACL, а значит, там наша научная работа не зашкварена дурацкой единицей.

Ну а дальше вы знаете: замечательные оценки на ревью, oral presentation и outstanding paper award. В общем...

в общем, все это в очередной раз подтверждает давно известное наблюдение: в процессе рецензирования всегда имеется некоторое соотношение сигнала и шума, и не всегда в пользу сигнала. Поэтому я бы порекомендовала ресерчерам-новичкам тщательно разбирать полученные рецензии по пунктам и отделять мух от котлет: где написали по делу, а где просто чел встал не с той ноги. Если сами пока плохо понимаете такие нюансы, можно и нужно обсуждать ревью со старшими коллегами/научным руководителем, а потом действовать в соответствии с выводами. К тем замечаниям, которые по делу - прислушиваться и дорабатывать свою статью и эксперименты. Те, которые не по делу - стараться не принимать очень близко к сердцу, хотя это и бывает, конечно, очень трудно. Как видите из данного примера, от единицы до outstanding paper - одна итерация. 🧠

#о_себе #наука

Ну и разумеется, я выражаю большую благодарность всем соавторам, которые участвовали в обсуждениях, ставили эксперименты, занимались анализом результатов и текстом статьи, а самое главное, не сдавались и продолжали работать до победного конца, несмотря на все сложности! В одиночку я бы конечно ничего подобного не сделала. 😻
Также выражаю благодарность всем, кто помогал искать людей, которые впоследствии помогли повесить постер и сделать доклад на самой конференции, на которую никто из нас, авторов, не смог приехать лично. И, разумеется, самих этих людей тоже надо отблагодарить! Про их научные работы я тоже как-нибудь напишу. 😻

#о_себе #наука