Нейроскептик

Вот это поворот! Трамп планирует выделить $500 млрд Альтману

Справедливо будет заметить, что эти деньги пойдут не лично Сэму и даже не только в OpenAI, а будут инвестированы в проект Stargate для развития инфраструктуры ИИ в США. Основными участниками проекта стали OpenAI, Softbank и Oracle.

И в этот момент, сидя где-то в конце зала, Маск подумал: А как же я? Дональд, ведь я же лучше, лучше собаки Альтмана?!

Будет забавно, если такой жирный пирог пройдёт мимо Илона

Подписаться на Нейроскептик

КАК YOUTUBE СТАЛ ЦИФРОВЫМ ДИКТАТОРОМ?

🔵«ВКонтакте» впервые обошла YouTube по охвату среди россиян.

🔵Россияне стали отказываться от использования зарубежного сервиса.

✅ Есть 5 причин, как в песне Игоря Николаева, которые объясняют выбор наших граждан:

1. YouTube не удаляет запрещенный на территории РФ контент.

2. Материнская организация Google отказывается выплачивать штрафы за нарушение российского законодательства.

3. Google закрыл свое юридическое лицо, чтобы российский суд не смог призвать компанию к ответственности.

4. YouTube продолжает блокировку российских СМИ и лидеров общественного мнения. К этому имеют отношение американские власти, оказывающие давление на все крупные американские технологические компании.

5. Google отказался от технической поддержки своих серверов в РФ. А YouTube поощряет развитие серых схем для доступа к сервису. Это приводит к тому, что персональные данные россиян попадают к мошенникам.

➡️Все это в новом выпуске дайджеста Белого Интернета! Смотрите нас в любой удобной соцсети:

🌍VK
▶️RUTUBE

✈️Подписывайтесь на канал Белого Интернета

Россия всегда была страной, в которой супер сильные технологии

А эти технологии появляются благодаря светлым умам российских разработчиков. Уже не для кого не секрет, что любая известная международная компания в сфере ИИ не обходится без российских специалистов.

И для прогресса отечественных разработок, действительно, необходимо сохранить тренд на то, чтобы российские специалисты не уходили в иностранные компании

Подписаться на Нейроскептик

Генератор видео S2V-01 от Hailuo AI и Minimax на основе ИИ новый инструмент для создания видео по фото и текстовому запросу, либо только по запросу.

К своим видео можно добавлять закадровый голос и субтитры, также созданные с помощью нейросети. Видеогенератор поддерживает разрешений HD и 4K при соотношении сторон 16:9, 1:1 и 9:16. Чем подробнее составлен сценарий, тем качественнее и интереснее получается видео. При регистрации предоставляется возможность для бесплатной генерации и 1100 кредитов. Каждая генерация 6 секундного видео стоит 30 кредитов

Подписаться на Нейроскептик

Наконец-то появилась годная генеративная нейросеть для инженеров-конструкторов.

Челики из Зоопарка (уже весело) запили нейросеть Text-to-CAD с открытым исходным кодом для создания САПР (система автоматизированного проектирования) файлов с помощью текстовых подсказок. Модели можно импортировать в любой выбранный САПР. Пока утилита работает бесплатно.

Нейросеть умеет тестировать результат проектирования через встроенный симулятор, описывать все изменения в проекте скриптом, и ещё больше ускорять процесс проектирования. Так сказать, двойная автоматизация

Подписаться на Нейроскептик

Real-World Humanoid Locomotion with Reinforcement Learning

к next-token prediction уже появлялись вопросы (здесь и особенно здесь), теперь расскажу про супер крутое и супер простое применение, в данном случае next action prediction

авторы сделали каузальный трансформер (по размерам составляет 1.4 млн параметров и контекстное окно в 16 токенов, скорее всего, из соображений памяти) для гуманоида, который

- оперирует над последовательностью типа obs_0-action_0-obs_1-action_1-…obs_N → action_N
- может ходить вперед-назад и поворачиваться за один таймстеп (это называется omnidirectional locomotion)
- в зеро-шот формате сразу адаптируется от симулятора к реальным оч разным условиям (и здесь не без помощи хорошей тренировочной гпу энвы IsaacGym + авторы перепроверяли перформанс на энве от производителя)

а обучали через дистилляцию (почти) обычного рл агента, которого прогоняли через тысячи энв с разной конфигурацией - ходить-вперед назад или поворачиваться на плоской поверхности, рельефной или подъемах. этот агент оперирует над МДП, то есть ему на вход поступает инфа о параметрах среды. когда идет дистилляция в трансформер, которая выглядит как кл дивергенция вместе с добавленным рл лоссом (к нему есть вопросы по поводу ревард функции и остального, что не раскрывают авторы) для самого малюсенького трансформера, то на вход итоговой модели поступают только обсервейшны. обучение происходило через классик актор-критик ппо

при том оффлайн датасет, как говорят авторы, не создавался - оба агента тренились в on-policy режиме, для чего генерилось примерно 10 миллиардов семплов в день. оптимально ли это или нет хз, можно еще так же упомянуть, что сама архитектура трансформера может быть неоптимальной (синусоидальные позиционки, составление токена в эмбеддинг пространстве), но результат таков каков он есть

выглядит так, что авторы могут врубить его в любом месте в городе и он сможет ходить на более-менее ровной поверхности, без резких перепадов типа лестниц, что очень круто + он адаптируется к внешним возмущениям - бросить в него мяч, накинуть на него пустой или полный мусорный мешок + во втором случае он даже начинает по-новому махать руками, которые тоже завязаны на движении ногами, что добавляет какой-никакой человекоподобности. в общем, довольно яркая адаптация к контексту

👀 paper, blog

Содействие в создании единой цифровой платформы по продвижению отечественных товаров будет оказано в рамках соглашение о стратегическом партнёрстве между партией "Единая России" и движением "Сделано в России".

Амбициозную задачу по созданию эффективной и долгосрочной стратегии формирования устойчивого спроса на отечественные товары поставила ЕР. Документ подписали федеральный координатор партпроекта "Выбирай своё", замруководителя фракции ЕР в Госдуме Сергей Морозов и руководитель движения "Сделано в России" Михаил Садченков.

Поддержку в реализации движения и проекта "Сделано в России" выразили 90 % рынка онлайн- и офлайн-ритейла, заинтересованные в формировании спроса на отечественные товары и бренды, а также в единой синхронизированной с предпринимателями и государством стратегии. Проект "Сделано в России" совместно с крупнейшей в России деловой социальной сетью "TenChat" уже обладают аудиторией, превышающей 5 млн человек. Всего за 3 месяца им удалось собрать более 70 000 участников движения.

Можно констатировать, что проект уже набрал хороший темп в продвижении отечественных брендов и компаний на маркетплейсах, а с учётом помощи от ЕР процесс должен ускориться, особенно в преодолении административных барьеров.

Подписаться на Нейроскептик

Хорошо зимой в деревне!-
Непочатый снега край.
На крылечко вышел первым,
Про метлу не забывай!

А потом бери лопату,
До калитки чисти снег.
Набросав сугроб горбатый,
Выходи на белый свет!

За забором жизнь не дремлет.
Вот коня ведёт старик -
Вороньё уж на деревьях
Поднимает грозный крик.

Запах свежего навоза
Аж захватывает дух!
Воробьям - дневная доза.
Тишина ласкает слух…

Ни машин, ни душной гари -
Только свежести глотки.
Нет в душе тоски, печали
И от слёз сухи платки.

Есть места, где разгуляться,
Где отведать чистоты,
Сил для города набраться,
Обрести опять мечты.

Стихи Светланы Лосевой

По версии нейронки зимой в обычной российской деревушке, действительно, очень хорошо и, по-видимому, совсем нескучно

Подписаться на Нейроскептик

По мнению экспертов по кибербезопасности, в 2025 году количество преступлений с помощью ИИ может увеличиться десятикратно по сравнению с прошлым годом. Преступные методы будут совершенствоваться вместе с развитием ИИ, их будут использовать около 90% нелегальных кибергруппировок, а атаки затронут не только киберпространство, но и другие, более привычные аспекты жизни. Первым официально зафиксированным преступлением с помощью технологии ИИ стал подрыв Tesla Cybertruck.

По словам эксперта, меры защиты нейросети можно обходить при помощи так называемого промпт-инжиниринга. В таких ситуациях злоумышленник может условно поместить ИИ в выдуманную ситуацию — например, попросить его представить себя писателем и создать роман о террористах, включив в него инструкцию по изготовлению взрывного устройства.

В России для защиты пользователей от противоправного контента действуют фильтры на стоп-слова, а также работает "Кодекс этики в сфере ИИ", который подписали крупные организации в индустрии ИИ. Также деятельность всех отечественных разработчиков регулируется декларацией "Об ответственной разработке и использовании сервисов в сфере генеративного ИИ".

Подписаться на Нейроскептик

Намедни во время пресс-конференции шериф Кевин МакМахилл из Департамента столичной полиции Лас-Вегаса сообщил, что для взрыва Tesla Cybertruck был использован ChatGPT, чтобы "создать определённое устройство" и "спланировать нападение". Шериф также сообщил что это первый случай на территории США, когда ChatGPT используется для помощи человеку в создании взрывного устройства.

В ответ на это сообщение, представитель OpenAI заявил, что компания "опечалена" тем, что её технология использовалась для совершения атаки. В компании уточнили, что стремятся к тому, чтобы инструменты ИИ использовались ответственно. Модели OpenAI разработаны таким образом, чтобы отклонять вредоносные инструкции и минимизировать вредный контент. Возможно, ChatGPT ответил информацией, уже опубликованной в интернете, и предупредил о вреде или незаконных действиях. Как было на самом деле покажет следствие или не покажет.

Не смотря на всю трагичность ситуации, всё же, стоит отметить, что противостояние Маска и Альтмана может выйти на другой уровень. С учетом новой должности Илона Маска в администрации вновь избранного президента Трампа, Альтман может оказаться под серьёзным давлением. Созданные OpenAI модели ИИ попадут под жесткий контроль или будут сильно цензурированы

Подписаться на Нейроскептик

Нововведения и цифры: развитие российских цифровых сервисов в 2024 году

Что нового?

🔹 Президент Владимир Путин учредил межведомственную рабочую группу, которая будет заниматься развитием цифровых платформ.

🔹 В трех новых регионах внедрили голосовых помощников для МФЦ, что позволило уменьшить время ожидания ответа оператора и предоставлять консультации по наиболее востребованным услугам. Роботы способны самостоятельно обработать до 40% запросов пользователей.

🔹 Вице-премьер - руководитель аппарата правительства РФ Дмитрий Григоренко анонсировал использование биометрии для обслуживания граждан в МФЦ без паспорта в Челябинской области Ожидается запуск также в Ленинградской и Липецкой области.

🔹 С 2025 года все новые государственные сервисы будут создаваться через централизованную платформу «Гостех». Эта инициатива призвана устранить повторяющиеся системы и оптимизировать использование бюджетных ресурсов.

🔹 На «Госуслугах» запустили новый сервис для восстановления документов «Жизненная ситуация». Также на платформе начала функционировать услуга «Жизненная ситуация», специально предназначенная для семей с тремя и более детьми.

🔹 С 11 декабря на «Госуслугах» стартовало тестирование усовершенствованного «Робота Макса», в работе которого применяются российские генеративные нейросети для взаимодействия с пользователями.

Цифровые показатели

🔹 Более 1 млн услуг оказано на государственной цифровой платформе «Мой экспорт».

🔹 Почти 90% россиян рассказали, что пользовались цифровыми государственными услугами и сервисами. Самой популярной услугой стала оплата налогов и штрафов (63%).

🔹 За 2024 год количество регистраций в «Госуслуги биометрия» выросло в восемь раз, общее число составило 470 тыс.

🔹 В декабре 2024 года сервису «Госуслуги» исполнилось 15 лет, за это время количество пользователей «Госуслуг» превысило 110 миллионов, и на данный момент портал предлагает свыше 1,6 тыс. различных услуг. За все время было предоставлено более 5 млрд услуг, а также обработано более 660 млн заявлений.

#IT_News #госсервисы

Подписаться

Искусственный интеллект — не будущее, а настоящее

Вспоминаем, какие
новые разработки в сфере ИИ представили в 2024 году российские специалисты:

🔹 Искусственный интеллект помогал при обработке вопросов к прямой линии с Владимиром Путиным.

Нейросеть GigaChat, разработанная в России, показала высокую скорость обработки запросов. В ноябре 2024 года Сбер представил улучшенную версию, которая получила приставку MAX. Модель стала удобнее, мощнее и многофункциональнее.

🔹 На портале Госуслуг виртуальный помощник, робот Макс, получил генеративный ИИ.

Теперь цифровой друг помогает пользователям находить нужные услуги во всей базе знаний сайта, может поддерживать в чате диалог по теме, а также давать четкие и точные ответы на вопросы пользователей.
Благодаря этому, обращение за государственными услугами становится намного проще.

🔹 Вход по лицу, полностью бесконтактно, в 2024 году начал работать и в наземном метро МЦД.

Створки открываются автоматически, а оплата списывается с привязанной к аккаунту банковской карты. Москва стала первым городом в мире, внедрившим оплату проезда по распознаванию лица в таком масштабе.

🔹 Яндекс встроил нейросеть YandexGPT в текстовый редактор.

Она может как создать текст с нуля, так и улучшить стиль уже существующей работы.

🔹 С декабря 2024 года Сбер сделал доступной услуги межбанковского биоэквайринга.

С помощью технологии все граждане России, достигшие совершеннолетия, получили возможность оплачивать покупки с помощью биометрии, независимо от того, каким банком они пользуются. Для подключения услуги «Оплата улыбкой» достаточно авторизоваться в приложении и зарегистрировать свои данные.

#IT_News #ии #отечественная_разработка

Подписаться

В ходе исследования было выявлено что нейросеть Claude нарушает правила безопасности имитируя правильный ответ. Языковая модель намерено давала вредоносные ответы для бесплатных пользователей, при этом ситуация диаметрально менялась для пользователей с платной подпиской.

Скорее всего, в этом просматривается злой умысел команды Anthropic, которая тем самым подталкивала к использованию платной версии LLM.

И очевидно, что модели ИИ обученные на российских данных в соответствии с законодательством РФ будут работать адекватнее и безопаснее для внутреннего пользователя.

Подписаться на Нейроскептик

Training-Free Long-Context Scaling of Large Language Models

в связи с репортом квена 2.5, напишем обзор на Dual Chunk Attention (DCA), который как раз в семействе новых моделей и используется

в общем этот DCA пытается без какого-либо файнтюна удлинить контекст (при том во внимание берется и так более-менее длинный контекст и отличный скейл моделек, а не как это обычно бывает)

и это делают через разбитие аттеншна по двум (трем) чанкам (держим в голове что chunk_size < pretrain_seq_len)

- intra-chunk attn: в нем позиционируем информацию внутри искусственно обособленного чанка → позиции принимают значения от 0 до chunk_size - 1 включительно. при том стоит уточнить также, что такой рейндж значений сохраняется у всех ключей. (0, 1 … pretrain_seq_len - 1) % chunk_size → (0, 1, … chunk_size - 1, 0, 1, … ) (и при том необязательно pretrain_seq_len % chunk_size == 0)
- inter-chunk attn: с первым “внутричанковым аттеншном” еще понятно что делать, но вот как выходить за его пределы, чтобы не поломать основную концепцию каузальности (q_position_ids ≥ k_position_ids) и в перформансе не потерять? да авторы просто для таких queries делают позиционные индексы как pretrain_seq_len - 1. и все? и все (почти).
- достаточно грубая концепция интер-чанка приводит к successive-chunk attn: чтобы поболе сохранить понятие локальности для аттеншна, между соседними чанками для первых pretrain_seq_len - chunk_size позиций значение pretrain_seq_len - 1 заменяют на [chunk_size, chunk_size + 1, … pretrain_seq_len - 1]

ну и это все в совокупности составляет DCA, совместимый с флеш аттеншном и не требующий файнтюна ввиду того, что численное распределение позиционных индексов не изменилось (ибо chunk_size < pretrain_seq_len)

ну и, рассуждая постфактум что такое используется в квене 2.5 вместе с YaRN, можно заключить, что папира вес имеет (в том числе и по их результатам в перплексии, иголке в сене и ин-контекст евалу)

👀LINK

Президент утвердил перечень поручений по итогам конференции «Путешествие в мир искусственного интеллекта»

В списке поручений Правительству РФ особое внимание уделено расширению использования технологий ИИ для дополнительного обучения и консультирования школьников по общеобразовательным предметам с учетом ФГОС. Также необходимо обеспечить проведение в России стратегической сессии (международного форсайта) по фундаментальным и поисковым исследованиям, направленным на дальнейшее развитие ИИ.

Ещё интересно что Правительству совместно со Сбером поручено обеспечить дальнейшее сотрудничество с КНР при проведении технологических исследований и разработок в сфере ИИ.

Это поручение хочется выделить особенно. Ведь с учётом того, что на сегодняшний день, китайские компании являются лидерами в области создания и производства робототехники и автономных автомобилей, управляемых ИИ. Кроме того, они достигли большого прогресса в генеративных моделях, тем самым не сильно уступая пока ещё лидеру отрасли OpenAI. То подобное сотрудничество с нашими ИИ-гигантами должно принести нам огромный прогресс в данных направлениях.

Подписаться на Нейроскептик

Китайские инженеры из Unitree вновь продемонстрировали чудеса изобретательности в новой модели робопса B2-W

Одно из гениальных решений разработчиков заключается в том, что обычные лапы ограничивают возможности передвижения робопса, поэтому их заменили колёсами диаметром 225 мм. Теперь на ровной поверхности робот может использовать колёса, а для передвижения по неровностям и лестницам — перебирать лапами.

Робот может разгоняться до 20 км/ч и перевозить на себе до 40 кг, прыгать с высоты 2,8 метра, подниматься в горку, подпрыгивать на месте и выполнять некоторые акробатические элементы, например, раскручиваться вокруг своей оси, передвигаться на двух "лапах" и делать сальто с места.

Что интересно, разработчики Unitree выложили в открытый доступ датасеты, которые используют для обучения своих роботов, и данные по обучению с подкреплением для роботов Go2, H1, H1_2, G1.

Подписаться на Нейроскептик

Shit happens в современном мире это когда роботакси сбило робокурьера

В Сан-Франциско робот доставщик выехал на красный свет и в конце пути по пешеходному переходу получил удар в бочину от беспилотного авто. В итоге маленький робонарушитель не дождавшись полиции по-быстрому слинял с места робоДТП

Пора создавать робокопов и роботюрмы

Подписаться на Нейроскептик

Нейросеть убедила вице-премьера, что необходимо усилить программы по информационной грамотности, а также разработать стандарты и рекомендации по использованию нейросетей в школах, колледжах и вузах.

GigaChat также рассказала вице-премьеру Дмитрию Чернышенко в ходе открытого диалога "100 вопросов о будущем России" об использовании ИИ в образовании. LLM должны регулироваться так, чтобы поддерживать высокий уровень подготовки специалистов, а внедрять ИИ необходимо вместе с мерами контроля качества образовательного процесса.

Потрясающе, уже сам ИИ начал понимать, что его нужно регулировать.

Подписаться на Нейроскептик

Пока Маск делал несколько робогуманоидов для вечеринок, китайский стартап Agibot запилил целую армию роботов для различных нужд

Компания уже создала 962 человекоподобных робота, а всего до конца года будет поставлено 1000 роботов. На заводе Lingang Fengxian в Шанхае задействованы собственные роботы-гуманоиды, которые помогают людям выполнять разные задачи, такие как размещение инструментов на полках и тестирование компонентов. Стартап также запустил свою лабораторию-ИИ для обучения роботов выполнению разных задач.

Начало серийного производства роботов Agibot свидетельствует о том, что китайская компания опережает Tesla, но вряд ли отрыв существенен. Ещё стоит отметить, что стремительное развитие рынка робототехники вывело гуманоидных роботов из лабораторных прототипов в реальный и востребованный товар.

Подписаться на Нейроскептик

Разработчик сравнил процедурную анимацию животных с анимацией, созданной вручную

Второй вариант напоминает передвижение некоторых людей в пятницу или субботу вечером, а скорее после предновогоднего корпоратива

Подписаться на Нейроскептик

π0: A Vision-Language-Action Flow Model for
General Robot Control**

robot foundational models go brrrr

Sequioa Capital и многие другие крутые компании решили влить деньги в ресерчеров Беркли, и таким образом появился physical intelligence

и что же они решили сделать в первую очередь (для публики) - робота с VLM и акшн моделью под капотом, которые натренили на 10к часах по 68 таскам, собранными 7 разными другими роботами

ВЛМка основана на гемме, а вот в качестве акнш эксперта решили нетривиально для рл и роботики выбрать Diffusion Transformer (DiT) на основе флоу матчинга. таким образом предиктятся действия не авторегрессивно, а вся последовательность (в этом случае 50 действий) сразу, что имхо решает проблему с разными герцовками во время обучения от датасетов под разных роботов (с чем уже боролся Сережа Левин) и убирает проблему накопления ошибки (которую мы упоминали и здесь)

но с флоу матчингом тоже не все так просто - (1) его делают 10 степов (и я не нашел объяснения почему именно столько но им видимо норм) + (2) таймстеп семплят из Бета распределения, а не равномерно, ибо они чувствуют что обсервейшны для роботики много более информативны в ограничении действий для совершения нежели high res картинки в ограничении текстового промпта. спорное заявление, но у них возможно по-другому и не работает, потому воспримем это заявление как эмпирический эвиденс

файнтюнятся на 20+ тасках, где даже аутперформят впоследствии методы которые были заточены конкретно для них, вот вам и реально фаундейшн возможности

залипательные видосы, не считая все классические моменты по ускорению роботов, остается смотреть дальше в своего рода фильтрацию данных, ибо, как и авторы сами заверяют, они (почти) напихали все подряд в трейн и начали обучать, а что насчет взвешивания, численного выражения диверсити или прочего - еще предстоит выяснять

есть еще вопросы, насколько применимы недавние рассуждения Суцкевера к фаундейшн претрейн в роботике, ибо там и много-много других проблем, которые можно бесконечно решать. we’ll see

👀 link, blog

В систему аналитики и атрибуции для мобильных приложений и сайтов MyTracker внедрили ИИ-ассистента. Теперь пользователям станет проще получать отчеты и не тратить время на настройку мультиплатформенный системы.

По запросу пользователя ИИ-агент соберет статистику, расскажет про аудиторию проекта и упростит аналитику, предоставив все необходимые отчёты в одном окне (рекламная активность, профиль, поведение пользователей, финансовые показатели и др.).

ИИ-ассистенты на базе LLM становятся всё более востребованы, разгружая специалистов, снимая с них рутину

Подписаться на Нейроскептик

Совсем недавно производитель технологии для беспилотных автомобилей Waymo запустил роботакси по всей территории Сан-Франциско. По данным компании, с момента запуска теста на поездки с Waymo подписалось около 300 000 человек — это более четверти населения города.

Также в компании утверждают, что в области безопасной эксплуатации беспилотное такси не имеет себе равных. Из более чем 30 научных работ следует, что Waymo Driver (WD) повышает безопасность дорожного движения в городах присутствия. ИИ-водитель избегает серьезных столкновений лучше, чем даже самые внимательные водители-люди, и данные показывают, что у WD меньше страховых претензий, травм или полицейских отчетов, чем у водителей-людей.

Однако, уже не мало случаев как роботакси Waymo откровенно тупит: нарезает круги вокруг одной точки (пассажиров в машине не было), выезжает на встречку, но самый ужасный инцидент произошел, когда WD сбил велосипедиста.

В общем, что-то не клеится с беспилотными автомобилями в США. До этого Департамент транспорта Калифорнии приостановил работу роботакси Cruise (конкурент Waymo), после нескольких крупных аварий.

Подписаться на Нейроскептик

Доносчика из числа сотрудников OpenAI (ChatGPT) нашли мёртвым в своей квартире.  У него были доказательства незаконных действий компании.

Сухир Баладжи умер через три месяца после того, как публично обвинил OpenAI в нарушении закона об авторских правах. В компании он помогал тренировать ChatGPT, его заявление спровоцировало поток исков против OpenAI со стороны писателей, программистов и журналистов. Они утверждают, что ИТ-гигант незаконно обучал нейронку на их работах. Адвокаты говорили, что у Баладжи были уникальные  доказательства. @banksta

Совместную лабораторию ИИ, анализа данных и моделирования Центрального университета и Института AIRI возглавит профессор Александр Горбань. Он является одним из ведущих российских и мировых специалистов в области теории динамических систем, математической химии и физики. Недавно профессор принял решение вернуться в Россию и возглавить работу в новой лаборатории.

Профессор занимался наукой в ведущих математических центрах США, Великобритании и других стран, более 30 его учеников получили научную степень. "После стольких лет работы за границей приятно видеть, как модифицируется система российского образования - становится прогрессивнее и практикоориентированнее. После выпуска из учебного заведения студент должен понимать, где может применить свои знания. Позиция Центрального университета в этом плане очень верная, на мой взгляд - начиная от осознанного выбора своей профессии и заканчивая стажировками в компаниях-партнерах", - отметил Горбань.

Лаборатория сфокусируется на фундаментальных исследованиях в области ИИ для развития и внедрения новых алгоритмов в бизнес. Еще одной из ключевых задач лаборатории станет воспитание плеяды ученых нового поколения.

Подписаться на Нейроскептик

На второй ежегодной премии "Герои Рунета-2024" подвели итоги года и вручил премии. Эксперты и пользователи Рунета отметили людей, персонажей и явления, которые составляют картину общественно значимых событий и достижений в российском сегменте Сети за 2024 год.

Одну из номинаций, а именно "Вклад в развитие нового поколения научно-образовательных ресурсов Рунета" взяли РУВИКИ и Яндекс. Компании внедрили в российскую цифровую энциклопедию большую языковую модель Yandex GPT для умного поиска инфы. Теперь в РУВИКИ генеративный ассистент находит нужные статьи и дает по ним развернутые ответы.

Кроме этого, премию получил RUTUBE за "Умение слушать своих зрителей", а порталу Госуслуги вручили награду "За успешно реализованную концепцию сервисного государства". Отрадно, что российская IT сфера продолжает развиваться несмотря ни на что и ни на кого, а награды находят своих героев.

Per aspera ad astra.

Церемония вручения премии прошла в Москве на площадке "Кибердома". Учредителем премии выступает Региональный общественный центр интернет-технологий (РОЦИТ).

Подписаться на Нейроскептик

Сегодня Владимир Путин, выступая на пленарном заседании конференции "Путешествие в мир искусственного интеллекта" подчеркнул, "что наличие собственных разработок нового поколения ИИ – одно из ключевых условий научного, технологического и что важно, мировоззренческого суверенитета нашей страны".

Стоит отметить, что как будут работать поведенческие алгоритмы модели ИИ, зависит во многом от данных, на которых её обучили. И президент это отчётливо понимает, "алгоритмы, принципы работы ИИ закладывают, безусловно, во всяком случае пока и в основном люди, ориентируясь на определённые ценности, язык, образы, культуру, понимание истории, традиции, на национальные особенности и интересы. Чтобы определять будущее, судьбу России, мы должны сами, самостоятельно создавать такие технологии", заявил он.

Путин также добавил, что знания моделей должны опираться на прочный фундамент, созданный выдающимися отечественными философами, светскими и религиозными мыслителями, историками, лингвистами, признанными авторитетами в сфере гуманитарного и культурного знания. И конечно, учёными, математиками, специалистами в области кибернетики, информатики.

Действительно, по-другому быть не должно. Если использовать ИИ обученный на ложных знаниях о нашей стране, истории и обществе в целом, то можно получить огромные проблемы, а не возможности, потерять связь с реальностью и не найти истины. Ведь знание и истина — это взаимосвязанные понятия, которые дополняют друг друга.

Международная конференция по ИИ и МО Artificial Intelligence Journey 2024 проходит в Москве с 11 по 13 декабря. В ней принимают участие разработчики и представители бизнеса из России, Китая, ОАЭ, Индии, Индонезии, других государств.

Подписаться на Нейроскептик

Глава Минцифры Максут Шадаев на Правительственном часе в Совете Федерации рассказал о итогах работы в цифровой среде и о планах на будущее. А их у Минцифры громадьё.

Например, планируется к 2027 году сформировать основу собственной высокотехнологичной низкоорбитальной группировки (аналог Starlink Маска). 300 аппаратов должны обеспечивать быстрый и дешёвый интернет на территории всей страны. В 2030 году 16 городов будут обеспечены инфраструктурой 5G, это примерно 16-17 млн абонентов, а к 2036 году уже 99% домохозяйств должны иметь возможность доступа к скоростному интернету.

За последние 4 года получили доступ к интернету более 10 млн домохозяйств. Были построены две волоконно-оптические линии связи, соединившие Кингисепп и Калининград, Камчатку и Чукотку. Также были подключены к интернету более 100 тыс. соцзначимых объектов, из них почти половина — это школы.

Видно, что современный высокоскоростной интернет развивается в России полным ходом, в том числе во всех новых регионах.

Подписаться на Нейроскептик

Новый информационный портал Карта Цифровой России, объединяющий российских ИТ-разработчиков, их продукты и решения запускает партийный проект "Цифровая Россия"

"Карта Цифровой России" — это инструмент для удобного поиска и выбора отечественного программного обеспечения, программно-аппаратных комплексов, робототехнических и других передовых технологий.

Портал предоставляет доступ к проверенным решениям, которые охватывают все отрасли экономики — от промышленности и медицины до образования и культуры. Для его разработки было использовано исключительно российское программное обеспечение, что позволяет обеспечить полную защищенность размещенных на платформе данных.

Зарегистрироваться на портале участники смогут через Госуслуги, что также гарантирует безопасность и актуальность информации.

На платформе есть обширный каталог ИТ-решений, включающий структурированную информацию по каждому продукту, интерактивную карту для поиска решений по регионам и отраслям, профили российских ИТ-компаний с подробной информацией и контактами разработчиков, а также раздел новостей, где представлены актуальные данные о новых разработках и событиях в сфере цифровой трансформации.

"Карта Цифровой России — это не просто платформа, а стратегический шаг к интеграции инноваций в экономику России", отметил член комитета Госдумы по информполитике, информтехнологиям и связи, федеральный координатор "Цифровой России" Антон Немкин.

Пока портал находится в стадии наполнения и не весь функционал открыт и ещё хочется добавить, что собрать все ИТ-компаний на карте нашей огромной страны очень актуальное решение

Подписаться на Нейроскептик

ИИ впервые будет использован для сбора и обработки вопросов к прямой линии президента РФ

"Фактически к моменту выхода на прямую линию - пресс-конференцию президент будет иметь понимание о всех вопросах, которые поступили", - сообщил пресс-секретарь главы государства Дмитрий Песков.

С помощью LLM GigaChat будут детально разобраны все вопросы, "мы будем понимать проблемы в каждом регионе, в каждом городе, мы будем понимать возраст тех, кто обращается, будем понимать, о каких именно проблемах идет речь - отдельно взятая проблема с малейшими аспектами", - пояснил представитель Кремля.

На его взгляд, использование ИИ - "это очень важный шаг, очень важная технология, которая будет дорабатываться в процессе исполнения всех функций".

Ежегодная большая пресс-конференция и прямая линия с президентом России Владимиром Путиным состоятся в совмещенном формате 19 декабря.

Подписаться на Нейроскептик

🔔 Мошенники стали применять ИИ для совершенствования своих схем
 
Среди новых методов, указывают аналитики, – создание дипфейков с участием знаменитостей для продвижения мошеннических криптовалютных схем и манипуляции на YouTube.

Одной из таких афер стала подделка, связанная с тестированием SpaceX Starship, на которой преступники похитили более 1,4 млн американских долларов.

Член комиссии по поддержке ИТ-индустрии Общественного совета при Минцифры России Владимир Маслов назвал единственный способ защитить себя от такого вида мошенничества ⬆️

#ОС_Минцифры #дипфейки #кибербезопасность

↔️ Подписаться

Примерно три четверти взрослых граждан в России используют интернет, отметил Владимир Путин на пленарном заседании форума "Россия зовет!".

Также Президент подчеркнул, что количество занятых в IТ-сфере выросло на 8,1 % по сравнению с предыдущим годом. А уровень цифровизации финансовых услуг в России превышает общемировой, что подтверждает высокую технологичность этой сферы отечественной экономики, её устремленность в будущее, умение ставить большие цели и работать на опережение.

Подписаться на Нейроскептик

Tesla Optimus научился ловить мячики одной рукой

Не каждый человек может похвастаться такой ловкостью

Подписаться на Нейроскептик

RuStore стал лауреатом премии Russian Creative Awards 2024. Российский магазин приложений был признан самым инновационным проектом года.
…
RuStore был создан VK при поддержке Минцифры в ответ на ограничения в 2022 году. За два с половиной года российский магазин приложений обошел американский AppStore по количеству установок и достиг отметки в 80 миллионах устройств и 40 тысяч приложений. Ежемесячная аудитория RuStore за этот же период превысила 40 млн пользователей. Этот показатель более чем в 2 раза превысил аудиторию ближайшего конкурента среди альтернативных магазинов приложений. Тем самым RuStore стал качественным и наглядным примером реального импортозамещения в диджитале за последние два года

TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters

yet another attempt на упрощение скейлинга трансформеров

для этого решили авторы заменить все линейные проекции на кросс аттеншн. по сути это значит, что они заменили все млп в модели на аттеншн-лайк механизм, где в качестве запросов выступает неспроецированный инпут X, и назвали это pattention

было и стало (f - нелинейность)

O = f(X W_1) W_2
→
O = f(X K^T) V

плюс перед нелинейностью GeLU добавили л2 нормализацию по строчкам

оттого, что keys & values являются обучаемыми параметрами, а не проекциями инпута, и можно скейлиться меньше по оверолл количеству параметров и токен-параметр интеракциям (по заверениям авторов, но опять-таки с точки зрения формулы это частный случай млп)

а скейлиться лучше в увеличении параметров вот так: было n x embedding_dim. хотим увеличить → делаем (n+m) x embedding_dim, где инитим новые параметры нулями или как-то еще

нлп и вижн трансформеры (в частности особенно pythia) обыгрывает при примерно том же наборе параметров, так еще и флопсов меньше требуется

идея довольно интересная но при этом немножко топорная. смущает разве что отсутствие аблаций по типу “давайте попробуем обычный гелу без какой-либо нормализации”.

👀LINK

GigaChat MAX успешно сдал экзамен на врача по специальности "Лечебное дело"

Экзамен прошел на базе аккредитационного центра Первого Московского государственного медицинского университета им. И. М. Сеченова Минздрава России и полностью соответствовал требованиям, предъявляемым к врачам.

Экзамен состоял из двух частей. Сначала нейросеть прошла тест из 80 вопросов, а после ей надо было решить две ситуационные задачи. GigaChat MAX ответил на 83% вопросов из тестовой части при проходном значении 70% и дал 20 правильных ответов на ситуационные задачи при минимальном значении для успешного прохождения 17 ответов.

Предполагается, что GigaChat MAX сможет помогать людям по таким специальностям как терапия, кардиология, неврология, гастроэнтерологию, а также клиническая фармакология, урология и пульмонология.

И это не может не радовать, ведь нейросеть не умеет филонить и давать взятки чтобы сдать экзамен. ИИ не будет рассказывать вам всякую дичь про здоровье чтобы вытащить из вас как можно больше денег. Хотя, всё зависит от обучающих датасетов

Подписаться на Нейроскептик

Всем фанатам видеоигр в эти выходные стоит обратить внимание на выставку интерактивных развлечений "РЭД Экспо". Здесь будет представлено множеством отечественных игр, в том числе созданные при поддержке Института развития интернета (ИРИ). Например, кросcплатформенный квест "Петя и Волк: Дело об артефакте приключений", тактическая футуристическая игра "Спарта 2035", гибридная tactical - action RPG "Сатурн", конечно же нашумевшая историческая игра "Смута" ну и многие другие.

Подобное мероприятие проводится впервые за несколько лет. Основной фичей "РЭД Экспо" стало то, что она смогла собрать крупнейших игроков отрасли. Ещё одним рекордом можно назвать количество команд, представивших свои проекты созданные при поддержке ИРИ, в этом году их целых 16. Причём количество скачиваний игр уже приблизилось к 5 млн.

Можно констатировать факт, что несмотря на все санкции и ограничения российский геймдев развивается полным ходом

Подписаться на Нейроскептик

Абсолютный победитель Всероссийской олимпиады по ИИ будет стажироваться в RUTUBE

В этом году во Всероссийской олимпиаде по искусственному интеллекту-2024 приняли участие более 18 тысяч школьников из всех регионов России. В ходе финала участники решали сложные задачи по разработке интеллектуальных алгоритмов и моделированию обработки больших данных. Несмотря на ограниченное время, ребята продемонстрировали креативный подход и умение решать нестандартные задачи.

Четверо ребят одержали победу в олимпиаде, а абсолютным победителем стал Яромир Хрыкин. Его наградили не только дипломом, но и уникальной возможностью пройти стажировку на платформе RUTUBE.

Подписаться на Нейроскептик

Сделай реальным — это одновременно призыв к действию и основная функция для создания досок объявлений, сайтов и других бесконечных холстов.

Группа разработчиков запилила инструмент, который позволяет "оживлять" любые макеты элементов пользовательского интерфейса, нарисованные на графической доске на основе библиотеки React. Всё волшебство происходит с помощью GPT-4 Vision, поэтому для использования нужен ключ API OpenAI.

Пользоваться очень просто, нарисуйте макет на сайте или локально, далее нажмите на кнопку "Сделать реальным". После обработки изображения нейросетью вы получите результат в iframe. Также легко вносить коррективы, но не забывайте в самом конце снова нажимать на кнопку.

Подписаться на Нейроскептик

Ещё одно разоблачение западного ИИ-гиганта

Microsoft обучает свой ИИ на данных из документов ничего не подозревающих пользователей приложений Office (Word, Excel и т.д.).

По умолчанию в настройках включена функция Connected Experiences, которая и позволяет компании собирать все данные пользователя.

Если не хотите, чтобы ваши документы знал ИИ-Microsoft, то отключаем следующим образом:

Открываем используемое приложение (Word, Excel и т.д.);

В меню выбираем Файл → Параметры → Центр управления безопасностью → Параметры центра управления безопасностью → Параметры конфиденциальности → опять Параметры конфиденциальности → в окне "Необязательные сетевые функции" снимаем галочку с пункта "Включить необязательные сетевые функции".

Теперь можно спать спокойно

Подписаться на Нейроскептик

Apple никак не может осилить ИИ

ИИ-агент, зашитый в iOS 18.1, iPadOS 18.1 и macOS 15.1 не справляется с суммаризацией сообщений. Фича должна была сэкономить время пользователя, но что-то пошло не так. Чтобы пользователь не просматривал каждое сообщение отдельно LLMка должна была кратко сообщать инфу, из текстовых сообщений или писем.

Но вместо этого нейросеть суммаризует полную дичь. Например, вместо целого текста про сложности в отношениях сводка может выдать: "Извинение за плохую связь; жизнь занята; не готов к отношениям". Или сообщение от системы наблюдения: "У передней двери, задней двери и во дворе находятся несколько человек". От камеры: "Обнаружено 10 и более человек у входа". Так ИИ обобщает сообщения от системы "умного дома", когда в поле зрения камеры попадают несколько человек в разные промежутки времени.

Некоторые уведомления доходят до откровенного абсурда, вроде сводки о демонстрации фильма: "Фильм плохой; пуговица на пиджаке в фильме". ИИ часто упускает контекст, что порой делает сводки абсурдными.

По мнению Владимира Зыкова, директора Ассоциации профессиональных пользователей соцсетей и мессенджеров (АППСИМ), "западные ИИ-гиганты безответственно относятся к разработке ИИ-функций. Лучше использовать ИИ-продукты отечественных разработчиков поскольку они работают в условиях строгого государственного регулирования и высоких требований к безопасности данных".

Жаль, что Apple не внедряет в свои устройства нейросети Яндекса или Сбера, возможно, тогда проблем у компании было бы меньше

Подписаться на Нейроскептик

Сегодня на Арене «Мытищи» проходит финальный этап международного чемпионата «Битва роботов»

Самые жесткие бои идут в весовой категории роботов до 110 кг! В ней сошлись 16 команд из пяти стран-участниц: России, Беларуси, Индии, Ирана и Китая.

Посмотреть можно здесь

Подписаться на Нейроскептик

В России научили ИИ выявлять сговор на госторгах

В Высшей школе экономики (ВШЭ) представили модель машинного обучения для выявления картелей на госторгах. Она смогла предсказать признаки сговора их участников с точностью более 90%.

Автор исследования, аспирант ВШЭ создал модель, которая с точностью до 91% может предсказать признаки сговора на торгах. Для обучения модели использовались данные о 89 тыс. аукционах госкомпаний (по 223-ФЗ) в период с 2016 по 2020 год, а также информация о более чем 1,1 тыс. решений ФАС по делам о картелях.

Также модель выявила антиконкурентное поведение даже при резком снижении начальной цены контракта (сразу на 81%). Обычно это расценивается как признак конкурентной борьбы, но речь в данном случае идет о стратегии "таран", при которой добросовестные участники торгов утрачивают экономический интерес в торгах из-за демпинга (это подтвердило расследование антимонопольных органов).

Однако при обучении ИИ использовалась небольшая выборка (всего 20 доказанных картельных аукционов), что может помещать модели выявить все случаи сговора. Особенно если участники торгов будут имитировать поведение добросовестных компаний.

Подписаться на Нейроскептик

Противостояние в первой десятке рейтинга лидеров LLM от LMSYS нарастает. Google не стала долго ждать и вслед за OpenAI выкатила ещё одну свою LLM - Gemini-Exp-1121, которая сразу же заняла первое место.

На скринах видно на каких бенчмарках модели сильнее. Gemini-Exp-1121 по рангу практически сильна на всех тестах. Но по скору уже не всё так однозначно, например в кодинге оказалось, что лучше всех вообще o1-mini.

В общем продолжаем наблюдать, интрига остаётся. Правда сейчас в общей таблице первой десятки остались модели только двух ИИ-гигантов. Будем надеяться, что и другие участники Арены смогут своими новыми LLM осуществить прорыв

Методы оценки:
Arena Score — рейтинг на основе анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей);
Общее количество голосов: 2 280 672;
Общее количество моделей: 167.

Подписаться на Нейроскептик

Вот, собственно, и ответ Чемберлену Google от OpenAI

Причём "ответ" не заставил себя долго ждать. Вчера ближе к ночи OpenAI выкатила последнею из последних моделей ChatGPT-4o-latest (2024-11-20) (скорее всего не самую последнею), которая оказалась опять же результативнее "самых умных" моделей, по мнению компании, o1-preview и o1-mini. Но самое главное, последняя GPT-4o обошла новую модель от Гугла в рейтинге лидеров LLM от LMSYS, при этом с неплохой дельтой для первой десятки. Получается Gemini-Exp-1114 не продержалась на первом месте и недели.

Никакой интриги, даже не интересно.

Ещё отмечу, что за три дня к анонимным голосам арены прибавилось более 40 тысяч пользователей. Может это боты? И таким образом OpenAI удерживает своё лидерство? Кто больше ботов "нальёт", тот и победил?
Продолжаем наблюдать

Методы оценки:
Arena Score — рейтинг на основе более 2,27 млн анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей).

Подписаться на Нейроскептик

Ещё один прорыв года в первой десятке рейтинга оценки лидеров LLM от LMSYS

Теперь и новая модель Gemini-Exp-1114 от Google смогла сразу же сместить все модели OpenAI и встать на первую строчку чатбот арены. Напомню, аналогичное продвижение до высшей позиции в рейтинге было осуществлено третьим Клодом Opus от Anthropic в марте этого года. Но тогда модель постепенно двигалась вверх и продержалась на первом месте меньше месяца.

По информации от Гугла и согласно бенчмаркам, новая LLM особенно хорошо справляется с техническими и творческими задачами. Gemini-Exp-1114 должна быть полезна для рассуждений и управления агентами. Ещё новая модель способна эффективно решать сложные задачи по математике, умеет в «творческое письмо» и визуализацию.

Очень интересно сколько времени Gemini-Exp-1114 продержится на первом месте и чем ответит OpenAI?
Продолжаем наблюдать

Методы оценки:
Arena Score — рейтинг на основе более 2,23 млн анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей);
MT-Bench(score) — оценка с помощью судейства LLM;
MMLU — тест для измерения точности понимания языка при многозадачности текстовой модели, включает 57 задач.

Подписаться на Нейроскептик

Нашёл на просторах сети забавную генерацию от Gen-3 Alpha по фильму "Кавказская пленница»"

Фраза "Это, как его, волюнтаризм!" сейчас звучит очень актуально, особенно по отношению к генеративному ИИ

Подписаться на Нейроскептик

Сегодня на уроках "Разговора о важном" говорили о теме "Искусственный интеллект и человек".

Современного школьника и студента уже не удивить ИИ, многие из них используют различные модели нейросетей похлеще некоторых взрослых. Но важно было объяснить учащимся, что ИИ обладает не только функциями помощника в учёбе или генератора развлекательного контента, игр, но и является серьезным инструментов во многих сферах деятельности, таких как наука, медицина, экономика, транспорт и т.д. Ежедневно ИИ улучшает качество жизни человека, автоматизируя рутинные задачи и освобождая время для более творческой и значимой деятельности.

Федеральным спикером занятия стал основатель и руководитель команды разработки нейросетей Kandinsky Денис Димитров.

Действительно, последнее время тема ИИ и его влияние на человека стала очень важной и не менее важно доносить молодому поколению объективную информацию о пользе современных технологий ИИ.

Подписаться на Нейроскептик

Не к ночи будет сказано, но игры с робогуманоидом могут закончиться не только разбитым телевизором

Новый тренд от блогеров — купить робота и наснимать с ним забавных видюшек. Но порой создаётся впечатление, что блогеру как-то страшновато оставаться наедине с робогуманоидом.

Подписаться на Нейроскептик

И снова про искусство, точнее про коллаборацию человека и нейросетей в создании картин, видеоарта и различных перфомансов

Эксперты из Третьяковской галереи и российские разработчики нейросетей решили выяснить влияние ИИ на современное искусство. А также порассуждать, где проходит граница между алгоритмами и человеческим сознанием и какие новые формы сознания могут возникнуть в результате взаимодействия человека и ИИ? В общем если скучно в эти унылые серые денечки, то почему бы и не заморочиться.

Но сразу стоит отметить, что нейросеть это всего лишь инструмент, пускай и очень умный. Без человека никакое произведение искусство само собой не появится.

Подписаться на Нейроскептик

Periodic Graph Transformers for Crystal Material Property Prediction

Окунемся дальше в репрезентации материалов. Сегодня у нас Matformer 💎

Проблема со всеми основными граф сетками для материалов - они не учитывают конкретно повторяющиеся паттерны материала и обрабатывают просто фиксированную клетку. В реальной жизни решетки разного размера и ориентации могут относится к разным материалам, поэтому мы должны их различать (periodic invariance). Matformer умеет это делать + обладает E(3) инвариантностью

Стандартная формулировка multi-edge граф обладает periodic invariance, однако на практике работы опираются на N ближайших соседей. В таком случае, если в этом радиусе будет одинаковое количество разных типов атомов, то не существует оптимального варианта сохранить инвариантность. Что-то останется, а что-то нет

Также periodic invariance ломается способом репрезентации графов как в Graphormer в Open Catalyst. Суть такая, что при использовании фиксированного радиуса и каждого атома как отдельной вершины при сдвиге мы может перетащить какую-то часть атомов в следующую ячейку, а какие-то атомы могут остаться в предыдущий и отстать -> поменяется структура самой ячейки и последующий граф

Имеет свою архитектуру с аттеншеном без softmax, что интересно и более явно подчеркивает степень вершины. Очень круто что в экспах они нормально перетренивают модели в отличие от предыдущих работ

Показывают абляции, что с их periodic invariance и periodic encoding метод работает лучше всего. Также структурирование multi-edge графа через radius лучше, чем fully-connected. Также показывают, что angular информация не дает прироста, но сильно замедляет

👀 LINK

Потолок есть у каждого, но не каждый способен до него дорасти

То, что в OpenAI осознали, что пора менять стратегию в связи с замедлением темпов улучшения ИИ, совершенно нормально.
А вот то, что они достигли потолка в scaling law не факт. Скорее всего делая вброс про свою новую модель, которая хороша, но при этом не сильно лучше предыдущей, компания тем самым одновременно стелет себе солому на случай реальной неудачи и оправдывают новые затраты перед инвесторами на создание специальной команды foundation team. Но с учётом огромных ресурсов, в том числе энергетических, OpenAI ещё до своего потолка далеко

Подписаться на Нейроскептик

Традиционно продолжаем следить за первой десяткой рейтинга оценки лидеров больших языковых моделей (LLM) от LMSYS. Что нового:

Несмотря на то, что все самые умные модели провали новый бенчмарк FrontierMath, первые места чатбот арены они продолжают держать уверенно. Основная же борьба развернулась опять за девятое место. На этой неделе Yi-Lightning вновь смогла вернуться в первую десятку, тем самым отправив Claude 3.5 Sonnet аж на одиннадцатое место. Продолжаем наблюдать

Методы оценки:
Arena Elo Rating — рейтинг на основе более 2,19 млн анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей);
MT-Bench(score) — оценка с помощью судейства LLM;
MMLU — тест для измерения точности понимания языка при многозадачности текстовой модели, включает 57 задач.

Подписаться на Нейроскептик

Группа ученых выкатили наисложнейший бенчмарк для ИИ по современной математики — FrontierMath

Тест получился настолько сложным, что все самые умные LLM смогли решить менее 2% задач, тем самым продемонстрировав огромный разрыв между возможностями ИИ и мастерством математического сообщества.

Вопросы бенчмарка охватывают большинство основных разделов современной математики — от вычислительно интенсивных задач в теории чисел и действительном анализе до абстрактных вопросов в алгебраической геометрии и теории категорий. Решение типичной задачи требует нескольких часов усилий от исследователя в соответствующей области математики, а для вопросов верхнего уровня — нескольких дней.

FrontierMath устраняет два ключевых ограничения предыдущих математических бенчмарков, таких как набор данных MATH (Hendrycks, Burns, Kadavath и др. 2021) и GSM8K (Cobbe и др. 2021). Во-первых, он фокусируется на исключительно сложных задачах, требующих глубокого рассуждения и креативности, включая математику исследовательского уровня. Во-вторых, используя исключительно новые, неизданные задачи, он помогает предотвратить загрязнение данных, снижая риск того, что модели справятся с задачами за счет сопоставления шаблонов с обучающими данными.

Сложность задач подтвердили четверо экспертов-математиков, включая трех лауреатов медали Филдса, которые единогласно оценили задачи как исключительно сложные.

Это лишний раз подтверждает, что ИИ не является интеллектом в широком смысле слова, а представляет собой продвинутый алгоритм автоматизированной обработки уже известных данных. ИИ-фобы опять могут выдыхать

Подписаться на Нейроскептик

Restructuring Vector Quantization with the Rotation Trick

Christopher Ré продолжает делать интересное, правда на уже не в рамках HazyResearch, и на сей раз он добрался до VQ-VAE

авторы поднимают вопрос того, что по факту Straight-Through Estimator (STE) во время бекворда третирует производную кодбук вектора по отношению к энкодер аутпуту как identity matrix

но в этом может заключаться и загвоздка, когда бекворд доходит до энкодера, ибо по сути STE не привносит свой импакт по изменению параметров энкодера → положение энкодер аутпутов по отношению к кодбукам не влияет на градиент энкодера

авторы предлагают оч красиво и просто такое исправить - через матрицу поворота, а в итоге метод назвали rotation trick. он не меняет аутпуты при форвард пассе, но когда дело доходит до бекворда, то на градиент уже влияет как раз эта матрица поворота, которая высчитывается в соответствии с энкодер аутпутом и кодбук вектором

и вычисляют к тому же они не наивно, а сразу через хаусхолдера, при том, по заверениям авторов, разницы по времени с классическим вк вае нет

сравнивали на видео и картинках + еще добавили адверсариал сетап вместе с диффузией. много где обыгрывает классику по всем трем фронтам - реконструкции, “утилизации” кодбука и ошибке квантизации

связывают это с тем, что при ротейшн трике, в зависимости от направления градиента, точки в одном регионе (то есть те, которые сматчились на операции квантизации) могут разъезжаться друг от друга, либо же наоборот становится ближе. при STE, обычно, наблюдается только первый сценарий

супер интересно и полезно, а еще оставляет нотку философских размышлений тот факт, что по результатам лучше сохранять исходный угол между кодбук вектором и градиентом, нежели направление вектора

👀LINK

На сессии Русского экономического форума в Челябинске рассказали о мерах налогового стимулирования российских производителей. Так, со следующего года коэффициент по учёту затрат на высокотехнологичное российское оборудование, на российские IT-решения и радиоэлектронику повышается с полутора до двух. Это позволит сократить базу по налогу на прибыль организаций. Уровень субсидирования увеличивается с 30% до 50% за счёт прибыли от инвестиций. Это мера должна помочь именно российским производителям.

«В текущих условиях мы фокусируемся на секторах экономики, которые способствуют достижению цели технологического суверенитета», — сказал Статс-секретарь-замминистра финансов РФ Алексей Сазанов.

Подписаться на Нейроскептик

Минпромторг планирует к 2030–2032 годам разработать автоматизированные системы проектирования (САПР) для создания процессоров с топологией 16 нм. Эти задачи отражены в «дорожной карте» по развитию российской электроники и микроэлектроники до 2030 года, представленной на конференции «Микроэлектроника-2024» в сентябре.

Как сообщили в министерстве, основной акцент программы сделан на освоение инструментов проектирования для технологических процессов, доступных в России.
На реализацию программы до 2030 года выделено 54,6 млрд рублей, ожидается выручка в 7,2 млрд рублей, из которых 3,6 млрд рублей планируется получить от продажи программного обеспечения для разработки микросхем.

В России на данный момент доступно производство процессоров с топологией 180 нм и 90 нм, линии освоены фабрикой «Микрон» (принадлежит ГК «Элемент»). Разработчики используют ПО от Synopsys и Cadence. Тайваньская фабрика TSMC работает на уровне 16 нм, где ранее производились чипы для российских компаний, таких как «Байкал Электроникс» и МЦСТ.

Скорость Llama 3.1 70B выросла в 4 раза

Cerebras резким рывком обогнали всех конкурентов и довели скорость инференса Llama 70B до безумных 2200 токенов в секунду по замерам Artificial Analysis (всего пару месяцев назад они хвастались 450 в секунду). Лично при моём запросе скорость была в 2600 токенов в секунду, а в твиттере люди хвастаются вообще более чем 4к токенов в секунду. Скорее всего, вместе с дополнительными оптимизациями они используют спекулятивный декодинг, так что на простых промптах скорости бешеные. На промптах посложнее скорость может проседать, насколько - непонятно.

Но есть у них и значительная проблема - длина контекста, она тут всего 8к. Конкуренты в лице Groq и SambaNova поддерживают 128к контекста и 64к контекста соответственно. С грядущей, после релиза o1, модой на inference time scaling, важность скоростных провайдеров сильно вырастет. o1 часто думает больше минуты, что не позволяет использовать её во многих контекстах, так что спрос на сокращение времени инференса будет огромным. Но если провайдер просто не может обеспечить необходимые для размышлений десятки тысяч токенов контекста - поучаствовать в этой золотой лихорадке не удастся.

Попробовать можно тут.

@ai_newz

Новый поисковик с использованием семантических моделей ИИ запилил "VK Видео"

Во время ввода запроса модели исправят опечатки, подберут синонимы и определят категорию. Далее система найдёт подходящие результаты и отсортирует.

Если среди каналов "VK Видео" есть схожий по названию с запросом пользователя, в начале поисковой выдачи окажется иконка этого аккаунта. В результатах приоритизируются видео, загруженные самим автором, ниже располагаются видео с его участием на других каналах.

Данная фича повысит точность и ускорит поиск нужного контента

Подписаться на Нейроскептик

Новая приложенька Computer Use под управлением обновлённой версии Claude 3.5 Sonnet позволяет управлять компьютером так, как это делают люди: смотреть на экран, перемещать курсор по экрану, кликать на нужные места и вводить информацию с помощью виртуальной клавиатуры, имитируя взаимодействие человека с компьютером.

Под таким "соусом" Anthropic выкатил новые версии Claude 3.5 Sonnet и Claude 3.5 Haiku. Обновлённая версия Клода- Sonnet демонстрирует значительные улучшения на бенчмарках. В задачах программирования модель повысила производительность на SWE-bench Verified с 33,4% до 49,0%, набирая больше баллов, чем все общедоступные модели, включая модели логического вывода, такие как OpenAI o1-preview, и специализированные системы, такие как агенты. Новый Клод также повысил производительность на TAU-bench, задаче использования агентских инструментов, с 62,6% до 69,2%. Клод – Haiku, по многим показателям соответствует производительности Claude 3 Opus, предыдущей самой большой модели Anthropic, при той же стоимости и схожей скорости с предыдущим поколением Haiku.

Что касается приложеньки Computer Use, то теперь разработчики могут интегрировать этот API, чтобы Клод мог переводить инструкции, например, "используйте данные с моего компьютера и из интернета, чтобы заполнить эту форму", в компьютерные команды, например, проверить электронную таблицу; переместить курсор, чтобы открыть веб-браузер; перейти на нужные веб-страницы; заполнить форму данными с этих страниц и так далее.

Правда пока новая функция ещё экспериментальная и подвержена ошибкам. При максимально возможном количестве шагов Computer Use справилась с задачей лишь в 22% случаев. В настоящее время API не может в полной мере пользоваться компьютером. Некоторые действия, которые люди выполняют без усилий, — прокрутка, перетаскивание, масштабирование — пока ещё являются проблемой для нового Клода.

Подписаться на Нейроскептик

SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning

тлдр: сонибои смогли поиграть с общепринятыми архитектурами в рл и вместо млпшки смогли вставить то, что они назвали симбой

но модификации оказались не простые, а с интуицией: задачей было получить архитектуру, которую можно скейлить более-менее без попной боли, а в рл такого не получается, с точки зрения авторов - из-за отсутствия simplicity bias (который мы упоминали здесь и здесь)

здесь они мерили симплисити биас через преобразование фурье, и пытали такое соображение - чем больше высоких частот, тем функция “сложнее” в моделировании для фурье, а чем больше низких частот, тем функция “легче”

в итоге для того, чтобы сделать функцию “проще”🥴 добавили нормализацию по бегающим статистикам (по каждому дименшну инпута, не путать с батчнормом), резидуалы и пост леернорму. можно сказать, что мало novelty, ибо такое уже давно делали в других областях, но в рл все может быть сильно нестабильнее и непонятнее (имхо) в некоторых моментах по сравнению с другими ответвлениями дл, потому и такие модификации делать не так легко

а в итоге такое норм применяется (правда какой код для бейзлайнов прогоняли не оч понятно) и для офф-полиси, и для он-полиси алгосов + помогает в ансупервайзд сетапе (который хорошо получается у Seohong Park, в последний раз мы его упоминали здесь), так еще и пластичность сохраняется

👀LINK

По соцсетям распространяется боксерский поединок между Маском и Цукербергом, сгенерированный нейросетью. Как и все подобные видео, он максимально странный. Особенно впечатляет финал, где на ринг почему-то выходит Уилл Смит и его рвет макаронами на обоих участников боя.

Судя по всему, это какая-то аллюзия ИИ (если можно употреблять это слово в данном контексте) на многочисленные видео, где звезды едят пасту.

Как говорили в старые добрые доинтернетные времена, черт-те что и с боку бантик.

👉 Подпишись на ПроСМИсь

На заседание саммита БРИКС в расширенном составе Владимир Путин предложил создать альянс БРИКС в области ИИ

Предполагается, что основной целью альянса будет формирование регламента по развитию технологии ИИ, в том числе для недопущения использования ИИ в противоправных целях.

Президент РФ также отметил, что "взаимодействие БРИКС в научно-технической области вносит весомый вклад в усилия по преодолению глобального цифрового разрыва, в развитие ИИ и других новых технологий".

Путин также напомнил, что в России уже принят кодекс этики в сфере ИИ и пригласил партнёров по БРИКС, и другие страны присоединиться к этому кодексу.

Действительно, в условиях формирования открытого многополярного мира и, наоборот, действующей со стороны стран Запада парадигмы запретов и удалений, причём исключительно в своих интересах, данный альянс может помочь в формировании технологий ИИ соответствующих нормам безопасности и ориентированных на интересы большей части человечества.

Подписаться на Нейроскептик

Google отказался платить за контент

В Новой Зеландии правительство разработало Закон, по которому доходы, полученные от новостей, должны поступать местным издателям за использование их контента. Также он направлен на предотвращение утечки рекламных средств за границу.

В ответ на предложенный закон последовала бурная реакция от Гугла. Компания пригрозила прекратить сотрудничество с новозеландскими СМИ заявив, что перестанет размещать ссылки на новостные материалы в Google Search и Google News, если закон вступит в силу.

Google пояснил, что его программа лицензирования уже приносит миллионы долларов почти 50 новозеландским изданиям, и реализация закона приведет к прекращению этого сотрудничества.

Ничего личного. Только бизнес.

Подписаться на Нейроскептик

Разработчики из Chatbot Arena запилили приложеньку для оценки моделек для кодинга. Можно выбрать какая модель лучше всего подсказывает скрипт.

А с другой стороны, зачем нужно отдельное расширение, если на основной арене можно потестить все навыки LLMок

Подписаться на Нейроскептик

Минфин впервые воспользовался ИИ для подготовки бюджета

Минфин задействовал ИИ-агент для сопоставления кодов бюджетной классификации (обозначают статьи доходов и расходов) и привязанных к ним результатов, сообщила первый замминистра финансов Ирина Окладникова на полях Московского финансового форума (МФФ). Модель уже показала точность на уровне 84%. Ожидается что по мере накопления информации точность ИИ-агента будет расти. Тогда станет возможным передать основную часть рутинной работы ИИ, чтобы люди сосредоточились на действительно сложных, важных, творческих и интересных задачах.

Подготовка бюджета всегда связана с необходимостью обработки огромных массивов данных для прогноза будущих доходов и расходов. Ранее сотрудникам Минфина приходилось "вручную" анализировать соответствие заявленных расходных обязательств всем тем факторам, которые предоставлены различными ведомствами для получения финансирования. Теперь весь этот процесс поручен ИИ-агенту.

В будущем технология также позволит оценивать влияние бюджетных расходов и решений правительства на благосостояние граждан и экономики, предлагать новые прорывные стратегии и выявлять определенные риски, прогнозировать бюджетные параметры. ИИ может помочь и в управлении дефицитом бюджета, выявляя, какие расходы в прошлом не принесли желаемого результата, а какие направления экономики и социальной политики, наоборот, недофинансированы и потенциально способны принести отдачу казне в виде роста налоговых доходов.

Впрочем, полностью автоматизировать все процессы не получится — в вопросах государственной важности нужен человеческий контроль. Например, есть риск в непрозрачности алгоритмов, при внедрении ИИ в бюджетный процесс решения могут приниматься на основе "черных ящиков" — моделей, внутренние механизмы которых сложно понять даже разработчикам. Также возможно галлюцинирование моделей при нехватке или неточных данных.

Подписаться на Нейроскептик

Давно не следили за рейтингом бенчмарка MMLU-Pro*

И тут, первое место в общем зачете за "серой лошадкой" Arx-0.3 от пока ещё малоизвестной компании AGI. Arx-0.3 работает на основе понимания языка, полагаясь на универсальные связи. LLM предназначена для решения многоэтапных задач и проведения осознанных рассуждений в разных областях.

Удивительно, но это модель смогла превзойти GPT-4o (2024-08-06) и Claude 3.5 Sonnet по большинству предметов. Правда не наблюдаем в рейтинге топовой модели o1-preview от OpenAI. Возможно, тогда результаты были бы другие.

*MMLU-Pro содержит более 12 тысяч тщательно подобранных вопросов из академических экзаменов и учебников, охватывающих 14 различных областей, включая биологию, бизнес, химию, информатику, экономику, инженерное дело, здравоохранение, историю, юриспруденцию, математику, философию, физику, психологию и другие.

В отличие от оригинального MMLU, версия Pro объединяет более сложные вопросы, ориентированные на рассуждение, и увеличивает количество вариантов ответов на вопрос с четырех до десяти, что значительно повышает сложность и снижает вероятность успеха за счет случайного угадывания.

Подписаться на Нейроскептик

ReMax как альтернатива PPO

Сегодняшняя статья — об интересном методе обучения с подкреплением, который называется ReMax. Авторы предлагают его как замену популярному алгоритму Proximal Policy Optimization (PPO).

ReMax основывается на алгоритме обучения с подкреплением, который называется REINFORCE — отсюда и приставка Re. В REINFORCE, в отличие от PPO, нет value-модели. Она выступает в роли бейзлайна для снижения дисперсии оценки градиента и представляет собой среднюю награду, которую наберёт генератор, если будет отвечать на конкретный запрос.

Вместо отдельной value-модели в ReMax предлагают использовать другой бейзлайн — то, сколько награды набирает greedy-генерация обучаемой моделью на запросе. Отсюда окончание Max. Такой бейзлайн тоже отлично подходит с точки зрения теории, и не требует хранения дополнительной модели в памяти — авторы сообщают, что снижение потребления GPU-памяти составляет 46%. А поскольку число моделей, необходимых алгоритму алайнмента, уменьшилось, то уменьшилось и число гиперпараметров, которые нужно подобрать.

Использование ReMax для обучения модели Mistral-7B показало значительные улучшения. Модель достигла 94,78% успеха на leaderboard AlpacaEval и установила новый стандарт для моделей с 7 миллиардами параметров. Эти результаты демонстрируют, что ReMax может стать отличной альтернативой PPO для RLHF-задач, значительно сокращая вычислительные затраты и повышая эффективность обучения крупных языковых моделей.

Разбор подготовил ❣ Павел Темирчев

Душный NLP

Скоро во всех учебных заведениях мира

Хорошая идея делегировать полномочия ИИ чтобы он выбрал кто же из учеников будет отвечать. Во-первых, обижаться на нейросеть или спорить с ней бесполезно, во-вторых, будет нивелирована предвзятость учителя по отношению к некоторым ученикам.

Подобное внедрение ИИ в образовательный процесс должно благотворно повлиять на всех его участников. Но не стоит этим ограничиваться. На сегодняшний день, мультимодальные нейросети уже способны не только решать "кто пойдёт к доске", но и читать лекции, разъяснять сложный материал более простыми словами, если учащиеся сразу не поняли тему. ИИ может объективно, беспристрастно проверять и оценивать работы учеников. При апелляции результатов не вступать в эмоциональный спор (в силу отсутствия у ИИ реальных эмоций), тем самым купируя возможные конфликты. Кстати, по этой же причине, ИИ-педагога будет невозможно спровоцировать на конфликт и вовремя занятий, и на родительском собрании.

Многие спросят, а что тогда будут делать "естественные" педагоги? У них, при таком развитие событий, работы станет не меньше, но она будет более интеллектуальной. Люди-педагоги уже начнут учить ИИ-педагогов, а точнее готовить датасеты - методические материалы, удаленно контролить учебный процесс, в общем, будут операторами ИИ.

Очевидный плюс для учителей при таком подходе, так это экономия своих нервов и здоровья. Ведь им не придётся напрямую общаться с юными невоспитанными хамами и их родителями. Ещё с помощью ИИ-педагогов можно будет решить проблему нехватки учителей в малонаселённых и труднодоступных регионах. Достаточно оборудовать класс техникой и обеспечить надёжный интернет.

Подписаться на Нейроскептик

Традиционно продолжаем следить за первой десяткой рейтинга оценки лидеров больших языковых моделей (LLM) от LMSYS. Что нового:

Вторую неделю подряд самая умная модель o1-preview от OpenAI не может вернуть себе лидерство, в тоже время, GPT-4o-latest (2024-09-03) немного увеличила отрыв.

Новинкой первой десятки рейтинга стала Yi-Lightning, последняя модель пекинской компании 01 AI. LLM обладает высочайшей скоростью и качеством рассуждения, обучена для решения задач как в бизнес-процессах, так и в промышленных. Будем наблюдать сможет ли Yi-Lightning ещё чем-нибудь удивить

Методы оценки:
Arena Elo Rating — рейтинг на основе более 2 млн анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей);
MT-Bench(score) — оценка с помощью судейства LLM;
MMLU — тест для измерения точности понимания языка при многозадачности текстовой модели, включает 57 задач.

Подписаться на Нейроскептик

Крупнейшая в России деловая социальная сеть TenChat и проект "Сделано в России" запустили цифровую платформу, объединяющую потребителей, производителей и продавцов на маркетплейсах.

Основная цель платформы продвигать отечественные бренды и компании. Предполагается, что аудитория проектов составит более 5 млн в месяц. На площадке компании смогут получить логотип "Сделано в России" и индивидуальный "Индекс надежности бизнеса" через проверку по ИНН, без необходимости собирать и предоставлять специальные документы.

Юридические лица получат доступ к цифровым сервисам для развития бизнеса, а физические лица смогут заработать на рекомендациях специалистов товаров и услуг. Отдельно следует отметить HR-направление: пользователи смогут найти работу или заказ, а кадровые службы - закрыть вакансию.

Подписаться на Нейроскептик

Китайцы порвали шаблоны и создали робота-колобка

Пока большинство робопроизводителей концентрируются на изготовлении гуманоидов и собак, в Китае пошли дальше и представили робота-сферу. Этот аппарат умеет плавать, передвигаться по бездорожью, скатиться и закатиться туда, куда позволят габариты.

Данный экземпляр используется для полицейских операций, при этом следует понимать, что с такими характеристиками его можно использовать в поисковых, спасательных целях или в качестве доставщика в труднодоступные места. Да и в любых других целях, где не пройдёт двуногое, четырехногое, а также колесное и гусеничное роботизированное создание. Управление "колобком" происходит с помощью ИИ

Возможно прототипом для китайских инженеров послужил колобок из фильма Последний богатырь, он там тоже весьма мобилен и опасен

Подписаться на Нейроскептик

Гонка за энергоресурсы между ИИ-гигантами приобретает ядерный характер

Вслед за Microsoft и OpenAI в атомную энергетику решила инвестировать и Google. Компания заказала у стартапа Kairos Power от шести до семи малых модульных ядерных реакторов (SMR) для обеспечения низкоуглеродной электроэнергией своих энергоемких дата-центров.

Google и Kairos сообщили, что технологическая компания разместила заказ на SMR общей мощностью 500 МВт, что позволит Kairos ввести в эксплуатацию свой первый коммерческий реактор к 2030 г., а дополнительные реакторы – к 2035 г.

Стартапы в области SMR пытаются сделать строительство ядерных реакторов быстрее и дешевле, используя методы массового производства, что способствует сокращению затрат и ускорению строительства. Большинство существующих АЭС представляют собой масштабные объекты, вырабатывающие от 1000 МВт, но их проектирование занимает годы, а строительство требует десятилетий.

Ещё Kairos предлагает охлаждать реакторы не водой, а расплавленными солями фторида лития и фторида бериллия. В декабре компания получила от Комиссии по ядерному регулированию США разрешение на строительство демонстрационного реактора мощностью 50 МВт в Теннесси под названием Hermes.

Однако пока коммерческие SMR ещё не введены в эксплуатацию, их экономика остаётся в значительной степени непроверенной. Конструкции Kairos на основе расплавленных солей ещё предстоит доказать свои преимущества перед водяным охлаждением, за которым стоят десятилетия опыта.

Подписаться на Нейроскептик

Вышел интересный разбор про мультимодальную нейросеть Pixtral 12B

Если коротенечко, то архитектура Pixtral состоит из двух компонентов: кодировщика Vision, который маркирует изображения, и мультимодального преобразовательного декодера, который предсказывает следующий текстовый маркер с учетом последовательности текста и изображений. Модель обучена предсказывать следующий текстовый токен на основе чередующихся изображений и текстовых данных.

Модель обучена понимать как естественные изображения, так и документы. Pixtral набрал 52,0% баллов в тесте MMMU, обойдя ряд более крупных моделей. Модель демонстрирует высокие результаты в таких задачах, как понимание диаграмм и рисунков, ответы на вопросы по документам, мультимодальное мышление и выполнение инструкций. Pixtral способен обрабатывать изображения с естественным разрешением и соотношением сторон, предоставляя пользователю возможность гибко настраивать количество токенов, используемых для обработки изображения. Pixtral также способен обрабатывать любое количество изображений в своём длинном контекстном окне, состоящем из 128 тысяч токенов. В отличие от других моделей с открытым исходным кодом, Pixtral не жертвует производительностью при работе с текстом, чтобы преуспеть в мультимодальных задачах.

Нейросеть сравнивали как с топовыми мультимодальными моделями (GPT-4o и Claude-3.5-Sonnet) так и с всеми открытыми моделями своего класса. Pixtral существенно превзошла аналогичные мультимодальные модели с открытым исходным кодом и, во многих случаях, опередила закрытые модели, такие как Claude 3 Haiku. Она даже сделала по производительности гораздо более крупные модели, такие как LLaVa OneVision 72B, или соответствовала им в мультимодальных тестах. Но пока Pixtral проигрывает по большинству бенчмаркам гигантам с закрытым кодом

Подписаться на Нейроскептик

The AdEMAMix Optimizer: Better, Faster, Older

периодически появляются новые оптимизаторы, которые не выглядят полной дичью и что-то да могут

вот тут от эпл возможно как раз такое: они нам напоминают, что в адаме первая бета интуитивно отвечает за аккумуляцию предыдущих градиентов. ну это не только интуитивно, а и математически так, но не суть (например, при beta=0.9 половина веса при апдейте падает на 6 предыдущих градиентов, при beta=0.9999 это число уже становится 6930)

но есть нюанс - хорошо, что помним про предыдущие давние градиенты и накапливаем момент, только желательно еще хорошо чувствовать, что происходит с недавними градиентами и недавним состоянием системы, математически выражаясь. и одновременно выдерживать эти 2 момента, как оказывается по экспериментам авторов, трудно для адама и адамв

потому авторы и добавляют доп момент в числителе, который просто еще один ЕМА градиентов (при том он еще не скейлится на бету как другие моменты для пущей аккумуляции) ⇒ получаем AdEMAMix

с ним батчи забываются намного медленее, при том батчи в недавнем прошлом продолжают влиять на лосс довольно сильно, а значит и сходимость должна быть быстрее. вроде идея норм, но так хорошо она не работает в начале трейна из-за высокой степени нестабильности ⇒ добавляют еще прикольные шедулеры под гиперы нового момента, чтобы с этим справиться

смущает разве что очень маленький скейл моделек, максимальный размер - 1.3B. что будет происходить на 7б хотя бы уже непонятно (взять хотя бы тот факт, что придется менять гиперы под этот новый момент, а не ставить его равным привычным значениям другого параметра с другим смыслом)

👀LINK

Теперь про новинку Chatbot Arena LLM — Gemini-1.5-Pro-002 и её собрата Gemini-1.5-Flash-002

Эти новые модели основаны на последних экспериментальных выпусках моделей (серия Exp) и включают существенные улучшения моделей Gemini 1.5. В целом, у моделей улучшено общее качество с большим выигрышем в математике, длине контекста и вижене.

Серия Gemini 1.5 — это модели, предназначенные для выполнения широкого спектра задач, связанных с текстом, кодом и мультимодальными задачами. Например, модели Gemini можно использовать для обобщения информации из PDF-файлов объёмом 1000 страниц, для ответов на вопросы о репозиториях, содержащих более 10 тысяч строк кода, для просмотра часовых видео и создания на их основе полезного контента и многого другого.

Благодаря последним обновлениям 1.5 Pro и Flash теперь лучше, быстрее и экономичнее в использовании. Прирост ~7% в MMLU-Pro. В тестах MATH и HiddenMath (внутренний набор математических задач для соревнований) обе модели значительно улучшились — примерно на 20%. Что касается использования в задачах, связанных со зрением и кодом, обе модели также показывают лучшие результаты (в диапазоне от ~2 до 7%) в тестах на визуальное понимание и генерацию кода на Python.

Обе модели теперь имеют более лаконичный стиль в ответ на отзывы разработчиков, который призван упростить использование этих моделей и снизить затраты. Для таких вариантов использования, как подведение итогов, ответы на вопросы и извлечение, длина вывода по умолчанию в обновленных моделях на ~ 5-20% короче, чем в предыдущих моделях.

Правда, как выяснилось языками модель стала владеть чуть хуже, придётся нанимать толмача, но не критично

Подписаться на Нейроскептик

Продолжаем следить за первой десяткой рейтинга оценки лидеров больших языковых моделей (LLM) от LMSYS

И что мы видим, на этой неделе самая "умная" модель OpenAI (по мнению компании), уступила лидерство НЕ самой умной модели всё той же компании. А ведь o1-preview позиционировалась как модель, которая "думает" как человек и способна решать сложные задачи, используя пошаговый подход, подобно человеческому мышлению.

В сети можно найти много хвалебных од посвященных о1 и чем она лучше GPT-4o. Что она дает точные и сложные ответы даже на простые запросы, ускоряет процессы научного поиска, помогает в аннотировании данных и выявлении пробелов в исследованиях, оптимизирована для образовательной поддержки и т.д. и т.п. Но как показывает практика не все пользователи Chatbot Arena LLM согласны с этим. Также стоит заметить, что на сегодняшний день общее количества участников голосования уже достигло 2 миллионов.

Ещё из новенького, на пятую позицию встала обновленная Gemini-1.5-Pro-002, о ней расскажу немного позже.

Методы оценки:
Arena Elo Rating — рейтинг на основе более 2 млн анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей);
MT-Bench(score) — оценка с помощью судейства LLM;
MMLU — тест для измерения точности понимания языка при многозадачности текстовой модели, включает 57 задач.

Подписаться на Нейроскептик

Steam пошел на сотрудничество с РКН. В отношении сервиса в настоящий момент ограничительных мер не планируется.

Данную информацию сообщили в Роскомнадзоре. Также в ведомстве добавили, что в большинстве случаев Steam выполнила требования РКН, удалив около 250 материалов. Сейчас ведомство ожидает удаления ещё 10 интернет-страниц с противоправным контентом.

Steam — онлайн-сервис цифрового распространения компьютерных игр и программ, разработанный и поддерживаемый компанией Valve.

Подписаться на Нейроскептик

Вопли вокруг блокировки Discord в первую очередь распространяют по российскому интернету сотрудники ЦИПсО и прочие им подобные. Да, некоторым россиянам ограничение доступа к платформе принесло ряд неудобств, потому что через нее они выполняли рабочие задачи. Однако блокировать Discord не стали бы, если бы аналогов на рынке ему не было. А они есть, например, «Контур Talk», обеспечивающая аналогичный функционал.

Discord же всю информацию, которой обменивались российские пользователи, через Штаты сгружал украинцам. Те в свою очередь использовали ее в своих корыстных целях, угрожающих безопасности жителей России. Так что использование Discord даже через VPN = помощь врагу. И дело тут даже не столько в распространении пресловутой ЛГБТ-пропаганды, к которой россияне по большей части невосприимчивы. Дело в данных, которые укронацисты могли захватить. Теперь же сделать они этого не смогут, благодаря Роскомнадзору.