местный датасасер ☮️

Я сначала увидел в твиттере и не поверил, подумал, что это шутка.

В США с 2000-го года существует United States–China Economic and Security Review Commission. В комиссии 12 членов, сама комиссия подчиняется только Конгрессу и не является частью никакого агентства или департамента. Каждый год до 1-го декабря комиссия публикует отчёт, в котором в том числе даёт рекомендации Конгрессу.

Свежий отчёт опубликовали час назад, и в нём первым пунктом в блоке ключевых рекомендаций идёт...

«Учредить и профинансировать программу, подобную Манхэттенскому проекту, направленную на разработку и использование возможностей искусственного интеллекта общего назначения (AGI)»

😐😐😐

===

Спросил у ChatGPT, насколько важна эта Комиссия и как часто Конгресс прислушивается к рекомендациям. Не ручаюсь за правильность оценки, но нейронка сказала, что в целом к рекомендациям прислушиваются, хоть и не все исполняют.

Идём перечитывать SITUATIONAL AWARENESS и/или пересматривать интервью с Leopold'ом из OpenAI

Верим?

Вчера увидел, что мой твит с комментарием по уходу из OpenAI Bob McGrew, VP of Research, лайкнул сам Bob. А потом случайно на ютубе наткнулся на его интервью годовой давности, и решил послушать между делом.

В целом не так много интересного, если активно следите за AI, но решил пересказать одну часть с историей про появление ChatGPT (вот таймкод):

— к середине осени 2022-го уже была натренирована GPT-4 (по официальным данным, тренировка закончилась в августе); в компании знали, что если они смогут придумать, как использовать модель на полную, то это будет невероятно. Вся компания пыталась придумать, что же с ней делать.
— John Shulman, глава команды, занимавшейся Reinforcement Learning (ныне ушёл в Anthropic), предложил сделать модель «разговорчивой», чтобы она могла вести диалог; для тех, кто не застал 2020-2022 годы в LLM: тогда модели просто дописывали текст по шаблону. В 2022м году их уже можно было промптить, давая какую-то задачу, примеры, но и всё.
— ещё до этого было ясно, что в будущем роль AI можно будет описать как «ассистент», но казалось, что модели ещё не достигли нужного уровня, чтобы помогать реальным людям в реальных задачах; поэтому даже не думали о подобном. К тому моменту GPT-3.5 уже около полугода была доступна в публичном API, и никто не сделал прото-ChatGPT.
— John сказал: «да, модели неидеальны, и мы знаем, что GPT-4 будет лучше, но давайте попробуем просто взять, обучить и выложить диалоговую модель в интернет. Может мы наберём хотя бы 10000 пользователей, и они помогут нам понять, где LLM плоха, и мы сможем начать итерироваться и улучшать её»
— Команда немного подумала, так как казалось, что это требует большого количества работы, но в итоге решили сделать и уложиться в НЕДЕЛЮ (ранее об этом писали, кажется, в WSJ, но ссылку за декабрь 22-го не буду искать). По сути, это был сайд-проект компании, они называли его «low key research preview», не было никакого медиа-освещения, не было рекламы. Были минимальные ожидания.
— Но по итогу всё полетело, и через 2 месяца ChatGPT оказался самым быстрорастущим продуктом из всех, достигнув планки в 100 миллионов пользователей. В это время многие сотрудники вообще другим занимались, но пришлось активно впрягаться и поддерживать проект; особенно активными были следующие 6 месяцев.

Вот такой вот урок по истории получился 🤓
🥸

===

Сделать ChatGPT с нуля: неделя
Добавить поиск по чатам: 2 года 😦

что если бы весь контент на реддите был сгенерирован, и все юзеры были ботами?
посмотрите https://deaddit.xyz/
когда уже все в интернете будет завалено сгенеренным контентом, и сюда можно будет перестать заходить?

🔉 Мимо всех прошёл новый генератор ультра-реалистичной речи — Cartesia озвучивает любой текст на 14 языках быстрее, чем Elevenlabs! Русский поддерживается.

Сервис клонирует любой голос за 15 секунд для озвучки или дубляжа контента. Можно выбрать язык, уже готовый голос, скорость, акценты и даже эмоции. Бесплатно дают озвучку 10,000 знаков.

У Elevenlabs мощный конкурент — тут.

@notboring_tech

Нобелевку по физике дали... машинлернерам Хинтону и Хопфилду
https://www.interfax.ru/world/985736

Три дня назад Сэм Альтман выпустил оптимистичный манифест (скорее просто эссе) со своим видением будущего с умным ИИ (конечно же, прекрасным, а как еще)
https://ia.samaltman.com/
Меня все-таки смущает его чересчур радужный взгляд на все это

Ну тут я не могла пройти мимо такого названия 😂😂
Почему? Можно посмотреть по хэштегу #o1 в моем канале


TLDR: вышла новая версия chat GPT с рассуждениями (complex reasoning)

По словам OpenAI, модель o1 анимает 89-й процентиль на Codeforces, входит в число 500 лучших студентов США в отборочном туре на математическую олимпиаду США (AIME) и превосходит точность человека с PhD по ряду задач по физике, биологии и химии ⚡

💡Идея: перед тем как выдать результат модель прорабатывает несколько сценариев-цепочек и выбирает наиболее подходящий для решения задачи. В своей работе с API LLM я делала похоже трюки, заставляя ту же обычную gpt-4o объяснять все результаты, даже если мне нужно только число.

Теперь модель улучшили насчет внутренних рассуждений перед выдачей решения. Сами рассуждения полностью доступны не будут, но вы за них будете платить при использовании по API 🥲

По API модель сейчас доступна только части пользователей, у платных - есть в интерфейсе ☕️

На фоне "новости" о том что бигтехи следят за нами прослушивая микрофон непрерывно, не могу не напомнить про прекрасный проект https://trackthis.link/ по обману рекламодателей через открытие сотни табов в браузере. Там, правда, не было обновлений за 5 лет и часть открываемых ссылок уже протухли, но не все. Лично я регулярно пользуюсь профилем Doomsday Prepper и ни о чём не жалею!

#privacy #mozilla #humour

Свободу Паше!

Ai видео выходят на новый уровень 🌚 взял отсюда

https://www.reddit.com/r/singularity/s/ZJDFkIUDC6

Если что это Runway

Дешёвые, как грязь, LLM

API-провайдеры невероятно быстро снижают стоимость использования своих LLM. При отсутствии ярко выраженного лидера по качеству моделей, главным аргументом становится цена.

➖ Google с 12 августа дропает цены на Gemini Flash на 80%. Вот и реакция на GPT-4o mini, спустя две недели после релиза. Вот бы то же самое сделали с Pro 1.5.

➖ Новая версия GPT-4o упала в цене до $2.5 input/$10 output за миллион токенов, прошлые версии стоили $5 input/$15 output за миллион токенов. Последний месяц Claude 3.5 Sonnet и Llama 3.1 405B сильно поджимали OpenAI по цене, пришлось отвечать.

➖Deepseek релизит обещанный месяц назад Context Caching. Цены поражают: стоимость токенов при попадании в кэш падает не в 2x, как у гугла, а в 10x, при этом с бесплатным хранением. DeepSeek V2 и так произвёл эффект разорвавшейся бомбы на китайском рынке три месяца назад: модель была в разы дешевле конкурентов, при лучшем качестве. А сейчас нанесли добивающий удар.

С такими темпами цена за миллион токенов станет меньше цента менее чем через год. И будем мы мерять цены в долларах за миллиард токенов.

А помните, цены на GPT-4 доходили до $60 input/$120 output?

@ai_newz

Сегодня хочу порекомендовать канал @dlinnlp, на который сам давно подписан
В нем есть и годные короткие разборы выходящих папиров по МЛ и просто фановые мемы.
Тем, кто заинтересован машинкой и ИИ в целом советую также папку авторских каналов, собранную @boris_again (за что ему большой респект, потому что подобрать хорошие каналы по мл и отсеять мусорные во время хайпа нейронок это большой труд)

Что-то все модели выпускают, а от Mistral🇫🇷давно новостей не было. Сегодня они выпустили две модели, одна заточена на математику, другая — на написание кода.

MathΣtral — компактная модель размера 7B, по архитектуре эквивалентная ранним релизам компании. Её доучили на решение сложных математических задач, требующих комплексных, многосутпенчатых логических рассуждений.

На MMLU модель показывает прирост более чем в 10% в отдельных под-категориях, и целых 15% в элементарной математике, физических задачах старшей школы/колледжей и, внезапно, машинном обучении.

Модель справилась с 2мя задачами из 30 на American Invitational Mathematics Examination (AIME). Это второй из трёх этапов отбора команды на международную олимпиаду по математике в США — тут задачки уже поинтереснее, но всё ещё не как на финалах. Кажется, что 2 задачи это мало, но из моделей сопоставимого размера лишь китайский Qwen 2 7B тоже решает 2; большинство остальных — нуль.

Проценты решений задач других олимпиад можете увидеть на картинке

Модель уже доступна на HF (не торрент!). Её, кстати, делали совместно с Project Numina — это проект, члены которого также недавно выиграли соревнование AIMO по решению олимпиадных задач LLMками (писал тут). Там победное решение использовало DeepSeek Math 7B (вторая строчка в таблице). Так что при следующем запуске соревнования можно ожидать, что результат первого места ещё подскочит вверх — просто за счёт смены одной модели на другую, чуть более мощную.

Для справки: maj@16 означает, что модель независимо генерирует 16 решений на задачу, после чего проводится голосование большинством, и выбирается тот ответ, который чаще попадался. Важно понимать, что это не означает, что система даёт 16 ответов с 16 попыток — попытка одна, а maj позволяет выбрать один ответ, который модели кажется наиболее правильным.

Все, nvidia теперь топ-1 по рыночной капитализации
https://www.cnbc.com/2024/06/18/nvidia-passes-microsoft-in-market-cap-is-most-valuable-public-company.html

Сегодня происходит много странно-интересного:
— прямо сейчас (хотя бы частично) лежат ChatGPT, Perplexity, Gemini, Claude
— ведущие AI-исследователи и бывшие/текущие сотрудники OpenAI/DeepMind подписывают открытое письмо про то, что работающие над AGI должны иметь возможность свободно выражать свое мнение и критиковать компанию без возможности компаний отобрать финансовые стимулы. А то дают миллионы долларов акций, а потом говорят «ну вот, а скажешь, что не согласен с нами — потеряешь всё!».
— недавно уволенный сотрудник OpenAI Leopold Aschenbrenner, работавший рука об руку с Ilya Sutskever в его команде, опубликовал 150+ страничную работу. Она покрывает всё: от законов масштабирования и предсказаний развития моделей до проблем Alignment'а и поведения ведущих лабораторий в преддверии достижения AGI. Читать: http://situational-awareness.ai . Если у вас есть полчасика и вы умеете читать по-английски, и вам вправду хочется понять, почему люди кричат, что к 2027-2030м годам модели реально поумнеют — начните с первых двух глав.
— ...и вместе с ним же выходит 4-часовое интервью у Dwarkesh'а, которого я уже ни раз рекомендовал. Будем смотреть по частям, об интересных вещах постараюсь написать. Покрытые темы:
1) гонка к кластеру мощностей стоимостью $1T (триллион долларов)
2) что будет в 2028-м
3) что случилось в OpenAI (не думаю, что раскроет какие-то новые детали)
4) шпионаж Китая в AGI-лабораториях

https://habr.com/ru/news/818177/
💀💀

Вау, вау, вау. Microsoft официально запилил Copilot бота для Telegram. Если кто не в курсе, то это ChatGPT в интерфейсе от Microsoft.

И это реально официалный бот от Microsoft – вот анонос. Я такого совсем не ожидал. Кажется, БигТехи начинают осознавать потенциал Телеграма, ну либо Бинг просто ищет любые дополнительные источники трафика.

Кажется, это первое появление официального представителя компании-разработчика крупных LLM в Телеге.

Пообщаться можно тут: @CopilotOfficialBot. Он, гаденыш, правда, просит телефон верифицировать – мне такое не очень нравится.

@ai_newz

https://www.cnbc.com/2024/05/17/openai-superalignment-sutskever-leike.html

https://3dnews.ru/1104824/odin-iz-osnovateley-openai-ilya-sutskever-obyavil-ob-uhode-iz-startapa