XX2 век @xxiicentury Channel on Telegram

XX2 век

@xxiicentury


Официальный канал журнала «XX2 век» http://22century.ru

XX2 век (Russian)

Добро пожаловать в официальный канал журнала «XX2 век»! Этот канал предназначен для всех ценителей культуры, искусства и науки, а также всех, кто интересуется новейшими тенденциями и достижениями. Журнал «XX2 век» предлагает своим подписчикам уникальную возможность быть в курсе самых актуальных событий в мире искусства и культуры. В нашем канале вы найдете интересные статьи, обзоры выставок, интервью с известными художниками и многое другое. Мы стремимся быть источником вдохновения и информации для всех, кто ценит прекрасное и стремится к развитию. Присоединяйтесь к нам в канале «XX2 век» и откройте для себя мир новых возможностей и открытий!

XX2 век

10 Jan, 15:35


Пообщались с Сергеем Суховым @sukhovjournal для его подкаста «Ноосфера»

https://youtu.be/miE0x0X5GtE

XX2 век

09 Jan, 09:19


«Микробиологические итоги 2024 года»

https://22century.ru/scientific-and-technological-activities/microbiologiy-2024

XX2 век

06 Jan, 21:41


«Астрофизические итоги 2024 года»

https://22century.ru/scientific-and-technological-activities/astro-popov-2024

XX2 век

06 Jan, 19:23


Палеонтология: что мы нарыли в 2024-м

https://22century.ru/scientific-and-technological-activities/paleo-2024

XX2 век

06 Jan, 19:09


Археологические итоги 2024 года

https://22century.ru/scientific-and-technological-activities/arheologicheskie-itogi-2024

XX2 век

31 Dec, 18:33


Не могу сказать, что прямо какой-то суперпрорыв (тема развивается давно, со Шмидхубера :), когда-то писали тут например https://t.me/gonzo_ML/186), но развитие продолжается, модели генерации видео по факту являются и world models (https://openai.com/index/video-generation-models-as-world-simulators/), а кейс от Oasis про генерацию майнкрафт мира (https://oasis-model.github.io/) очень хорош как PoC, интересно какое влияние это будет иметь на игровую индустрию. Точно какое-то будет. Может, появится нейродвижок? Там, наверное, сложно всё, условный Unreal Engine так просто не заменишь, в играх нужно много всего rule-based и детерминированного, но с другой стороны почему нет, ну будет гибрид world model с чем-то ещё. Были игры локальные, появился стриминг и cloud gaming (типа GeForce Now), появится и neuro streaming какой-нибудь.

Кстати, Danijar Hafner, автор Dreamer, PlaNet и прочего, сделал PhD по теме "Embodied Intelligence Through World Models", Хинтон и Лекун в борде (https://tspace.library.utoronto.ca/bitstream/1807/140956/2/Hafner_Danijar_202411_PhD_thesis.pdf). Хорошая тема!

10. Highlight of the year -- KAN

KAN: Kolmogorov-Arnold Networks (https://t.me/gonzo_ML/2598) неплохо бомбанули в моменте, тема быстро развивается (https://github.com/mintisan/awesome-kan), хотя про какое-то супер-применение на текущий момент пока не знаю. Но интересно.

11. ИИ Агенты

Агенты везде и тема про агентов очень многоплановая.

Генеративных агентов (https://t.me/gonzo_ML/1481) прошлого года отскейлили до симуляции 1000 человек (https://arxiv.org/abs/2411.10109), мультиагентные фреймворки (https://t.me/gonzo_ML/2897) активно эволюционируют, и вообще мультиагентные воркфлоу в разных смыслах хорошо ложатся на реальные процессы (но это не значит, что не могут быть более эффективные воркфлоу, для которых аналогов в реальном мире нет).

Агенты и мультиагенты -- это продолжение спектра от голой LLM с промпт-инжинирингом к аугментированной LLM (RAG, тулы и прочее) и далее к новым горизонтам. Какая бы ни была крутая LLM, всё равно у неё есть ограничения -- контекст не бесконечный (особенно эффективный контекст), количество голов внимания ограничено, сложный и развесистый промпт с кучей инструкций работает не так хорошо как хотелось бы, разные и тем более противоречивые роли одновременно в одну LLM пихать вообще не работает, и так далее. Зато если это распилить на отдельные модули, то становится работоспособно. Это отчасти та же история про test-time compute, мы теперь можем провести больше времени в обработке, но не одной LLM, а системой агентов, и трейдоффы здесь те же самые: меняем качество на деньги+время.

Всегда есть вопрос, а почему GPT-48 не заменит всех этих мультиагентов? Ну в чём-то она безусловно станет лучше, но separation of concerns же в целом идейно хорошая тема, философия Юникс про Write programs that do one thing and do it well. Помимо всего прочего закрывает кучу иных требований про ownership, change management, более простую отладку и observability и далее. Думаю, и с GPT-48 тоже будут мультисуперагенты.

---

Пока всё.

Какой топ у вас? Что бы вы добавили или убрали?

Всех с Новым Годом!

XX2 век

31 Dec, 18:33


Попытался прикинуть в режиме блиц, что такого важного и интересного произошло в AI в этом году. Ниже результат примерно десятиминутного размышления, что быстро всплыло из памяти. Плюс ещё полчаса-час на то, чтобы это раскрыть. Наверняка что-то важное забыл и если бы я потратил больше test time compute, наверное, результат был бы точнее, но в таком режиме тоже интересно.

Итак, мой список, не то чтобы по важности, просто по порядку вспоминания.

1. Test-time compute

Примерно с o1 (https://openai.com/index/learning-to-reason-with-llms/) открылась эра test-time compute, появилось новое измерение, по которому можно скейлить модели.

Ну как появилось, в принципе его следы и раньше можно найти. Те же варианты прогнать CNN на нескольких аугментациях и усреднить результат, или там Tailoring (https://t.me/gonzo_ML/392), оно тоже сюда. Но сейчас прям sputnik moment, особенно с o3 (https://t.me/gonzo_ML/3104). Есть и у других игроков что-то из этой серии, Gemini 2.0 Flash Thinking Mode (https://ai.google.dev/gemini-api/docs/thinking-mode) или QwQ (https://qwenlm.github.io/blog/qwq-32b-preview/).

Следующий год будет сильно про это.

2. SSM идут в массы.

За год появилось много новых SSM и SSM-Transformer гибридов (https://t.me/gonzo_ML/2919), и история продолжает развиваться. Из свежего, например, Bamba (https://huggingface.co/blog/bamba) или Falcon3-Mamba (https://huggingface.co/blog/falcon3).

3. Реальная конкуренция в мире LLM

Если год-два назад была примерно одна лучшая LLM -- от OpenAI, то теперь есть как минимум три топовых коммерческих: от Anthropic, OpenAI, Google, и несколько хороших открытых: Llama, Gemma, Qwen, да и ещё что-то наверное можно добавить. В повседневных делах у меня моделью #1 стал Claude 3.5 Sonnet, он вытеснил модели OpenAI как точку входа.

4. LLM теперь мультимодальные

Большинство топовых LLM уже вовсю мультимодальные, принимают на вход не только текст, но и звук с картинками. GPT, Gemini, Claude, Llama, ... все умеют что-то кроме текста. Тихо и без революций это просто стало реальностью.

5. LLM для написания кода стали реально полезны

Генерация кода за последний год очень прокачалась, с помощью моделей можно написать код гораздо быстрее. Я активно пользуюсь этим для генерации разного типового кода, например, для визуализации или обработки данных, это экономит мне кучу времени. Ради эксперимента также написал Flutter приложение с питоновским бэкендом за выходные, флаттера я перед этим не знал вообще. Без Claude/Copilot/Gemini хз сколько бы я это делал, точно не выходные.

Неидеально, в некоторых случаях не срабатывает, как мне нужно, но во многих срабатывает. После VSCode + Copilot или Colab со встроенным Gemini работать в Kaggle ноутбуке без этого вообще уныло, как без руки, начинаешь остро чувствовать потерянное время.

В 2017-м написал статью в Форбс про то, что "программисты в опасносте" (https://www.forbes.ru/tehnologii/341535-mashiny-vmesto-inzhenerov-pochemu-iskusstvennyy-intellekt-doberetsya-i-do), ну вот мы приближаемся.

С другой стороны прямо сейчас происходит большое разделение. Кто умел программировать, становится в разы и на порядки продуктивнее, а кто не умел -- имеет шансы и не стать вообще. "Богатые богатеют".

6. Генерация видео на подходе

Sora очень долго ехала от анонса до доступности, но зато за это время появилось сколько-то альтернативных наработок. Если в момент анонса OpenAI был примерно одним и единственным лидером, то сейчас уже это не так и мир многополярен.

7. Нобели за нейросети

Приятно.

Кроме того, нейросети уже вовсю меняют науку. Не то, чтобы это только в последний год происходило, но, кажется, количество понемногу переходит в качество.

8. Открытые модели рулят

Мне всегда казалось, что опенсорс примерно года на полтора отстаёт от коммерческих LLM, ну и в принципе, наверное, оно где-то так и есть, если смотреть на доступные способности там и там. Но всё равно, всё то, что появилось в опенсорсе (или просто в опен) продолжает удивлять -- новые ламы, джеммы и прочее разное намного лучше, чем всё что было ранее.

9. World models

XX2 век

31 Dec, 13:38


Странный юмор

XX2 век

30 Dec, 20:07


Сергей Марков: Искусственный интеллект и машинное обучение: итоги 2024 года

https://22century.ru/scientific-and-technological-activities/sergei-markov-ai-2024

XX2 век

24 Dec, 21:28


Магнитное поле на Луне существовало дольше, чем думали

https://22century.ru/space/120684

XX2 век

21 Dec, 18:04


Премия «Вызов»: победители определены, награды вручены

https://22century.ru/popular-science-publications/premiya-vyzov-2024

XX2 век

21 Dec, 09:17


Раз в столетие солнцеподобные звёзды порождают гигантские взрывы

https://22century.ru/global-threats/120642

XX2 век

20 Dec, 15:23


NASA проводит первое в мире расследование аварии на другой планете

https://22century.ru/space/120628

XX2 век

19 Dec, 08:49


Марсианская миссия ESCAPADE — вторая попытка

https://22century.ru/space/120622

XX2 век

16 Dec, 11:58


Юпитер как детектор тёмной материи

https://22century.ru/space/120603

XX2 век

13 Dec, 17:52


Геминиды — последние падающие звёзды года

https://22century.ru/popular-science-publications/december-geminids

XX2 век

10 Dec, 20:05


Пара спутников будет эмулировать искусственное солнечное затмение друг для друга

https://22century.ru/space/120578

XX2 век

05 Dec, 21:00


Древние жители Кавказа проходили 200 километров в поисках высококачественного оранжевого кремня

https://22century.ru/society/120571

XX2 век

05 Dec, 12:22


Лекция Станислава Дробышевского «Неврология: мозг»

https://22century.ru/scientific-and-technological-activities/lekciya-stanislava-drobishevskogo-nevrologiya-mozg

XX2 век

04 Dec, 07:45


Фото звезды крупным планом — впервые за пределами Галактики

https://22century.ru/space/120558

XX2 век

03 Dec, 17:33


Лекция Станислава Дробышевского «Эстезиология: органы чувств»

https://22century.ru/scientific-and-technological-activities/esteziologiya-organi-chuvstv

XX2 век

03 Dec, 16:06


Работа кратковременной памяти в деталях

https://22century.ru/biology-and-biotechnology/120552

XX2 век

01 Dec, 19:56


Свежий ветер от древней Сверхновой

https://22century.ru/space/119812

XX2 век

29 Nov, 10:29


Китайский надувной космический модуль прошёл испытания на орбите

https://22century.ru/space/120520

XX2 век

29 Nov, 08:42


Робот-химик с искусственным интеллектом изготовил «марсианский» катализатор для производства кислорода

https://22century.ru/chemistry-physics-matter/120506

XX2 век

27 Nov, 05:18


Лекция Станислава Дробышевского «Миология: мышцы»

https://22century.ru/scientific-and-technological-activities/lekciya-drobishevskogo-miologiya

XX2 век

27 Nov, 05:12


Курс «Происхождение и эволюция языка»

https://22century.ru/scientific-and-technological-activities/proishozhdenie-i-evolyuciya-yazika

XX2 век

25 Nov, 15:06


Курс Homo Universi. Эволюция земной космонавтики

https://22century.ru/scientific-and-technological-activities/kurs-homo-universi

XX2 век

25 Nov, 14:52


Тайные безумцы Российской империи

https://22century.ru/scientific-and-technological-activities/tainie-bezumci-imperii

XX2 век

25 Nov, 14:45


На образцах с астероида Рюгу нашли жизнь. Правда, появилась она уже в лаборатории

https://22century.ru/space/120434

XX2 век

24 Nov, 12:33


Ноябрьский звездопад: метеорный поток Леониды в 2024 году

https://22century.ru/popular-science-publications/leonids-meteor-shower

XX2 век

21 Nov, 17:47


Завтра в 19:00 презентация моей книги в «Архэ». Приходите, расскажу разное

📍Вход свободный! Регистрация: https://arhe.msk.ru/?p=144635
📹 Также мы организуем прямую трансляцию лекции. Трансляция пройдет здесь: https://www.youtube.com/c/ЦентрАрхэ
📌 По всем вопросам относительно лекции обращайтесь по почте [email protected]
♦️ Лекция пройдет по адресу: Москва, ст. метро «Павелецкая», ул. Дубининская, д. 20, стр. 1 (Научно-популярная библиотека «Научка»)

XX2 век

12 Nov, 12:21


SafeSpeak-2024!

https://22century.ru/scientific-and-technological-activities/safespeak2024

XX2 век

11 Nov, 21:04


Лекция в рамках презентации книги «Охота на электроовец: большая книга искусственного интеллекта»

https://22century.ru/scientific-and-technological-activities/s-markov-22-11-2924

XX2 век

11 Nov, 10:28


«Комета Хеллоуина» не дотянула до перигелия

https://22century.ru/space/120308

XX2 век

07 Nov, 20:08


В космос отправился первый в мире «экологичный» деревянный спутник

https://22century.ru/ecology/120320

XX2 век

29 Oct, 16:05


Звёзды-коричневые карлики впервые обнаружены в другой галактике

https://22century.ru/space/120256

XX2 век

28 Oct, 18:37


Фестиваль научных сообществ 2.0

https://22century.ru/scientific-and-technological-activities/festival-nauchnih-soobshestv-2-0

XX2 век

25 Oct, 09:58


Вышла наша новая статья на Хабре про задачу понимания видео LLM-ками

https://habr.com/ru/companies/sberdevices/articles/852668/

XX2 век

25 Oct, 09:39


Астероид подкрался незаметно: космическое тело открыли за два часа до падения на Землю

https://22century.ru/global-threats/120250

XX2 век

23 Oct, 08:28


Учёные против мифов. Усы, лапы и... мозг.

https://22century.ru/scientific-and-technological-activities/upm-usi-lapi-i-mozg

XX2 век

22 Oct, 19:48


«Комета года» или «комета столетия» A3 — ищите в октябре на закате

https://22century.ru/space/120005

XX2 век

22 Oct, 13:14


Крах западной политики Даниила Галицкого

https://22century.ru/popular-science-publications/daniil-galickiy

XX2 век

21 Oct, 22:06


10 фактов о межзвёздных перелётах, «Вояджерах» и всём таком

https://22century.ru/popular-science-publications/10-voyager-interstellar-facts

XX2 век

18 Oct, 09:14


Пуповинная кровь непригодна для оценки свёртываемости крови новорождённых

https://22century.ru/medicine-and-health/120212

XX2 век

17 Oct, 09:55


Купить книгу Сергея Маркова «Охота на электроовец. Большая книга искусственного интеллекта»

https://22century.ru/commerce/120012

XX2 век

16 Oct, 13:09


«Вояджер 2» отключил один из приборов, чтобы сэкономить электроэнергию и продлить срок службы остальных

https://22century.ru/space/120030

XX2 век

15 Oct, 08:25


Зонд Europa Clipper отправился к спутнику Юпитера

https://22century.ru/space/120147

XX2 век

13 Oct, 17:30


Давным-давно, когда у Земли были кольца...

https://22century.ru/space/119980

XX2 век

11 Oct, 11:59


Нобелевская премия по химии-2024: структура белка — предсказание и проектирование

https://22century.ru/chemistry-physics-matter/120104

XX2 век

10 Oct, 14:44


Астрономы выпустили самую детальную инфракрасную карту Млечного Пути

https://22century.ru/space/119990

XX2 век

10 Oct, 10:30


На два месяца Земля обзаведётся второй микро-Луной

https://22century.ru/space/119964

XX2 век

09 Oct, 08:11


Нобелевская премия по физике-2024: машинное обучение и нейросети

https://22century.ru/chemistry-physics-matter/120072

XX2 век

07 Oct, 16:15


Зонд Hera отправился к паре астероидов, недавно переживших столкновение с «космическим тараном» DART

https://22century.ru/space/120043

XX2 век

30 Sep, 14:23


Курс Ярослава Попова «Эволюция млекопитающих: начало»

https://22century.ru/scientific-and-technological-activities/kurs-yaroslava-popova

XX2 век

28 Sep, 12:00


Телескоп Hubble обнаружил чёрную дыру промежуточной массы в шаровом звёздном скоплении

https://22century.ru/popular-science-publications/omega-centauri-interm-mass-bl-hole

XX2 век

28 Sep, 11:18


BepiColombo: четвёртый облёт Меркурия, 11 месяцев опоздания и снимки планеты селфи-камерой

https://22century.ru/space/119810

XX2 век

21 Sep, 17:29


Стало известно, что ещё помогает комарам находить нас

https://22century.ru/biology-and-biotechnology/119929

XX2 век

16 Sep, 09:08


Рады сообщить прекрасную новость! Скоро будет доступен к заказу второй тираж книги Сергея Маркова

https://22century.ru/popular-science-publications/book-news

XX2 век

12 Sep, 13:59


Чип для преобразования мыслей в текст, который миниатюрнее чипа от компании «Neurolink», может работать с точностью в 91%

https://22century.ru/computer-it/119891

XX2 век

09 Sep, 16:08


Жизнь из капли дождя. Вероятно, дождевая вода помогла сформировать стенки первых протоклеток

https://22century.ru/popular-science-publications/zhizn-iz-kapli-dozhdya

XX2 век

09 Sep, 09:17


Норот

В издательстве ДМК Пресс выходит новое издание моего двухтомника «Охота на электроовец. Большая книга искусственного интеллекта». Содержание осталось прежним, так же будет цветная печать, твердый переплет; но немного изменилось качество бумаги и формат, поэтому цену получилось снизить. А по моему промокоду Markov_esheep у вас есть возможность заказать ее со скидкой 25%

Ссылка: https://dmkpress.com/catalog/computer/data/978-5-93700-333-1/

XX2 век

06 Sep, 09:51


Где заканчивается Солнечная система?

https://22century.ru/popular-science-publications/solar-system-size

XX2 век

06 Sep, 08:24


Прикладная конференция по машинному обучению AiConf 2024

https://22century.ru/scientific-and-technological-activities/aiconf-2024