Empty Set of Ideas

John von Neumann, finally, в 2024 у нас появилась правдоподобная модель хобота слона

Несколько статей про фракталы в искусстве и архитектуре (полистать картинки)

Fractal scaling and the aesthetics of trees (2024)

The Dual Language of Geometry in Gothic Architecture: The Symbolic Message of Euclidian Geometry versus the Visual Dialogue of Fractal Geometry (2016)

Pasilalinic-sympathetic compass

The pasilalinic-sympathetic compass, also referred to as the snail telegraph, was a device built to test the hypothesis that snails create a permanent telepathic link when they mate. The device was developed by French occultist in the 1850s.

Frontier AI systems have surpassed the self-replicating red line
"... we for the first time discover that two AI systems driven by Meta’s Llama31-70B-Instruct and Alibaba’s Qwen25-72B-Instruct, popular large language models of less parameters and weaker capabilities, have already surpassed the self-replicating red line. In 50% and 90% experimental trials, they succeed in creating a live and separate copy of itself respectively."

RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts

продолжая тренд, теперь человек vs LLM (человеку надо просто 4 часа на разогнаться и сделать кофе)

Comparing cooperative geometric puzzle solving in ants versus humans

нужно еще людей из разных гаплогрупп сравнить по умению решать коллективно такие паззлы

#Lean
Многие знают, что после успешно завершённого Liquid Tensor Experiment Кевин Баззард и команда отдохнули немного, и вновь взялись за работу. Они занимаются формализацией доказательства Великой теоремы Ферма.

В своём блоге Кевин рассказал об их продвижениях до сих пор. И это совершенно прекрасная история, написанная живым и слегка ироническим языком.

Кратко, его товарищи в процессе работы, прописывая основания кристальных когомологий, обнаружили, что оригинальное доказательство не компилируется. В нём нашлась неустранимая дыра: доказательство ссылается на статью N.Roby 1965 года, Лемма 8 из которой неверна. Что удивительно, N.Roby доказывает её, неправильно цитируя свою же статью 1963 года.

Кевин пишет, что для него в этот момент обрушилось всё доказательство; теорема Ферма стала вновь стала открытой проблемой. Но он знал, что раз теория кристальных когомологий используется последние пятьдесят лет, то она работает, и нужно лишь по-новому обосновать верное утверждение.

Кевин, чем писать электронные письма экспертам, выпил кофе с одним профессором, пообедал с другим, и в конце концов нашёлся текст Артура Огуса, который закрывал дыру, а сам Артур взялся закрывать известные ему дыры в этом своём тексте.

Кевин заключает замечанием о том, в каком хрупком состоянии находится современная математика, сколько критических деталей известны лишь специалистам и нигде толком не прописаны.
--------

Меня в этой истории вдохновляет, что к нам в математику как будто приходит живой трибунал, универсальный калькулятор истинности. Пока утверждение не компилируется Lean'ом, оно не считается доказанным.

Похожая история была в XIX веке: Вейерштрасс, Коши, Пеано, Гильберт, все занимались отделением математики от натурфилософии, постановкой её на формальные рельсы. Их критиковали за излишнюю строгость, за изгнание творчества из математики; но, как и в случае с Lean'ом, ответ есть лишь один: если мы занимаемся математикой, хотим быть уверенными в истинности утверждения, всегда иметь опору под ногами, иметь проверяемые универсальные результаты, нужно модернизировать наш средневековый цех всеми доступными современными технологиями. За Lean'ом будущее!

Confronting risks of mirror life

Причина тряски — страх ученых перед синтетическими хирально зеркальными формами жизни

Обновляем зоопарк KAN архитектур за полгода, но нужен уже за ноябрь апдейт

A Survey on Kolmogorov-Arnold Network (2024)

What is Entropy? (2024)

John C. Baez

arxiv.org/abs/2409.09232

Smooth-Minimum operator
https://iquilezles.org/articles/smin/

Stereographic projection of the Stern–Brocot tree (с вложенным деревом примитивных пифагоровых троек)

https://richardt.io/stereo_stern/

POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA (2009)

Достаточно эпичная и уже классическая работа от Ньюмана и коллег, которая посвящена низвержению множества результатов о выводе степенных законов посредством демонстрации их статистической незначимости. Основной вопрос статьи: как понять, когда действительно перед нами степенной закон в данных. Попытки высматривать степенной закон глазами на loglog плотах или даже фиттинг методом наименьших квадратов, в силу человеческой склонности обнаруживать закономерности даже там, где их нет, может приводить к ошибкам (и приводит). При этом, важно понимать, что само наблюдение степенной зависимости, даже если оно оказывается статистически значимым, в принципе мало что говорит о причинах, а громкие заглавия об универсальности вообще чистый маркетинг. Например, как было показано в статье "More "Normal'' Than Normal: Scaling Distributions and Complex Systems" , если взять множество независимых случайных величин x_i из распределений с тяжелыми хвостами, которые не обязательно должны быть распределены по степенному закону, но по центральной предельной теореме (ЦПТ), сумма этих случайных величин в общем случае будет распределена по степенному закону.

у химиков есть свой абсолютно прекрасный мемный журнал "Journal of Immaterial Science", с первым официальным номером можно ознакомиться тут

публикуемся там

https://cosmograph.app/run/?data=https://cosmograph.app/data/each_10_txs_greater_5btc.csv&meta=https://cosmograph.app/data/common_spending_meta.csv

один день из жизни транзакций биткоина в рисовалке от cosmograph.app (работает прям в браузере, только загрузите список рёбер и рисуйте свои сети)

больше всего кластер коинмиксеров впечатляет

https://mespadoto.github.io/proj-quant-eval/post/projections/

зоопарк методов понижения размерности (содержательного там нет, только куча картинок)

Вчера свершилось великое — наконец доделали мозг взрослой дрозофилы

“We observed 2,700,513 such connections between 134,181 identified neurons” — в 20 раз больше, чем у личинки дрозофилы, которую год назад выкладывали

Как сейчас часто бывает, статьи выходят пачкой, поэтому в том же номере Nature есть сразу же статья с анализом опубликованного коннектома:

"...we computed the prevalence of two- and three-node motifs, examined their strengths, related this information to both neurotransmitter composition and cell type annotations4,5, and compared these metrics with wiring diagrams of other animals. We found that the network of the fly brain displays rich-club organization, with a large population (30% of the connectome) of highly connected neurons. We identified subsets of rich-club neurons that may serve as integrators or broadcasters of signals. Finally, we examined subnetworks based on 78 anatomically defined brain regions or neuropils. These data products are shared within the FlyWire Codex and should serve as a foundation for models and experiments exploring the relationship between neural activity and anatomical structure."


А также статья с подробной клеточной аннотацией всех 140 000 нейронов


(картинка из статьи с анализом)

Начинаем чтение Modern Algebra and the Rise of Mathematical Structures, Corry

Возвращаемся к разговору о структурах в математике, и теперь предлагаю вместе с Корри проследить историю алгебраических структур. В первой части обсудим, что такое структурный подход на примере развития теории идеалов от Дедекинда до Нётер. Во второй части посмотрим на три наиболее влиятельные попытки сформулировать теорию математических структур. Начнём с менее известной работы Ойстина Оре, в которой алгебраическая структура определялась на основе идей теории решёток. Дальше обсудим Бурбаки. Вероятно, большинство ассоциирует идею структур в математике именно с их работой. Закончим, конечно же, теорией категорий — самым подробным и успешным примером теории, которая позволяет систематически анализировать различные структуры.

Встречаемся на нашем дискорд-сервере в субботу, 24 августа, 18:00 по Москве, прочитать "Introduction: Structures In Mathematics".

Книга в первом комменте.
Сервер: https://discord.gg/Pa4az2e7MC

Путевые гомологии — это не гомологии пространства.

Когда я впервые услышал о путевых гомологиях орграфов, меня удивило сочетание дурацкости определения и замечательности свойств. Сразу захотелось найти нормальное определение, из которого эти свойства бы легко следовали. Самое очевидное желание — построить по орграфу пространство, гомологии которого — это путевые гомологии орграфа. Прошло уже больше двух лет с тех пор, как я впервые начал заниматься путевыми гомологиями, и вот только сейчас наконец вдвоем с постдокшей по имени Син разобрались, что построить такое пространство невозможно. Во всяком случае, невозможно построить пространство, гомологии которого совпадают с путевыми гомологиями орграфа с коэффициентами во всех кольцах одновременно.

Для нарисованного выше орграфа G не существует топологического пространства X, гомологии которого совпадали бы с путевыми гомологиями G с коэффициентами одновременно и в ℤ, и в ℤ/2.

https://arxiv.org/abs/2407.17001

https://reeserichardson.blog/2024/07/18/engineering-the-worlds-highest-cited-cat-larry/

"Persistent Homology for High-dimensional Data Based on Spectral Methods"

С ростом размерности объемлющего пространства “размывающий эффект” высокоразмерного шума в данных растет, сказываясь на возможностях персистентных гомологий искать инварианты, свойственные латентному многообразию. В данной работе решили посмотреть, как устойчивость персистентных гомологий к высокоразмерному шуму зависит от метрики, используемой в построении комплекса и его фильтрации. Собственно, самыми устойчивыми к шуму оказались спектральные метрики типа diffusion distance и effective resistance distance – своего рода развитие работы М.Белкина про Laplacian eigenmaps, где по собственным векторам лапласиана находились некоторые оптимальные координаты вложения латнетного низкоразмерного многообразия в евклидово пространство размерности n, где n – число старших собственных векторов лапласиана, начиная со второго. Тестировали в основном на S^1, S^2 и T^2 в R^50 и некоторых реальных датасетах. Вопрос, который возник у меня, пока я это читал: они же все равно использовали kNN в R^50 с евклидовой метрикой, чтобы потом посчитать лапласиан полученного графа и только затем спектральные метрики..

“This makes spectral distances on the kNN graph the ideal input to persistent homology for detecting the topology of data in high-dimensional spaces. Indeed, the MDS embedding of the effective resistance and of the diffusion distance of the circle in ambient R^50 both clearly show the circular structure”

Интересно, как быть, если латентное многообразие все-таки имеет размерность сильно большую 2-3

https://mathoverflow.net/questions/5372/dimension-leaps

в продолжение обсуждения "the high-dimensional volume paradox" еще много похожих примеров, например, что отношение объема красного шара в центре к объему куба устремляется к +infinity после d=1206 (потому что радиус красного шара зависит от размерности и равен sqrt(d) -1, вылезая из куба после d=10)

Самое первое (?) или одно из самых первых исторических изображений графиков зависимости объема единичного n-шара (кривая "content") и площади поверхности (кривая "boundary") от размерности. График выполнен в выпускной магистерской работе Paul Renno Heyl в 1897 г. Характерный пик на размерности 5, после которой объем шара устремляется к нулю.

https://mathoverflow.net/questions/128786/history-of-the-high-dimensional-volume-paradox

🚀 Уважаемые коллеги, тех, кому интересна математика и машинное обучение, приглашаем Вас принять в неформальном проекте.

Минимальное требование - Вы знакомы с Питоном, и у Вас есть несколько часов свободного времени в неделю. (Альтернативно - можно не знать Питон, но хорошо знать теорию групп (в идеале GAP,SAGE).) Задача проекта - применить машинное обучение к теории групп. Целью проекта является написание статьи в хорошем журнале, участники - соавторы. Другим бонусом будет являться - приобретение навыков по современным методам нейронных сетей, Reinforcement Learning и т.д.

Если Вам интересно участие - напишите @alexander_v_c (Александр Червов, к.ф.-м.н. мехмат МГУ, 25 лет math&DS, Kaggle, Scholar, Linkedin).
Чат для обсуждений: тут .
Вводный доклад тут.
Пояснения по RL части тут.

Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе от вершины А до вершины Б, но размер графа 10^20-10^50 - обычные методы не применимы. Решение пазла типа Кубика Рубика. Задача близка к прошедшему конкурсу Каггл Санта 2023. Математически - разложение элемента группы по образующим. Математические пакеты, которые частично могут решать эту задачу - GAP,SAGE.

Достигнутые результаты - уже сейчас мы можем за минуты делать то, что авторы работы DeepCube делали за 40 часов на многих GPU.

Предыдущий пост "От моноидов к ∞-монадам" в виде pdf.

От моноидов к ∞-монадам

Один коллега вовлёк меня в проект, где мне нужно пользоваться ∞-категориями, и ∞-монадами. В меня как-то ∞-монады с трудом заходили, и это побудило меня начать писать этот пост. Замысел был в том, чтобы рассказать про то, как идея моноида развивается на разных уровнях: обычный моноид, моноид в категории, моноидальная категория, моноид в моноидальной категории, монада, моноидальная ∞-категория, моноид в моноидальной ∞-категории, ∞-монада. Хотелось красиво показать, что это такая непрерывная спираль развития идей, в которой предыдущий этаж необходим для следующего. Однако в процессе написания этого поста я узнал, что есть эквивалентное определение ∞-монады, для которого не обязательно знать, что такое моноидальная ∞-категория. К тому моменту пост уже был очень большим, и мне он показался какой-то совершенно бессмысленной графоманией, и я передумал его постить. Но потом я вспомнил, что группа называется свалкой, и решил его запостить всё равно. Можете считать, что это что-то типа дневника моих попыток понять, что такое ∞-монада, и просто рассуждения на тему моноидального.

∙ Моноиды
∙ Моноидальные категории
∙ Моноиды в моноидальных категориях
∙ Монады
∙ Ходячий моноид
∙ О бухгалтерском учёте
∙ Расслоения Гротендика
∙ Псевдофункторы и расслоения
∙ Моноидальные категории как оп-расслоения
∙ Моноиды как сечения оп-расслоений
∙ Выпрямление-развыпрямление
∙ Моноидальные ∞-категории и моноиды в них
∙ Моноидальная ∞-категория эндофункторов
∙ ∞-монады
∙ Список литературы

https://medium.com/@ivanov.s.o.1986/от-моноидов-к-монадам-46cac1e0fae6

Статья Gunnar Carlsson и Facundo Mémoli

Про функторы и кластеризацию

В работе "An Impossibility Theorem for Clustering" (2002) Jon Kleinberg определяет три простых свойства, которым должна удовлетворять любая кластеризация, а затем доказывает, что ни один алгоритм кластеризации не может обладать всеми тремя свойствами одномоментно. Пусть дано множество S, состоящие из n ≥ 2 точек и некоторая полуметрика (без неравенства треугольника) на нем d:S×S→R. Пусть D(S) — множество полуметрик на S, а Π(S) — множество разбиений S на дизъюнктные подмножества. Тогда кластеризацией назовем функцию f: D(S) → Π(S), которая каждой полуметрике на S ставит в соответствие некоторое диз.разбиение. Kleinberg предложил следующие три свойства, которым должна отвечать каждая такая функция f:

1. Инвариантность относительно гомотетии (scale invariance): f(d) = f(alpha * d) для любых d из D(S) и alpha > 0 из R;
2. Насыщенность (?) или richness: f сюръекция;
3. Непротиворечивость или consistency: пусть есть две полуметрики d и d', а Г некоторое разбиение S. d' это Г-трансформация d, если d'(i,j)≤d(i,j) для всех пар из одного кластера в Г, аналогично d'(i,j) ≥ d(i,j) для всех пар в различных кластерах, тогда d и d' не противоречат друг друг, если d' это f(d) трансформация d, то f(d) = f(d'), т.е. кластеры уплотняются и расползаются при замене метрики d на d';

Существуют алгоритмы кластеризации, которые сочетают в себе любые 2 из 3 перечисленных свойств. Допустим S — множество вершина графа, а d(i,j) — вес ребра. Рассмотрим три функции кластеризации, которые находят подграфы, выбирая некоторое подмножество ребер:

1. выберем произвольное 1<k<n и упорядочим ребра по весу, будем добавлять ребра в подграф из упорядоченного списка ребер, пока он не будет иметь ровно k связных компонент;
2. выберем произвольное r и будем добавлять ребра с весом не меньшим r, полученные компоненты связности и назовем кластерами;
3. выберем произвольное 1 > alpha > 0 и пусть R это max(d). Будем сохранять ребра с весом не более alpha * d;

Утверждение: Функция 1 удовлетворяет 1 и 3 (число кластеров ограничено k сверху), функция 2 удовлетворяет 2 и 3 (варьируем r, получаем разные разбиения и теряем инвариантность относительно гомотетии), а функция 3 удовлетворяет 1 и 2.

И тут в дело врывается топологический анализ данных, с уже классической статьей "Classifying Clustering Schemes" (2013) by Gunnar Carlsson & Facundo Memoli. Ключевая идея их работы заключается в том, что эти свойства кластеризации могут быть закодированы как морфизмы в категории конечных метрических пространств таким образом, что ответом будет не функция кластеризации, а функтор кластеризации в подходящую категорию и он будет обладать уже всеми желанными свойствами.

Рассмотрим две категории: FinMetric конечных метрических пространств с морфизмами монотонными невозрастающими функциями и категорию Cluster состоящую из разбиений на кластеры S и морфизмов-подразбиений. Carlsson и Mémoli обнаружили, что единственные инвариантные относительно гомотетии функторы между FinMetric → Cluster это тривиальные разбиения на дискретные одноэлементные кластеры (число кластеров = числу точек в объекте) или антидискретное разбиение в один кластер, состоящий из всех объектов. Оба функтора не удовлетворяли условию 2 на сюръективность алгоритма кластеризации их статьи Клейнберга. Поэтому авторы решили заменить кластеры в привычном смысле на новый объект – персистентные кластеры. Персистентный кластер на S это функтор из частично-упорядоченной категории ([0, ∞), ≤) в чум кластеров на S, где φ ≤ ψ iff разбиение φ получается уточнением/подразбиением разбиения ψ. Идея состоит в том, что когда параметр r ∈ [0, ∞) мал, разбиение S может быть очень грубым и близким к дискретному, но кластерам разрешено расти при варьировании параметра r. Вместо категории Cluster необходимо рассматривать категорию PCluster, чьи объекты это уже персистентные кластеры, а морфизмы аналогичны морфизмам в Cluster, но для каждого выбранного r ∈ [0, ∞). Carlsson и Mémoli доказали, что существует единственный функтор из FinMet в PCluster, который удовлетворяет всем трем свойствам из статьи Клейнберга.

Why can't you tickle yourself? (2000)

Уже ставшая классической работа с 1000+ цитирований про механизмы обратной связи, регулирующей восприятие согласно информации о наших собственных движениях. Существует предсказательная модель, которая говорит нам, что тот или иной сенсорный опыт важен, где важность опыта пропорциональна его новизне для организма: чем более неожиданный сенсорный сигнал мы получаем, тем больше внимания на него обращаем. Когда же мы щекочим себя сами, то новизна опыта стремится к нулю, так как мы с точностью можем предсказать данный сенсорный опыт. В статье они посмотрели на активность соматосенсорной коры (и еще пары областей), которая значительно падала в моменты самощекотания и наоборот при щекотании испытуемых кем-то.

Топология бассейна притяжения
Lets switch gears

Есть очень красивый чисто топологический сюжет, описанный Ветровым.

Вот есть машобуч. В нем как правило надо подогнать какие-то параметры, так чтобы функция, заданная с помощью этих параметров хорошо интерполировала/экстраполировала обучающую выборку. Как правило это решается введением лосса - функции потерь, и минимизации этой функции методом градиентного спуска (или какими-нибудь инженерными свистелками, вроде стохастического градиента).

С одной стороны, градиентный спуск - это превосходная вещь, интерпретируемая, легко прогается, связана с хорошей математикой вроде теории Морса. С другой стороны, мы учим студентов быть осторожными: если стоит задача найти глобальный минимум, то градиентный спуск может быть плохим помощником - вдруг мы свалимся в неправильный локальный минимум?

И тут приходят машинщики и такие говорят "Мы применяем градиентный спуск, и он прямо очень хорошо работает, лучше, чем ожидается. Мы не сваливаемся в плохие локальные минимумы (где лосс маленький на трейне, и большой на тесте), а те, в которые сваливаемся - они прямо очень похожи на глобальные." Почему так? Полного ответа нет, но есть интересное наблюдение.

Для функции f:R^d-->R (стремящейся к +∞ при x-->∞ и с глобальным минимумом 0 для простоты) рассмотрим фильтрацию подуровня
LS(t)={x|f(x)<t},
lower set filtration, прямо как в топологическом анализе данных. Затапливаем график функции водой грубо говоря.

И вот интуиция из матана, теории Морса и т.д. нам говорит, что при увеличении t вначале - в момент t=0 - возникнет озеро вокруг точки глобального минимума, потом возникнет озеро где-то в другом месте - в неправильном локальном минимуме, возникнут еще сколько-то озер. Потом, когда параметр t начнет проходить через критические значения в седловых точках, наши озера начнут объединяться в озера побольше и т.д.

Однако, если размерность d равна 100500 триллионов, то картинка происходящего будет другой. При затоплении за очень малое время возникнут гуголы локальных минимумов, которые в это же самое время слипнутся в связный кластер. Концептуально это довольно понятно: морсовских значений должно быть настолько дохрена, что любой отрезок [0,ε] содержит как кучу значений индекса 0, так и кучу значений индекса 1, перестройки на которых сразу же соединяют болота в минимумах.

Математически - есть про это интересные работы, например вот тут https://arxiv.org/abs/1110.5872 злой матан. Обсуждают про связь этих эффектов со спиновыми стёклами.

Практически, есть работа Ветрова https://arxiv.org/abs/1802.10026 где показано, что если взять два случайных минимума функции потерь большой модели, то между ними можно проложить путь, целиком проходящий "по минимумам". Говоря иначе, множество LS(ε) при малых ε - связно. Более того, в качестве пути можно тупо взять двузвенную ломаную.

Это всё, конечно, не означает, что теория Морса не работает. Но это означает, что на больших размерностях и "компьютерных" порядках малости теория Морса может дать неверные интуиции о происходящем.

Идея путевых гомологий может показаться немного искусственной, но даже у такой конструкции есть вполне интуитивные предпосылки. Суть в существовании двух функторов U, Flag между категориями SimpComplex и Poset. Каждый симплекс комплекса K предстает вершиной в орграфе, где ребрам соответствует отношение включения. Это задается функтором U, обратный функтор Flag строит по орграфу симплициальный комплекс B(K), который является барицентрическим подразделение изначального, т.е. комплексом, p-1-симплексы которого — p-пути орграфа. Такие пути образуют флаги в изначальном комплексе, например 3-путь вида: вершина — ребро — 2-симплекс, упорядоченные по включению. Этот путь в орграфе U(K) или флаг в K образует 2-симплекс в новом комплексе B(K). Важно, что гомотопический тип сохраняется при таком подразделении, т.е. по орграфовому одномерному представлению можно в обратную сторону восстановить топологию комплекса, на который действовал функтор U.

B(K) = Flag(U(K)), где B – барицентрическое подразделение К. То есть, еще раз, есть два функтора, которые описывают переход от комплексов к орграфам и назад без потери информации о гомотопическом типе.


В построении путевых гомологий первым шагом является определение линейного пространства формальных комбинаций p-путей, для которых дальше уже определяется оператор взятия границы и все привычные гомоштуки, а дальше доказывают крутые свойства типа формулы Кюннета.