Generative Anton

Нашел золото: перевод слова "Нет" на офисный булшит.

Избранное (жизненное):
- Interesting idea, let's explore that next quarter
- What problem are we trying to solve?
- Let’s gather more data before moving forward
- Let’s keep this in mind for future consideration

Всё очень нравится, полёт нормальный. Самая удобная фича (хоть такое много где было уже и до) -- открытие "быстрого" терминала по хоткею по центру экрана и его скрытие при потере фокуса.

Интересно выглядит система бронирования публичных кортов на Тайване. Пишешь свое имя и вставляешь бумажку в нужный слот. Аналоговый shared calendar 🗓️.

Хорошая и умная статья про карьеризм в индустрии и как запромоутиться из senior'a в staff'a.

Администрация канала поздравляет всех читателей с Новым годом 🎁🎉🎄

Новости уже из 2025: AGI достигнут, бесплатный компьют выдают при рождении и все живут в мире и процветании. 2024ый был непростым, но надежда, что 2025ый будет лучше, присутствует 🤗

Спасибо уважаемым читателям, что вы есть 🙏

Продолжая эту Anarhichas lupus’овскую тему, в отпуске нарисовались такие визуализации с результатами вероятностей обитания этого вида в будущем от лучших климатических сценариев (ssp126) к худшим (ssp585) и с наших дней до 2100ого года. Спойлер: будет ей так себе.

Но есть и виды, которые чувствуют себя гораздо более комфортно. Например, Scomber Scombrus (aka атлантическая скумбрия).

Тут сегодня вышел Ghostty. Это моднявый терминал, написанный на Zig(!) с поддержкой GPU-acceleration (как у всех модных современных терминалов) и многими другими плюшками.

Он долго был в закрытой бете, изначально сделан людьми для людей и выглядит очень многообещающе. Можно порадоваться новогоднему подарку.

P.S. Для терминалов оказывается существует даже свой стандарт.

Я для одного своего проекта ищу товарища за еду на парт-тайм на пару месяцев (а может быть и больше). Разговор про генеративные картинки.

Мне нужно:
- считать разные LoRA-адаптеры над популярными open-source моделями (Flux, SD, etc)
- учить чекпоинты
- ковыряться в comfy ui
- генерировать много контента для сравнения
- кластеризовать картинки
- (чуть сложнее) ставить эксперименты по оптимизации инференса


Предлагаю:
- железки (пока к сожалению в разумных пределах)
- потыкать уникальный датасет (нужно будет подписать NDA)
- эстетическое удовольствие
- возможность использовать результаты для курсачей-дипломов-пейперов
- какую-то адекватную оплату за эту парт-тайм активность в USDT (в моей картине мира это должно быть что-то около 1к-1.3к. Обсуждаемо)

Абсолютно отсутствует понимание того, что из этого получится, но резюме можно прислать на anton[at]repushko.com с темой [tokalon.ai] <your_name>

Администрацией канала был совершен поход в маленький музей истории TSMC на Тайване. Культ личности дядечки-основателя поражает: “он привел нас в светлое будущее, любит свою жену и читает книжки”. Корпуса фабрик по соседству на кампусе впечатляют больше. Цитата на китайском -- "Beyond formidable obstacles a brighter future shines". Технооптимист, запомнили.

source PDF

Пока в привычных школах на уроках английского учат английскому, на уроках английского в Тайване учат жизни.

Минутка культпросвета. Администрация канала на прошлых выходных произвела вылазку на премьеру оперы Джузеппе Верди “Макбет” в Deutsche Opera Berlin и рассказывает о своих наблюдениях.

- Билет был куплен за символические деньги (около 20 евро) в 18-ый ряд партера по программе прививания культуры молодым жителям Берлина. Если тебе младше 30, то ты можешь зарегистрироваться и правительство Берлина доплачивает бОльшую часть стоимости билета за тебя. Соседний немецкий дедушка (проспавший первую треть оперы) за свой билет заплатил около 80-100 евро

- Над сценой то выезжал, то поднимался огромный экран, на котором или показывали видеоряд, близкий к сюжету, или траслировалось видео с камеры оператора прямо со сцены в реальном времени. Т.e. помимо классической сцены, был максимально кинематографичный вид происходящего

- В постановке крепко навалили современных культурных мемов. Ведьмы здесь были заменены AI, который и предсказывал будущее. В моменте, когда будущее предсказывалось второй раз, на экране появился код вселенной на С++ (!), где в цикле освобождается память под всеми указателями на членов семьи Макдуф (!). А когда Макбет поет о своем возмездии и диктатуре, в него стреляют и ранят в ухо

- Либретто траслировалось на немецком и английском как субтитры над сценой. Было очень удобно

- Между актами вышел представитель театра и рассказал, что Берлинский сенат урезает со следующего года финансирование культуры в рамках экономии бюджета. И попросил “быть в курсе” и “голосовать головой” на следующих выборах. Такой культурный протест

- После окончания на поклон вышли представители собственно этого сената (вроде бы была среди них была и мэр Берлина) и их хорошенько освистали

- В самой первой сцене, на Макбета выходит голый мужчина с картонной головой оленя. Позже этот мужчина во всех последующих сценах был уже в штанах.

В общем всё понравилось, надо идти ещё.

Вероятно лучший конспект по reinforcement learning который я видел и неожиданно на русском (!)

Очень хороший список литературы с r/Sumerian и r/Mesopotamia!

As per my previous table…

source

source

А блогпост хорош, там есть краткий пересказ пеперов про force atlas и про barnes hut optimization (оригиналы очень рекомендую почитать всем кто шатает Gephi, очень легко читаются и проливают свет на детали реализации и настройку параметров), есть про сам протокол Bluesky, немного про всякие технические детали проекта. Про эмбеддинги можно было копнуть тему поглубже, потому что бывают и покруче. Я не устаю рекламировать в этом смысле ещё одного Антона.

Ну и самое обломное: нет никакого анализа, из чего состоит граф bluesky и что за кластера и всё такое. Может напишет в следующих сериях, а может надо самим шататать визуализацию https://aurora.ndimensional.xyz/ (у меня завелась только на одной машине из двух)

Мне тут упомянутый постом выше Антон прислал интересное https://joelgustafson.com/posts/2024-11-12/vizualizing-13-million-bluesky-users

Чувак скачал bluesky, составил граф из 13 миллионов юзеров, написал под него свой force atlas на zig и запилил даже инструмент. Потом фиганул в какие-то первые попавшиеся графовые эмбеддинги и пронал через UMAP.

Я как всегда прежде чем рассказывать про какую-нибудь штуку пытаюсь сам её испробовать. Так вот его тул для больших графов https://github.com/nDimensional/andromeda пока сыроват. Ну настолько, что у меня с ним граф на 3.4 Млн рёбер выглядит как на прикреплённой картинке.

С одной стороны я тоже захотел выучить zig, с другой если нужен именно force atlas на очень толстых графах, то есть https://cosmograph.app/run/

В последний год я с завидной регулярностью хожу и рассказываю что-то интересное (несколько раз ходил на разные площадки и рассказывал про AI-ethics и правовое регулирование), чтобы научиться получше выступать и чтобы, когда уже код писать не нужно будет, можно было бы продавать книжки и говорить "я успешный спикер".

И вот, 21-22 ноября у меня будет выступление на площадке REFORUM, где я буду рассказывать про всякие тренды в ИИ-венчуре, насколько весь этот ИИ-хайп выгоден инвесторам, бизнесу и что вообще происходит на рынке. Должно быть интересно. Еще на этом же мероприятии будут другие спикеры. Себранта я бы сам с удовольствием послушал.

Зарегистрироваться послушать можно тут.

Сегодня я узнал, что мой канал в некоторых кругах считают инфоцыганским. А поэтому — рекламный пост, проплаченный полосатой зубаткой, чтобы поднять осведомленность о её бедах.

Помогаю делать одну научную работу девушке. Задача — смоделировать, куда в Северном море (это между Великобританией и Норвегией) будут мигрировать рыбы из-за изменений параметров воды, вызванных изменениями климата. В процессе получаются вот такие красивые картинки (это 188 видов рыб и их распространенность с 1983 по 2024 год). Выглядит эстетично. И видно, что некоторых видов становится меньше, некоторых — больше, некоторых как было много, так и остается.

И один из самых трагичных графиков принадлежит полосатой зубатке. Несмотря на то, что в русском она называется довольно мило, на латыни это Anarhichas lupus (на английском -- Atlantic wolffish), что значит — морской волк 🐺. А уж выглядит вообще как страшный монстр, которым можно пугать детей.

Даже в Википедии говорится, что популяция этих волчар очень быстро сокращается из-за того, что их слишком много ловят и они сами попадаются в сети, когда ловят другие виды рыб.

Вот такой вот семейный ресеч-подряд. Зубатку жаль, но теперь и вы о ней знаете.

Интересное наблюдение: в Linkedin’e уже 5-6 менеджеров разного уровня из AI/Data вертикали в AWS ушли в DigitalOcean на позиции от CTO до всяких VP именно в их AI-часть.

Видимо, DigitalOcean — новый AWS.

Невероятным образом, эта история канула в лету и не существует в канале (что странно и подозрительно), поэтому я ее продублирую.

N лет назад (>=4) мне написал читатель. В то время он был на стажировке в Берлине и изучал нервную систему осьминогов и рассказывал интересную байку из своей области.

У осьминогом довольно прилично глаза отличаются от человеческих, при этом идея — похожая (и тут и там по два глаза, даже структура похожа). Но было непонятно, бинокулярное у них зрение или монокулярное (формируется ли у них общая картинка из обоих глаз, или отдельно из каждого).

Думали, как это проверить и придумали: давайте наденем на осьминога 3D-очки и будем показывать в 3D фотографию добычи. Если он отреагирует, значит бинокулярное (потому что в монокулярном это было бы не похоже на добычу, а просто на какие-то яркие цвета).

И в итоге да, осьминог отреагировал и так вроде бы как доказали, что у них бинокулярное зрение как и у нас. Но самое прекрасное — фото эксперимента (хоть тут и каракатица, но вроде бы зрительные системы у них очень похожи).

UPD: Оригинальная статья

Чуть больше, чем год назад, ESA (European Space Agency) запустили телескоп Euclid, который был необходим для того, чтобы замерять redshift далеких галактик.

На днях вот показали, что он уже успел красивого нафоткать.

😢

Прототип динамического стола из MIT, который умеет подстраиваться под текущий юзкейс и запоминать привычки пользователей.

source

От создаталей “машина — абстракция над лошадью с дверьми”: лошадь — абстракция над лодкой с 4 веслами.

source

Пора подвести итог моему 3+ годичному приключению в AWS.

На бумаге выглядит все крепко:
- Sagemaker во время неверотяного роста расходов компаний-клиентов на ML-инфраструктуру, попытка компаний-провайдеров (довольно успешная) в low/no-code сервисы, пара запусков продуктов на Re:Invent
- Невероятный личный буст в operations и поддержании "четырех девяток”
- Расследование майнинг-фрода на GPU
- Гордый PR в публичный SDK Sagemaker’a на 6.5к строк (очень срочно понадобилось поддержать пару фичей для одного крупного клиента, которые уже были в API, но не было в SDK)
- Рождение Q-ассистента и помощь по всей пачке сервисов вокруг (Q-Developer, Q-Troubleshooting)
- etc

При этом разумеется под ковром много политики, непонятных менеджерских решений, реактивного хаоса на фоне LLM-бума, да и далеко ходить не надо: всех возвращают в офисы на полную неделю.

Пора идти дальше, потому что есть еще порох в пороховницах и можно поделать что-то интересное (а в FAANG вернуться на пенсию). Пока потрогаю траву, а после начинаю с новыми силами работать в новом интересном месте, в котором планируется начать переход из IC в менеджмент.

О волшебной силе современного искусства и психологии. Пытаясь сократить огромное количество самоубийств на мосту Мапо в Южной Корее, власти Сеула неофициально переименовали его в “Мост Жизни”. Была объявлена специальная паблик-арт программа, которую поддержала компания Samsung. Мост украсили красивыми скульптурами, интерактивными панелями и жизнерадостными лозунгами, реагирующими на движение людей по мосту. “Завтра непременно взойдет солнце”, “Лучшее, конечно, впереди”, “Еще столько всего не случилось” – все эти фразы были тщательно отобраны художниками с помощью психологов и активистов, занимающихся предотвращением самоубийств. На следующий год количество самоубийств на мосту Мапо увеличилось в шесть раз.

explanation

Хорошее интервью с новым (старым, с 2022ого года) президентом мессенджера Signal -- Meredith Whittaker. Правильно говорит про "a surveillance business model" и про то, что чтобы стать мейнстримными, нужно дистанцироваться от хакер-тусовки и стать ближе к рядовым пользователям и т.д. И отличный разговор про современный AI как продукт этой самой surveillance модели. В общем, идеологически верное интервью 👍

Goodahrt’s law: “Когда мера становится целью, она перестает быть хорошей мерой.”

AI-инструменты в beta новой iOS. Выглядит легендарно.

source

source

Мой терапевт: “Видео о state space models с Сатору Годжо не существует, оно не сможет тебе навредить”

Тем временем случайное видео в интернете:

Одна из моих guilty pleasures -- перечитывать старые статьи времён волны экспертных систем. И вообще трава тогда была зеленее, исследования интереснее и т.д.

Сегодня наткнулся на статью 1985ого года, где проверяли, как дети, которые немного изучали Лого, понимают модель рекурсии. Это язык, где у тебя есть черепашка и ты, задавая команды ей, рисуешь какие-то фигуры. Даже я его застал в школе.

Результаты следующие: хреново они понимают. И как и в предыдущих экспериментах со взрослыми (авторы на них ссылаются), ментальные модели из естественного языка и интерпретации программы на основе жизненного опыта не матчатся с тем, что происходит на самом деле. А это значит, что чтобы быть успешным в программировании, нужно адаптировать и принимать новые ментальные модели, которые исходят из самого языка и парадигмы программирования. В общем-то влияние этой идеи можно отследить в современной методологии обучения программированию.

Это аукается и сейчас: интересно проследить аналогию с промптингом, где в целом задача пользователя -- адаптировать свой natural language под машину и никакие новые концепты учить не нужно. Т.e. разница только в форме выражения, а не в концептах. Но и там и там есть "demon" (цитата авторов) внутри языка/системы, "который просто не понимает, что нужно сделать". Те же бараны, только в профиль.

Сначала ты такой “ой, новый редактор, быстрый, просто класс”, а потом он уже загружает непонятный JS-код без твоего разрешения на твою машину.

Из сорцов sqlite

Так, ну это конечно совсем треш. У ребят в слитых исходниках (не в этой части, а я так понимаю в другой, которую не публиковали) захардкожены API-ключи к разным сервисам (SendGrid, GoogleMaps, ElevanLabs и т.д.). Более того, можно посмотреть скажем историю всех клиентских голосовых запросов в ElevanLabs через это API.

Эх, легендарно