Progresspunks

Со звуком. Играет вот этот трек

Компактный отчет от Peter Diamandis про человекоподобных роботов

Оч легко листается, насквозь читать не надо. Лучше с компа а не телефона

Оценки рынка через 10 лет от $36 млрд (Goldman Sachs) до $36 трлн (🙈 Cathy Wood, Ark Invest)

Маск говорит роботов будет в 10 раз больше, чем автомобилей сейчас в мире (автопарк 1 млрд шт)
А
Также что цена робота упадет с $250 тыс до $20 тыс (тогда 10 млрд роботов обойдутся миру в $200 трлн? Если за 20 лет, это $10 трлн в год?

Авто сейчас делают на весь мир 100 млн шт в год средней ценой $25 тыс ($2.5 трлн/год)

Основные сферы спроса на гуманоидных роботов: сельское хозяйство, стройка, уход за пожилыми, логистика, производство

Каждая вторая компания по роботам из 15 упомянутых - Китай

Парень несколько лет работал в OpenAI рисечером по сбору данных со всего интернета и в августе уволился и стал основным свидетелем в иске против openAI по нарушению копирайтов в беспрецедентных и автоматизированых масштабах

https://www.mercurynews.com/2024/12/13/openai-whistleblower-found-dead-in-san-francisco-apartment/

“Найден мертвым у себя дома без признаков насильственной смерти”

Его аргументы были тут https://suchir.net/fair_use.html что модели genAI по факту:
- А) после многократных повторов в обучении
- Б) а также из-за постоянного фидбека юзеров (в этом и смысл reinforcement learning) что им нравится, а что нет
по сути являются retrieval database (база данных для извлечения инфо), и выдают закопирайченные материалы в буквальном виде большими кусками, безо всяких изменений и переделок

Еще показывал снижение трафика на stackoverflow после выпуска ChatGPT, а также, что от более молодых аккаунтов задается меньше вопросов. Что chegg, публичная компания помощи студентам, вообще обанкротились

Логика применима ко всем genAI в целом, не только к openAI

**

Я в конце поста несколько дней назад (про как и для чего юзаю genAI + вопрос к подписчикам кто и как юзает) описал 3 типа AI, на которые можно поделить весь существующий технологический стэк AI, так и указал, что genAI - это просто super retrieval system в своем пределе, включая и графические и звуковые, а не только LLM. Иллюзию магии дает связность слов и предложений, которую модели осваивают на pre-training

**

И кстати ответчики типа OpenAI и Boeing развивают беспрецедентное давление на свидетелей, и не обязательно сразу искать теории заговора что именно вот прямо убили убили. Но крч способствовали доведению до самоубийства, как минимум

Интервью Marc Andreessen/a16z с Joe Rogan на 3 часа:

Главная интрига XXIго века
- США опять противостоят стране типа СССР - менее свободному Китаю. Холодная война или будет столкновение?
- Мы не можем автократам дать обогнать нас

Мир за посл. месяцы пережил 2 важных разделения на альтернативные ветки Вселенной, как в научной фантастике:
А) Сперва когда стреляли в Трампа и мир где его застрелили начал развиваться в совершенно диком сценарии в отл. от таймлайна в котором мы остались и Трамп жив
и
Б) Еще раз был timeline split в день выборов, где Трамп победил. Марк рад, что живет здесь, где Трамп - президент )

Тупики США
- Плюс $1 трлн долга каждые 100 дней. Демократы уверяли, что от снижения госрасходов выиграют только богачи вокруг Трампа, а не простой рабочий люд
- Маск Трамп итп хотят просто раздолбать все это непомерное regulatory capture

PEP как конец нормальной жизни в США
- PEP/politically exposed person - кто госчиновник (в любой стране мира) и участвует в создании общественного блага, и может быть коррумпирован
- Но чиновники в США стали объявлять ими кого угодно, кто им не угоден своими словами или действиями. Власть не может ограничивать в правах людей из-за их мнений, поэтому создает частные организации, которые пушат банки закрывать счета неугодным лицам
- Если ты PEP, то ты теряешь любые возможности взаимодействовать с деньгами в США. Через это прошел отец Ben Horowitz, партнера Марка по их фонду
- Такими же PEP объявили фаундеров крипто-проектов и финтех проектов в США - защищали традиционные банки от конкуренции. На памяти Марка было 30 фаундеров (а так их видимо сотни), кто стали PEP - поэтому он и стал ярым фанатом Трампа

PEP и SEC убили криптоиндустрию в США
- PEP вместе с SEC убили крипто, т.к. все растущие компании в области крипто и финтеха или попали под санкции, или их фаундеры стали PEP, или им угрожали, что они станут PEP

Контроль над AI
- Администрация Байдена хотела полностью контролировать AI, пытаясь дать право пилить AI только ряду бигтехов, но и при этом одновременно диктовать им что и как делать
- Эта схема когда-то сработала с банками, когда в США перестали появляться новые банки из-за бюрократии, и вся власть была у топ10 банков типа JPMorgan итп. Текущей администрации было легко организовать преследования новых PEP’ов одним звонком. Когда Марк узнал об этом на встрече с администрацией, он начал продвигать Трампа еще активнее

Власти США организовали систему цензуры, не нарушая законы
- В США запрещена цензура, инициируемая государством. Но текущие власти создали независимые компании, которое генерили цензуру во всех соцсетях - Youtube, Twitter, Facebook итп. Одна из самых активных компаний для организации цензуры было в Stanford

Идеология вокизма/DEI
- Вокизм популяризирует идею обязательности diversity в расах, LGTBQ итп. Многим надоело, не выдерживает критики
- Программа DEI - это, по сути, господдержка фирм, кто соответствует политике популяризации вокизма и деприоритизации белых
- Кто-то мерял эффективность?

Марка ненавидили 1 млрд индусов в 2016ом
- После его твита: “Anti-colonialism has been economically catastrophy for the Indian people for decades. Why stop now?”. Стал хэдлайнером во всех индийских медиа и главным антигероем Индии, даже какое-то время было запрещено твитить публично, только лонгриды и интервью
- Лонгриды: Substack огонь, Роган активно юзает, а Марк там инвестор

Джо Роган про акации: они умеют предотвращать поедание их листьев жирафами - выделяют этилен, его разносит ветер и сообщает другим акациям про голодных жирафов. Получив сигнал, другие акации наполняют свои листья противными на вкус танинами, чтобы жирафы их не съели

Марк Аврелий всегда актуален: книга Meditations, ей уже 2000 лет, но актуальна и по сей день, рекомендуется

Брудль был раздражен. Он уже десятки раз перебирал значения возможных физических констант, но его мир никак не хотел работать. Либо коллапс, либо безудержное расширение — ничего, что можно было бы показать руководителю и не получить при этом по шее. Друзья уже успешно справились с этим заданием, но делиться своими результатами не хотели, так как профессор был весьма суров к тем, кто списывает. Еще один эксперимент провалился. Мир загорелся яркой вспышкой — и тут же сжался в точку, с которой все началось. Но, кажется, это было чуть медленнее, чем в прошлый раз. В глазах Брудля появилась надежда. Изменив значение начальной плотности на чуть меньшее, он чуть дрожащими руками нажал на кнопку компиляции. ... https://gamedev.ru/community/pd/articles/Creator

Супер нано компактный фантастический рассказ Сергея [Владимировича] Иванова, 8 тыс символов, угарно

🙈

Дал тут интервью Сергею Сухову (его подкасту Ноосфера) на 1.5 часа про прогресс науки/инжиниринга, психологию, сознание - главные интересующие меня темы:

Прогресс
- Что люди ни хера не связывают, что все вокруг них как они сейчас живут - это результат сделанной когда-то кем-то науки
- Технологический прогресс самоценен даже чисто для роста гуманизма в мире. Он продуцирует гуманизм, так как только он отдалял людей от внутривидовой конкуренции и выживания в экосистемах на пределе своих возможностей. И люди сумели отойти от жестоких инстинктов и направить силы и внимание на дальнейшее [в тч коллаборативное] развитие получения энергии и материи из природы вокруг НЕ через привычную внутривидовую конкуренцию/НЕ через био-субстрат
- Что технологический национализм растет в последние годы противостояния Китая и США
- Что Илон Маск делает технологии двойного назначения - в плане и для освоения Марса, и одновременно фигачит адскую выручку от продажи Starlink, не дожидаясь пока NASA увеличат свой бюджет на космические запуски с $5 млрд/год последние лет 10-15 (А Безос с прибыли от 1.5 млн сотрудников Амазона реинвестирует в свой космический Blue Origin)
- Сложность современных исследований, их удорожание, снижение отдачи от науки в world of atoms (Питер Тиль уже лет 10 это говорит)

Сознание
- Что Тегмарк и Ян Таллинн психотерапию не делали и раскрутили за 10 лет мировой маховик AI паники/апокалипсиса
- Что AI, конечно, появится, но он будет другой природы, не как наш - эволюционно созданный [комбинаторным перебором с нуля во вселенной, где не было complexity и не было богов] поверх био субстрата жизни и, соответственно, на биосубстрате - это с волей агентов,
а
- Менее агентский (пусть и более умный в распознавании паттернов и закономерностей), т.е. цели преследовать сможет, но эти цели ставятся извне, создателями AI, а на обретены как движущая сила эволюции с момента первичных репликаторов/когда первая живая клетка на земле сумела разделиться и поехало размножение

Духовное
- Что на Западе модно для некоторой доли популяции искать трансцендентное на Востоке/Азии, но там просто другие подходы - колесо Сансары, а не европейский конец света + материализм
- Сознание людей по мере прогресса поменяется, но это все будет результатом постепенного увеличения optionality и choices за счет технологий. Пока не залезем в биосубстрат/гены/мозг - принципиально, мне кажется, изменений в сознании людей не будет. Пока ближе всех Neuralink подошел - и вот когда научатся влиять на мозг, стимулируя его нейроны/меняя их веса, а не просто считывать сигналы с него

Резонанс с реальностью
- Это более энергонаполненное состояние души и, одновременно, взаимодействие с реальностью на всех ее слоях

Расселенность мира удивительна, с т.зр. числа людей на занимаемые ими территории

И причем много лет инерция этих демографических процессов (да даже 500 лет ехали-ехали на отвоеванный у индейцев континент, и все равно не оч заселили)

И при этом ВВП стран оч отличается, неравенство реально высоко. Несмотря на все достижения 20го в./прогресса + усилия международных организаций. А Китай там за 20 лет по душевому ВВП, конечно, скачок сделал, ппц

При этом из 8 млрд населения мира всего лишь 300 млн чел живут НЕ в стране своего рождения. И эта доля 4% сохранялась весь XXый век. А США, кстати, могут свои взгляды на иммиграцию и поменять?

**

Make America Great Again - это суетиться, ачивить, удержать свои уровни и темпы ВВП на все равно каких-то абсолютно запредельных по мировым меркам высотах

Идет набор на нашу с Юлей январскую 12-ую группу Soulmates Superheroes по личностному развитию

Это вертикальное развитие/спиральная динамика (Кук-Гройтер, Торберт, Бек), спектр инструментов личностного развития, интегральные взгляды на мир (Уилбер, Дойч, Тегмарк)

7 созвонов в zoom раз в неделю:

1. Структурированные рацио frameworks что цивилизация знает про личностное и духовное развитие

2. Теплая уютная группа единомышленников для совместных практик и обсуждений в бережной среде

3. Трипы в глубины подсознания через ЭОТ - эмоционально-образную терапию

Для кого? Кому нужен прорыв в карьере, кто хочет стать фаундером, кому нужно вывести компанию на новый уровень/создать новый бизнес, изучить новые грани себя

Детали: http://bit.ly/3ieEI3N

Для участия и краткого интервью пишите в тг Юле @julisache

Wow, there is a recent “Metascience 101” podcast, a crash course in the debates + issues + ideas of the modern metascience movement in the USA

Metascience = science on science: how to manage, improve, optimize scientific process. IFP did many inside talks & now go public. There were 9 episodes, that's summary of Episode 1: Introduction:

Who
- Caleb Watney, co-founder of Institute for Progress (by Erik Schmidt, to compete with rise of China) - 40 ppl think tank on innovation policy in Washington, lobby simplified high skill immigration + deregulate infra construction + metascience
- Dylan Matthews, journalist at VOX
- Heidi Williams, economist/NBER

Science is important
- U.S. federal gov is the world’s largest funder of basic research, thus impacts entire humankind. National Science Foundation (NSF) grants $10 bln/year (and 3x more by uniiversities) + National Institute of Health (NIH) for applied biomedical R&D $45 bln/year
- Private sector also, but they under-provide research relative to the level that we might want as a society, thus we try to incentivize by R&D tax credit, by patents (yet lots of basic research isn't even patentable). Intricate scheme
- We should spend a lot more

Pharma
- If a drug discovered today, published in Nature, it can be 12-16 years before sales - trials to show safety & efficacy. Statistical tests show if we had a tech with shorter clinical trials, we would get more innovation (e.g. cancer drugs will save more lives)

From PhD to independence
- We're lucky that lots of foreign students want to come to U.S. universities/seen as a premier research environment. After PhD you become postdoc (often complicated for internationals cause limited for certain types), apply for grants for your lab (may take 6 months for NSF, 18 months for NIH) so you plan a lot/salaries of ppl in your lab
- Lengthening of trainings
- You fundraise your salary in addition to research costs, so people look what funders are interested in, and not on own best ideas
- Historically, scientists were funded by patronage so they could work on own directions. For project-based grants it can be very hard to pivot research from one way to another

Team science
- Ben Jones: structures we use to fund science are static last 100 years, despite rise of team science (pic 1900-2010), one of the most important changes in our lifetime, Einstein solo couple of summers vs. Large Hadron Collider
- Nobel Prize is a very individual recognition, how we evaluate people's work is not for team science, such disconnect

Immigration
- USA 4% of the global population. To be a scientific superpower we need maximize agglomeration effects - a bunch of really smart ppl together are more productive, enormous returns
- Bohr/Denmark, Rutherford/New Zealand etc.

Solutions to improve funding
- Scientists submit proposals for promising avenues, create a budget (rough), then a panel of peers grade across a number of dimensions: promising? social impact? probability? enough ppl's track record? So, the average opinion of peers for grant funding agencies
- Consensus-oriented review processes might bias against high-risk, high-reward research

Experiments
- Hughes Medical Institute or Arc Institute - person-based funding, lots of freedom
- ’Fast grant’-style programs, like Patrick Collison and Tyler Cowen did with two-week/two-day turnarounds in the pandemics
- Like DARPA (Defense Advanced Research Projects Agency) - now ARPA-E for energy, ARPA-H for health. To give a really wide scope & autonomy to particular program managers who can then try to push grants or technologists & engineers to work on a very specific problem. Portfolio approach

Doing metascience
- In 10 years via systematic studies to build evidence and get metrics, iteratively, for different funding mechanisms. Learn what works, address specific problems, A/B tests like in biz
- Basically, apply core scientific approach to the institutions that fund and incentivize science

Peter Thiel летом 1 час общался с подкастерами про мир, Китай, итп. Не пойму - он мрачный или реалист?

Мир через 20 лет
- Хз, людям оч сложно отвечать про будущее. Уже лет 15 говорю что с 70ых стагнируем всюду кроме компов. И сложно обсуждать, тк живем в поздний модерн, где все узко специализируются. А многие естественные науки стали коррумпированы, политика, бюрократия - и люди избегают риска и смелых идей
- Закредитованность стран растет, уровень жизни нет, но ведь занимать у будущего можно если ждем рост? А это уже не так. В госинститутах регуляции, стагнация, деменция..

Смелость vs. гениальность
- В Долине/Гугле любят IQ тесты при найме, но эти люди почему-то не креативны и не impactful в прочих вещах. В академии тоже больше нет междисциплинарных эксцентриков, хотя да, IQ высок.. Смелые не идут - им там не проявиться
- Я НЕ pro-asperger. Нейроатипичность в Долине переоценена, быть на спектре bad, разве чуть-чуть. Да просто всего лишь некая доля людей [правильно] идет против явных перегибов в обществе/вокизма

AI
- Повлияет на мир как инет в 1999, но конкуренция чет совсем, лучше ресторан открыть, будет совсем как в дикой природе. Нужна уникальность. Но все равно флуктуации: Amazon в 2001 котировки рухнули, аж в 2009 вернулись на уровень 1999г, с тех пор 25x сделали
- AI будет как компы, как все со времен промышленной революции. Остается сложный вопрос редистрибуции - не захапают ли все несколько корпораций
- Я на противоположном полюсе от AI-doomers и прочих effective altruists - пусть они сперва между собой разберутся, что опаснее - AI или климат =)

Мировое правительство
- Во всех existential risks есть 3 типа людей: кто искренне верят, полезные идиоты и коррупционеры. Если вдруг допустить их precautionary principle и что AI опасен, то миру нужно оч суровое мировое правительство, строже чем против атома
- Миру не нужно единое правительство, оно же выйдет тогда оч тоталитарным, бюрократичным, с высокими налогами. EU тоже начинали с хорошего, и какой бюрократией все окончилось?

США
- Что делать с дефицитом бюджет - непонятно. Бессрочно растить долг? Левые бы хотели рост налогов. Я либертарианец, нужно дерегуляции, см в окно: ни одного небоскреба в LA сейчас не строят - как это возможно?
- Может, винить соцсети за все плохое - это просто scapegoating? А вина на образовании..
- Кстати, вирус вокизма выстрелил именно по соцсетям, а в эпоху ТВ не было..

Мир
- До 1950ых был развитой мир + третий. Глобализация все превратила в развитой + развивающиеся

Ислам
- В 1930ых в EU было 10 млн евреев и 5 млн мусульман (Балканы), сейчас 2 млн и 50 млн. EU слишком рыцарски: “наши институты работают, они станут либеральными и продуктивными людьми”
- Ближний Восток - отвлекались за 20 лет на Ирак, а фокус Запада нужен на Иран. Если получат ядерное оружие, вспыхнет регион? В 1949 СССР сделал атомную бомбу и через год началась Корея. В 1964 Китай и через год - Вьетнам. И US уже не могли сильно ударить по СССР и Китаю..

Коммунизм
- Обычно когда вырос новый лидер - конфликт. Запад оптимистично смотрел на восход Китая, а лидеры Китая - нет, ждут стычки. Что может вести к конфликту на Тайване или к разъединению с Западом
- Мы их долго недооценивали. Еще с 1989: берлинская стена рухнула, но на Тянаньмень погибли люди и США закрыли на это глаза (B.Scorcroft ездил: “вы же с нами против СССР?”). С Китаем стали торговать, приняли в ВТО итп. Если бы такое консьюмерское отношение было, UK потеряли бы отрасль кораблей и сейчас не защищали бы Тайвань
- Ошибка фантазий Фукуямы о конце истории затянулась аж до первого президентства Трампа. Нам нужно больше реализма в том, насколько мы расходимся с их тоталитарностью. Китай видит себя next America, т.е. доминантой в мире, сложный setup..

Тайвань
- Думаю к войне мы не готовы, а будет экстремальное размежевание (Китай уже неск. лет запасает еду, нефть итп)
- Да, Запад связан с Китаем в 100x больше чем были РФ и Германия/Nord Stream 1,2, но ничего не значит, а немцы вот погрузились в вопросы энергетики..
- Шире: Китай всюду в мире мобилизует развивающиеся страны против развитого мира

State of AI 2024 от N.Benaich, часть 2, а ч. 1 тут

II. ИНДУСТРИЯ
- Databricks и Snowflake свои LLM сделали для in-house use by enterprises. Цены LLM по API упали за год в 100x у OpenAI и 60x у Anthropic, но все бигтехи мечтают о продуктизации. Mistral пока не догнала амерские AI labs
- Антимонопольщики начали поглядывать на связи OpenAI/MSFT и Anthropic с Amazon & Google + делать fake acquistions (типа Adept/David Luan или Inflection/Мустафа Сулейман)
- Конкуренты Github Copilot подняли $1.5 млрд. Узкие tools/frameworks не успевают раскрутиться, а их уже как фичи влепили hyperscalers (e.g. векторные БД). Но AI search (Perplexity) вроде что-то нащупывает
- По копирайтам пока непонятно, но OpenAI и Nvidia давно напарсили миллионы Youtube видео. Суды оч. сужают требования авторов, будем ждать итоги

Self-driving: растят города для тестовых поездок
Гуманоиодные роботы: Figure, Sanctuary, 1X подняли $1 млрд в тч от бигтехов

- Из главных лаб шли уходы людей пилить свои стартапы, но сложно (H подняли $220 млн и сходу распались - Тиль прав?)
- Text2speech рулит (ElevenLabs). AI-first продукты начали показывать stickiness в enterprises (GPT, Grammarly, Anthropic, Midjourney, Otter). У юристов genAI проникает. Что будет в speech2speech?
- В видео 3 стартапа борются с OpenAI: Runway, Pika, Luma, подняли $500 млн

- Инвестиции в AI в 2024: $85 млрд (из них 2/3 genAI, а по гео - $56 млрд US и $8 в Китае). 70% пошло на раунды свыше $250 млн, т.е. в 50 компаний из тысяч стартапов. Для VС-funded AI стартапов сектора больше в robotics, enterprise software, space, security
- Частных AI фирм на $2.2 трлн капитализации, а публичных на $6.7 трлн (там $3 трлн Nvidia?), в 2020 в 3x меньше.
- IPO рынок мертв 3ий год

III. ПОЛИТИКА
- EU AI Act приняли в оч жесткой версии, бигтехи в тч Apple, Claude итп не сразу выкатывают в EU свои AI продукты. UK вырабатывает регуляции. Китай требует отправлять результаты тестов на десятки тыс вопросов для принятия решения о разрешении какой-либо модели
- Санкции США растут дальше, но не затормозили LLM Китая (в тч опенсорс DeepSeek, 01.AI Кай Фу Ли, Zhipu AI, Alibaba) и у них есть фанаты по миру. CHIPS Act сработал, первый завод TSMC в US начинает работу
- GPU кластеры бигтехов в десятки раз больше чем в универах и у властей
- Бигтехи в США уткнулись в физические ограничения скорости ввода электрогенерации: Meta хочет датацентр на 1 гигаватт, а msft/openAI суперкомп за $100 млрд и 5 гигаватт энергии (1 блок АЭС ~1 гигаватт)
- Anduril идет в автономию для оборонки, в EU тоже есть игроки
- Идут дискуссии как AI повляет на мировую экономику

IV. БЕЗОПАСНОСТЬ
- От уничтожения человечества разворот к “а как нам увеличить выручку от enterprises?” =). Но Sutskever итп ушли делать свой, "более безопасный AI" =)
- В UK власти сделали AI Safety Institute (AISI) - это наследие effective altruists? =))) Изучать риски хаков, jailbraking, биотерроризма. Прочие страны стали копировать подходы UK и сетапить рисеч институты о безопасности своих инфраструктур
- Проблемы нестабильности genAI моделей остаются, что резко тормозит их применение в реальном мире. RLHF пока сфера рисеча, непонятно. Улучшение LLM за счет LLM тоже пока зона неизвестного
- Anthropic стали юзать sparse autoencoders в попытках добавить interpretabilty LLM. Это полезно для выявления harmless prompts, но и одновременно злонамеренные акторы получают инструменты для атак

V. Прогнозы на 2025ый
1. $10 млрд госинвестиция из-за рубежа в какую-то из US AI labs потребует одобрения от national security
2. Кто-то не умеющий прогать сделает топ100 апп
3. Лабы начнут улучшать практики сбора данных по мере судов
4. EU AI Act смягчат тк поймут что перегнули
5. Запилят опенсорс версию o1 (агент, RL) которая побьет OpenAI
6. Nvidia пока останется на коне
7. Инвестиции в человекоподобные роботы снизятся тк у компаний будут сложности с product-market fit
8. Apple своими рисечами вдохновит других на индивидуальные AI девайсы
9. Статья от AI scientist попадет на топ конфу
10. Выстрелит игра про интеракцию с genAI элементами

7-ой ежегодный отчет State of AI 2024 от Nathan Benaich/Air Street VC. Он давно классно собирает big picture, аккуратен и оч бизнесовый

Часть 1:

Его термины: AI - любая intelligence не у людей/животных, AGI - что-то круче людей по всем когнитивным способностям по economically valuable tasks

Обзор делает его прогнозов 2023 года =)
- GenAI для VFX уровня Голливуда - угадали
- GenAI фирма попадет под следствие из-за выборов - мимо
- Self-improving агент побьет SoTA в каком-то окружении - пока не
- IPO оживут и будет big AI IPO - ждут конца 2024го ((
- Появится модель на $1 млрд тренинга - ждем еще годек )
- По AI governance будет мало прогресса - угадали
- Фининституты начнут давать кредиты на GPU вместо дорогих денег от VC - мимо
- AI песня попадет в топ чартов - да, Heart on My Sleeve
- Большая AI компания пойдет в чипы для inference - бигтехи давно, OpenAI - анонс дали

I. RESEARCH
- LLM догнали OpenAI (конвергенция состоялась, в тч llama3 догнала closed source models), но те релизнули o1 (в 3-4 раза дороже) - и терь все за planning и reasoning гонятся. И в нишах математики итп suprisingly strong results, но это, естественно, не опенсорс как в обычном софте, а рандомные раскрытия или нет весов, лицензий, данных итп
- Foundation models показывают что можно и в прочих НЕ языках создать value: math, биология, геномика, физика итп, нейронауки
- Как давно и предупреждали, утечки вопросов в тесты ставят вопросы о том, насколько вообще адекватен бенчмаркинг. RAG бенчмаркать пока не научились
- AlphaGeometry (symbolic deduction engine) от DeepMind сделала 25 из 30 задач олимпиадного уровня/уровеньь gold для людей
- LLM научились уменьшать в разы (в тч за счет квантизации, полезно на устройствах будет) без особых потерь в метриках. Карпаты говорит размеры моделей говорят о не эффективности подходов к обучению
- Трансформеры варьируют/hybrid models с attention, но хз куда вырулит. 74% моделей трансформеры + 22% RNN = 96%, 4% прочее
-Перспективы synthetic data для трансформеров сейчас не так оптимистичны как ранее. Вышел 15 трлн токенов датасет от hugging face (96 датасетов). Но data curation может снизить затраты на обучение (кажется это сделали Кай Фу Ли, не?)
- Опенсорсная Molmo от Allen Institute не хуже проприетарной gpt-4o
- Ну про Stable Video Diffusion все слышали ) А мета добавила в свою Movie Gen сетку еще и сразу озвучивание
- LLM сосут в simulations и planning. Все пробуют какие-то сочетания с RL
- Stable Diffusion стали осваивать пространственные ограничения 3d мира
- Все передовые лабы (стартапы + бигтехи) срезали масштабы публикации статей впервые за 7 лет, академия догнала. США 30%, Китай 22%, EU 23%

Биология
- AlphaFold вышла версия 3, получше, но уже не опенсорс. Baidu выдали HelixFold3, Chai-1 на деньги OpenAI итп. DeepMind вышли из стелса с AlphaProteo. Meta прибила EvolutionaryScale, но выходцы продолжили сами, выпустили ESM3 (sequences, structures and functions of proteins одновременно, не просто sequences)
- Бигфарма пробует запилить тест Polaris - benchmarking platform for AI-driven drug discovery (!)
- Пилится некая модель для fMRI/заход на BCI

Материалы
- Пилят трансформер по Materials Project Trajectory dataset - with millions of structures, energies, magnetic moments, forces, stresses

Роботы
- OpenAI вернулись к теме, а DeepMind лидеры с их AutoRT (VLM for environmental understanding + LLM to suggest a list of creative tasks the robot could carry out). HuggingFace добавили LeRobot

II. ИНДУСТРИЯ
- Nvidia выручка $30 млрд в квартал, AMD $6, Intel $12. Если в 2016ом вложиться в стартапы по чипам для ML (Groq, Cerebras итп), то было бы 5x, а Nvidia с тех пор 20x
- Все бигтехи и фигачат кластеры, связь внутри них, итп, и свои чипы начали пилить типа как гугл давно TPU - все устали от маржи Nvidia
- SoftBank когда-то экзитнул из своей инвестиции в Nvidia, а сейчас опять собирает пачку компаний (Arm, Graphcore) чтобы зачелленджить Nvidia
- Санкции США работают - Китай уже не 20% продаж Nvidia как раньше. Но обход санкций по GPU тоже наладили

Часть 2 тут

Там Степа Гершуни постил ссылку на видео чуть меньше часа, где Jake Sullivan (советник Байдена/Хиллари/итп по безопасности) выступал в National Defense University

Даже если демократы 6 ноября проиграют Трампу (пока все еще до конца непонятно), все эти инициативы останутся

AI доктрина США
- Хантим для нас таланты (разрабы, фаундеры, инженеры) упрощая визы, десятки млрд $ стимулов для производителей чипов (Chips and Science Act)
- Строим инфраструктуру clean energy, понимаем требуемые масштабы энергии которые потребуют AI датацентры - нужно для удержания нашего edge добавить десятки гигаватт в ближайшие годы (а лучше сотню гигаватт)
- Развиваем governance + мы успели зачекать модели которые пошли в продакшн по миру. Но наши враги в эпоху геополитической конкуренции (Китай растит R&D бюджет на 10%/год) могут быть быстрее и обогнать нас в оборонке и разведке, обрушить наши преимущества что мы копили десятки лет под водой или в космосе, и прочие стратегические сюрпризы
- Топ-фокус контрразведки - защита от атак/cybersecurity на наш частный сектор в AI. И мы потащим не самых типичных вендоров - топ-решения в AI и cloud от частных компаний на внедрение в national security сферах
- Нужно уметь тестить AI/создать для этого стандарты + делать его без bias’ов, чтобы за пределами США страны нам доверяли: и по safety/чтобы не было misuse, и опознавать по watermarks итп что люди с AI взаимодействуют. На 20 стран уже выкатили, а по military use 50 стран уже подписалось. В мае общались с Китаем. Это даст в тч ясность для частного сектора кто собрались по миру вложить сотни млрд $
- Мы продолжим ограничения Китаю на топ-чипы, впрочем, Китай фигачит свою экосистему и тк им плевать на privacy данных, она позволит им массовую слежку, цензуру и misinformation
- Нашу AI доктрину надо будет (как Эйзенхауер про нашу ядерную доктрину говорил) постоянно rethink и leadership, но мы справимся и конкуренцию в XXI в. выиграем

Q&A:

Иран: Они десятки лет через своих proxies дестабилизируют мир на Ближнем Востоке, боремся всеми мерами как можем + ядерное оружие им не допустим. А вообще может там народ выберут наконец себе другой режим..

Ускоренная адаптация: Мир показал, что сейчас оборонные технологии стали резко быстрее меняться/распространяться/адаптироваться, и это накладывает беспрецендентные вызовы на логистику итд итп

Фентанил: Год назад Байден и Цзиньпин встречались в SF, с тех пор Китай много проколлаборировал, двигаемся. И в целом - Китай в оборонке последние пару лет стал позволять встречи руководства, а лет 10 такого не было

Когда-то давно в посту (аж на Medium =)) "Как правильно быть пациентом психолога?" я писал то, что был бы сам рад прочесть до знакомства с психотерапией. Хочу заапдейтить:

Что понимал:
1) Зачем делают терапию
- Объяснение своих эмоций, реакций, страхов, агрессии, рост контакта с собой. Убирание телесных напряжений, всплесков, онемений
- Выявление личностных сценариев/проекций/способов получения любви от близких и от мира + причин откуда взялось, разделение своего и чужого
- Примирение, принятие, благодарность к родным и к миру

2) Почему она работает
- В нас могут быть глубоко вшиты автоматизмы, которые мы не выбирали. Это магия эволюции, комбинаторная игра Вселенной: она перебирает и наши гены, и семьи где мы росли, и мир где мы социализировались
- Себя оч. сложно увидеть извне, слепая зона, у психики тонна обманок и [ложных] рационализаций. Суть терапии - в отстраненности психолога от вас и внутреннего диалога. Плюс он знает механизмы (со всем знанием, накопленным цивилизацией) и с вами их обходит, раскапывает
- Сознание, эмоции и тело оч. связаны, эмоции объёмно “хранятся” в теле и это важно разбирать

3) Как выбрать терапевта
- Женщины-психологи в целом круче мужчин: гуманистичнее, теплее, гибче. Также, чаще доверие у всех выше с мамами, это биология
- Хороший психолог после учебы в институте (а на Западе еще и лицензирования) проходит регулярные супервизии, а также сам прошел много личной терапии -> не проецирует на вас свое. Не обсуждает других клиентов. Не обещает. Этичен

4) Как идет процесс
- Терапии, фундаментально, отличаются только степенью доступа в подсознание. Если психолог такое умеет и личностно проработан - ваш прогресс будет на глазах
- Западная школа психологии слишком тяготеет к рацио (в пределе аж КПТ) - что якобы все можно выразить словами/от ума и сознание первично
- Нужно формулировать запрос - психолог вас никуда не тащит. Но прикол в том, что подсознание знает куда нам надо
- Важно быть оч. открытым к новому, т.к. закрытость - это всего лишь защитные механизмы психики
- На сессиях может быть сложно/слезы/телесные ощущения итп, но это и есть индикатор, что удалось залезть в подсознание. И потом может несколько дней идти интеграция

Новые понимания:

Личная терапия
- Терапевтические отношения (регулярные встречи) с психологом сами по себе целебны - донабрать доверие, спокойствие, тепло, принятие
- Вещества не инструмент развития, а просто походы в иллюзорные реальности или [групповая] регрессия
- Я перестал делать Ошо-динамику, а затем и просто медитировать по мере прогресса в терапии. Тиль дошел до терапии, Равикант подступается, Маску - не надо =)
- Юнг еще 100 лет назад описал, что западным людям больше подходит диалог/исповедь, а медитации/интроспекция - это для восточной культуры
- Терапия растит нашу целостность, высвобождает энергию. Начинал с поиска спокойствия, но сместился в резонанс - радостнее и объёмнее взаимодействовать с миром

Если уже и дозреваешь, но все еще боишься терапии
- Люди могут улетать в духовную прокрастинацию
- Или может быть невыносимая тяга к т.н. эхо-камерам - это чаты/тусы/блоги, где просто люди со схожими механиками травм
- Также, люди могут декларировать, что якобы в терапии, а на самом деле нет

Групповая - не только идешь свой путь, но и видишь как у других - что схоже, а что по-разному

Семейная
- У личной терапии есть фишка - работаешь над собой, но отношения улучшаются с другими
- Семейная терапия сложнее в поиске психолога. Мы перебрали человек 7, включая уход через 15 мин и не сговариваясь от дядечки с сессиями по $400 - а мы на тот момент жили отдельно, эмоционально было крайне напряженно и вообще

Духовное
- Есть, по сути, всего 3 уровня глубины работы с собой:
1. Информация/книги/видео/практики итп - копишь знания
2. Работа с внешним наблюдателем/психологом. Нужно решиться
3. Информация как субъективно переживаемая истина. Личностное развитие может вести к духовному/трансцендентному
- На разных этапах жизни у нас разные источники энергии

**
- По семейной терапии пишите мне - дам интро на волшебную Ольгу
а
- По личной терапии обращайтесь к Юле

Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.

Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)

И еще 3 цитаты Ли:

Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.

Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.

Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.

А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.

#ИИгонка #Китай

У Ричарда Докинза вышла книга Genetic Book of the Dead: A Darwinian Reverie и ее _НЕ_ надо читать, и вообще никакие из полутора десятков его книг читать _НЕ_ надо,

а

Читать у него надо только самую первую - Selfish Gene 1976г, где он ввел концепцию мемов + описывают суть первичных репликаторов (клеток, жаждущих размножиться) + описывает симуляции на компах как сети коллаборирующих агентов выигрывают у читеров + как в нашем теле и геноме все между собой конкурирует (e.g. раковые клетки растут, скачут транспозоны, кусочки нашего генома пытаются размножиться не половым путем, а улететь как вирус через воздух и жидкости к другим геномам итд итп)

Но

В книге есть несколько красивых иллюстраций. Просто как грани Вселенной, где мы все с вами обитаем
- Овца и кошка - просто разница в длине кишечника
- Предпоследняя картинка - гемофилия у монархов (а в среднем у мужчин 1/5000 - 1/25000)
- Последняя картинка - это что когда-то население всех людей мира падало за 250 тыс лет до буквально нескольких тыс (!) человек

Тут Eric Schmidt 40 мин отвечал про все сразу - и AI, и Китай, и геополитику/датацентры у арабов за $100 млрд:

SCSP
- Это было на конфе его НКО - Special Competitive Studies Project, с 2021, цель - обеспечить США лидерство в tech и экономике к 2030
- Замутил ее с Киссинджером (недавно умер, над ним еще шутили авторы книги AI Snake Oil)

AI
- В отрасли много интересного идет, на больших масштабах. В ближайшие 1-2 года появятся нишевые LLM, верю в них. LLM = просто language to language компьютинг
- В кодинге LLM конечно оч. полезно, 40 лет руководил разрабами, никогда не делают что просишь
- Для науки оч круто если математику компы смогут и гипотезы выдвигать, и доказывать, есть язык для этого, я финансировал его создание
- Смена работ из-за AI будет, но ведь в первую очередь убирают самую повторяющуюся и нудную работу e.g. охранники
- Прогресс в AI - это с какой скоростью добавляешь туда людей, обученных в научных и инженерных дисциплинах, и странно что Вашингтон все не упростит им въезд

Китай
- Гоняли туда перед смертью Киссинджера. Они оч hard working, умные и видят куда идти. Пилят fusion, кстати
- Санкции на чипы плохо работают, все равно много просачивается
- Гипотеза, что для AI нужны данные и Китай выиграет из-за anti privacy - не оправдалась

Энергия
- Чипов надо в ближайшие годы в 10x больше, а вообще - бесконечно. А датацентры уже 3% электросетей US, а будет 7-8% через 5-10 лет. Через 4 года электричества в US не хватит. Одобрение/постройка новых линий электропередач может до 18 (!) лет занимать - я реально боюсь умереть до этого, власти/госсектор - не для быстрых изменений [вот зачем Маск хочет дерегуляции и DOGE - Department Of Government Efficiency]
- Для солнца и ветро надо батареи и AI поможет в material sciences их улучшить, займет 5-7 лет, но сырье для них и редкоземельные элементы - 70% мирового производства у Китая (и чуток в мутных Боливиях Конго)
- Угольные станции в США не дадут строить, но газовые будем. OpenAI поэтому и хочет чтобы Сауд Аравия/Катар/ОАЭ (я тоже с ними много общаюсь) быстро построили электростанций и датацентров на $70-100 млрд, не переживая про security risks + те берут на себя обязательства по зеленой энергии. Мы разучились строить вообще что-то, а арабы умеют оч быстро строить
- Надо переоткрывать АЭС в США + строить новые. Но в США 11-13 лет займет одобрение, никакой learning curve такими темпами у нас не будет
- CO2 след от AI будет сглаживаться прогрессом электроавто итп

Fusion/термоядерный синтез
- Я вовлечен в один проект, есть ощущение, что за декаду сделают. Будущее целиком за fusion. Это помимо того, что это вопрос нацбезопасности

Геополитика
- Европейские сетки все тренятся за пределами EU, чаще в US. Арабские датацентры, как минимум, будут делать ВЕСЬ inference для EU, тк в EU запретительно дорогая энергия (даже по super deals, я общался с Макроном)
- В Китае есть кластеров на 600-700 тыс GPU + у OpenAI, Meta, Anthropic, Google + Малайзия - итого меньше дюжины мест
- С т.зр. national security можно там тренить НЕ секретное - мы доверяем Франции, Германии, еще ряду стран + может Япония, Корея - итого 8 стран. Индия - им не так доверяем. Пытаемся понять можно ли у арабов. Секретное в любом случае в странах Five Eyes (US, Canada, UK, New Zeland, Australia)
- В целом, проблема безопасности и хаков остается вне зависимости от того, где свои модели тренишь

Датацентры
- Европе надо строить свои, а иначе системы с AI в реальном времени не получатся из-за задержки сигнала/latency
- Тренинг больших моделей требует все время проворачивать оперативную память целиком -> все должны быть в едином кластере. Inference будут делать там же, где и тренят, те же сервера. 100 тыс GPU стоят $5 млрд, а обесцениваются за 2 года
- Microsoft строит в Висконсине датацентр больше, чем все гугловские вместе взятые, на несколько гигаватт - это как на несколько млн домов

AGI
- В, как я называю, "сан-францискской школе мысли” ждут AGI (умнее, чем все люди) через 18 мес - думаю, это не вопрос ближайших лет. Self-driving авто 30 лет уже пилят, и какое проникновение?

В тему нобелевки по экономике: статьи Daron Acemoglu я читал в магистратуре, когда учился на институциональной экономике

Он интересен тем, что родом из emerging market (армянского происхождения, вырос в Турции, только потом MIT), и поэтому и смог чуть отойти от махрового англосаксонского exceptionalism’а

Впрочем, никакие экономисты не дали ответов, почему в одних странах строят всякие работающие общественные институты
А
В других нет

Все оканчивается на т.н. path dependence theory - зависимость степени развитости институтов от всей предыдущей исторической траектории страны 🙈🙈🤣🤣 Но для таких выводов не нужно быть экономистом ))))

Мое текущее отношение к экономике - она, к сожалению, бесполезна как что-то объясняющее про мир. Не обращайте внимания. Даже если очень няшные и харизматичные типа Олега Ицхоки итп 🙈🙈🙈

Системы из множества агентов со своей волей и активностью (и психотравмами, и вытекающего из этого электорального запроса) возможно (как и компьютерные нейронки) просто демонстрируют эмерджентные свойства и вселенная так создает complexity, и никаких механистических открытий про это не сделать

Даже очень сильные и одаренные люди могут иногда сталкиваться с кризисами, проблемами внутри себя или вопросами, которые в одиночку решить может быть сложно

Наша осенняя 12-ая онлайн-группа по личностному развитию Soulmates Superheroes вместе с дипломированным психологом (и женой =) @isachenkova стартует 30 октября (по средам)

Это вертикальное развитие/спиральная динамика (Кук-Гройтер, Бек), спектр фронтирных инструментов личностного и духовного развития, интегральные взгляды на сложный и взаимосвязанный мир (Уилбер, Дойч, Тегмарк)

7 созвонов в zoom 1 раз в неделю:

1. Структурированные рацио frameworks что наша цивилизация открыла про личностное развитие

2. Теплая уютная группа единомышленников для совместных практик и обсуждений в бережной среде

3. Терапевтические трипы в глубины подсознания через ЭОТ (эмоционально-образная терапия) чтобы трансформировать внутренние блоки, сценарии и ограничения в excitement, ресурсы и энергию

Для кого? Для амбициозных и ищущих пути роста дальше профессионалов. Для фаундеров или кто планирует им стать/кому нужно вывести бизнес на новый уровень/создать новый. Для тех, кто ищет доверительный круг для глубокого общения/кому нужно обнаружить новые грани себя

Подробности: http://bit.ly/3ieEI3N

Для участия пишите в тг @julisache

Отзывы вот.

Пошерьте друзьям, кому сейчас актуально

…

🙈

Вокизм действительно parasitic mind virus как Маск говорит. Washington Post с 2013 принадлежит Безосу

Национальный научный фонд США - с 2020 года число грантов, выданных ими на DEI темы, выросло с 1% всех выданных до 10%. Демпартия действительно очень стратегична, играет вдолгую, хотят за счет госбюджета свои идеологические штуки инсталлировать и в якобы научные процессы

С 1901 выдано 692 нобелевки (вкл. экономику) на 1004 чел и организаций

- 54% получателей жили в US (хотя родиться могли и в EU), всего 13 чел (1,3%) Китай и 19 СССР (1.9%)
и
- Как Оскар - мнение узкого клуба, а не цитируемость статей

- Всего 400 кластеров ученых (работали друг с другом или учились когда-то у друг друга) дают ВСЕХ нобелевских лауреатов, 700 лауреатов из 736 связаны same academic family

- 50% премий в 1995-2017 выданы всего в 4 сферах: физика частиц, cell biology, atomic physics, neuroscience

- 99% получателей из high-income стран, даже не средних (это $4-12к/год. А low income - до $4к/год). US сейчас $66к/год (и $47 30 лет назад), Китай $18к/год сейчас (и $3к 30 лет назад)

- Возраст ~58 лет. Самый младший Bragg 25 лет в 1915 с папой. Самый старший Goodenough в 97 лет 2019 за Li-ion батареи

- Из 1004 чел только 26 женщины, 11 до 2000 и 15 после
- В физике и медицине 2/3 премий - на 2 или 3 лауреата. В химии половина премий - индивидуально
- Десятки лет от открытия до награды

Илья Ясный в интервью упоминал, что аналог Elon Musk в биотехе - Нубар Афеян и его Flagship Pioneering. Что это?

История
- Noubar Afeyan армянских корней, дочь его открывала недавно с женой Рубена Варданяна памятник Авроре Мардиганян - выжившей участнице в геноциде армян 1915 года
- Родился в Бейруте/Ливан, вырос в Канаде, сделал PhD по biochemical engineering в MIT (биореакторы, ферментация)
- Начали в 2000 с выходцами из биотех VC Morgan Holland. До этого 13 лет работал в традиционном подходе (в 1987ом в 24 года запилил свою первую компанию), прежде чем сместиться в contrarian подход

Масштабы успеха
- На 2017ый было инкубировано 75 компаний на $19 млрд капитализации ($250 млн на 1 компанию в среднем?), с 2017го добавилось еще 25 компаний на +$50 млрд капитализации
- 25 IPO, 9 тыс сотрудников в компаниях, сотня патентов в США и 400 патентов по миру, штаб-квартира в Бостоне
- Юридически как VC фонд, уже 11 фондов на $13 млрд привлеченных денег, 50 сотрудников (без учета entrepreneurs-in-residence)
- Широкой общественности стали известны через Moderna, когда в 2021ом запилили мРНК вакцину и Moderna (компании было 9 лет, искала ниши в прививках для животных) дорожала в 10 раз (мой пост апреля 2020го), сейчас стоят $20 млрд

В чем суть их подхода?
- Не инвестировать в биотехи как просто lifescience VCs, а прямо самим создавать такие компании, берут 50-80% доли (потом, естественно, размывается по мере привлечения внешних инвестиций)
- Делают т.н. платформенные компании - что ключевая технология может быть применена в разных нишах/сферах/продуктах, и для платформы важна diversity возможных применений/продуктов
- Платформа = комбинация и оффлайна, и цифровых данных
- Я не верю в удачу и exceptionalism, это иллюзия, я верю в создание систематических условий. We should go searching for extraordinary advances amidst what is otherwise pretty reasonable things, each connected to each other by short distances  -  we need to allow for leaps to coexist with the hard work of filling in the gaps

Для диптех бизнесов нужны 3 вещи:
а) Инновации (их supply от ученых не ограничен),
б) Менеджеры (а вот это узкое горлышко, Flagship Pioneering делают 6-8 компаний в год, а могли бы 20 - но нет людей с нужными скиллами + которые как ко-фаундеры/менеджеры развиваются в нужных направлениях)
в) Инвестиции
- Традиционная модель требует искать все это в разных networks, а они все собирают самостоятельно. Они делают эксперимент в институционализации инноваций

4 шага их инкубации:
1)
- У них есть entrepreneurial scientists, которые выдвигают амбициозные вопросы “What if?…” / где может быть breakthrough, а потом обсуждают внутри + с внешними экспертами (у Flagship большая сеть людей в отрасли, контакты со всей фармой), 80-100 таких explorations в год
- Мы пытаемся от будущего через 5-10-20 лет идти в сегодня

2) Делают фирмы-прототипы (ProtoCos) для каждого из таких потенциальных breakthroughs, 8-10 шт/год, проверить proof of concept. Что не смогло технически доказать состоятельность прорыва - прибивают

3) Стартапы (NewCo's) 6-8 шт в год, когда founding team проекта от "What if?…" доходит до "It turns out...”, дают много денег (чтобы пилить платформу для новых продуктов на несколько лет), делают борд, находят CEO, находят leadership team

4) Если все поехало (состоялся переход от просто технологической платформы к какой-то продуктизации), то эти NewCo's превращаются в GrowthCo's и привлекают внешние деньги и едут уже до extraordinary future value, и до IPO (25 шт c 2018го по 2024ый, но в фарме не надо быть юникорном чтобы выйти на биржу)

Про будущее
- Добавили к биотеху тему agriculture неск. лет назад
- 30 лет т.н. конвергенции digital и bio привели к тому (оч много что расшифровали и накопили данные), что у нас будет взрыв от микробов и иммунитета до генетических терапий/бОльшее использование CRISPR итп. И причем через 10 лет нам будет казаться, что мы реализовали всего 1% возможностей, которые у нас есть
- Протеины оч помогут в борьбе с глобальным потеплением

Кстати, к этому посту - первый график - это июльская Gartner hype curve для AI, и там AI engineering прямо ну ровно на пике хайпа сейчас ) LLM уже спускаются, а genAI в 2 раза ниже пика

а

Второй график - ежегодный бюджет NASA за 60 лет. Может быть, что в Gartner свою кривую придумали/адаптировали для айти, сперва долго вглядываясь в оффлайны? )))

Nikita Shirobokov синтезировал:

Один пост со всей ключевой инфо про AI

К счастью, я знаю как упаковать всё самое важное про AI в один пост. Я в СФ, делаю стартап на стыке LLM, CV и агентов. У нас коллабы со всеми лидерами AI, включая OpenAI. Мы треним свои оч крутые модели для узких индустриальных кейсов. У нас куча датки и гпу

TLDR - AI сегодня это инструмент для инженеров, которым оч дешево создают эффективные узкие микросервисы для решения бизнес-задач. Чем больше компания, тем больше выхлоп. $ здесь

Вот как все выглядит:
1. AI модели оч быстро умнеют. Если вы пробовали что-то год назад, и не работало, возможно сегодня уже работает. А если сегодня нет, то завтра

2. «Модели» не равно «продукты». Большинство AI моделей — это очень мощный инструмент, которым можно улучшить любой бизнес-процесс. Но нужны инженерные навыки

3. Почему так мало успешных коробочных B2B AI продуктов? Потому что инжиниринг собственных решений с использованием AI намного дешевле и эффективнее покупки любых коробочных решений. См. Klarna отказалась от Salesforce

4. Больше всего выигрывают корпы, кто тратят сотни млн $ на операционку с огромным легаси процессов, документов, кода, и данных

5. Прямо сейчас ~30% всех S&P 500 компаний нанимают AI инженеров, чтобы они выпиливали коробочные SaaS и замещали их кастомными AI решениями

6. «Кастомные AI решения» это в том числе и решения, при разработке которых был активно использован AI. Например, вам нужно инвойсы из пдф заносить в базу. Вместо покупки готового сервиса вы просите AI разработать вам соответствующий микросервис. Через 2 часа в вашем AWS задеплоен ColQwen2 с нужными промптами

7. Основное применение для AI сейчас: использовать большие и умные модели чтобы быстро разрабатывать небольшие и очень узкие сервисы для решения операционных задач с использованием более слабых моделей либо вообще без AI

8. Большие модели также юзают для анализа больших массивов инфо, автоматизации сложных процессов и исследований

Где AI может помочь любой компании любого размера:
- Сгенерить свои микросервисы и выкинуть все подписочные сервисы
- Построить автоматизацию везде где есть документооборот и операционка с данными
- Сделать оч мощное исследование для принятия стратегических решений
- Переварить неструктурированную информацию в структурированную информацию

Что будет завтра:
1. Правило большого пальца - если consumer AI продукт работает через чат, значит будет убит новой фичей ChatGPT

2. Consumer AI может жить если у продукта есть социальные механики, доступ к уникальным данным (e.g. медицинские записи), или если сервис недоступен публично (e.g. adult)

3. Новый вид коробочных b2b продуктов - агенты с высоким уровнем автономности. Больше всего выиграют небольшие компании с небольшим штатом. Я думаю, сравнимо с моментом, когда Тильда + Инста + Реклама в середине 10-х, когда расцвели небольшие бутиковые бизнесы

Заблуждения:
1. Если AI не считает кол-во букв r в слове strawberry, то более сложные задачи не доверить

AI тренят и проверяют на задачах, за которые условный J.P.Morgan может заплатить $1 млрд в год. Туда не входит подсчет букв в словах, ответы на детские, рассуждения о философии венгерских социалистов, и проверки фактов «кто такой Никита Широбоков»

2. AI генерит слова друг за другом, не понимает смысл, и не может быть частью надежной системы

АЭС это просто водяной пар крутит турбину. Ракета Falcon это просто струя толкает цистерну. Макбук это просто 0 и 1 которые включают маленькие лампочки. Иногда оч простые вещи могут быть фундаментом грандиозных по сложности решений

3. «А вот я читал в отчёте от эксперта…»

Вы читали не отчеты, а посты чуваков, кто за вас читали отчёты. Когда летом вышел отчёт GS, в постах цитировали только скептиков. Никто не цитировал положительный отчет McKinsey. Никто не цитировал очень оптимистичный отчет Deloitte. Никто не цитировал экзекьютивов f100, кто на earning calls объявили о начале 9 figure инвестиций во внутренние AI разработки

Большая часть скептиков банально расстроена тем что приходится наблюдать за AI вечеринкой в стороне. Вот и приходиться бурчать

Константинов в фб пишет: «Чтобы понять, как мозг управляет поведением, ученые строят все более сложные копии нервной системы. Такая модель, «схема электропроводки» организма, включающая все нейроны и все их соединения (синапсы), называются коннектомом. Существует несколько конкурирующих мегапроектов с очень серьезным финансированием, занимающихся исследованиями коннектомов. До сих пор самым сложным полностью воссозданным коннектомом была нервная система личинки дрозофилы, которую разрезали на крошечные сегменты и с помощью электронной микроскопии 12 лет наносили на карту все ее три тысячи нейронов и полмиллиона синапсов. Это исследование вышло в 2023 и дало очень интересные результаты (я о них писал, ссылка в комментарии).

А вчера в Nature вышла серия статей (сразу 11 работ, включая редакционную статью, - никогда такого не видел) по материалам исследований международной коллаборации FlyWire, за 10 с лишним лет составившей с помощью ИИ и добровольцев со всего мира полный коннектом мозга теперь уже взрослой дрозофилы.

Мозг плодовой мушки меньше макового зернышка. Но по сравнению с ее личинкой, достигнут огромный прогресс – коннектом взрослой мухи включает описание около 140 тысяч нейронов и 55 миллионов синапсов (для сравнения, в нашем мозгу – 86 миллиардов нейронов и 100 триллионов соединений).

Оказалось, мозг плодовой мушки состоит в основном из нейронов, которые принимают сигналы от глаз и обрабатывают их, - этим заняты две большие доли мозга, расположенные по бокам от его центральной части. То есть основная задача большинства нейросетей в этом простом мозге – создавать и анализировать картину мира, формируемую на основе зрительной информации.

Еще любопытно, что в мозгу гораздо больше афферентных нейронов (отправляющих сенсорную информацию в мозг), чем эфферентных (отдающих команды мозга мышцам) - первых 13.9%, а вторых лишь 1.1%. Формировать картину мира намного сложнее, чем управлять полетом.

Связи между отдельными нейронами в большинстве своем включали менее 10 синапсов, но есть привилегированные нейроны и соединения (помните "нейрон Путина" из поста про гиппокамп?), - почти 16 тысяч таких соединений содержали более ста синапсов, и лишь 27 «самых влиятельных» — более тысячи синапсов.

Ученые выделили 8453 типа нейронов, основываясь на их форме, - теперь это крупнейший каталог типов нейронов (в человеческом мозге идентифицировали только 3300 типов клеток).

Но еще важнее то, что эта карта уже используется для создания интерактивных моделей мозга, - ученые научились симулировать взаимодействие части этих нейронов и поняли, что и как именно делают некоторые из этих типов клеток. Парочка типов, например, отдают команду шагающим мухам остановиться – каждый своим способом.

А ученые из Калифорнийского университета в Беркли создали на основе этой карты работающую модель некоторых сетей мозга мухи, - в ней виртуальные нейроны обмениваются сигналами. Смоделированный мозг, например, реагирует на пищу. Хоботок мухи, похожий на язык, покрыт нейронами, чувствительными к сахару. Виртуальный мозг делал то, что делал бы настоящий мозг: он приказывал хоботку выдвинуться, чтобы муха могла есть. А если модель мухи чувствовала вкус сахара только с правой стороны хоботка, мозг посылал команды согнуть его вправо.

Для ученых, создающих подобные модели, FlyWire разработала «поисковую систему по мозгу» - Codex (Connectome Data Explorer), который позволяет любому человеку перемещаться по всем нейронам и синаптическим путям на карте мозга дрозофилы.

В Nature называют работу «монументальным достижением», и пишут, что «теперь, когда у нас в руках коннектом, понимание того, как нервная система генерирует поведение, становится гораздо более достижимым». По крайней мере, для мухи )

А исследователи уже приступают к гораздо более амбициозной работе: созданию карты мозга мыши, которая содержит примерно в 1000 раз больше нейронов.»

Мир чет выглядит как пустыня за пределами этих локаций. Это география авторов (а точнее универов, за которыми они числятся) научных статей, опубликованных в 100 ведущих журналах в прошлом году, ежегодный индекс Nature публикует

2-ая часть книги Харари Nexus: сети информации от Stone Age до AI (1-ая часть конспекта тут):

Ч.II: Неживые сети/компы (а не люди)

Intelligence и сознание
- Не путаем: 1-ое = достигать цели, 2-ое = способность к субъективным ощущениям (у животных просто рядом оказались и все). Мы пока не знаем как у нас сознание вспыхивает, так что на компы я бы пока не экстраполировал. А если вспыхнет - чувства это же чисто биология
- В 1950ые мир не видел в компах что-то больше калькуляторов, однако вскоре язык был освоен, а демократия - это язык

Алгоритмы
- Алгоритмы в XX в. стали торговать на рынках, в 2000ые вместо СМИ стали посредниками инфы, а сейчас и контент генерят. Соцсети долго валили все на государства “мы просто платформа, пусть люди решают”, но у сетей же прямой доступ к эмоциям людей
- Название книги nexus - “узел в сети”. Алгоритмы нас мониторят, советуют, вдохновляют, наказывают (хотя да, люди с древних времен привыкали). С 2014 US юзают Skynet - анализ сотовых метаданных выявлять террористов, другие страны тоже стали
- Конечно, бюрократии компы дают много пользы, но у меня фокус на рисках. Вообразите, что даст диктаторам BCI типа Neuralink?
- Мы, кстати, уже в post-privacy era: в мире 1 млрд уличных камер + у 140 стран сбор биометрии. В Китае в 13 лет камеры нашли девочку, проданную в рабство в 3 года. В Иране смс-штрафы женщинам без хиджаба. Еще сайты с отзывами по факту - peer-to-peer surveillance.
- Молчу про китайскую social score system (в EU вроде в AI Act хотели запретить такие штуки как дискриминационные)

Ошибки алгоритмов
- Алгоритмы Youtube виралили фэйки и занижали их критику, QAnon набрали 4 млн фолловеров итп. Соцсети все валят на природу людей и “это не нарушает правила". Какой уж тут AI alignment, если алгоритмы уже чудят
- Даже если не вникать в онтологические пределы философии утилитаризма, что любое движение к ultimate goal можно оценить цифрами, есть еще проблема что компьютерные агенты между собой могут порождать собственную мифологию/inter-computer realities
- У алгоритмов всегда есть biases, тк данные собирают люди, и генерят их люди. А мы антропоморфизируем компьютеры как когда-то богов - т.е. считаем, что компы не ошибаются, см оригинальную философию God, human, animal, machine

Ч.III: Компьютеры и политика
- Как общества (и демократии, и тоталитаризм) в будущем могут реагировать на сети [неживых] агентов? Как поменяется баланс власти?
- Промышленная революция за 100 лет показала, кто колониальные империи на их основе не эффективны

- Идет некий суицид консерватизма (хотя НЕ консервативный Трамп превратил республиканскую партию в революционную)

- Компы - это новый тип бюрократии. В демократиях есть правильные принципы, которые могут помочь:
1) benevolence/доброжелательности
2) децентрализация
3) взаимность (слежка и за властями/корпорациями тоже)
- Резкие скачки безработицы из-за AI и роботизации могут обратить демократии в тоталитаризм (как 25% в 1932 в Германии). Вдруг AI окажется креативным, а также заменит работы, где сейчас нужен emotional intelligence?

- AI - это иная intelligence, как (якобы ошибочный) ход #37 в матче AlphaGo с Lee Sedol, см книгу Мустафы Сулеймана
- До покупки Маском Твиттера там 5% ботов делали 28% комментов. Я считаю, демократии должны регулировать рынки информации, чтобы не было digital bots anarchy

- Тоталитарные страны могут максимально опереться на AI. В тч закрыться (как Китай) от зарубежных tech платформ (противостоят т.н. data colonialism и растят свои экосистемы)
- Холодная война XX века перетекла в современную cyber war

Заключение
- Из изучения истории видно, что изобретение новых информационных технологий (от письма, печати и до телеграфа и компов) каждый раз было катализатором больших исторических изменений
- AI поменяет мир в политическом плане, просто пока непонятно куда. Я попытался порассуждать о возможных векторах влияния на общества, и демократии, и тоталитарные

Upd:

И, еще: в US в конце 10 лет войны во Вьетнаме тоже была супер-поляризация общества, так что происходящее сейчас и не ужас-ужас, а особенность true democracy в кризисы

У Харари вышла книга Nexus: сети информации от каменного века до AI. Раза в 4 затянутая + оч. уж спекулятивная (НЕ читать). Мне только Sapiens нра, а футурология Homo Deus и 21 Lessons - не =)

Интро
- Люди выигрывают от кооперации огромными сетями (Китай 1.4 млрд чел) - растят инфо/truths и власть, но мудрость что-то не растет (e.g. нацизм, сталинизм). Просто наивного оптимизма а-ля Курцвейл что рост инфо все засолвит - мало (хотя есть и AI doomers)
- Идет weaponization информации, особенно популистами, и сползание от науки

Часть I: Сети между людьми
- Информация = что-то связывающее одно с другим (музыка, ДНК итп). Истины = что-то точное про реальность. Но она есть объективная, а есть и разные идеологии/взгляды (e.g. откуда взялся Израиль, астрология), есть intersubjective - на стыке людей (законы боги нации корпорации валюты)
- Сети опирались на мифы (постоянно апгрейдятся) и бюрократию (e.g. институт церкви из мифа христианства), между ними конфликт. Механизмов самокоррекции не было (e.g. как в науке)
- В сетях всегда были важны brands (e.g. Сталин) и stories (e.g. крестовые походы, марксизм). Мозг любит списки и stories (e.g. Ramayan, миф индуизма, есть сериал на 78 серий)
- Сети создают порядок, а он - власть. Истины плохо управляют большими группами людей (в тч тк часто болезненны), политика вся стоит на фикциях
- Бюрократия = разложить мир на ящички и все писать, искажает реальность, появилось 1400 лет до н.э. с письменностью, усложнило массам влияние на власть. Уже 1000 лет назад революционеры первым делом жгли записи

Церковь
- Религии всегда монополизировали интерпретацию откровений (тк устно любой желающий искажал), привело к письменным Библиям. Тексты и менялись (e.g. первые были про пастухов/фермеров в Палестине, но евреи жили по миру), и конкурировали между собой
- Церкви контролили свои сети: писцов, библиотеки, архивы, в 1400г пришла революция печатного пресса, более свободное распространение инфо повлияло на научную революцию. Впрочем и на листовки о ведьмах тоже, пошла массовая истерия, по ложным доносам в 16-17 вв. пытали и казнили 50 тыс чел

Наука
- Стоит на открытии идеи невежества, а в религиях же все всегда - истина. Институции умирают без механизмов коррекции ошибок, e.g. признать, что люди: а) ошибаются б) коррумпированы
- Наука ищет опровержения через институт публикации статей и пересмотр целых школ, e.g. квазикристаллы сперва (1984) мочили нобелевские лауреаты, но потом (2011) Шехтману дали нобелевку

Демократия, тоталитаризм
- Диктатуры: централизация власти + непогрешимость центра. Но коррекции ошибок нет. В демократиях же много точек: роли, партии, суды, пресса, НКО + какие угодно меньшинства/civil rights. Ошибки признаются. Усложнение институтов запутывает население, перестают вникать. Диктаторы всегда поэтапно демонтируют коррекцию ошибок. Еще Римская империя прошла это
- Популисты где угодно апеллируют к единственности ответов + что они (якобы) представляют все общество. В любой стране есть косяки, но популисты их абсолютизируют, обесценивая выборы и все прочие институции
- СМИ генерируют больше демократии. 400 лет назад в EU было всего по несколько тыс чел на страну с правом голоса. В XX в. медиа накрыли мир, но и тоталитаризмов с контролем за всеми сферами жизни стало больше (в тч за счет технологий - авто, телеграф итп). Инфо обязана течь через центр, есть и плюсы (пропаганда, скорость), и минусы - не все доводят до населения и начальства (Чернобыль vs. Three Mile Island)
- Тоталитарные режимы хуже осваивают создание сложных технологий

XXI-ый век
- Тут уже может быть не соревнование демократий и тоталитарных режимов, а людей и nonhuman agents. 2-ая половина книги - про возможный Silicone Curtain/Кремниевый занавес

Ч.II: Неживые сети
- К печатным СМИ XX в. добавились сети компов. В 2016 в Мьянме (Бирма, 50 млн население, 100 этносов, 90% буддисты) исламисты (+ буддисты-экстремисты) устроили геноцид Rohingya (десятки тыс убиты, 750К уехали), продвигая свой контент на Fb (!), и 50-70% просмотров двигали алгоритмы (и был всего 1 модератор)

//

2ая часть тут

Долго, короче