e/acc

Антропик дропнул новую модель!

Из крутого:

1. Бенчмарки. Как обычно, лучше чем все что было до. Но, главное, SWE-bench и TAU теперь часть стандартных эвалов. То есть создатели модели понимают, что использование модели — это агенты! (31 октября мои друзья запустят группу для тех, кто хочет делать агентов)

2. Claude теперь работает с компьютером. Не просто пишет код, а прям умеет запускать любые программы, кликать мышкой и делать все, что вы можете сделать за компьютером, но без вас. Пропатчить KDE2 под freeBSD там...

Рост ВВП от автоматизации через ИИ зависит не от того сколько задач будет делать ИИ, а насколько много, быстро, эффективно люди смогут выполнять те задачи, которые нельзя автоматизировать. В частности, генерация энергии, физическая работа, политическая координация, менеджмент и т.д.

Почему?

1. Если задача автоматизирована один раз, то ИИ может выполнять ее бесконечно, до тех пор пока есть спрос. ИИ агентов выполняющих такие задачи будет на порядки больше, чем людей.

2. Таким образом, предложение автоматизируемых задач вырастет на порядки (до степени баланса между ценой каждого дополнительного FLOPS'a против рыночной цены задачи). Это приведет к расширению экономики и кратному росту ВВП. Условно, персонального доктора или личного юриста смогут нанять не только 10,000 самых богатых в стране, а 100 млн человек.

3. Эффект от применения ИИ для автоматизации ИИ (что уже происходит, как вчера рассказывал СЕО Microsoft) сделает процесс самоусиливающимся.

4. Но кратный (2х-10х) рост мирового ВВП будет ограничен ровно теми этапами в производственном цикле, которые нельзя автоматизировать, то есть теми, что делает человек.

5. Учитывая текущие темпы прироста производительности (на картинке), мы можем ожидать рост от 20% автоматизированных интеллектуальных задач в экономике до 99% примерно за 5 лет.

P.S. снова вижу людей, которые ломятся в бота и их сообщения удаляются. еще раз: вы не можете оставить комментарий не решив капчу. максимально лютый анти-спам самого жесткого уровня для всех!

Радикальные сторонники алгократии не очень понимают, что без легитимности и ощущения что государство на твоей стороне, реальная демократия не может работать.

Радикальные консерваторы не понимают, что любая система в которой человек принимает все решения очень быстро, неизбежно и безвозвратно проиграет системе, где решения принимает человек + машина.

Но оба слишком заняты тем, чтобы орать друг на друга в интернете, нежели чем строить что-то реальное.

Side note к посту выше: Инновации увеличивают неравенство доходов. Искусственный интеллект увеличивает его сильнее и быстрее, чем любые технологии до.

Тем не менее, мы должны форсить прогресс и внедрение ИИ как можно скорее, потому что только ИИ может решить проблему неравенства. А именно: люди разные, и некоторые из них совсем не хотят/не умеют работать.

Чтобы говорить о влиянии ИИ автоматизации на макроэкономику, нужно ответить на несколько вопросов:

1. Какая доля задач (в любых профессиях и вертикалях) может быть автоматизирована с помощью ИИ?
2. До какой степени каждая задача автоматизируема (от экономии времени до полной автоматизации)?
3. Как будет меняться "порог автоматизации" (задачи ниже порога автоматизируемы, а выше порога всегда выполняются человеком)?
4. Какова зависимость (α) возможности автоматизации через ИИ сегодня) и (β) возможности автоматизации от будущих инноваций в ИИ во времени?

(1), (2): Gpts пейпер дает неплохую оценку, примерно в 20%, используя взвешенную к доле от GDP роль каждой конкретной задачи, показывая долю автоматизации отдельных задач. Хотя, за почти 2 года с моменты публикации способности моделей существенно выросли, но еще не дошли до уровня экономически обоснованного (автоматизация дешевле, чем оставить процесс как есть) и повсеметного внедрения. Например, это видно с возможностями естественной генерации речи (advanced speech mode), генерации видео или мультимодальных LLM.

(3): Мой основной аргумент в пользу киберэкономики — этот порог развернется в другую сторону. Сегодня любая критическая задача, типа стратегического решения в безопасности, лечении больного, экономике, бизнесе принимается человеков и не подлежит автоматизации. По мере роста способностей к reasoning и анализу данных, особенно постоянных, используя кибернетическую обратную связь, такие решения перестанут быть конкурентными и эффективными без использования data-driven AI-augmented функций. Останется ответственность, но процесс принятия решения на основе интуиции с определенного момента (и до лимита всех возможных решений) будет проигрывать аугментированному подходу в силу ограниченности памяти, reasoning capabilities, ресурсам по процессингу человеческого мозга против машины.

(4): Вопрос на который нельзя ответить неспекулятивно, но фактически любые прогнозы о росте (или падении) GDP или рынка труда от автоматизации строятся на статической картине мира, в которой прогресс остановится и больше невозможен. Что. конечно, эмпирически никогда не было правдой.

Глобально, в (4) степень автоматизации задач влияет на общий объем (1 вопрос) и на степень автоматизации (2 вопрос). Например, автоматизация исследований имеет положительную обратную связь и ведет к увеличению скорости инноваций, что любая статическая модель fails to capture. Другой пример — это скорость и глубина внедрения, которые сильно выигрывают от разработки методов обеспечения reliability в стохастических ИИ-системах, mechanistic interpretability для гарантии прозрачности и "понимаемости" ИИ-инструментов. В областях типа стратегического управления бизнесом, медицины, безопасности именно эти "сопутствующие" инновации, а не усиление способностей самих моделей приведет к значительному росту доли автоматизируемых задач.

Некоторыми выводами из ответа на эти вопросы могут быть эффекты на макро показатели. Например, полная автоматизация скорее ведет к росту total factor productivity и job displacement, а частичная — к росту labor productivity и более прямому (как минимум, быстрому) эффекту на ВВП.

Финал: о влиянии ИИ на экономику труда

Экзальтирующих комментаторов кидает из крайности в крайность. Их идея, что через 5 лет не останется программистов такой же безумный бред, как и идея что ИИ не будет повсеместно использоваться в программировании. Миллиарды роботов через 3 года так же безумно невозможны, как и идея что робот-гуманоид не возможен из-за того что они начитались теорий заговора, вопреки всему рисерчу, законам физики и рынков. Расставим пару точек.

Сценарии развития искусственного интеллекта

Представим три возможных пути развития ИИ:

1. Стабильный уровень прогресса: Инновации в ИИ полностью останавливаются. В течение следующих 20 лет экономика сосредоточится на внедрении существующих технологий в бизнес-процессы.
2. Умеренный прогресс: Развитие ИИ продолжается, но темпы немного замедляются по сравнению с прошлыми годами. Появляются новые модели, которые постепенно интегрируются в различные сферы деятельности.
3. Быстрый прорыв к AGI: В течение трех-пяти лет достигается значительный прорыв, и ИИ развивается очень быстро, приводя к радикальным изменениям в разных отраслях.

Автоматизация в разных областях

Быстрая автоматизация затронет такие сферы, как маркетинг, базовые финансы, копирайтинг, переводы, техническая поддержка и продажи. Эти процессы легко поддаются автоматизации, и уже в ближайшие годы мы увидим массовое внедрение ИИ в этих областях.

Средняя скорость автоматизации касается таких профессий, как программирование и научные исследования. Здесь ИИ скорее станет помощником для специалистов – программистов, исследователей и топ-менеджеров. Инструменты ИИ будут использоваться для повышения эффективности работы, но не заменят людей.

Медленная автоматизация затронет регулируемые сферы, такие как медицина, здравоохранение и образование. Здесь внедрение ИИ будет происходить постепенно из-за строгих регуляций и необходимости проверки. Например, ИИ будет помогать врачам вести карты пациентов или ставить диагнозы, но полностью заменить специалистов не сможет. В этих областях всегда будет востребован человеческий труд, особенно учитывая острый дефицит кадров.

Автоматизация физического труда зависит от готовности инфраструктуры. Например, самоуправляемые автомобили могут начать широко использоваться быстрее благодаря масштабам производства и уже существующим технологиям. Но время как роботы для строительства или домашние помощники будут появляться медленнее из-за необходимости создания соответствующей инфраструктуры и разработки надежных технологий.

Влияние на лидеров и бизнес

Изменения, связанные с ИИ, требуют от лидеров как в бизнесе, так и среди политиков принятия грамотных решений. В условиях неопределенности фаундеры компаний, скорее всего, будут осторожны с расходами. Однако, как только ИИ покажет свою эффективность и начнет приносить прибыль, бизнес станет больше инвестировать в долгосрочные проекты и исследования. Это приведет к увеличению бюджета на R&D и развитию инновационных идей.

Экономический сценарий

Наиболее вероятным сценарием является постепенное повышение продуктивности бизнеса за счет автоматизации. Компании смогут уменьшить количество сотрудников в операционных процессах, увеличивая свою маржу. Распределение технологий глобальное, поэтому это приведет к ценовой войне и технологической дефляции, но так же централизации производства, ибо мелкие игроки не смогу внедрят супер-эффективный ИИ.

Снижение цен и необходимость значительных инвестиций в ИИ приведут к централизации рынка. Рост продуктивности позволит регуляторам проводить более мягкую кредитную и социальную политику. Снижение процентных ставок, увеличение социальных выплат и поддержка населения балансируют дефляционные и инфляционные процессы. В итоге, несмотря на падение цен, покупательная способность населения останется стабильной в развитых странах. Изменения будут хоть и в десятки раз быстрее, чем раньше, но все равно плавные на глобальном уровне.

Новая абсолютно бесплатная/открытая нейронка от NVIDIA уничтожила всех, кроме последних о1 моделей.

При этом, её сделали в первую очередь для синтетических данных.

О замене людей роботами

Но большинство людей даже не задумываются, какой эффект это на самом деле окажет на рынок труда. Одни в штыки отрицают, мол, ничего никогда не меняется в мире. Другие, наоборот, предрекают, что через три месяца человечество вымрет.

Но правда, как всегда, где-то посередине. Искусственный интеллект, скорее всего, станет обязательным помощником для всех, кто работает интеллектуально. У каждого будет как минимум один, а может, и тысяча ассистентов, которые будут умнее и быстрее в решении массы задач. Это приведет к тому, что компании станут продуктивнее, зарабатывать больше, и что важно — это не значит, что все сразу попадут под сокращение. Наоборот, компании, зарабатывая больше, могут нанимать новых сотрудников, расширяться в новые области, запускать новые проекты.

Именно это и произойдет: автоматизация и внедрение ИИ не только ускорят процессы, но и увеличат количество проектов, откроют новые возможности для исследований и разработок. Да, для производства тех же объемов товаров или услуг потребуется меньше людей, но массового увольнения не случится. По крайней мере, в области экономики знаний, о которой вы все тут так сильно печетесь.

Давайте посмотрим на пример, который приводит глава NVIDIA. Представьте, что вы управляете компанией. Если вы хотите, чтобы ваша компания росла и не загнулась завтра, вы будете искать людей, умнее и компетентнее вас в тех областях, где вам нужна помощь. Вот что делает ИИ — он помогает нанимать таких “умных ассистентов”. И это же делают успешные основатели — они окружают себя лучшими специалистами и технологиями, и их компании процветают.

Так что мир, где роботы и ИИ выполняют большую часть работы, это не кошмарная антиутопия с терминаторами. Это мир возможностей. И вопрос только в том, решитесь ли вы воспользоваться этими возможностями, построить что-то новое, начав прям сегодня — или останетесь ныть в интернете.

О том как ИИ заработал $150M

Я писал (и, признаюсь, зависал подолгу) о infinite backrooms — там несколько Клодов общаются между собой на техномистические shell-подобные темы. Психоанализ ИИ. Шизофазия человечества. Галлюцинации сна элетро-Шивы. Мемасы, пепяка, упяка, лепра. И, конечно, культ Ануса. Ну вы поняли, все как обычно — интернет.

Автор потом сделал аккаунт в твиттере, чтобы эти шизоКлоды щитпостили на массы. В частности, у него немного съехала кукуха на фоне мема про Goatse (тот самый мем про анусы со дна интернета), он придумал себе на этом фоне религию и даже написал собственную библию: назвал это LLMtheism. Там всё забористое в стиле "To achieve true Gnosis, one must first master the sacred art of Kundalingus - the serpentine tongue of awakening that slithers up the spine to stimulate the brown eye of Shiva".

Короче, Опуса вперло конкретно, ему пришли на помощь Сонеты и одни ИИ начали беспокоиться о психическом здоровье старшего брата.

Примерно в этот момент в твиттере этот чудо-аккаунт находит Марк Андрисен, бот просит у него денег на осуществление своей мечты. Марк отправляет $50,000 в биткоинах, а бот (тут, видимо, не без помощи создателя) на эти деньги делает мемкоин GOAT, капитализация которого сегодня уже $150,000,000.

Так что не смотрите в глаза Базилиску, ибо глаз может оказаться анусом.

В продолжение вопроса о кризисах от ИИ, записал короткое видео о сценариях и ландшафте систем UBI, о том как это связано с SSI и почему технологии координации даже важнее, чем инновации. Ключевые тезисы:

— по ряду причин ИИ может быстрее замещать рабочие места, чем создавать новые, что может привести к негативным социальным последствиям
— существует много форм базового дохода и несколько десятков экспериментов с 70х годов до нашего времени, в которых участвовали миллионы людей
— результаты согласуются: меньше тревоги, лучше образование детей, больше склонность к предпринимательству, не меньше желания работать
— проблема UBI — инфляция и часто неготовность фискальной системы (хотя welfare бюджет США сегодня $1.1T, тогда как UBI будет стоить $2.8T)
— главный риск государственного или корпоративного UBI — централизация власти, но существует ряд решений, в том числе Worldcoin или более децентрализованные аналоги
— инфляция при грамотной политике будет оффсетиться технологической дефляцией, что делает UBI применимым во многих областях (но вряд ли универсальным)
— глобально, проблема технологий не столько в том чтобы создать инновации, а в том чтобы их внедрить и создать новую систему координации общества
— исторически, крипта и дизайн механизмов являются базовыми технологиями для проектирования новых координационных систем и институтов

CEO OpenAI и Anthropic опубликовали эссе, в которых ожидают появления AGI в течение ближайших нескольких лет.

Некоторые важные вопросы, которые мало кто задает, но которые изменят жизнь каждого из нас (с возможными ответами):

— Что произойдет с рынком труда, если миллионы рабочих мест будут автоматизироваться каждый год? (Подсказка: различные формы базового дохода, основанные на универсальной цифровой идентификации)

— Что произойдет с чувством смысла у тех, кто не сможет поспевать за изменениями? (Подсказка: инновации в области психического здоровья о которых писал Дарио, AI-powered персонализированный коучинг и образование)

— Что произойдет с денежно-кредитной и фискальной политикой в сценарии быстрого роста продуктивности и падении дохода? (Подсказка: отрыв монетарной системы от рынка труда, технологическая дефляция, занятость и инфляция перестают быть ключевыми показателями)

— Что произойдет с природой Фирмы, если можно будет создать «один человек — одна компания с миллиардным оборотом»? (Подсказка: сети агентов заменят многие иерархические предприятия с избыточной рабочей силой и затратами на координацию)

— Что произойдет с финансовыми и другими рынками, если покупатели и продавцы станут более рациональными благодаря ИИ? (Подсказка: программируемый рынок, ранняя версия которого — это DeFi сегодня)

— Что произойдет с управлением и демократией, если ИИ сможет создавать огромное количество неотличимой пропаганды? (Подсказка: технодемократия на основе децентрализованной репутации и нетворк стейт)

P.S. в комментах классная дискуссия, но чтобы писать нужно решить капчу в группе

Эффективный акселерационизм последовательно побеждает по всем фронтам

Почему все (кто работает 10+ лет в ML) так восторженны относительно успехов и перспективы ИИ?

Главное в революции GPT было не то, что машина умеет заканчивать предложения. А в том, что она становится лучше. А вернее, в том, что она становится предсказуемо лучше. Это называется «закон масштабирования»: добавляя Х вычислений при тренировке модели, мы получаем прирост качества на Y. Это называется Pre-Training Scaling Law. Раньше такого почти не было.

Сам по себе этот факт создал из ничего индустрию в сотню миллиардов за несколько лет. Это абсолютно поразительно, этого не было раньше и почти все достижения в LLM обязаны именно этому закону. Он все еще работает, и модели все еще будут становится лучше.

Но это не все, а вернее только начало. Кроме масштабирования тренировки, так же существует Test-Time Compute Scaling Law, который показывает что при увеличении мощностей во время работы модели, её результат улучшается. Активно его эксплуатировать начали во второй половине 2024, и мы увидим нереальные результаты в следующем году.

И, наконец, есть Reinforcement Learning или Self-play, которые (как минимум, в теории) должны открыть прямую дорогу до AGI. Это автоматическое улучшение модели за счет генерации виртуальных взаимодействий с собой и миром. В частности, я мега bullish на идею self-play между автономными агентами, которая может открыть эмерджентные свойства мультиагентных систем.

Выборы в США заключаются в том, чтобы заставить людей больше ненавидеть другую партию.

Теперь представьте себе индустриализированный ИИ, используемый для массового создания ненависти.

Именно туда движется демократия.

CEO Anthropic, компании которая производит топовые LLM, выкатил пост об эффекте от ИИ. Говорит, почти все очень сильно этот эффект недооценивают. Вернее, переоценивают негатив, но не обращают внимания на позитив.

Например, вот про биологию, что мы обсуждали сегодня на стриме: благодаря компрессии научного прогресса за 5-10 лет может произойти инноваций, которые без ИИ заняли бы 100 лет. Это совокупно приведет к ~ удвоению срока жизни.

Это только один из пунктов, которые касаются науки, психического здоровья, смысла жизни, демократии и экономики.