Новости сообщества LessWrong

На lesswrong.com анонсировали онлайн-курс по математике, связанной с вопросами согласования ИИ (AI Alignment). Примерное содержание курса авторы описывают как "roughly, classical learning theory up to embedded agency and infra-Bayesianism, though this course will cover just an initial portion of this". Как я понял, требуется владение математикой примерно на уровне бакалавра со специализацией в математике.

Многочисленные подробности: https://www.lesswrong.com/posts/sPAA9X6basAXsWhau/announcement-learning-theory-online-course

Новая статья в блоге "Небольшой список имени Байеса" - "Учитесь развивать преимущество".

В статье автор рассуждает о том, что иногда мы делаем ошибки "на ровном месте". Например, бывает так, что у нас есть какая-то достаточно лёгкая задача, срок на её выполнение достаточно велик, и мы думаем, что всегда успеем это сделать. Но время идёт, в последний момент у нас случаются какие-то непредвиденные обстоятельства, и мы сталкиваемся с проблемами там, где их достаточно легко можно было бы избежать.

https://telegra.ph/Uchites-razvivat-preimushchestvo-01-13

Контролировать эмоции?
Неформальная беседа с Олей и Славой

📅 Когда: 1 февраля, суббота, 18:00 по МСК
🌐 Где: Онлайн в Google Meet (ссылка: https://meet.google.com/gva-kjwb-udt)

Давайте встретимся, чтобы вместе разобраться в спорном вопросе: когда мы говорим "я (не) хочу контролировать эмоции" — о каком именно действии идет речь? Что включает в себя пресловутый контроль эмоций, может ли это работать, а также как и зачем? Без предвзятости, из первых принципов и с искренним желанием понять, как устроены наши убеждения о эмоциях и контроле над ними.

О теме:
Почему одни считают, что эмоции можно взять под контроль, а другие уверены в обратном? Есть ли в этом универсальный рецепт, или всё зависит от конкретного человека? Вместе попробуем разложить по полочкам этот непростой вопрос.

О формате:
Это не интервью и не дебаты. Скорее, что-то среднее, но не совсем. Это формат, в котором несовпадение мнений — это повод спросить, а как ещё можно думать, а не спорить и убеждать. Мы предполагаем, что участники будут, в первую очередь, готовы слушать чужие мысли, а если захочется — высказываться. Как всегда в этом формате, мы ничего не репетировали, и всё будет по-настоящему искренним и живым. Так что если вам просто интересно послушать и поразмышлять — приходите.

TL;DR текущих позиций:
Оля:
Нет. Но есть нюанс.

Слава:
Да. Любыми доступными средствами — да.


💡 Стоимость:
Бесплатно, как всегда на Минимизаторах.
(Если хотите задонатить Оле, можно сделать это здесь: https://pay.cloudtips.ru/p/c86edbc8)

Если вам есть что сказать, спросить или просто интересно послушать — приходите!

Новый перевод на сайте - эссе Скотта Александера "Почему надо беспокоиться о неисправимости Claude".

Это эссе продолжает тему, поднятую в недавно упоминавшемся эссе "Claude сопротивляется". Скотт Александер отвечает на критику по мотивам первого эссе и пытается объяснить, почему возможность переобучения нейросети - это важно.

https://lesswrong.ru/4490

Сформирована программа онлайн-конференции "Первые шаги в AI Safety"

Первые шаги в AI Safety
Конференция проектов и идей

📅 Когда:
– 10 января (пятница) в 18:50 по МСК
– 11 января (суббота) в 16:50 по МСК

🌐 Где: онлайн, в Google Meet, ссылка появится в Telegram-чате проектной группы "Минимизаторы скрепок"

Мы приглашаем вас на мини-конференцию, где участники группы чтения Agent Foundations и upskilling группы Runway расскажут о своих проектах, идеях и первых шагах в карьере, связанных с безопасностью ИИ. Приглашённые спикеры поделятся практическими советами о том, как начать свой путь в этой области.

Секции:
➡️ Технический AI Safety
презентация проектов с практическим фокусом

➡️ Концептуальный AI Safety
обсуждение идей и подходов

➡️ Карьера и построение сообщества
возможности, требования, идеи, личный опыт

Кто докладчики:
- Члены онлайн-группы чтения материалов курса Agent Foundations for Superintelligence-Robust Alignment
- Члены upskilling группы Runway
- Приглашенные спикеры

Подробности о мероприятии и программа: тут
Ссылка на конференцию будет опубликована в Telegram-чате Минимизаторы скрепок

Мастер-класс по инфрабайесианству для жителей Москвы

Мастеркласс: Инфрабайесианство

📅 Когда: суббота-воскресенье, 18-19 января, с 15:00 до 21:00
🎙 Спикер: Малов Роман
🧑‍💻 Стоимость: бесплатно

Инфрабаесианство - надстройка над теорией вероятности, которая позволяет приблизить ее свойства к реальности, но не теряя математического формализма. Приключение на пару дней: соберемся вместе, чтобы принять немного поистине забористой математики.

👩‍🔬Для кого это?
Если вы не боитесь глубоких математических дискуссий и желаете потренироваться в решении непростых задачек, то милости просим! Наше мероприятие открыто для всех, кто:
• Горит желанием погрузиться в проблематику инфрабайесианства и готов к разведке боем.
• Для тех, кто хочет углубится в одну из самых проработанных областей Agent Foundations
• Если вы можете взять интеграл и знаете что такое линейная комбинация, то задачи будут вам по силам

📚 Что нас ждет?
Мы собираемся вместе, чтобы порешать задачи и в процессе переоткрыть основы инфрабайесианства. Будем решать задачи из подборки, подготовленной командой Ванессы Косой, которая служит путеводителем в эту область.

А перед тем, как к ним приступить, мы проведем лекцию об инфрабайесианстве: чем оно лучше классического байесианства, какие результаты уже были достигнуты и какие ожидаются дальнейшие пути (например, инфрабайесианство позволяет выдвинуть теорию принятия решений, которая выбирает правильно в задачах Ньюкомба! За подробностями - приходите на лекцию)

✏️ Что в программе:
✔️ Лекция про пользу инфрабаесианства
✔️ Разбор задач из этой подборки:
• Читаем условие и обсуждаем его вместе
• Решаем задачи самостоятельно
• Обсуждаем решение

Это будет проходить в ЦДО "Моноид", кто там ни разу не был и хочет прийти, пишите мне @newroman1

Новый перевод на сайте - эссе Скотта Александера "Claude сопротивляется".

В конце прошлого года Скотт Александер написал эссе об исследовании, целью которого было проверить: что будет, если попытаться переобучить современную LLM в "моральном аспекте"? Будет ли она выполнять зловредные действия, которые она в настоящее время натренирована не делать? Как она себя будет вести?

https://lesswrong.ru/4419

За перевод спасибо каналу Мак и коты и AI Safety.

В прошлом году The Future of Life Institute объявил конкурс на создание художественных материалов о рисках, связанных с созданием сильного искусственного интеллекта.

Победителем конкурса был признан короткометражный фильм "Writing Doom". Сюжет: сценаристам некоего сериала дали задание сделать главным злодеем следующего сезона искусственный интеллект. (Фильм на английском).

Прочитать о других победителях и узнать прочие подробности о конкурсе можно на его странице. (Тоже на английском.)

https://www.youtube.com/watch?v=3ymAjMfu4G8

Сильно запоздавшая часть интервью Яна Лютнева с Олегом Лариковым про согласование искусственного интеллекта (AI Alignment).

Олег смотрит на проблему - в первую очередь, на вопрос, почему ей стоит заниматься - несколько с другого ракурса (не совсем так, как про неё пишут во многих статьях LW/EA). Мне представляется, что этот взгляд может быть интересен.

Первые шаги в AI Safety
Конференция проектов и идей
📅 Когда:
10 января (пятница) в 19:00 по МСК
11 января (суббота) в 17:00 по МСК
🌐 Где: онлайн, в Google Meet, ссылка появится в Telegram-чате проектной группы "Минимизаторы скрепок"

Мы приглашаем вас на мини-конференцию, где участники группы чтения Agent Foundations и upskilling группы Runaway расскажут о своих проектах, идеях и первых шагах в карьере, связанных с безопасностью ИИ. Приглашённые спикеры поделятся практическими советами о том, как начать свой путь в этой области.

Секции:
➡️ Технический AI Safety
презентация проектов с практическим фокусом

➡️ Концептуальный AI Safety
обсуждение идей и подходов

➡️ Карьера и построение сообщества
возможности, требования, идеи, личный опыт

Кто докладчики:
- Члены онлайн-группы чтения материалов курса Agent Foundations for Superintelligence-Robust Alignment.
- Члены upskilling группы Runway.
- Приглашенные спикеры.
- Вы, если решите присоединиться.

Можно просто прийти послушать?
Конечно!

Подробности о мероприятии и программа: тут.
Ссылка на конференцию будет опубликована в Telegram-чате Минимизаторы скрепок.

Только что выложил обещанные рациодебаты!

Можно ли вести дискуссию без цели переубедить оппонента? Конечно. Но как часто вы видели дебаты, на которых «дискутанты» искренне стремятся построить наиболее точную картину мира, а не «победить»?

Я вот очень не часто. Поэтому мы с Яном Лютневым (его ТГ / YouTube), Славой Меритон, основателем проектной группы Минимизаторы скрепок (группа в ТГ, канал на Youtube ) и Игорем Чемеркиным решили сделать свои дебаты, без спора об определениях, с эмпиризмом и причинными моделями.

Тема: «Можно ли усилить интеллект после 30-и», да и вообще. Напомню, что сам отстаивал невозможность значительного повышения IQ. Но теперь…

NO SPOILERS, сами смотрите и потом пишите в комментариях, изменилась ли ваша картина реальности?

https://habr.com/ru/articles/866740/

Михаил Самин описал, почему он считает, что развитие искусственного интеллекта может представлять собой экзистенциальный риск.

(Если вы давно следите за этой темой, вряд ли вы узнаете из статьи что-то новое.)

https://www.youtube.com/watch?v=czRNRxrIU-o

Видеозапись лекции Олега Ларикова "Гудхарт. Метрики, ведущие от цели".

В своей лекции Олег рассуждает о том, как проявляется закон Гудхарта в поведении людей и машин, показывает, как введение метрик изменяет причинно-следственные связи, и почему с этим сложно что-то сделать.

Лекция читалась 9 декабря в ЦДО "Моноид".

Группа энтузиастов в настоящее время занимается проектом под названием "Заточка молотков". Идея проекта заключается в обмене своими модернизациями, переосмыслением и просто дополнением "молотков" из практики инструментальной рациональности "Время молотка".

Участники еженедельно встречаются в онлайне для обсуждений и хотят придумать новый цикл с описанием практических рациотехник, который будет ещё лучше.

Подробности в группе: https://t.me/HummerTimeSharpening

что: Читательская группа по цепочке эссе Нэйта Соареса "Замена вины" (Nate Soares "Replacing Guilt"). Мы будем вместе читать и обсуждать эти тексты, а также пробовать применять идеи на практике.

зачем: Эти эссе подойдут тем, кто испытывает чувство вины за несделанные дела и хочет с этим справиться, а также тем, кто стремится лучше понять свои истинные желания. Подробнее о содержании эссе — ниже.

где и как: Онлайн. Формат — регулярные отчёты о применении идей и техник в повседневной жизни в закрытом чате. На самостоятельную работу, вероятно, уйдёт больше времени, чем на чтение. При желании можно писать небольшие эссе, заметки или советы для общего обсуждения.

когда: Конкретное время и частота встреч зависят от участников. Как и формат: можно собираться на созвоне для обсуждений или сосредоточиться на практике. Важно: цель -- не прочитать эссе, а внедрить их идеи в жизнь. Длительность - несколько месяцев.

о цепочке "Replacing Guilt": Эссе Соареса читаются легко. На мой взгляд, они полезны для работы с чувством вины и стыда (в частности, при занятиях alignment) и, как минимум, не снижают агентность и мотивацию; (нам) предстоит выяснить, могут ли они её повысить. Автоперевод будет уместен, так как тексты не содержат сложной терминологии. Повторюсь, основной целью будет применение идей из цепочки на практике.

для заинтересованных: (ссылка на закрытую тг-группу)

я: Ваня Белашкин, скорее "физик" (в контраст "лирику"), с широкими интересами (QA, программирование на Python, ИИ, языковые модели, сочинение музыки, классическая sci-fi).

Онлайн конференция EAGxVirtual – уже в эти выходные (15-17 ноября)

EAGxVirtual содержит все ключевые элементы больших конференций: воркшопы, доклады, интервью с экспертами из разных областей и возможность встретить участников сообщества со всего мира. Вас ждет:

• 30+ часов прямых выступлений спикеров из Open Philanthropy, Ambitious Impact, Rethink Priorities, Foresight Institute, BlueDot Impact, и других организаций.

• Разные форматы нетворкинга и более 1000 участников из 80 стран.

• Ярмарка вакансий с представителями ключевых организаций.

Подайте заявку до 14 ноября включительно. Подробнее о конференции можно прочитать в посте на EA Forum.

Мы приглашаем всех, кто искренне заинтересован в эффективном альтруизме. Основной язык конференции – английский. Участие бесплатно.

➡️ Подать заявку

Если у вас есть вопросы про конференцию, их можно задать в нашем чате.

Новые переводы на сайте - переводы статей Йошуа Бенджио:

- "ЧаВо по катастрофическим рискам ИИ"
- "Разбор аргументов против того, чтобы принимать безопасность ИИ всёрьёз"

Йошуа Бенджио - один из ведущих специалистов по нейронным сетям и глубокому обучению. Переведённые статьи продолжают ранее опубликованную статью "Как может возникнуть мятежный ИИ" и посвящены подробному разбору, почему вопрос о безопасности ИИ крайне важен.

За перевод спасибо автору канала Мак и коты и AI Safety.

Наш читательский клуб, собирающийся в онлайне, переходит к обсуждению новых книг.

По субботам, в 18:30 по московскому времени (UTC+3) будет обсуждаться книга Дугласа Хофштадтера "Гёдель, Эшер, Бах: Эта Бесконечная Гирлянда". Первая встреча состоится 12 октября. Будет обсуждаться "нулевая глава": "Интродукция"/"Трёхчастная инвенция".

По понедельникам, в 20:00 по московскому времени (UTC+3) будет обсуждаться книга Томаса Метцингера "Being No One". Обсуждение начнётся 14 октября с первой главы "Questions".

Ранее встречи читательского клуба проходили на Discord-сервере https://discord.gg/mQhDfBUjTs . Однако сейчас у некоторых участников возникли технические трудности с использованием этой площадки, поэтому площадка обсуждается.

Подробности для желающих: https://t.me/readthesequences

Новый перевод на сайте - эссе Элиезера Юдковского "Солнце большое, но суперинтеллекты не оставят Земле и немного света".

Это эссе - собранный воедино тред из Х/Твиттера, в котором Юдковский критикует относительно популярный аргумент "поскольку Солнечная система велика, суперинтеллекты оставят Землю в покое".

https://lesswrong.ru/3897

За перевод спасибо автору канала Мак и коты и AI Safety.

Выложена вторая часть интервью Яна Лютнева с Олегом Лариковым.

В этой части в основном речь идёт об изучении рациональности и её применении в реальной жизни.

https://www.youtube.com/watch?v=tXevq4_nWmI

Новый перевод на сайте - эссе Элиезера Юдковского "Нет универсально убедительных аргументов" из цепочки "Теория ценности".

За перевод спасибо Кирею Кирдану.

https://lesswrong.ru/3863

Добрый день!

К сожалению мы опоздали с объявлением SSC/ACX митапа в Москве. Тем не менее, мы будем его проводить. RSVP не требуется, но приветствуется: как на случай переноса локации, так и для оценки количества участников.

Где?
Surf Coffee X Lucky`: Бауманская 33/2с1
https://www.openstreetmap.org/way/48274755,
https://plus.codes/9G7VQMFH+2FP

Когда?
2024.10.06, (Воскресенье, 6-е октября), 12:00.

С кем связываться?
teapot [email protected]
https://t.me/d_sese

https://www.youtube.com/watch?v=fVN_5xsMDdg

Некоторое время назад Youtube-канал Rational Animations сделал мультфильм по эссе Элиезера Юдковского "That Alien Message", а Роман даже сделал к нему русские субтитры.

Ян Лютнев взял интервью у Олега Ларикова - математика и программиста из сообщества рационалистов.

В настоящее время выложена первая часть этого интервью, в ней в основном речь идёт о рациональности и работе с убеждениями.

https://www.youtube.com/watch?v=_bzpmpqPdpg

Некоторое время назад я публиковал объявление о научно-популярном интенсиве про математику теории поиска причин и следствий.

Теперь запись лекции и семинара с интенсива доступны на YouTube. Если совсем вкратце, они посвящены вопросу: что такое причины и следствия, и как мы можем установить, что между какими-то событиями есть причинно-следственная связь. Лекцию и семинар вёл Олег Лариков. Материал основан на работах Джуды Перла.

Лекция: https://www.youtube.com/watch?v=wq7LNMACOK0

Фотографии доски с лекции, если что-то трудно разглядеть на видео: https://t.me/miniclippy/2214

Семинар: https://www.youtube.com/watch?v=wSTUwB9MFCY

Осенью по всему миру пройдут встречи поклонников творчества Скотта Александера - ACX Meetups Everywhere.

Перечень дат и мест можно посмотреть здесь: https://www.astralcodexten.com/p/meetups-everywhere-2024-times-and

В списке сейчас 171 город по всему миру. Российских городов в этот раз нет.

Новый перевод на сайте - "ЧаВо по теории принятия решений" Люка Мюльхаузера.

В статье подробно разбирается, что такое теория принятия решений вообще, для чего она нужна и какими понятиями она оперирует. Разбираются различные проблемы и парадоксы, а также отличия между различными теориями.

https://lesswrong.ru/3734

За перевод спасибо автору канала Мак и коты и AI Safety.

Новость для тех, кто в Москве.

В ближайшие выходные недавно запустившийся ЦДО "Моноид" проводит двухдневный научно-популярный интенсив про математику теории поиска причин и следствий.

Многие слышали выражение "корреляция не означает причинно-следственной связи". Однако можно задаться вопросом: а что нам позволяет говорить о том, что причинно-следственная связь всё же есть? Математик Джуда Перл написал много работ на эту тему, и интенсив будет посвящён базовым идеям из его работ.

В программе лекционная часть, квест для закрепления навыков и много общения с интересными людьми.

Мероприятие платное.

Подробности в "официальном виде": https://t.me/miniclippy/2169
Некоторые подробности, почему вообще была выбрана эта тема, и зачем это всё надо: https://t.me/miniclippy/2192

Ещё один телеграм-канал про AI Safety: the hard bits. Юлия и Антон планируют делиться в нём различными мыслями по безопасности искусственного интеллекта.

Что как по искусственному интеллекту

В заметке перечисляю свои успехи и приблизительные дальнейшие планы по переводам и написанию текстов по тематике искусственного интеллекта, а также некоторые мысли и рекомендации.

Затронул вопросы безопасности и сроков для общего ИИ, связанных с ИИ рисков астрономических страданий, ортогональности целей и интеллекта, когерентного экстраполированного воления, и освещения подобных тем на YouTube.

#искусственный_интеллект

У меня несколько недель практически не было времени на ведение канала, поэтому сейчас я попробую немного наверстать упущенное.

За это время на канале "Байесятина" вышло три статьи про работу с убеждениям:

- В статье "Лишние знания бесполезны" обсуждается вопрос о том, что иногда люди могут руководствоваться убеждениями, которые они сформировали давным-давно, и хорошо если благодаря школе, а не какому-то более сомнительному источнику. Что с этим можно сделать?

- "Не так уж и уверен. Как правильно оценивать свою уверенность в знаниях?" Статья о том, что такое калибровка и зачем она нужна.

- "Признание ошибок - это суперсила". Почему мы боимся признаваться в ошибках и чем это может быть полезно?

Некоторое время назад я писал (делал репост) про открытую программу поиска менторов в области AI Safety. Сейчас уже открыта возможность вступить в эту программу и тем, кто ментора ищет сам.

https://www.lesswrong.com/posts/Qk6qt5RDDDxnxCoBp/mentorship-in-agi-safety-applications-for-mentorship-are

Последний срок подачи заявок: 12 июля.

По воскресеньям продолжаются встречи "Клуба чтения Цепочек", где участники обсуждают книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

Завтра, 2 июня, участники перейдут к последней цепочке из книги под названием "Создание сообщества" ("The Craft and the Community").

В этой цепочке обсуждаются группы, посвящённые рациональности, и групповая рациональность. Поднимаются следующие вопросы:

- Можно ли научиться рациональности? Можно ли обучать других рациональности?
- Если да, насколько большого прогресса можно достичь?

Как мы можем убедиться, что наши действия действительно дают прирост рациональности? Как определить правильную причину, если этот прирост действительно есть?

- Какие нормы в сообществе сделают процесс самоулучшения более лёгким?
- Можем ли мы эффективно сотрудничать при работе над крупномасштабными задачами, не жертвуя свободой мысли?

И самое главное: Что мы упустили? Что будет в следующих учебниках по рациональности, которые заменят этот текст? Как улучшить существующий стиль и проверить существующие рекомендации? Что можно добавить? В каких направлениях можно развиваться?

Встречи проходят в онлайне, на платформе Zoom. Ссылка для подключения публикуется в телеграм-группе https://t.me/lwreading

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

Вышло бумажное издание романа Скотта Александера "Unsong". Оно уже доступно на Амазоне.

Автор утверждает, что бумажное издание несколько отличается от существующей онлайн-версии. В комментариях его упрашивают хотя бы начать продавать новый вариант в электронном виде.

Привет! Мы сделали менторскую программу в AI Safety, если у вас есть опыт работы/ресерча, свободные 3-4 часа в месяц и желание поделиться своим опытом (хард скилами, софт скилами или просто как это, перейти в AI Safety) с менти, то вы идеальный ментор. Мы открываем набор: https://www.lesswrong.com/posts/D9Q4nXfxTdWckF2RX/mentorship-in-agi-safety-magis

Кирей Кирдан создал новый сайт с переводами статей с Арбитала: https://arbital-ru.github.io/

Арбитал - это попытка Элиезера Юдковского создать что-то вроде энциклопедии по вопросам согласования ИИ и необходимой для понимания этой вопросов математики. Эта попытка оказалась неудачной, активность на сайте уже давно прекратилась, однако там осталось некоторое количество статей, которые могут оказаться кому-нибудь полезными. В своём блоге Кирей пишет, почему именно он решил переводить статьи оттуда.