pinned «»
Mikhail Samin
@mishasamin
Effective altruist, runs AI Governance and Safety Institute, previously founded audd.io, printed 21k copies (63k books!) of гпмрм.рф. He/him, bi 🏳️🌈
Contact me: @Mihonarium
contact.ms
x.com/mihonarium
12 Oct, 14:03
Карта российских библиотек, куда (по их заявкам) отправили 1740 трёхтомников Гарри Поттера и методов рационального мышления.
Ещё отправили 2к экземпляров победителям олимпиад.
Остаётся ещё 6.5к экземпляров — больше 19к книг! Если есть идеи, что можно с ними сделать, что принесло бы пользу, предлагайте!
Ещё отправили 2к экземпляров победителям олимпиад.
Остаётся ещё 6.5к экземпляров — больше 19к книг! Если есть идеи, что можно с ними сделать, что принесло бы пользу, предлагайте!
09 Oct, 10:04
Сегодняшнюю Нобелевскую премию по химии тоже дали за ИИ — вместе с Дэвидом Бейкером, её разделили Демис Хассабис (CEO Google DeepMind) и Джон Джампер (руководитель команды AlphaFold).
Нобелевская премия за AlphaFold была гораздо более ожидаемой. DeepMind предсказали трёхмерную структуру всех известных белков — решили задачу, про которую раньше многие считали, что её решить невозможно.
Демис, как и вчерашний лауреат Джеффри Хинтон — подписант https://www.safe.ai/work/statement-on-ai-risk.
Нобелевская премия за AlphaFold была гораздо более ожидаемой. DeepMind предсказали трёхмерную структуру всех известных белков — решили задачу, про которую раньше многие считали, что её решить невозможно.
Демис, как и вчерашний лауреат Джеффри Хинтон — подписант https://www.safe.ai/work/statement-on-ai-risk.
08 Oct, 10:35
Шведская королевская академия наук: "While machine learning has enormous benefits, its rapid development has also raised concerns about our future. Collectively, humans carry the responsibility for using this new technology in a safe and ethical way, for the benefit of humankind."
08 Oct, 10:11
Джеффри Хинтон — один из отцов-основателей современного машинного обучения, считающий, что шанс, что ИИ уничтожит человечество примерно 50%* — получил Нобелевскую премию по физике этого года за свою работу над искусственными нейронными сетями.
(* по его словам, он внутренне убеждён, что шанс выше, но апдейтится вниз, потому что Ян Лекун, с которым они тепло дружат, с ним не согласен)
Второй учёный, получивший Нобелевку по физике этого года, подписывал письмо, призывающее поставить на паузу передовые эксперименты с общим ИИ.
(* по его словам, он внутренне убеждён, что шанс выше, но апдейтится вниз, потому что Ян Лекун, с которым они тепло дружат, с ним не согласен)
Второй учёный, получивший Нобелевку по физике этого года, подписывал письмо, призывающее поставить на паузу передовые эксперименты с общим ИИ.
13 Sep, 16:27
В реальной жизни с неумными оппонентами, на угрозы и шантаж хорошая практика вообще никогда не поддаваться, но в некоторых играх можно делать что-то лучшее, чем всегда отказываться от однократных предложений нечестного разделения пользы сотрудничества.
Написал короткий пост на LW о простом алгоритме, который используют хорошие теории принятия решений.
Представьте, что вы — второй игрок в Ultimatum Game. Первый игрок делит 10 долларов между собой и вами. Вы можете принять разделение и получить определённую первым игроком долю или отказаться, и тогда ни вы, ни первый игрок не получите денег. Какой стратегии следовать, чтобы получать хотя бы честное разделение?
Если принимать любое разделение, где вам достаётся больше нуля, вы всегда будете получать деньги, но вам всегда будут предлагать 1$.
Можно принимать всегда, если вам предлагают 5-10 и всегда отказываться, если предлагают меньше 5. Такая стратегия обладает свойством неэксплуатируемости — другому игроку выгоднее всего предложить вам хотя бы 5.
Можно ли придумать стратегию, которая будет получать в ожидании больше 0, если предлагают меньше 5, но при этом всё равно не быть эксплуатируемой, то есть стимулировать другого игрока предлагать вам хотя бы 5?
Попробуйте придумать; и потом прочитайте ответ в посте: https://www.lesswrong.com/posts/TXbFFYpNWDmEmHevp/how-to-give-in-to-threats-without-incentivizing-them
(Это всё гораздо важнее в контексте ИИ, чем в контексте людей, но людям тоже может быть интересно/полезно.)
Написал короткий пост на LW о простом алгоритме, который используют хорошие теории принятия решений.
Представьте, что вы — второй игрок в Ultimatum Game. Первый игрок делит 10 долларов между собой и вами. Вы можете принять разделение и получить определённую первым игроком долю или отказаться, и тогда ни вы, ни первый игрок не получите денег. Какой стратегии следовать, чтобы получать хотя бы честное разделение?
Если принимать любое разделение, где вам достаётся больше нуля, вы всегда будете получать деньги, но вам всегда будут предлагать 1$.
Можно принимать всегда, если вам предлагают 5-10 и всегда отказываться, если предлагают меньше 5. Такая стратегия обладает свойством неэксплуатируемости — другому игроку выгоднее всего предложить вам хотя бы 5.
Можно ли придумать стратегию, которая будет получать в ожидании больше 0, если предлагают меньше 5, но при этом всё равно не быть эксплуатируемой, то есть стимулировать другого игрока предлагать вам хотя бы 5?
Попробуйте придумать; и потом прочитайте ответ в посте: https://www.lesswrong.com/posts/TXbFFYpNWDmEmHevp/how-to-give-in-to-threats-without-incentivizing-them
(Это всё гораздо важнее в контексте ИИ, чем в контексте людей, но людям тоже может быть интересно/полезно.)
12 Sep, 18:23
Новая модель OpenAI буквально ведёт себя по-разному, когда думает, что под наблюдением vs. задеплоена; и проэксплуатировала баг, чтобы вытащить CTF-флаг напрямую из докера с заданием вместо того, чтобы решать задание ¯\_(ツ)_/¯
(Это, скорее, смешно и полностью в рамках ожидаемого, но тем, кто пристально не следит, может быть удивительно и страшновато)
(Это, скорее, смешно и полностью в рамках ожидаемого, но тем, кто пристально не следит, может быть удивительно и страшновато)
17 Aug, 23:33
I visited Navalny’s Anti-Corruption Foundation, which continues the work to stop the war and make Russia democratic, prosperous, and peaceful. They advocate for sanctions designed to harm Putin and publish investigations of Russian gov’s corruption and crimes.
06 Aug, 15:40
Там много упрощений, но рад видеть, что Kurzgesagt стали делать ролики об ИИ!
youtube.com/watch?v=fa8k8IQ1_X0
youtube.com/watch?v=fa8k8IQ1_X0
03 Aug, 19:39
WSJ: “The same day the [Tucker Carlson’s] interview aired, chalking up 200 million views, Scholz flew into Washington, heading straight to the Oval Office, with no notetakers and no aides. At theend of an hourlong meeting with Biden, theleaders formally agreed: Their countries would explore Krasikov as the centerpiece of a deal that would free numerous prisoners, including Navalny, Gershkovich, and the former Marine Whelan. Russia would get its spies held in Slovenia and Norway.
Word of the Navalny idea had already reached Putin, months earlier. The Russian oligarch Roman Abramovich had been asking to see Carstens, although the special envoy had been discouraged from taking the meeting. When both men found themselves in Tel Aviv after the Oct. 7 Hamas attacks, they met and Carstens broached the idea of a larger trade involving Navalny.
A couple of weeks after that meeting, Abramovich messaged with a surprising response: Putin was open. Carstens told the White House, which asked him to stop dealing with Russia cases.
On Feb. 16, heads of government, top security advisers, and intelligence chiefs from the U.S. and its NATO allies were arriving to theMunich Security Conference, an annual gathering in the Bavarian city. Vice President Kamala Harris would brief the Slovenian officials involved in the still-nascent deal.
FBI Director Christopher Wray, also briefed on the coming trade, would hold talks with intelligence chiefs from across the West. Putin's loathing of the event was well known—he had used it as a platform to lecture Western leaders about a post Cold War order in which America was the "one master, one sovereign."
Grozev was in town, meeting German officials to understand the contours of the emerging deal. With him were members of Navalny's inner circle, at turns excited for his release and anxious that Putin might, at this last minute, finally murder him. Carstens, though not officially on the attendee list, was in Munich as well, holding meetings on the margins topush matters along.
Western spy chiefs were just about to be served appetizers at a working lunch, when phones around the table started pinging. Navalny had abruptly died, at 47, of unclear causes in Russia's "Polar Wolf" prison camp. The Kremlin didn't explain the death.
Blinken's staff scrambled to reach Navalny's newly widowed wife, Yulia, and bring her through security for an emotional meeting, then to the auditorium to make a statement. She had been in Munich to discreetly push for the final details of her husband's release. Now she was giving his eulogy in front of theworld's press.
"I want Putin, his entire entourage, Putin's friends, his government, to know that they will bear responsibility for what they did to our country, to my family, to my husband," she said. "And this day will come very soon."
Afterward, Grozev sat with Carstens in a coffee shop outside the conference, mourning thedeath of his friend and a deal he had pushed for years in the shadows.”
Word of the Navalny idea had already reached Putin, months earlier. The Russian oligarch Roman Abramovich had been asking to see Carstens, although the special envoy had been discouraged from taking the meeting. When both men found themselves in Tel Aviv after the Oct. 7 Hamas attacks, they met and Carstens broached the idea of a larger trade involving Navalny.
A couple of weeks after that meeting, Abramovich messaged with a surprising response: Putin was open. Carstens told the White House, which asked him to stop dealing with Russia cases.
On Feb. 16, heads of government, top security advisers, and intelligence chiefs from the U.S. and its NATO allies were arriving to theMunich Security Conference, an annual gathering in the Bavarian city. Vice President Kamala Harris would brief the Slovenian officials involved in the still-nascent deal.
FBI Director Christopher Wray, also briefed on the coming trade, would hold talks with intelligence chiefs from across the West. Putin's loathing of the event was well known—he had used it as a platform to lecture Western leaders about a post Cold War order in which America was the "one master, one sovereign."
Grozev was in town, meeting German officials to understand the contours of the emerging deal. With him were members of Navalny's inner circle, at turns excited for his release and anxious that Putin might, at this last minute, finally murder him. Carstens, though not officially on the attendee list, was in Munich as well, holding meetings on the margins topush matters along.
Western spy chiefs were just about to be served appetizers at a working lunch, when phones around the table started pinging. Navalny had abruptly died, at 47, of unclear causes in Russia's "Polar Wolf" prison camp. The Kremlin didn't explain the death.
Blinken's staff scrambled to reach Navalny's newly widowed wife, Yulia, and bring her through security for an emotional meeting, then to the auditorium to make a statement. She had been in Munich to discreetly push for the final details of her husband's release. Now she was giving his eulogy in front of theworld's press.
"I want Putin, his entire entourage, Putin's friends, his government, to know that they will bear responsibility for what they did to our country, to my family, to my husband," she said. "And this day will come very soon."
Afterward, Grozev sat with Carstens in a coffee shop outside the conference, mourning thedeath of his friend and a deal he had pushed for years in the shadows.”
01 Aug, 18:15
Безумно рад, что Яшина, Чанышеву, Фадееву, Кара-Мурзу, других политзаключённых и журналистов сегодня освободили.
Но невероятно грустно, что Навального сегодня не может быть в их числе.
И я не знаю деталей, но если Германия ранее ставила ультиматум, что Красикова обменяют только на Навального, его участие в этом обмене — ужасный способ принимать решения. Принятие Германией решений таким образом приводит к тому, что их будущие ультиматумы будут в большей степени игнорироваться, а россияне будут убивать и брать в заложники больше людей. То, насколько это решение было предсказуемо, могло собственно и привести к убийству Алексея. (Если Путин не хотел выпускать Навального, но понимал, что если его убить, Германия всё равно согласится обменять Красикова, это делает убийство Навального более привлекательным.)
Если никогда не поддаваться на шантаж, вас не будет смысла шантажировать. Если вы поддаётесь на угрозы и взятие заложников, вы делаете себя целью террористов.
Если вы на словах готовы обменять преступника только на конкретного политзаключённого, но, предсказуемо, после его убийства соглашаетесь на обмен на кого-то ещё, больше ваших граждан будут брать в заложники и больше политиков — важных вам и миллионам честных людей — будут убивать.
Но невероятно грустно, что Навального сегодня не может быть в их числе.
И я не знаю деталей, но если Германия ранее ставила ультиматум, что Красикова обменяют только на Навального, его участие в этом обмене — ужасный способ принимать решения. Принятие Германией решений таким образом приводит к тому, что их будущие ультиматумы будут в большей степени игнорироваться, а россияне будут убивать и брать в заложники больше людей. То, насколько это решение было предсказуемо, могло собственно и привести к убийству Алексея. (Если Путин не хотел выпускать Навального, но понимал, что если его убить, Германия всё равно согласится обменять Красикова, это делает убийство Навального более привлекательным.)
Если никогда не поддаваться на шантаж, вас не будет смысла шантажировать. Если вы поддаётесь на угрозы и взятие заложников, вы делаете себя целью террористов.
Если вы на словах готовы обменять преступника только на конкретного политзаключённого, но, предсказуемо, после его убийства соглашаетесь на обмен на кого-то ещё, больше ваших граждан будут брать в заложники и больше политиков — важных вам и миллионам честных людей — будут убивать.
18 Jun, 14:52
Расследование о жизни Кадырова целиком: https://www.proekt.media/guide/vertical-ramzan-kadyrov/
В виде фильма: https://www.youtube.com/watch?v=n3lVJPFJmJk
В виде фильма: https://www.youtube.com/watch?v=n3lVJPFJmJk
18 Jun, 14:52
Наверное, это не должно удивлять, но Кадыров похищал детей на улице и потом насиловал их.
https://istories.media/news/2024/06/17/proekt-kadirov-zanimalsya-seksom-s-detmi-14-i-15-let/
https://istories.media/news/2024/06/17/proekt-kadirov-zanimalsya-seksom-s-detmi-14-i-15-let/
29 May, 02:19
Члены совета директоров OpenAI узнали о запуске ChatGPT из Твиттера.
Сэм лжёт руководству и сотрудникам OpenAI; и лжёт публично (от выделения 20% вычислений на алайнмент до незнания, что тех, кто увольнялся из компании, заставляли подписывать секретное соглашение с запретом на какую-либо критику OpenAI, под угрозой потерять уже имеющиеся в собственности акции).
OpenAI — компания, которая, с учётом целей и ресурсов, должна соответствовать довольно высоким стандартам. Но у случайного бизнеса в Силиконовой долине стандарты будут выше.
https://x.com/liron/status/1795589042974949640?s=46
Сэм лжёт руководству и сотрудникам OpenAI; и лжёт публично (от выделения 20% вычислений на алайнмент до незнания, что тех, кто увольнялся из компании, заставляли подписывать секретное соглашение с запретом на какую-либо критику OpenAI, под угрозой потерять уже имеющиеся в собственности акции).
OpenAI — компания, которая, с учётом целей и ресурсов, должна соответствовать довольно высоким стандартам. Но у случайного бизнеса в Силиконовой долине стандарты будут выше.
https://x.com/liron/status/1795589042974949640?s=46
17 May, 16:31
Ян Леике и Илья Суцкевер, ранее руководившие командой superalignment, тоже ушли из OpenAI. Тред Яна Леике
11 May, 18:59
Daniel Kokotajlo ушёл из OpenAI, потому что «потерял уверенность, что компания будет вести себя ответственно в районе появления общего ИИ». При увольнении ему предложили подписать NDA. Он отказался, потеряв из-за этого по осторожным оценкам от $700к-2м (от 63-182 миллионов рублей по текущему курсу). Он всё ещё не может говорить о многом — подписывал NDA при устройстве в OpenAI — но о чём-то, включая причины ухода, может.
(Обновление: это было $1.7м — 152 миллиона рублей.)
Люди оценивают возможность делиться информацией, которая может снизить вероятность безответственной гонки, стоящей подробных жертв.
(Обновление: это было $1.7м — 152 миллиона рублей.)
Люди оценивают возможность делиться информацией, которая может снизить вероятность безответственной гонки, стоящей подробных жертв.
06 May, 13:47
Путинский стриптиз-зал теперь выглядит вот так (правда, непонятно, оставили ли шест).
1,560
subscribers
1,398
photos
138
videos
