منشورات LOVESYUK على Telegram

Ого. Гугл выложил свои LLM модели в опенсорс которые сильно бьют llama2 на всех бенчмарках.

Выложены мелкие версии сетей: 2B и 7B параметров.

Прогресс в открытых моделях всё ещё идёт благодаря щедрости нескольких больших корпораций.

https://blog.google/technology/developers/gemma-open-models/

✍️ Небольшое обновление Chess Brain Scorer из предыдущего поста ✍️

* Починил подсчёт рейтинга. При решение большого числа задач рейтинг считался неправильно и улетал в небеса. Удивительно, но баг в js библиотеке glicko2, которой уже 8 лет. Чтобы пофиксить пришлось самому написать оценку волатильности рейтинга.
* Добавил комментарии к истории, чтобы можно было что-то отмечать про своё состояние.

Check it out 😎

🔋 Измеритель мыслетоплива 🔋

TLDR: Сделал измеритель как в течение дня меняется уровень когнитивной энергии и остроты ума. С помощью простых шахматных задачек. Попробуйте здесь.

# Энергия меняется в течение дня и зависит от многих факторов

Думаю замечали, как умственная энергия сильно колеблется в течение дня. Иногда вы чувствуете себя полным энергии и готовы к вызовам, а иногда вы чувствуете себя уставшим и не можете сосредоточиться.

Есть множество советов как влиять на энергию: высыпаться, правильно питаться, заниматься спортом, медитировать и т.д. Но перед тем как что-то пробовать и проводить эксперименты, хорошо бы научиться измерять это "мыслетопливо". Я загуглил ментальные тесты, но ничего интересного не нашел.

# Шахматы как индикатор когнитивной бордрости

Я сам часто играю в шахматы и заметил, что уровень моей игры сильно меняется в течении дня и зависит от того насколько я в тонусе. Из этого и пришла идея. Текущий рейтинг в шахматах может быть хорошим индикатором остроты ума.
Поэтому я решил сделать веб-приложение, которое будет измерять ментальную бодрость в течение дня с помощью шахматных задачек.

# Измеритель остроты ума

Что я сделал:

- Скачал датасет 3M шахматных задачек с сайта lichess.
- Из них выбрал все с хорошим рейтингом от пользователей и те которые решаются в 1-3 хода.
- Написал бэкенд который по вашему текущему рейтингу присылает следующую задачку.
- Вы решаете или не решаете задачку, и в зависимости от этого ваш рейтинг меняется.
- История рейтинга сохраняется локально, так что вы можете отслеживать как он меняется в течение дня и что на него влияет.
- Чем больше вы решаете задачек, тем точнее будет оценка рейтинга. Разумно остановиться на точности +- 50 пунктов.
- Фронт я написал на Vuejs и думаю, что получилось приятно и динамично.

# Не важно как хороши вы в шахматах

Задачки подстраиваются под ваш уровень. Ваше абсолютное значения рейтинга не важно, интересно смотреть как он меняется и от чего это зависит.

Пробуйте и делитесь впечатлениями.

Гифка к посту Измеритель мыслетоплива

Как я использовал время за ноутом в 2023 году

71% -- Работал над Wunderfund. Это основной мой фокус.
5% -- Делал какой-то новый интересный сайд проект.
2% -- Играл в шахматы.
2% -- Смотрел фильмы/сериалы. Офис & Друзья 🤍
1% -- Созванивался с друзьями. Всегда большая радость.

По приложениям:
40% времени я программировал разные штуки в vscode.

Такой вот год.

* Трекаю время с помощью классного Timing app приложения.

💀 Человечество вымрет через 9000 лет. Теорема о конце света. 💀

Расскажу элегантное математическое рассуждение о том, как предсказать конец света.

Сначала представим, что каждый человек имеет порядковый номер рождения от 1 до N, где N - это общее количество людей, которые когда-либо будут существовать.

Теперь воспользуемся общим принципом Коперника, который говорит, ваш момент рождения ничем не уникален. Вы одинаково вероятно могли иметь любой порядковый номер рождения в истории человечества, как и любой другой человек. Из этого имеем, что порядковый номер вашего рождения равномерно распределён между 1 и N.

А это значит, что с вероятностью 95% ваш порядковый номер рождения X лежит в интервале 0.05 * N < X < N. Отсюда получаем оценку на N < X / 0.05 с вероятностью 95%.

С начала существования человечества к текущему моменту родилось порядка 60 млрд. человек. Это и будет ваш порядковый номер X. Поэтому получаем, оценку на общее число людей в будущем N ≤ 1200 млрд. людей.

Считая, что население стабилизируется на числе 10 млдр., можно прикинуть что таким образом нам остается не больше 9000 лет. Важно помнить, что это вероятностная оценка, а не точное предсказание.
Да, для Адама с Евой и последних живущих перед апокалипсисом эта оценка сработает плохо, но большинства остальных людей она будет потрясающе хороша.

Такой супер простой и красивый метод предсказания будущего. Если всё рассуждение кажется магией, то можно углубиться в вики.

@lovesyik

🦫 Человечество никогда не сможет вычислить число Busy Beaver для 748 🦫

Расскажу о факте о котором недавно узнал, он меня так поразил, что я до 6 утра разбирался что к чему: Busy Beaver для 748 — это существующее конечное целое число которое мы не сможем вычислить никогда. Оно невычислимо в рамках любой системы математических аксиом. Его нельзя вычислить принципиально - даже при неограниченных времени и памяти.

Что такое Busy Beaver от N

Числа Busy Beaver (BB) - это ключевые числа в теории информатики. Первоначально BB определяется для машин Тьюринга, но для простоты будем рассматривать программы на Python.
BB от N — это сколько шагов будет работать самый долгий скрипт на Python длиной до N символов из тех, что когда-либо остановятся. Например:

for i in range(5): pass 

#

 Это программа проработает 5 шагов

while True: pass 

#

 А эт

а

 никогда не остановится, поэтому нам не подходит

Можно понять, что число программ короче N символов конечно. Из тех что останавливаются, будет та которая работает дольше всех. Число шагов которая она работает и будет BB(N).

Математика опирается на систему аксиом

Для краткости эту систему называют ZFC. Мы предполагаем, что эти аксиомы не противоречат друг другу: нельзя из них вывести утверждение A и not A. Однако Гёдель показал, что ZFC не может доказать свою собственную непротиворичивоть. Этот факт мы используем далее.

Пишем программу для поиска противоречий

Оказывается 748 символов достаточно чтобы написать программу на Python которая будет искать противоречия в ZFC всеми возможными способами. Если она найдет противоречие, она остановится; в противном случае она будет работать бесконечно. Мы считаем, что ZFC последовательна, следовательно, программа никогда не должна остановиться.

Если бы мы знали BB(748), мы могли бы оспорить теорему Гёделя.

Мы бы запустили нашу 748 символьную программу по поиску противоречий и подождали BB(748) шагов. Если бы она не остановилась, то это бы значило что она не принадлежит к классу программ которые когда-то останавливаются. Иначе BB(748) было бы больше. А раз она не остановится никогда, тогда мы доказали что в нашей системе аксиом нет противоречий. Что мы принципиально не можем сделать.

И поэтому мы никогда не сможем узнать BB(748).

Wake up Neo

BB от 748 — это непознаваемое число. Мы даже никогда не сможем узнать верхнюю границу для него. Но это конечное целое число! WOW.

Мама: у нас есть вёрстка дома
Вёрстка дома: ...

(пробую картиночную gpt-4v на разных штуках)

🤖 Панчетрон, комедийный ИИ, требует запись концерта для Netflix после того, как переиграл людей 🤖

В прошлом посте я рассказывал о моем эксперименте с промптами для юмора. Теперь представляю Панчетрона - chatgpt бота, для юмористической игры PunchMe. Он участвует наравне с другими игроками, пытаясь закончить шутки как можно смешнее.

Первые шаги
На первых тестовых играх с друзьями, Панчетрон постоянно оказывался на последнем месте проигрывая все битвы. Внимательно приглядевшись, я понял разницу в шутках людей и Панчетрона: обычные игроки очень-очень часто используют отсылки к предыдущим шуткам или локальным фактам, известным только внутри компании. А Панчетрон для каждого сетапа пытается придумать шутку с нуля.

Решение - добавляем контекст
Тогда я решил добавить контекст в промпт для Панчетрона: успешные шутки с предыдущих раундов игры. Вторая версия с использованием отсылок, стала играть существенно сильнее, часто обыгрывая людские варианты. Через несколько игр Панчетрон даже занял первое место обыграв 6 мясистых комиков. Было нетривиально осознать, какой гигантский буст в смехе нам даёт радость того, что мы в шутке поняли отсылку.

Панчетрон смешит и злит
Часто друзья негодовали когда узнавали что выбрали вариант робота перед человеческим. Думаю, люди ещё считают юмор своей территорией, где они должны быть остроумнее ботов.
Игроки стали замечать отличительные черты шуток Панчетрона: он любит ставит кавычки, соблюдает пунктуацию, пишет длинные панчи. Многие узнавали его шутки и голосовали против них, даже если они были смешнее.

Маскируемся под людей
Для большего реализма я устранил некоторые особенности письма Панчетрона - кавычки, восклицательные знаки, идеальная пунктуация. Приоритет теперь отдаётся коротким панчам. Рассматривал даже введение грамматических ошибок, чтобы ещё больше затерять бота среди настоящих игроков.

Что сейчас
Сейчас вторая версия участвует во всех играх PunchMe. Можете протестировать его с друзьями.

P. S. Заголовок поста придуман, конечно же, Панчетроном.

@lovesyuk

💵 Я потратил $200 чтобы написать 6000 шуток 💵

Юмор и нейронки — это темы которые мне всегда интересно совмещать. Например, для моей юмористической игры punchme 100 тыс. заходов шуток (сетапов) я сгенерировал нейросетью ещё до эпохи chatgpt. Кроме того, база сетапов ежедневно пополняется из абсурдных новостных заголовков нашей реальности.

Так вот, для этой игры я давно хотел добавить Панчетрона - chatgpt бота который будет добивать шутки и соревноваться в остроумии с обычными людьми.

Для этого мне нужно было подобрать промпт который заканчивает шутки самым смешным образом. Но промптов можно придумать большое множество: “закончи шутку как Джим Карр”, “закончи шутку как абсурдный заголовок для The Onion” и т. д.

Как понять какой промпт генерит шутки лучше? А какая модель более остроумная: gpt-4 или gpt-3.5.-turbo?

Тут я решил действовать систематично.
Сначала я написал систему оценки шуток с помощью gpt-4 в след формате:
```
{'joke': 'Я пошел к врачу и сказал: "Мне кажется, у меня проблемы с памятью." Он спрашивает: "Когда это началось?" Я отвечаю: "Что началось?"',
'surprise': 0.7, 'cleverness': 0.8,
'sarcasm': 0.3, 'punny': 0.0,
'satire': 0.0, 'offensive': 0.0,
'absurdity': 0.5, 'funny': 0.7}
```
- Имея эту систему, я начал тесты.
- Для тестов я взял 10 разнообразных начал шуток (сетапов) и просил chatgpt заканчивать шутки в разных ролях и стилях. Для всех промтов протестировал все доступные модели OpenAI, чтобы сравнить их между собой.
- Всего я сгенерировал и оценил ~6000 шуток. Это $200 в токенах OpenAI.

Результаты
- См. график выше в канале
- На английском все chatgpt модели шутят существенно смешнее, чем на русском. Как по оценкам gpt-4, так и по моим субъективным ощущениям.
- Неплохо работает двухходовая генерация: прошу chatgpt сгенерировать шутки, а потом прошу переписать их чтобы они стали ещё остроумней.
- gpt-4 точно умеет в юмор, особенно на английском, просто нужно правильно промптить и фильтровать.
- Новая версия gpt-3.5-turbo стала существенно остроумней и на английском практически не уступает gpt-4. Ура.

А про Панчетрона напишу ещё отдельный пост.

@lovesyuk