Димагогия Telegram Gönderileri

Хорошо, что я написал этот пост еще вчера. Сегодня ответы на большинство вопросов мне кажутся очевидными и не стоящими упоминания. Хотя за выходные я потратил часа четыре, чтобы во всем этом разобраться. Отчасти, поэтому я не пишу сюда про 90% моих исследований.

Если хотите, чтобы я раскрыл одну из тем поподробнее – напишите комментарий к этому посту. Рассказывать обо всем очень затратно, а закапывать экспертизу у себя в голове – жалко.

Вот список тем/вопросов в консьюмерских LLM, в которых я пока не разбираюсь

- Какой размер контекста способны держать в памяти разные LLM модели? Можно ли его увеличить, загружая в модель файлы, а не текстовые данные в интерфейс чата? Если создать CustomGPT, увеличится ли размер контекста для той же модели при прочих равных?

- Как работает поиск информации по имеющемуся контексту? Насколько сильная компрессия происходит/насколько много деталей теряется? Зависит ли это от размера контекста? Какие детали теряются в первую очередь?

- Какие сейчас лучшие способы борьбы с галлюцинациями? Правда ли, что по-нормальному избавиться от галлюцинаций можно только с помощью цепочек промптов через API? Реализовал ли кто-нибудь user-friendly решения с повышенной точностью за счет множественных проверок ответа?

- Какие сейчас лучшие способы генерации промптов? Какие модели лучше всего подходят для подготовки промптов перед их отправкой в топовые модели?

- Насколько глубокий поиск возможен при использовании Perplexity, GPT o3, Claude? Существуют ли ограничения вроде "не ищем дальше второй страницы гугла", "фильтруем утечки корпоративной информации", "личные данные выдаем только при условии ..." ?

- Существуют ли инструменты для поиска по страницам, скрытым логином? Как искать такие инструменты?

Почти под новый год наш микро-сервер на vast.ai получил галочку "верифицировано"

Его стали в разы чаще арендовать. За январь удалось заработать $50 и, кажется, это не предел.
Что такое верификация? Это набор тестов, которые команда vast.ai проводит на твоем серваке. Скорость получения верификации сильно зависит от того, насколько крутое у тебя оборудование. Поскольку у меня довольно базовый хардвар, ждать верификации пришлось 4 месяца.

С одной RTX 3090 окупаемость получается примерно 2 года. Можно было бы добавить еще одну видеокарту, и окупаемость бы ускорилась до года с небольшим, но неизвестно сколько я еще буду в Ереване. Поэтому решил не усложнять и оставить все так, как есть. С учетом того, что можно продать компьютер с небольшим дисконтом, в относительных величинах получается неплохо.

Я поручил ассистенту собрать Custom GPT, в базе знаний которого лежат обсуждения хостов vast.ai из дискорда. Получился хороший поиск/суммаризатор по чатам, где другие ребята, которые сдают видеокарты на vast.ai обсуждают множество деталей. Оказалось очень удобно узнавать, как долго получать верификацию, чтобы твой сервер арендовали чаще. Это сильно зависит от стоимости твоего оборудования. Вот примеры.
- две+ топовых видеокарт H100: верификация проходит за несколько дней
- четыре RTX 4090: где-то за месяц
- две RTX 3090: три-пять месяцов

Получается, чтобы не замораживать деньги на 4 месяца, надо было просто покупать оборудования на $5-10к, а не на гроши.

Кто-нибудь хочет поучаствовать в закрытом бета-тесте нашего приложения-переводчика?

Можно переводить только себя. А можно подключиться к Zoom/Google Meets и включить двусторонний перевод. Собеседник будет слышать перевод на свой язык, а вы – перевод собеседника в реальном времени.

С меня доступ к приложению, с вас – обратная связь.

Пишите в комментарии или в личку, если хотите попробовать.

Вот лучший в мире бизнес.

У Rocketable (YC W25) идеальная бизнес модель:
1. Покупаешь любой software бизнес с выручкой как минимум $100k/год
2. Увольняешь всех сотрудников
3. Заменяешь их на ИИ, получаешь сверхчеловеческий перформанс
4. Профит

Если вы не делаете такое, то я не понимаю вообще что вы делаете :)

Мне бы себя хоть на 20% заменить с помощью ИИ инструментов. А там всю компанию хотят заменить на набор агентов. Что же за гении там собрались? Я вот тоже гений, но что-то пока плохо получается...

Там до сих пор выходят видео с такими же заголовками...

Запустили AI перевод инагурации Трампа в реальном времени
UPD: набрали 60к+ просмотров при примерно десяти репостах)))

https://x.com/PalabraAI/status/1881356106988982399

Это тот самый продукт, который я делаю в стартапе Palabra.ai
Поддержите лайком еще пост на LinkedIn

В самом популярном вопросе про AGI на Metaculus сделано 1437 предсказаний. "Мудрость толпы" называет самой вероятной датой публичного появления AGI январь 2032 года. Год назад средняя оценка указывала на февраль 2032 года.

Но сама оценка не так интересна по сравнению с критериями AGI, перечисленными в вопросе:
- Двухчасовой тест тьюринга в чате с возможностью отправлять медиафайлы
- Возможность самостоятельно собрать модель Феррари 1:8 из примерно 450 деталей
- Сложные тесты от исследователя Dan Hendrycks (они пока не пройдены, хотя последний релиз o3 вызывает некоторые надежды)

Интересно, что вреднее?

Сидеть всю зиму дома с очистителем воздуха, но умирая от малоподвижного образа жизни?

Или ежедневно гулять, но дышать грязным воздухом и умирать по другой причине?