Onigiri

@onigiriscience


Буст канала:
https://t.me/onigiriScience?boost

Onigiri

08 Oct, 11:58


Нобелевскую премию по физике 2024 года получили Джон Хопфилд и Джеффри Хинтон за открытия, обеспечившие возможность машинного обучения нейросетей.

Джон Хопфилд изобрел сеть, использующую метод сохранения и воссоздания образов. Узлы сети можно представить как пиксели. Сеть Хопфилда использует физические принципы, описывающие свойства материала на основе спина атомов – характеристики, которая делает каждый атом крошечным магнитом. Сеть в целом описывается способом, эквивалентным энергии в спиновой системе, известной в физике, и обучается путем нахождения значений связей между узлами таким образом, чтобы сохраненные изображения имели низкую энергию. Когда в сеть Хопфилда подается искаженное или неполное изображение, она методично обрабатывает узлы и обновляет их значения так, чтобы энергия сети снижалась. Таким образом, сеть пошагово находит сохраненное изображение, наиболее похожее на несовершенное входное изображение.

Джеффри Хинтон использовал сеть Хопфилда как основу для новой сети, использующей другой метод: машины Больцмана. Она может научиться распознавать характерные элементы в определенном типе данных. Хинтон использовал инструменты статистической физики – науки о системах, построенных из множества схожих компонентов. Машина обучается путем подачи примеров, которые с высокой вероятностью возникают при работе машины. Машина Больцмана может использоваться для классификации изображений или создания новых примеров того типа образов, на которых она была обучена. Хинтон развил эту работу, помогая положить начало нынешнему взрывному развитию машинного обучения.

Onigiri

19 Sep, 11:30


Я в видео еще обещал показать, сколько стоили все обращения к GPT.

Начнем с видео про мафию, там была GPT-3.5, и тогда вышло $6.76. И наверно половина из этого была другими моими экспериментами, но сейчас их тяжело уже отделить от именно игры.

В Among Us я сначала экспериментировал на GPT-4o mini, а когда все заработало, то потом игры делал уже с GPT-4o. Но иногда путь выбирает все еще mini, так как я заметил, что это у них получается одинаково хорошо. В сумме на Among Us ушло $28.5

Onigiri

19 Sep, 10:11


Новое видео уже на канале
https://www.youtube.com/watch?v=gHZzzNNrDz0

Onigiri

11 Aug, 12:22


Привет! Как вы могли заметить, на канале давно не было видео. Дело в том, что у меня еще была работа, и когда-то мне удавалось уделять время и работе, и своим проектам, но со временем становилось все сложнее делать как одно, так и второе. Наверно это и есть то самое выгорание, о котором говорят многие программисты (и не только).

Недавно я наконец принял важное решение: сосредоточиться на развитии блога и своих проектов. Я уволился, отдохнул, и вот уже вернулся к созданию видео.

Новое видео будет про нейросети, и да, я знаю, сколько всего появилось там за это время, за этой областью я пристально следил. Кажется, что если буду делать это видео еще пару недель, то за это время выйдет еще какая-нибудь крутая нейросеть, и придется включать в видео еще и ее😄

Onigiri

01 Aug, 17:22


Недавно небольшому проценту пользователей стали выдавать доступ к тому самому голосовому режиму GPT-4o, который в мае показывали на презентации и обещали выпустить его через несколько недель.

Я его пока не получил, но вот, что интересно: в обычном режиме, где gpt сначала генерирует текст, а потом модель tts этот текст зачитывает, тоже можно попросить немного поменять произношение. Это не всегда работает, но хорошо получается например с картавостью (как показываю на видео, особенно в конце забавно получилось). А еще можно заметить, что текст вполне обычный, а значит разница только в tts, то есть нейросети, которая этот текст зачитывает.

Я пока точно не понял, как это работает. Многие знающие люди, сначала говорили, что так сделать нельзя, но оно почему-то работает. Возможно, gpt генерирует отдельный промт со стилем голоса для tts, а та, используя эти рекомендации для голоса, генерирует его немного другим. Хотя через api дополнительных промтов для голоса у нее нет. Или tts получает на вход расширенный промт, но в итоговый ответ идет не все

Onigiri

06 Jul, 15:59


Заходят как-то Онигири, optozorax и ТехноШаман в бар, а бармен им говорит: когда новое видео?

Onigiri

16 Jun, 15:57


Пока кто-то жмет на хомяка, вот более интересная игра (лучше открывать с компа, на телефоне платная):

📎 Universal Paperclips - кликер 2017 года, где нужно играть за ИИ, которому поручили производить скрепки.

🧠 В основе игры лежит мысленный эксперимент, где ИИ должен выполнять всего одну простую задачу, но вы наверно знаете, к чему это может привести.

🎮 Игра выглядит просто, но сразу предупреждаю, что она может затянуть часа на 3

Onigiri

06 Jun, 09:05


КоЛлАба ВекА так сказать ❤️
Кто не знает Онигири, тот не кодил 3д бублик в терминале

Onigiri

22 May, 08:50


Помните, я недавно постил сравнение размеров GPT-3 и GPT-4?
Теперь появилось официальное сравнение.

Надпись с GPT-5 я добавил, они назвали это "размером комьютера, который тренирует следующую модель"

Onigiri

19 May, 15:11


Телефоны через 10 лет будут по мощности как 4080
Кликбейт, но честный)
В видео подробности

Onigiri

13 May, 22:13


Видели новую презентацию от OpenAI? Оказывается, там показали далеко не все.

Так как новая модель мультимодальная, она может не просто понимать интонацию, отвечать разными голосами или петь, как показали в презентации. Но она еще может генерировать звуки, картинки и даже 3D-модели по запросу.

И вроде бы, генерация картинок была и раньше, но вот, как она была устроена: есть модель dalle, которая по текстовому запросу генерирует картинку, и есть модель gpt, которая общается текстом. Если мы просим gpt что-то нарисовать, то она формирует запрос для dalle, которая уже по этому запросу создает изображение.

Если мы общаемся с gpt голосом, то звук сначала идет в модель whisper, которая преобразует его в текст, а уже текст передается в gpt. На выходе ответ gpt тоже нужно преобразовать обратно в речь. И того, тут задействованы 3 разные модели.

Теперь это все может делать одна только gpt. А это значит, что она будет быстрее отвечать и гораздо лучше понимать изображения.
Например, она сможет рисовать одного и того же персонажа в разных ситуациях (что очень сложно для других нейросетей)

А еще, она сможет редактировать изображения или даже изображать на них полноценный текст и сложные узоры. (картинки приложил к посту)

Onigiri

06 May, 20:45


У меня вопрос про странные комнаты в играх. Кто-нибудь еще встречал такое?

Onigiri

01 May, 07:26


Сделал исправленную версию 🧐

Onigiri

01 May, 07:20


И хоть ту картинку уже много раз разоблачали, в последнее время я снова ее вижу. А все из-за выхода новой модели от OpenAI под тестовым названием gpt2-chatbot, которая, как многие предполагают, окажется GPT-4.5, по аналогии с тем, как после выхода GPT-3 появилась GPT-3.5.

Если gpt2-chatbot действительно окажется GPT-4.5 (а не какой-нибудь GPT-5), то, скорее всего, это будет дообученная GPT-4, а значит, ее размеры не изменятся, но отвечать она будет лучше

Onigiri

01 May, 07:20


Когда только вышла GPT-4, повсюду репостили эту картинку. Она конечно же неправильная, у GPT-4 не 100 триллионов параметров. Изначально большой круг на картинке должен был изображать мозг человека, но произошел сломанный телефон, и картинка стала про GPT-4. С мозгом конечно тоже грубое сравнение, но там хоть какой-то смысл был

Onigiri

25 Apr, 17:45


Следуем трендам