Хочу поделиться радостью: мой пет-проект, который я строил последние два года, наконец-то дал осязаемые результаты. На самом деле, результатов так много, что получилось оформить сразу несколько продуктов, которые я буду выкладывать отдельно, и сегодня это BrainBox: сервер доступа к локальным, свободным ИИ-системам на вашем компьютере.
Зачем нужен BrainBox? Современный ИИ позволяет создать множество небольших проектов: озвучка книги, перевода видеоролика на свой язык, или его конверсия в текст, или пересказ этого текста. Вы можете организовать поиск по лору в аниме-чате, или суммаризацию сообщений за сутки, или оформить свою ютуб канал прикольными обложками на видео… Идей здесь масса, продукты небольшие, и они, конечно, не станут бизнесом-юникорном, но вполне могут сделать чуточку лучше жизнь ваших пользователей или вашу частную жизнь.
Однако, есть небольшое «но» — все эти ИИ-системы не так-то просто интегрировать в проект. Я за эти два года перепробовал множество разных ИИ — и чего я только не видел! Нет, конечно, иногда удается найти систему, которая беспроблемно устанавливается на любую операционку и легко доступна по вменяемому API — так случилось ровно один раз, с Ollama. Остальное же… Это может быть ворох исследовательских ноутбуков для Python 3.7 без запиненных зависимостей, и нужно настоящее расследование, чтобы понять, как его запустить. Или это может быть черный ящик докер-контейнера, работающий на авторском протоколе, который совершенно не хочется изучать. Или это библиотека, которая на Linux устанавливается в одну строчку, а на Windows — в десять, причем процесс ломается на второй, ибо отказывается устанавливаться портированная на Windows утилита. Случается и такое, что приходится натурально влезать в выдаваемые моделью тензоры, чтобы реализовать ту или иную операцию.
И тут на помощь приходит BrainBox...
Сопроводительный текст полностью: https://telegra.ph/BrainBox-01-03
Pypi: https://pypi.org/project/kaia-brainbox/
Github: https://github.com/okulovsky/kaia/tree/main/brainbox
Зачем нужен BrainBox? Современный ИИ позволяет создать множество небольших проектов: озвучка книги, перевода видеоролика на свой язык, или его конверсия в текст, или пересказ этого текста. Вы можете организовать поиск по лору в аниме-чате, или суммаризацию сообщений за сутки, или оформить свою ютуб канал прикольными обложками на видео… Идей здесь масса, продукты небольшие, и они, конечно, не станут бизнесом-юникорном, но вполне могут сделать чуточку лучше жизнь ваших пользователей или вашу частную жизнь.
Однако, есть небольшое «но» — все эти ИИ-системы не так-то просто интегрировать в проект. Я за эти два года перепробовал множество разных ИИ — и чего я только не видел! Нет, конечно, иногда удается найти систему, которая беспроблемно устанавливается на любую операционку и легко доступна по вменяемому API — так случилось ровно один раз, с Ollama. Остальное же… Это может быть ворох исследовательских ноутбуков для Python 3.7 без запиненных зависимостей, и нужно настоящее расследование, чтобы понять, как его запустить. Или это может быть черный ящик докер-контейнера, работающий на авторском протоколе, который совершенно не хочется изучать. Или это библиотека, которая на Linux устанавливается в одну строчку, а на Windows — в десять, причем процесс ломается на второй, ибо отказывается устанавливаться портированная на Windows утилита. Случается и такое, что приходится натурально влезать в выдаваемые моделью тензоры, чтобы реализовать ту или иную операцию.
И тут на помощь приходит BrainBox...
Сопроводительный текст полностью: https://telegra.ph/BrainBox-01-03
Pypi: https://pypi.org/project/kaia-brainbox/
Github: https://github.com/okulovsky/kaia/tree/main/brainbox
