Нейросети: магия искусственного интеллекта

🧐 Сейчас мы все вместе запаслись 🍿 и наблюдаем гонку разработчиков моделей: кто больше наберет баллов на том или ином бенчмарке.
🤷‍♂️ Проблема в том, что даже текущих возможностей моделей более чем достаточно для решения значительного количества задач. И часто менять работающую модель ради эфемерных улучшений нет смысла. По крайней мере, не стоит это делать часто.
🏃‍♂️ Хорошие показатели на тестах абсолютно не значит, что модель будет хорошо работать на ваших задачах. Возьмем те же VLM: вышли свежие модели от Mistral и Meta, высокие баллы на тестах. Но уже относительно старый Qwen 2 VL все еще лучший на задачах распознавания русскоязычных документов.
☑️ По хорошему, под каждый кейс надо формировать свой тест/бенчмарк и прогонять новинки. И, как правило, на закрытых бенчмарках результаты будут отличаться. Даже удивительно почему так 😂
🤓 Так что прошу прощения за занудство и прописные истины. Как-то зацепила гонка клиентов за все более совершенными решениями. Завтра обещаю что-то повеселее.

😳 Ходили слухи, что OpenAI может поднять цену на подписку до 2К долл. Первое впечатление - шок!
🧐Потом задумался: а сколько я готов платить? На самом деле - не мало. Я продаю время. ИИ экономит мне колоссальное его количество. Многие вещи делаются мгновенно! Пример?
🧑‍💻Подготовка тестов к курсу. Часто это боль и мучение. Причем дело не простое. Есть даже специально обученные люди. Занимает много времени. Стоп - занимало. Сейчас это дело 10 минут и еще небольшое время на верификацию.
🛂 Сегодня проверял полтора десятка достаточно объемных решений кейсов. При помощи ИИ, конечно. 👷‍♂️ Такой развернутой обратной связи от меня еще никогда не получали! Догадались ли слушатели?
😎 Но есть нюанс ) 1. Кейс изначально готовился под такую проверку. 2. Промт для проверки пришлось написать на 7 (!) страниц или 13К символов. Но лучше день потерять... 🐥

📈 По моим представлениям, самым большим рынком в будущем будет не чисто рынок ИИ - а рынок роботов.
🚪Вход на этот рынок быстро упрощается за счет развития мультимодальных LLM.
🤖 Цитата из документации Qwen2-VL 7/72B: Agent that can operate your mobiles, robots, etc.: with the abilities of complex reasoning and decision making, Qwen2-VL can be integrated with devices like mobile phones, robots, etc., for automatic operation based on visual environment and text instructions.
🐛 Как оказалось, LLM могут управлять (писать по сути команды) напрямую логике управления роботами. Понимают среду, могут думать. И тот же Molmo (передовая новая визуальная LLM) уже на коленке собрали прототип и показывают в видео.
😬 Не терпится провести со спецами по робототехнике эксперимент по созданию прототипа эдакого универсального робота (можно даже умного пылесоса или машинки). Чисто из исследовательских целей, ну а там как пойдет )
👎 Обидно, что у нас очень медленно все в части подхватывания таких инноваций... Потом опять будем покупать все на стороне.

На конференции ДиД не делал заметки и сейчас между самолётами и пересадками.

Пост буду дополнять.
1. Визионеры опаздывают. То что уважаемый мной Андрей Себрант обозначил как видение, имеет технические решения и вопрос в доведении до ума и раскатывания в виде продуктов.
2. Мало говорили про агентные и мультиагентные системы. По сути возможность исполнять сложные сценарии плюс оснастка для взаимодействия с реальным миром.
3. Важно: говорили про изменение процессов. Но как они должны измениться понимания нет. Безумно важная область для исследований и инноваций.
3. Много говорили 😊🙈. Но мало кто из спикеров реально в теме. Не было среди спикеров исследователей.
4. Интересны кулуарные разговоры, с менее именитыми, но более компетентными. В том числе за бокалом пива. Так подтвердил гипотезу, что все смотрим в одну сторону и пилим одни и те же продукты. Будет битва маркетинговых бюджетов.
5. Огромный интерес к ИИ. Хайп. Но куда бежать мало кто понимает. В этой связи ждать больших чеков не приходится. А готовые продукты не успевают.
6. Огромные перспективы у новой робототехники. Объем этого рынка пока не поддается моему осмыслению.
7. Последнее наверное... очень удивил интерес к мастер-классу с генерацией аватаров. Был аншлаг и куча благодарностей. Не ожидал вовсе. Рассматривал как больше развлечение. А теперь понимаю, что надо больше простых вещей и продуктов, с которых можно начинать знакомство с ИИ.

Поздно сообразил, но лучше поздно... 🤗
Можно зарегистрироваться и смотреть трансляции Иннополис Дэй. Завтра ещё целый день доклады.
А сегодня в 17:30 мой мастер-класс по генерации двойников.
https://digitalinnopolisdays.ru/october-3

Буду потихоньку формировать FAQ'и. Так как ветка для профи, то будут тяжелые темы. Темы попроще - мигрировали в "ИИ кухню".

Тег #учимся будет посвящен всяким разным обучающим материалам по теме ИИ.

Подборка, собранная благодаря коллегам.

Очень любопытное видео (англ) A Hackers' Guide to Language Models

Отличная подборка материалов начиная от NLP до LLM

Материалы курса по LLM с блокнотами

Подборка уроков по самым разным темам, очень любопытно.

Курс в процессе по LLM, очень достойный

Делитесь своими находками, будем пополнять библиотеку.

А вообще горжусь культурой ИТ: делиться находками, материалами, кодом.

Ладно 🤷‍♂️, раз картинки всем зашли, последний развлекательный пост в этом канале. 😎
Вот вам еще один тюн Flux, где изменять фото через промпт с сохранением лиц и прочих деталей.

Друзья, вчера я намекнул на новый проект, и вот он — "ИИ-кухня Кулинича» — для тех, кто хочет превратить нейросети из игрушки в мощный инструмент.

🎯 Кому точно сюда:

• Владельцам бизнеса, уставшим от бесконечных совещаний и неэффективных процессов

• Топ-менеджерам, которые чувствуют, что конкуренты уходят вперед с помощью новых технологий

• Руководителям отделов, задыхающимся от рутины и мечтающим о прорывных решениях

• Амбициозным офисным специалистам, которые понимают: без ИИ их карьера застряла на месте

🛑 Кому не надо:

• вы уже владеете инструментами ИИ на высоком уровне или являетесь разработчиком

✔️ Что вы получите:

• Практические кейсы применения ИИ в бизнесе

• Секреты ускорения рутинных процессов в 5-10 раз

• Способы повышения качества работы в 2-3 раза

• Готовые промпты

👉 Присоединяйтесь: здесь была ссылка, но ее больше нет)

P.S. Ссылка действует 48 часов

И не переживайте, этот канал остаётся, но больше для продвинутых пользователей 🤫

Сегодня просто залип минут на 15. Какие шикарные фото получаются в файнтюне Flux. Это решение грозит пододвинуть текущих грандов. Делитесь результатами экспериментов!
И да, отлично понимает промпты на русском языке.

🔜 Три дня плотной работы в аудитории позади. Группа EMBA и MBA. У слушателей и у меня куча впечатлений! Всегда получаю удовольствие от знакомства участников с нейросетями. В одной крупной корпорации умудренные возрастом и опытом участники сравнили этот процесс с «лишением ИИ девственности». Что то в этом определении есть)

Однако, не перестаю удивляться, какое низкое проникновение практического использования нейросетей в бизнесе! Есть очень маленькая когорта тех, кто широко и успешно использует нейросети даже не на уровне веб-интерфейсов и чат режима, а интегрировал в процессы. Большинство – только в частных целях и только как игрушку, не используя даже 1% потенциала.

Я тоже испытываю наслаждение когда могу показать как в 5-10 раз (!) ускорить многие рутинные процессы, местами в два-три раза повысить качество результата, парой строк промпта решить казалось бы нерешаемую просто проблему и найти решение старой бизнес-головоломке. Местами это кажется мне так просто и очевидно, что даже не стоит и рассказывать.

Еще больше я получаю удовольствие от копания уже в более сложных вопросах: дообучение моделей и оценка качества, разработка и тестирование агентов, поиск новых моделей и решений…. И очень рад, кому интересны и эти вопросы.
В общем я принял решение. Завтра объявлю, оставайтесь на связи и следите за новостями.

⌨️ Самая массовая история в заказах - вариации чат-ботов. Еще пару месяцев назад развернул стенд для тестирования чат-ботов на основе документов.
📃 По ссылке инструкция как зарегистрироваться и использовать.
🔥 Можно тут же подключить к Телеграм боту и сделать доступным всему миру.
😏 В базе приветственные 500К токенов на эксперименты и выбор моделей.
⛹️ Тестируйте, будут вопросы - пишите!

☝️ К недавно прошедшему дню знаний.

🥸 Запускать LLM не так и сложно, как может показаться. В рамках одной программы попросили сделать блокнот, где можно экспериментировать с температурой и другими параметрами.

📋 Я подготовил блокнот, который можно запускать в Google Colab или локально. Модель Gemma-2-2b очень компактная (всего 5Гбайт памяти требует). Будет работать и на CPU, и на GPU.

🚶‍♀️ Удачных экспериментов. Если тема с блокнотами для начинающих зайдет, продолжу публикацию.

😱 Рутина поглотила... исправляюсь!
🔜 За это время появилось много всего интересного. Но начну, с любимой нынче игрушки.
👨‍🎨 Flux: создание картинок, свеженькая диффузионная модель.
⤵️ Очень нравится настройка в Advanced Setting с установкой размера изображения. Удобно при генерации для презентаций.
➕ Промпт-генератор для Flux. Вот с ним еще надо разобраться!

Вот что принесли сети:

С помощью AI Studio каждый может создавать персонажей искусственного интеллекта на сайте ai.meta.com/ai-studio или в приложении Instagram. Вы можете использовать широкий спектр шаблонов подсказок или начать с нуля, чтобы создать ИИ, который научит вас готовить, поможет с подписями в Instagram, сгенерирует мемы, чтобы рассмешить ваших друзей — возможности безграничны. Ваш ИИ может быть только для вас, или вы можете поделиться им со своими подписчиками и друзьями, и даже сделать его доступным для всех, чтобы найти и пообщаться с ним в Instagram, Messenger, WhatsApp и на веб-сайте.

Меня пока не пустили, говорят страна не та. 🤷‍♂️

Ковырялся в архивах, нашел любопытный отчет по тенденциям в ИИ.

В субботу был исследовательский день. Точнее всего пара часов. Тестировал свежие и не очень модели на задачи понимания и описания изображений и OCR (распознавание текста). Картинки специфические, но приличные )) Однако с ними отказываются работать проприетарные модели. Текст и документы - русскоязычные, официальные и не очень, в плохом качестве. Обычный OCR На них ломается, а вот какой нибудь GPT или Claude распознают на ура.

Итого: с OCR на русском не справилась ни одна модель ( Надо видно искать заинтересованную сторону и готовить датасет для файнтюна. Хочешь сделать - сделай сам.

Картинки: свежие llava-hf/llama3-llava-next-8b-hf и особенно OpenGVLab/InternVL2-8B очень понравились! Но промпт и ответы лучше только на английском. Понимают лучше, ответы более полные, развернутые. Но прямо огонь!

Кроме них под разные задачи тестировал: qresearch/llama-3.1-8B-vision-378 (ну так...), HuggingFaceM4/Florence-2-DocVQA, mlx-community/deepseek-vl-7b-chat-8bit, aver-clova-ix/donut-base-finetuned-rvlcdip, google/paligemma-3b-ft-ocrvqa-896 (местами хороша, но очень специфична, в том числе по промптам).

Две модели в обойму за три часа - отличный результат!

Вот и первые профессии, которые пострадают: джуны-аналитики, как ни странно.
На HF представили дата агента на базе новой Llama 3.1 70B
https://huggingface.co/spaces/m-ric/agent-data-analyst

Пробуйте, делитесь впечатлениями.

Китайские товарищи подвезли красивое, конкурента Sora. https://klingai.com/ - генерация видео и изображений.

Дают 56 кредитов на попробовать (видео 5 секунд 10 кредитов).

На видео... мой промпт "programmer at sea in a sun lounger with an open laptop watching the sunset" (могу же помечтать?)😏

С руками на видео точно есть проблемы. 🤷‍♂️

В догонку... небольшая мечта, сделать супермаркет таких программных роботов. Но по сути к ней уже потихоньку иду. Ждите анонсов )

☕️ ☕️ Утро субботы, чашка кофе и возможность спокойно написать заметку.
Наряду с нетривиальными событиями типа покушения на Трампа или глобального сбоя на инфраструктуре Майкрософт, главными героями становятся компании выпускающие новые LLM. 👀

📋 Если начну перечислять, все что вышло на неделю, точно утомлю вас. Так что коротко.

👏 Порадовали Mistral – мои любимцы в open source, много и часто использую их модели. Выпустили сразу три (!) модели за неделю: MathΣtral (специализируется на математических задачах), Codestral Mamba (использовлаи свежее архитектурное решение под капотом) и Mistral NeMo 12В 128К. Вот последнюю точно беру в работу. Из преимуществ, хорошо работает (по слухам) в квантизации 8 бит и помещается на карты 3090/4090 25Gb. Вернусь с результатами тестов.

😮‍💨 Из прочего, Apple пытается войти в игру и выпустила open source модель на 7В параметров. Ну такое… хотя по их метрикам вроде как ничего. Но контекстное окно в 2048 токенов все портит. Были интересные модели для агентов и прочего любопытного, но пока только посмотреть ).

🔥 А вот главное событие вы уже, наверное, слышали, выход GPT-4o-mini. Это просто взрыв мозга! 🤯 При относительно не сильно просевших способностях (будем смотреть), имеет контекстное окно 128К токенов и стоит…. $0.15/$0.6 долл. за миллион входящих/исходящих токенов! Почти даром. Обожаю конкуренцию! Так как сейчас для несложных проектов использовали модели в основном по цене 1 долл. за миллион токенов (например, мой любимец Claude Haiku $0.25/$1.25). Но тут многим поставщикам придется пересмотреть свое ценообразование.

🫧 Многие считают, что пузырь ИИ сдуется, но мне кажется, мы еще только в начале горки и нас ждет много увлекательного! 🍿

⏱ Жалко не всегда хватает времени пощупать весь этот зоопарк новинок. Но обязательно буду делиться результатами.