LLM под капотом @llm_under_hood Channel on Telegram

LLM под капотом

LLM под капотом
Канал про разработку продуктов на базе LLM/ChatGPT. Выжимка важных новостей и разборы кейсов.
12,485 Subscribers
220 Photos
5 Videos
Last Updated 11.03.2025 07:45

Similar Channels

Dan Okhlopkov - канал
11,162 Subscribers
Generative Ai
3,341 Subscribers

Разработка продуктов на базе LLM: Взгляд изнутри

В последние годы мы наблюдаем стремительный рост интереса к технологиям обработки естественного языка (NLP), особенно к Large Language Models (LLM), таким как ChatGPT. Эти модели, основанные на глубоком обучении и больших объемах данных, открывают новые горизонты в разработке продуктов и услуг, которые могут взаимодействовать с пользователями на естественном языке. LLM позволяют создавать чат-ботов, автоматизированные помощники, системы для анализа текстов и многое другое, что делает их незаменимыми инструментами для бизнеса, разрабатывающего инновационные решения. С каждым днем появляются новые исследования и примеры применения LLM, что подтверждает их огромный потенциал для трансформации различных отраслей, включая образование, здравоохранение, финансы и маркетинг.

Что такое LLM и как они работают?

Large Language Models (LLM) представляют собой сложные нейронные сети, которые обучены на огромных наборах текстовых данных. Они способны генерировать текст, предсказывать слова и даже вести разговоры на естественном языке. Основная идея заключается в том, что такие модели изучают структуру языка и его правила, что позволяет им создавать осмысленные и контекстуально уместные ответы.

Работа LLM заключается в обучении модели на больших объемах текстов, где она анализирует соотношения между словами, фразами и предложениями. Во время процесса обучения модель оптимизирует свои параметры, чтобы максимально точно предсказывать следующее слово в предложении на основе предыдущих. Это делает LLM мощным инструментом для обработки и генерации естественного языка.

Как LLM применяются в бизнесе?

LLM находят широкое применение в бизнесе благодаря своей способности автоматизировать многие процессы, которые ранее требовали человеческого участия. Например, компании используют чат-ботов на базе LLM для обслуживания клиентов, что позволяет значительно сократить время ответа и повысить удовлетворенность пользователей.

Кроме того, LLM применяются в маркетинге для анализа потребительских предпочтений и создания персонализированных предложений. Автоматизация задач, таких как написание маркетинговых текстов или анализ отзывов, помогает компаниям быть более эффективными и адаптивными к изменениям на рынке.

Каковы основные преимущества использования LLM?

Одним из главных преимуществ LLM является возможность обработки больших объемов данных в реальном времени, что позволяет быстро получать необходимые результаты и принимать решения на основе актуальной информации. Также они способны улучшать качество взаимодействия с клиентами, предоставляя более быстрые и точные ответы на запросы.

Другим важным преимуществом является адаптивность LLM. Модели могут обучаться на новых данных, что позволяет им оставаться актуальными и улучшаться с течением времени. Это открывает возможности для постоянного совершенствования продуктов и услуг, основанных на LLM.

Какие вызовы стоят перед разработчиками LLM?

Несмотря на множество преимуществ, разработка и внедрение LLM также сопряжены с рядом вызовов. Одним из основных является необходимость в больших объемах данных для обучения, что может быть затруднительно для некоторых организаций. Кроме того, необходимо учитывать этические аспекты использования таких технологий.

Еще одним вызовом является сложность в адаптации LLM к специфическим задачам и контекстам. Модели могут давать некорректные или вводящие в заблуждение ответы, если они не были должным образом обучены на соответствующих данных. Поэтому разработчикам приходится уделять внимание как качеству данных, так и процессу обучению.

Как LLM влияют на будущее технологий?

Будущее технологий, основанных на LLM, представляется очень перспективным. Ожидается, что с развитием технологий и увеличением доступных данных, LLM станут еще более мощными и универсальными инструментами для решения различных задач. Это может привести к новым инновациям в области автоматизации и взаимодействия с пользователями.

Кроме того, LLM могут кардинально изменить способы, которыми мы работаем с информацией. Ожидается, что технологии обработки естественного языка будут активно использоваться в таких областях, как наука, право, журналистика и даже искусство, что создаст новые возможности для междисциплинарного сотрудничества и исследований.

LLM под капотом Telegram Channel

Добро пожаловать на канал "LLM под капотом"! Если вы интересуетесь разработкой продуктов на базе LLM/ChatGPT, то этот канал именно для вас. Здесь вы найдете выжимку важных новостей и разборы кейсов, связанных с использованием LLM и ChatGPT. Наш канал предлагает уникальную возможность быть в курсе последних тенденций и разработок в этой области, а также изучить успешные кейсы и уроки из практики. Наша цель - помочь вам погрузиться в мир разработки продуктов на базе LLM/ChatGPT и дать вам необходимые знания и инструменты для успешной работы. Присоединяйтесь к нам сегодня и станьте частью сообщества профессионалов, увлеченных разработкой продуктов с использованием LLM и ChatGPT!

LLM под капотом Latest Posts

Post image

Первые инсайты из Enterprise RAG Challenge r2

Мы с вами их обнаружили вместе!

Во-первых, качество извлечения документов важно для точности. Тут внезапно хорошо себя проявила библиотечка Docling от IBM (даже за пределами WatsonX AI Track).

Во-вторых, при наличии хорошой архитектуры можно получить высокие результаты даже на локальных моделях.

Смотрим на архитектуру Ильи, которую он запускал на разных моделях.

PDF parsing with heavily modified Docling library + Dense retrieval + Router + Parent Document Retrieval + SO CoT + SO reparser


o3-mini R: 83.8 │ G: 81.8 │ Score: 123.7
llama3.3-70b R: 83.9 │ G: 72.8 │ Score: 114.8
llama-3.1 8b R: 81.1 │ G: 68.7 │ Score: 109.3

R - Retrieval score
G - Generation score


Видно, что по мере снижения размера модели, у нас снижается качество ответов. Но оно падает не так быстро, как можно было бы ожидать. Я думаю, что это все благодаря качественно сделанной Retrieval части - она “облегчает” работу LLM на финальных этапах.

В-третьих, в топовых решениях часто используются reasoning паттерны на основе SO CoT (Structured Outputs + Chain of Thought == Custom Chain of Thought). Причем они работают даже там, где SO нет и впомине (только нужно использовать Schema Repair).

В-четвертых, в ситуациях со сложно предсказуемыми вопросами хороший векторный поиск пока до сих пор работает чуть лучше решений без векторов.

Самый главный вывод для меня - с локальными моделями, оказывается, можно делать сильно больше и сильно лучше, чем казалось раньше. Они могут составить неплохую конкуренцию облачным моделям, если выжимать максимум из их способностей.

---
- Победители Enterprise RAG Challenge r2
- Табличка с результатами (лучший результат от каждой команды)

Ваш, @llm_under_hood 🤗

07 Mar, 12:38
4,377
Post image

Победители Enterprise RAG Challenge!

Я поздравляю всех победителей и участников. Мы сейчас не только классное соревнование устроили, но и сделали прямо громадный research по практическому сравнению эффективности разных архитектур на конкретной бизнес-задаче. Плюс получили живой опыт работы документами и PDF (кто бодался с отчетом на 1000 страниц - ставьте 🤝)

Отчеты, ссылки, посты, leaderboards, ground truth - все это мы будем выкладывать и дублировать в ближайшие недели.

Итак, победители. Теоретический максимум - 133 (100 за ответы и 33 за retrieval)

IBM WatsonX AI Track 🏆

3. nightwalkers - 356ef42c: 96.7.
Векторный RAG с deepseek-r1-distill-llama-70b и granite-embedding-107m-multilingual embeddings

2. A.Rasskazov/V.Kalesnikau - efabd48e: 109.3
multi_agent_ibm_openai - meta-llama/llama-3-405b-instruct, ibm/granite-embedding-107m-multilingual, text-embedding-3-small, gpt-4o-mini

1. Ilia Ris - 25fabf22: 120.3

PDF parsing with heavily modified Docling library + Dense retrieval + Router + Parent Document Retrieval + LLM Reranking + SO CoT + SO reparser + Majority vote (Self-Consistency); llm = llama-3.3 70b from IBM WatsonX

Main Track 🏆

3. hopeless - 6b0d78ba: 117.5
gpt-4o-2024-08-06
Dynamic Structured Output + SEC EDGAR Ontologies
Query Expansion with selecting indicators on CBOW similarity
Majority Selection for several runs (works for pages and final answers)
Chunking by pages only with focus on balancing pages vs tokens

2. Emil Shagiev - 0a878232: 121.6
gpt-4o-mini-2024-07-18, gpt-4o-2024-08-06, o3-mini-2025-01-31
1. Query Expansion
2. Search relevant pages using with fast and cheap LLM
3. Answer questions
4. Finalize answers

1. Ilia Ris - 320a7d36: 121.6
o3-mini
PDF parsing with heavily modified Docling library + Dense retrieval + Router + Parent Document Retrieval + LLM Reranking + SO CoT + Majority vote (Self-Consistency); llm = o3-mini

Еще раз поздравляю всех! SotA Leaderboard - в комментариях.

А вообще - что вам больше всего запомнилось в этом соревновании? Я думаю про третий раунд, уже с reasoning и поглубже в бизнес. Надо такое?

Ваш, @llm_under_hood 🤗

PS: Если еще хотите поучаствовать ради опыта в соревновании, то еще не поздно. Submission API я пока выключать не буду - пара команд попросила отсрочку до следующей недели.

07 Mar, 10:16
4,756
Post image

Завтра в 10:00 по CET (UTC+1) я расскажу про победителей Enterprise RAG Challenge и новые инсайты. Встретимся в MS Teams. Ссылку на встречу выложим в discord, а видео - потом на Youtube.

А пока, для затравки, самый первый инсайт. Он очевиден, и я рассказывал про "signal vs noise" и на вебинарах и в курсе, но так наглядно я его увидел впервые.

Качество ответов RAG системы всегда будет ограничено качеством работы retrieval части. Если Retrieval тащит мусор или нерелевантную информацию в контекст - то это опускает максимальный предел точности всей системы в целом. Если Retrieval пропускает нужную информацию - тоже самое.

Посмотрите на Retrieval Score и Generation Score в таблице в комментариях. R-Score - оценивает то, насколько правильно найдены релевантные страницы. G-Score - насколько правильны в итоге ответы.

Напомню, что R-score я обычно своих систем считаю сурово. Изначально есть балл. За каждую ненужную цитату - минус 0.1, за каждую пропущенную цитату - минус 0.25.

Результаты Enterprise RAG Challenge показывают, что такой алгоритм оценки, внезапно, неплохо аппроксимирует теоретический потолок точности RAG системы. Практически всегда [1] G-Score ниже, чем R-Score. Это как если бы Retrieval часть задавала теоретический предел точности системы. А вот получится ли его реализовать - уже зависит от мощности модели и последнего reasoning шага. Signal-vs-noise на входном контексте этапа синтеза-генерации.

Отсюда следует и обратное. Если Retrieval Score хороший, но итоговые ответы - не очень, то что-то мы на самом последнем этапе недокрутили. Тут можно улучшить.

Побольше про это мы поговорим на объявлении итогов соревнования завтра. Приходите!

Ваш, @llm_under_hood 🤗

---
[1] "практически всегда", но не "всегда". За пределами TOP-25 есть примеры, где retrieval достает много мусора, но generation часть в целом находит ответы.

06 Mar, 14:25
4,756
Post image

На чем запускать локальные модели?

В нашем комьюнити очень много людей и команд с практическим опытом локального разнообразных систем с LLM под капотом. Это видно по RAG решениям на ERC, обсуждениям в чате и представлениям в группе курса.

А давайте поговорим про то, как вы запускаете свои системы для пользователей? Речь не столько про запуск через ollama на ноутбуке, сколько про разворачивание системы для 5-30 одновременных пользователей (скорее throughput, чем latency).

- Какие модели используете?
- Как заводите Structured Outputs (если используете)?
- Какое железо и inference framework под капотом, с какими параметрами?
- Сколько tokens per second получается выжать и с какими контекстами.

Но, самое главное, как оно вообще вам на практике?

Ваш, @llm_under_hood 🤗

PS: Если кажется, что в комментариях дискуссия прервалась - она могла отвязаться от обсуждения и провалиться в чат канала: @llm_driven_products.

PPS: Если впервые заходите в чат, пожалуйста, не игнорируйте запрос от нашего бота. Он бдит, банит ботов и не понимает шуток.

04 Mar, 08:26
6,433