DataWorkshop - AI & ML

Вчера выступал на встрече Google Developer Group.

Рассказывал про LLM: где мы сейчас находимся и чего ожидать в будущем. Делился своим опытом.

Удалось пообщаться с интересными людьми, которые раньше знали меня только виртуально. Такие встречи немного смущают, особенно когда возникает атмосфера возвышения. Все мы люди, ходим по одной земле.

Кстати лайфак - заранее пиши и договаривайся о встречах, чтобы успеть пообщаться. Идешь на конференцию, заранее посмотри, с кем хочешь поговорить. Это заметно увеличивает шансы на полезные контакты.

А сейчас — снова в поезд и на консультацию. На этот раз для компании из сферы HR, одного из лидеров индустрии. Будем помогать совершенствовать их лидерские качества.

#conf #llm

7 ключевых моментов, которые наглядно и практично показывают ценность курса:


Этот курс точно подойдет Тебе если хотя бы пару пунктов отзываются:

1️⃣Хочешь создавать продукционные решения на основе LLM, которые реально влияют на бизнес — не теоретические эксперименты, а работающие внедрения, приносящие ценность.

2️⃣Для Тебя важна простота и эффективность — на практике изучишь принцип "бритвы Оккама" и научишься упрощать сложные задачи до работающих решений.

3️⃣Нужны проверенные проектные шаблоны — получишь готовые схемы, чек-листы и карты знаний, которые помогут избежать типичных ловушек в проектах LLM.

4️⃣Ищешь практические знания, а не тренды — фокусируемся на том, что действительно работает в продакшене, игнорируя краткосрочные моды и маркетинг.

5️⃣Хочешь объединить LLM с классическим ML — научишься эффективно сочетать эти технологии и поймешь, когда использовать каждую из них.

6️⃣Нужны крепкие основы — познакомишься с универсальными принципами и методологиями, которые будут актуальны независимо от изменений в библиотеках и инструментах.

7️⃣Ценишь практический подход — получишь конкретные примеры из "поля боя", код с подробным разбором и возможность самостоятельных упражнений.

Как оцениваешь такое представление ключевых ценностей курса? Резонирует? 🔥🔥🔥

На данный момент в моей программе созрело 5 модулей и еще множество дополнительных, но после долгих раздумий и улучшений я решил не делать курс слишком большим, а просто разделить его на два. Например, локальный AI, то есть запуск собственной модели, будет отдельным курсом, чтобы сразу сосредоточиться именно на том, что важно — научиться использовать модели и проектировать системы. Кстати, над чем я сейчас работаю: хочу подключить тебя к нашей внутренней системе, благодаря чему ты сможешь легко тестировать множество моделей (как закрытых, например OpenAI и Anthropic, так и открытых, таких как Llama, Mistral и другие). Думаю, будет доступно пару десятков моделей — это значит, что для тебя будет легко проводить качественные эксперименты.

#llm #course

Вернулся на океан 👆


Практическому курсу по LLM быть, но перед этим стоит прояснить несколько важных моментов. На этой неделе завершил один проект по LLM для компании, которую, думаю, их знаешь — они раньше выпускали телефоны, а сейчас больше занимаются оборудованием (больше, к сожалению, рассказать не могу). В их случае задача заключалась в создании решения, которое помогало бы находить ответы, когда что-то не работает. Интересно то, что у них в компании есть специализированные команды по Data Science, которые пошли по популярному, но неверному пути, используя модные библиотеки. Конечно, так можно сделать — ведь это упрощает работу и позволяет быстро создать прототип, но на продуктив это решение не подходит, так как оно слишком непредсказуемое и не поддается улучшению (когда информация делится на маленькие кусочки — chunks, и потом ищется похожие кусочки). Я же помогал их команде, больше со стороны IT (не DS/ML), но по факту у них получилось наибольшее приближение к production-ready решению. Кстати, моя помощь — это секрет, поэтому тихо 🤫, так как между командами идет негласное соревнование за лидерство.

Что же они сделали? С одной стороны — простые вещи, логичные и основанные на здравом смысле. С точки зрения бизнеса, инструменты — это всегда лишь инструменты, и важно сосредоточиться на том, что действительно нужно бизнесу, на процессе. Сначала постараться сделать всё вручную, чтобы понять суть происходящего, а затем частично передавать ответственность на LLM, но хитрым образом — не ожидать от LLM слишком многого. Нужно продумать за нее возможные пути и сценарии. Да-да, думать всё ещё нужно — так называемый ИИ плохо умеет это делать. Но если правильно спланировать систему, LLM, как поезд, будет четко двигаться по рельсам и станет более предсказуемым. Чтобы это реализовать, есть много нюансов, но саму идею я постарался описать простым языком. Звучит просто и разумно, правда? Вопрос в том, как это сделать.

В принципе, когда "увидишь" как, все станет понятно. Конечно, сейчас большая часть информации ведет не в ту сторону, так как практиков мало, и каждый копирует за другим. Поэтому столько шума.

Напишу еще... раз так хорошо идет 🙂

#llm #course #usecase

Напишу еще текстом, больше конкретики

В наших странах красивая осень. Вид на океан мне очень нравится, как и теплая погода зимой. Но осень здесь крутая 😎


Пишу, чтобы обратить внимание, когда будешь идти домой :)

Что касается курса LLM, благодарю за обратную связь. Думаю тогда запустить и на русском в этом году, если группа будет. Для первого потока сделаю супер условия. Это будет практический курс. Буду рассказывать про свой опыт и то важное о чем точно хочешь знать :)

Ждешь? Ставь реакцию 🔥 , это мотивирует писать и наставлять приоритеты

Ребята, не хватает времени регулярно писать здесь, но расскажу последние новости. Сейчас, помимо обычных ML-проектов (с использованием классических подходов), я всё больше вовлечён в проекты, связанные с LLM. Речь идёт не просто о том, чтобы взять ChatGPT — это хайповое время, к счастью, уже проходит, и горячие головы бегут искать новую модную тему. Суеты становится меньше, и можно спокойно заниматься делом.

Сейчас я консультирую или напрямую веду три LLM-проекта. Назову их условно (названия компаний пока не могу раскрыть, так как это запрещено контрактами, особенно в условиях текущей конкурентной борьбы):
- менторство (помощник который будет помогать развиваться),
- helpdesk (телеком, куча вопросов и разных проблем которые нужно решать),
- экзамен (профилировнная тема в которой нужно сдать экзамен).

Я специально погрузился в реальные проекты, чтобы отшлифовать навыки, которые ранее спокойно развивал, экспериментируя локально. Большинство знаний, которые сейчас циркулируют в интернете, не основаны на реальном опыте, а представляют собой «обезьянничество» — копируют, что говорят другие, и делают вид, что разбираются. Например, популярная библиотека LangChain или агентов CrewAI — их сейчас обсуждают всё чаще. Сразу скажу: не рекомендую использовать их в "продакшене", иначе появится куча проблем.

Недавно записывал подкаст на эту тему, где объяснял, почему так часто говорю "нет, нет и нет". Главная мысль в том, что инструменты — это всего лишь инструменты, и даже если они популярны, они всё равно не решают проблемы. А зачастую наоборот: там, где много маркетинга, меньше "дела".

У меня уже созрел план поделиться опытом, как стоит работать с LLM. Поэтому сразу вопрос: насколько для тебя актуально погрузиться в практический мир LLM? Именно научиться создавать проекты, за которые не будет потом стыдно (а не просто изучать инструменты, которые, скорее всего, не пригодятся).

Пример. Предположим, ты хочешь найти работу в data-сфере (например, аналитиком данных или в области ML, или чем-то смежным). Что можно сделать? Например, проанализировать рынок вакансий и понять, что требуется. Я, кстати, даже собрал такие данные. Но здесь есть загвоздка: вакансии содержат много текста, где каждая компания описывает требования по-своему, и это не так просто анализировать. Тут возникает идея: что, если с помощью LLM мы приведём неструктурированные данные в структурированный вид? Это поможет легче понять и анализировать информацию. Вот так, между прочим, можно создать такого помощника. Интересно?

#llm #project

Оставлю ещё один слайд, чтобы поработать с Твоим воображение и лучше понять, о чём идёт речь 👆 и на что можем повлиять.

Если смотреть с перспективы моего алгоритма, то, используя готовое решение (например, API OpeanAI или любое другое), я отметил, что на что мы влияем (только на выбор модели, да и то в ограниченом ввиде), а что решают за нас. И дальше как обычно в жизни, когда кто-то решает за Тебя, то это комфортная... ловушка 🙂Пока все хорошо - то хорошо, но как только...

Далее по порядку выбираем, где хотим остановиться. Если проходим все шаги, то как бонус получаем контроль над всем процессом — иногда это критически важно.

#llm

Вчера выступал в Nvidia (за спиной офис).

Рассказывал, как можно запускать большие языковые модели (LLM). Говоря простым языком — как запустить ChatGPT на своем сервере, используя открытые модели, например, Llama.

Доклад получился весьма насыщенным. Делился своим опытом. Сам лично немало намучился, пока структурировал информацию. Тема новая, очень разрозненная. Обычно есть две крайности: либо люди слишком глубоко сидят в своей нише, либо совсем не в теме.

Поэтому, когда хочешь погрузиться в вопрос и осознанно принять решение, это не всегда просто.

Для себя я выделил такой алгоритм, состоящий как минимум из 5 шагов:

1. Hardware (GPU от Nvidia и другие)
2. Software (инструменты для inference)
3. Модель LLM
4. Оптимизация
5. API

Хочешь узнать больше о запуске LLM? Ставь реакцию 🔥

P.S. Помню про книгу, напишу отдельным постом.

#llm

Обещал рассказать про одну книгу, которую стоит прочитать (мне ее кстати жена подарила 🙂, хороший подарок).


Книга тонкая, но она больше про подумать и проверить. Книга о том как смотришь на мир и что о нем думаешь, то и происходит. Можно сказать это не про ML, но это не так. Я понимаю что у меня ML это уже профессиональная деформация и я уже везде вижу ML. Например, эта книга про эксперименты, когда у тебя нет уверенности в чем либо, но есть гипотеза которую нужно проверить (с нейтральным подходом).

Вообщем крутая книга, ждешь чтобы написал больше?


#книга

Про отпуск еще напишу, хочу про одну книгу рассказать, но все же тоже хочу, чтобы и про ML было. Я же и в отпуске про это думаю, это интересно. И скорее всего, как это обычно бывает, я забываю, каково это - не знать. Поэтому давай начнем с азов, вверху опросник, интересно Твое мнение. 👆

👆

AI под собственной крышей

ChatGPT, который сейчас постоянно на слуху и часто является синонимом AI, на самом деле это один из доступных вариантов. В какой-то момент времени действительно GPT-3.5 сделала значительный рывок, в отличие от того, что можно было запустить самостоятельно. Это дало импульс, чтобы активно начинать догонять. Кстати, это вообще интересный момент с точки зрения психологии: когда кто-то достигает точки X, то в голове что-то щелкает и становится понятно, что это возможно. Поэтому резко многим удается достичь этой же точки, и это становится только вопросом времени, и обычно это происходит быстро.
Как пример, было что-то похожее с марафонами. Вспомнилась история 6 мая 1954 года, когда британский бегун Роджер Баннистер впервые в истории пробежал милю быстрее четырёх минут, установив мировой рекорд с результатом 3 минуты 59,4 секунды. До этого многие спортсмены и эксперты считали, что человеческие возможности ограничены, и никто не сможет пробежать милю быстрее, чем за 4 минуты. Это мнение базировалось на длительном отсутствии прогресса в улучшении результатов на этой дистанции. Что интересно, после того, как Роджер Баннистер преодолел этот барьер, произошло нечто удивительное: в течение следующих нескольких лет многие другие бегуны также начали пробегать милю быстрее четырёх минут. Вот так пробивается стеклянный потолок, и ML/AI здесь не исключение.

AI/ML можно использовать не только через API ChatGPT и похожие, но можно держать его у себя (например, на ноутбуке). Понятно, что большие языковые модели очень требовательны к мощностям, и не все так легко можно запустить, но есть разные способы оптимизации. Кстати, что тоже важно, речь идет не только про работу с текстом, но также с рисунками или аудио. Например, на видео это я в самолете (кстати, без доступа к интернету) продолжаю работать над курсом и делаю транскрипцию с видео, чтобы потом записать в финальной версии более улучшенного качества. Целый процесс, как сейчас можно, "беря на работу LLM", улучшать качество своих продуктов.

Интересно? Ставь реакцию! 🔥


@data_work
#llama #gpt #training #llm #ai

Модель ChatGPT и похожие очень известны, но существуют альтернативы, которые, может быть, менее популярны. Их иногда называют open-source, но это не совсем верное утверждение. Скорее, правильнее сказать open-weight - в общем, можешь скачать веса и запустить, например, на ноутбуке или на сервере.

Примером такой модели является llama (лама). Сейчас уже есть 3-я версия, которая доступна в 3 размерах (самая большая 400+ млрд параметров) и по качеству далеко обходит GPT-3.5 и приближается к GPT-4.

Так вот, эксклюзивные кадры, как тренируется такая модель 😂

@data_work
#llama #gpt #training #llm #ai

Продложение 👇

Нет!

Точно не паниковать или делать что-то странное. Как по мне, когда такие мысли приходят, нужно создать условия для решения этой задачи. Для начала нужны силы (можно сказать, энергия), чтобы думать и принимать решения. Звучит просто, но, наблюдая за людьми, общаясь, я вижу, что большинство людей находятся на "энергетическом нуле". Как отдыхать? Кстати, очень хороший вопрос. Каждому это индивидуально, но в той ситуации, где мы сейчас находимся, очень важна природа и тишина. Это может быть дача, дом у бабушки с дедушкой или еще что-то. Это не обязательно должно быть что-то дорогое (точно не громкие курорты). В общем, вкратце, нужно сбросить с себя накопленный слой переживаний, успокоиться и наполнить свою батарейку. Для этого порой достаточно хотя бы пары дней, лучше, конечно, недели. И далее, когда нет тревожности, можно начать работать над тем, что делать. Ведь количество возможностей, которое открывается, оно тоже большое. Нужно научить мозг смотреть немного под другим углом.

Ставь реакцию 🔥, буду продолжать. Еще иногда записываю сторис на запрещенограмме.


Кстати, меня тут спрашивали, какую книгу посоветовать. Не очень люблю это делать, могу объяснить почему, но одну крутую (и тонкую) могу посоветовать. Ставь реакцию, и буду продолжать. Сейчас есть время, и очень хочется делиться мыслями. Я уже давно заметил, что передавать только технические знания – этого мало, и лучше всего это работает в связке, когда мозги начинают по-другому работать.

P.S. Кстати, посты пишу сам, но что интересно, у меня с русским (да и любым другим языком, я уже еще пару знаю) с грамматикой всегда проблемы были. Поэтому ChatGPT (хотя чаще использую Claude) тоже участвовал, чтобы исправить ошибки. Вот так вот, даже здесь пригодился.

P.P.S. Жду Твою реакцию, меня это вдохновит и буду дальше делиться 🔥

Отдых важен!

- "Я не успеваю за изменениями (остановите, мне нужно выйти), у меня паника!" - очередная жалоба вместе с просьбой пришла ко мне.
- "Отдохни, все хорошо" - искренне советую, что нужно сделать.

Расскажу историю. За последние полтора года у меня у самого не было полноценного отдыха. Не жалуюсь, просто хочу поделиться с Тобой некоторыми размышлениями. Сейчас утро, нахожусь на берегу Атлантического океана. Здесь спокойно и приходят разные мысли, которыми хочется поделиться. Сегодня не будет про технический ML, хотя это все очень взаимосвязано. Думаю написать серию постов, связанных с моими мыслями и опытом. Интересно, насколько это будет ценно. Моя жена говорит, чтобы я делился своими мыслями с миром, а не только с ней 😉

Наблюдая за мной со стороны, жизнь кажется очень активной и веселой, и можно сказать, так оно и есть. Постоянно перемещаюсь, налетал, наверное, 10к+ километров, участвую в реальных проектах ML (менее очевидных, например, связанных с промышленностью, все хочу начать и этим тоже делиться), обучаю тысячи людей как напрямую, так и через ведущие фирмы телекомов, банков (трансформации больших фирм), участвую в крутых конференциях - в общем, жизнь - конфетка.

Но при всем этом можно заиграться. Именно поэтому я начал с того, что отдых важен. Это звучит просто, может даже банально, но все же это то, что помогает еще быстрее (если есть такая необходимость) двигаться вперед.

А теперь давай про Тебя, чтоб было лучше понятно, про что это я. Вот смотри, сейчас происходит много событий в ML/AI. Правила жизни прямо меняются на глазах. Начиная с ChatGPT 3.5 (которая, к слову, сейчас уже очень посредственная модель (можно даже сказать, уже и плохая по сравнению с конкурентами), но тогда казалась прям идеальной) и дальше больше. А прошло-то всего года с копейками, может, скоро уже будет два. Многие профессии уже сейчас начали изменяться. Особенно там, где есть текст, но, например, самый очевидный - это копирайтеры. Но не только. Это также касается всех, кто работает с документацией (в том числе юристы) или, может, менее очевидный пример - продуктологи или даже программисты (код - это тоже текст). И что делать? Паниковать?

Это одна, можно сказать, случайная история. Мне нравится эта аналогия, которая показывает таланты людей. У каждого из нас есть свои таланты, просто мы часто их скрываем. Но если раскрыть свой талант, никакой ИИ не сможет его превзойти 🙂

ИИ отлично подходит для решения конкретных задач в бизнесе. Об этом я тоже регулярно пишу, отправляю в новостной рассылке или записываю в своем подкасте biznesmysli.pl (пока что только на польском). ИИ предоставляет огромные возможности для бизнеса, но помните, что у любой палки два конца, и всегда
существует золотая середина.


То, что, на мой взгляд, человек сейчас должен сделать, это понять, какова его роль. Сложный вопрос, но ИИ заставляет нас его задать.

Резонирует? ❤️

- ИИ отнимет у людей работу! - сказал испуганный человек о прогрессе ИИ.
- Ну не знаю, думаю, это работает иначе, - сказал практик.

Майлс Астрей, талантливый фотограф, сделал необычное фото фламинго, которое выглядело как безголовое розовое облако на тонких ножках. Эта фотография была настолько "творческой", что легко можно было подумать, что она была сгенерирована искусственным интеллектом.

Фотография Астрея получила две награды в категории ИИ на престижном международном фотоконкурсе "1839 Awards". Однако оказалось... (упс) что она не имела ничего общего с искусственным интеллектом - она была сделана обычной фотокамерой.
Эта неожиданная правда привела к дисквалификации фотографии с конкурса, несмотря на то, что ранее она заняла третье место и получила приз зрительских симпатий в категории ИИ. Астрей намеренно подал свою фотографию в эту категорию, чтобы доказать, что искусство, созданное человеком, все еще имеет огромное воздействие в мире, где доминируют алгоритмы.