Пристанище Дата Сайентиста

🔥 Hugging Face запускает курс по AI-агентам! 🔥

🚀 Hugging Face Agents Course — новый бесплатный курс от Hugging Face, который поможет разобраться в создании и развертывании AI-агентов.

📅 Старт: 10 февраля 2025
📚 Длительность: 6 недель (новые модули каждые 2 недели)
🔧 Что нужно: Python, базовое понимание LLM и учетная запись на Hugging Face

💡 Если хотите прокачаться в AI-агентах и LLM, это отличный шанс! Подробности и регистрация здесь 👉 Hugging Face Agents Course

#AI #MachineLearning #LLM #HuggingFace

Вебинар «Как начать работу с облачными технологиями VK Cloud в Казахстане»

Узнайте, как использовать облачную платформу VK Cloud в Казахстане.

Дата и время: 10 февраля, 16:00 по времени Астаны.

Мы покажем кейсы компаний из Казахстана, которые используют облачные технологии VK Cloud. Объясним, как обращаться в техподдержку и работать с платежными документами, ответим на вопросы.

О чем поговорим 
· Быстрая и безопасная миграция в облако VK Cloud. 
· Запуск цифровых проектов в облаке VK Cloud в Казахстане. 
· Соблюдение закона №94-V «О защите персональных данных». 
· Бесплатное обучение работе с облачными технологиями — базовый и продвинутый курс Cloud Native DIY. 

Отдельно разберем безопасность в облаке 
· Сертификаты ISO.  
· Настройка firewall. 
· Назначение доступов и ролей.
· Двухфакторная аутентификация. 
· Общение с командой ИБ VK Cloud в Казахстане. 

Регистрируйтесь на вебинар, чтобы научиться создавать облачные серверы, подключать базы данных, настраивать сетевые сервисы и бэкапы, работать с Kubernetes и S3-хранилищем. 

Зарегистрироваться бесплатно

Проект Stargate: новый шаг в развитии ИИ

OpenAI объявила о запуске новой компании — Stargate Project, которая в течение четырех лет планирует инвестировать 500 млрд$ в создание новой инфраструктуры для искусственного интеллекта в США.

Уже в ближайшее время будет вложено 100 млрд$ . Эта инициатива укрепит лидерство Америки в сфере ИИ, создаст сотни тысяч рабочих мест и принесет экономическую пользу всему миру.

Кроме того, проект станет ключевым элементом реиндустриализации США и обеспечит стратегическую защиту национальной безопасности Америки и её союзников.

Большая игра начинается.

Меня тут недавно для одной компании попросили провести семинар по современным инструментам ИИ в разработке ПО. Планировалось примерно 7-9 обучающихся.

К сожалению пока я готовил материал семинар сорвался.

Поэтому стало интересно, насколько этот такой семинар мог бы быть интересен как юридическим лицам так и для просто разработчиков.

Программа семинара:

День первый
- Введение в LLM
- Обзор CodeX
- Обзор GitHub Copilot
- Практика GitHub Copilot
- Решение типовых задача
- Написание Unit тестов
- Обзор других инструментов по кодогенерации
- Практика

День второй
- Prompt инжиниринг
- SQL fine-tuning
- Практика

День третий
- AI для Merge requests
- Практика

Стоимость такого семинара для юридического лица и команды 7-9 человек - 1300$

Буду рад фидбеку

Прочитал статью про новую разработку в сфере генерации изображений. Метод уже сейчас может конкурировать с популярными диффузионными моделями.
Команда Yandex Research представила подход Switti, который использует новый метод для повышения качества генерации T2I (text-to-image).

Основное и главное отличие Switti - это скорость генерации (до 7 раз быстрее) без потери качества изображений.

Исследования показали слабую зависимость самовнимания на разных масштабах, что позволило создать не-AR аналог. Эта модификация ускорила процесс генерации на ~11%, уменьшила использование памяти и улучшила качество изображений.

Было выявлено, что использование guidance на высоких разрешениях не только избыточно, но иногда снижает производительность. Отключение этой функции ускорило генерацию на ~20% и улучшило детализацию создаваемых изображений.

Еще раз хочу обратить внимание, что этот подход работает не с помощью дифузионной модели, при этом не уступает ей по качеству и сильно опережает по скорости генерации изображения как показывают числа выше. Так благодаря лаборатории Yandex Research мы получаем быстрый, качественный и возможно дешевый способ генерации изображений в своих проектах.

Демо-версия

Исходный код

Использование компанией ETL и BI-платформ говорит о том, что внутри бизнеса существует достаточно много процессов, данные о которых нужно регулярно собирать и упорядочивать.

Зачастую выгрузка этих данных носит регулярный характер - такие процессы хочется автоматизировать.

Автоматизация процессов в ETL может происходить разными способами — в том числе по расписанию, по требованию, по условию или через API.

👇👇👇
Автоматизация процессов по расписанию оптимизирует обработку данных, заранее определяя время запуска регулярных операций. Например, так можно повысить эффективность:

📉 Ежедневного обновления отчетов. Компании, которые каждый день проводят утренние планерки, должны получать актуальные данные о продажах или состоянии запасов еще до начала совещаний. Для этого можно настроить ежедневное обновление отчетности на 6:00 утра — тогда команда сможет автоматически получать свежую информацию о бизнесе, сэкономив время и человеческие ресурсы на ручном формировании отчетов.

📉 Ночных проверок системы. Для поддержания целостности данных и правильной работы журналов ошибок необходимы...читать далее

P.S. Подписывайся на тг-канал Модус, чтобы знать ещё больше об аналитике и управлении данными🙂

#llm #blog

Как ускорить LLM и снизить затраты. Edge модели

Пост в блоге

Краткое содержания блогпоста:
- RouteLLM снижает расходы на LLM в 3,6 раза, оптимизируя выбор между сильной и слабой моделью для разных запросов.
- Meta Llama 3.2 (1B и 3B параметров) — компактные модели для edge-устройств с 45-60% снижением памяти при сохранении точности.
- Ministral 3B и 8B — высокопроизводительные модели для локальных вычислений, поддерживающие контекст до 128k токенов, идеально подходят для конфиденциальных задач.

Поговорим про деньги в IT?

Приглашаем опытных IT-специалистов пройти небольшой опрос про зарплаты и бенефиты в технологических компаниях. Это займёт не более 7 минут — а ваше мнение поможет одному крупному российскому работодателю делать актуальные оферы.

Пройти опрос можно здесь

Где в Казахстане черпать новые знания по DataScience? Приглашаем на международную IT-конференцию CodeTalks, на которой ты сможешь познакомиться с топовыми экспертами рынка и пообщаться с HR крупнейших IT-работодателей Казахстана. Собираем топовых спикеров 16 ноября в Алматы специально для тебя 🔥

Готовится серьезный движ для участников:

— Насыщенная программа от спикеров из Dodo Brands, Miro, Altel Digital, Raiffeisen, IZI, Ænix, Uzum Tezkor, Avito, CDEK, Yandex.Cloud, Yandex Market и др. Полная программа — на сайте.

— Отдельный трек докладов для DataScience.

— Экспертные зоны с возможностью задать вопросы спикерам, обсудить все, что не успели на докладе. Записи всех докладов с безграничным доступом.

— Выставки IT-компаний: Kolesa Group, Yandex Cloud, Altel Digital, PVS-Studio, CDEK, Servercore.

— Завтрак и сытные кофе-брейки в течение всего дня. Афтепати в Guinness Pub с напитками и закусками.

— Неформальное общение, возможность завести новые профессиональные знакомства, решить рабочие вопросы и просто зарядиться энергией.

Стоимость участия — 25 000 тенге.
Количество мест ограничено. Для участия — регистрируйтесь на сайте.

Суббота, 16 ноября
Алматы, кинотеатр Арман

Пристанище Дата Сайентиста pinned «Менторство, помощь в карьере, запуск пет-проектов и поиск фриланс заказов Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе. Друзья, я решил запустить новый формат – …»

#llm

Нашли отличный курс от преподавателей ВШЭ и ШАД Яндекс, который поможет в деталях разобраться в устройстве LLM 

Он начинается с емкого освоения пререквизитов, а затем вы углубляетесь в особенности архитектур. В курсе предполагается большое количество практики, Вы сможете дообучить генеративную трансформерную модель для решения поставленной перед вами задачи и имплементировать ее в виде сервиса или телеграм-бота.

Но что особенно круто – так это сильная команда преподавателей из топовых университетов и компаний. Это, кстати, те самые эксперты, которые делали AI магистратуру во ВШЭ. 

Курс рассчитан примерно на 10-15 часов в неделю и начинается 21 октября. Мест всего 50, так что скорее записывайтесь!

PS: в своем телеграм канале @shvmxyz ребята выкладывают интересные материалы по LLM, а сегодня в 18:00 там пройдет прямой эфир с автором курса - Еленой Кантонистовой!

Менторство, помощь в карьере, запуск пет-проектов и поиск фриланс заказов

Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе.

Друзья, я решил запустить новый формат – профессиональное комьюнити для тех, кому хочется больше личного общения, помощи в работе и карьере. В отличие от этого публичного канала, там мы сможем пообщаться в живую и разобрать интересующие вас кейсы.

🚀Что будет в чате?
– CV ревью. Ревью ваших резюме, cover letter и профилей в линкедин
– Советы и рекомендации. Рекомендации и советы по профессиональному развитию, поиску работы и так далее
– Общение. Просто общение обо всем
– АМА сессии. АМА сессии со мной и приглашенными гостями
– Поиск фриланс заказов. Бывает так, что ко мне обращаются с каким то заказом, но в силу разных обстоятельств не могу их делать сам и готов ими поделиться
– Запуск сайд- и пет-проектов. Мини-батчи как в акселераторах, «офисные часы» с ответами на вопросы подписчиков, помощь с запуском пет-проектов.

Запуск сайд- и пет-проектов силами участников это большая и амбициозная цель: хочется сделать условия, чтобы у участников получались реальные проекты, пусть и маленькие. Кроме этого мы будем искать новые идеи пет-проектов вместе. Можно будет почувствовать на себе каково это - делать проект с нуля.

👩‍💻Кому будет чат полезен?
– Тем кто вкатывается в Data Sciencе или хочет выйти на новый уровень
– Тем, кто хочет делать стартап, но не знают, как начать
– Тем, кто хочет изучить новые технологии и найти им применение на работе

🤑Какая стоимость?
– Подписка на 1 месяц стоит всего 19 Евро. Стоимость чисто символическая для тех, кому это интересно, и неподъемная для тех, кто просто мимо проходил. Верю, что выборка людей будет бомба!
– Но при оплате в октябре скидка 30% на первый месяц и вы получаете гайд по подготовке к интервью по классическому Data Science на русском и английском языках. Стоимость каждого 5$ если вы бы их покупали по отдельности
– Оплачивается все внутри Телеграма в официальном приложении Tribute

А еще вас ждет первый фриланс заказ, которым я готов поделиться =)

🧐Почему стоит купить подписку именно у меня?
– Последний год помогаю стартапам решать их ML задачи. Среди моих клиентов: Scaanz, Welltech, FindMyKids, UnimatchAI, Conformal Group и др.
– Более 6 лет был на менеджерских позициях и нанимал себе сотрудников. Занимался развитием компетенций и экспертизы в команде.
– 2 года менторил студентов Яндекс Практикума многие из которых трудоустроились в Яндекс, Билайн, AliExpress CIS, X5, Kaspi, и др.
– Я сам искал работу/ проекты/ заказы и не раз.

👉Оплатить подписку со скидкой: https://t.me/tribute/app?startapp=sf1a

💵 А если вам не нужна подписка и вы просто хотите поддержать канал — жмите сюда

Если есть вопросы, то всегда мне можно написать или тут в комментах

Зарплаты data-специалистов за три года выросли на 40% 
 
Kolesa Group провели третье исследование казахстанского рынка data-профессий. 
 
Выяснилось, что профессия повзрослела с 2021 года: специалистов 26-30 лет стало больше на 15%. Доля специалистов в Алматы и Астане выросла на 6%. За три года вырос и общий стаж работы аналитиков, специалистов с опытом от 3 до 5 лет выросло с 38% до 49%. 
 
Зарплаты: 
• Data Science — 825 000 тенге, медиана — 1 099 576 тенге; 
• Data Analysis — 650 000 тенге, медиана — 857 485 тенге; 
• DWH — 824 000 тенге, медиана — 1 081 145 тенге; 
• ML — 1 350 000 тенге, медиана — 1 600 769 тенге; 
• BI — 650 000 тенге, медиана — 726 639 тенге; 
• Прочее — 925 000 тенге, медиана — 929 180 тенге. 
 
За последние три года средняя заработная плата увеличилась примерно на 40%. Количество аналитиков, работающих в финтех-компаниях, возросло на 17%. Удаленная работа (42%) больше ценится среди респондентов, чем корпоративная культура компании (35%).

Митап для NLP специалистов от Beeline Kazakhstan и QazCode | 24.10.2024, 17:00 | Almaty

Я и мои бывшие коллеги из QazCode, Big Data Team Beeline соберемся подискутировать о языковых моделях!

Beksultan Sagyndyk поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Бексултан - один из тех, кто разрабатывает ИИ на казахском в Beeline Казахстан и QazCode.

А после останемся на обсуждение применения NLP в бизнесе: как применять LLMs в реальных кейсах. Расскажу о кейсах, которые я накопил за более чем год фриланс и консалтинг деятельности.

Дата: 24.10, 17:00
Место проведения: DAR U, Коктем-2, 22, 4 этаж

Мероприятие бесплатное, но количество мест ограничено, регистрация по ссылке

#llm #blog

Трендовые статьи по Large Language Model

Пост в блоге

Краткое содержания блогпоста:
- самокоррекция в LLM через обучение с подкреплением: Google Deepmind предложили инновационный подход для повышения способности больших языковых моделей (LLM) к самокоррекции.
- квантование LLM для выполнения инструкций: Было установлено, что методы квантования существенно влияют на производительность LLM. Ключевое наблюдение – квантование моделей с большими параметрами (405B) часто дает лучшие результаты.
- память в LLM: Было доказано, что LLM обладают памятью, а архитектура Transformer выполняет функцию аппроксимации входных данных, демонстрируя «память Шрёдингера», которая активируется входными данными.
- Logic-of-Thought для улучшения рассуждений LLM: Новый подход Logic-of-Thought (LoT) показал значительное улучшение производительности LLM на задачах логического рассуждения, в частности, на наборах данных ReClor, LogiQA и ProofWriter.

Пост в блоге

#llm #blog

Основные тенденции в развитии рассуждений LLM

Решил вместо трех маленьких постов сюда в телеграм канал сделать один большой пост про  тенденции в развитии рассуждений LLM.

Краткое содержания блогпоста:
- Chain of Thought (CoT) – это техника, которая значительно улучшает производительность в задачах, связанных с математикой и логикой, благодаря добавлению промежуточных шагов рассуждений. CoT может применяться избирательно, что позволяет сохранять вычислительную эффективность.
- Diagram of Thought (DoT) – предлагает новый способ структурирования рассуждений через направленные ациклические графы (DAG). Это позволяет моделям выходить за рамки линейных или древовидных рассуждений, охватывая более сложные и строгие логические выводы.
- Iteration of Thought (IoT) – внедряет динамический процесс корректировки рассуждений через агент внутреннего диалога. В отличие от жёстких процессов CoT и DoT, IoT адаптируется к промежуточным результатам, позволяя моделям точнее уточнять ответы на сложные вопросы.

Ссылка на блог пост

#llm #blog

Все новое из мира Large Language Model

За последний месяц произошло очень интересных и знаковых событий в мире Large Language Model (LLM).

Собрал все в один пост в своем блоге

Там вы найдете информацию про новые версии Gemini, новую модель DataGemma от Google, супер новинку Llama 3.2 с возможностями Computer Vision

Всем приятного чтения: https://alimbekov.com/%d0%b2%d1%81%d0%b5-%d0%bd%d0%be%d0%b2%d0%be%d0%b5-%d0%b8%d0%b7-%d0%bc%d0%b8%d1%80%d0%b0-large-language-model/

Материалы с курса ML System Design

Два моих хороших товарища Mikhail Rozhkov и Alexander Guschin выложили в открытый доступ материалы по ML System Design курсу в HARBOUR.SPACE в git

C Мишей мне довелось поработать над курсом MLOps для Data Science и разработки ML моделей, а с Сашей часто общаемся по самым разным вопросам =)

Так же советую ознакомиться с постом на medium

И подписаться на канал Саши в телеграме

#llm

Галлюцинации LLM

Вы слышали про галлюцинации у LLM моделей?
Очень много работ и техник пытаются решить эту проблему

Но вот совсем недавно вышла статья утверждающая, что структурные галлюцинации никогда не могут быть устранены из LLM. И это независимо от модели, RAG, или мер защиты/постобработки.

Термин структурные галлюцинации вводится именно в этой статье.

Авторы проводят анализ опираясь на теорию вычислений и первую теорему Гёделя о неполноте, которая касается неразрешимости задач, таких как задачи остановки, пустоты и принятия.

Авторы утверждают, что на всех этапах процесса работы LLM — от составления обучающих данных до поиска фактов, классификации намерений и генерации текста — существует ненулевая вероятность появления галлюцинаций.

Действительно ли от галлюцинаций у LLM моделей не возможно избавиться? Как вы думаете?

#LLM

Могут ли LLM придумывать новые идеи для рисерча?

Как показала статья от исследователей из Стэнфорда да могут.

По результатам статьи выявлено, что идеи, сгенерированные LLM, оцениваются как более новаторские (p < 0.05), чем идеи экспертов-людей.
Однако их гибкость была оценена несколько ниже.

Также сообщается, что LLM испытывают нехватку разнообразия в процессе генерации идей и не являются надежными оценщиками.

Статья

Building A Generative AI Platform

Chip Huyen - автор книги по Machine Learning Systems Design, выпустила пост с описанием построения Generative AI Platform.

Читается за несколько часов, очень подробно раскрыты темы с RAG, кэшем, метрками, логированием и много другого.

Рекомендую к прочтению

Пристанище Дата Сайентиста pinned «Кофе для автора ☕️ Нравится канал? Поддержите автора, угостив чашкой кофе. Больше энергии — больше контента!»

Кофе для автора ☕️
Нравится канал? Поддержите автора, угостив чашкой кофе. Больше энергии — больше контента!

Prompt engineering от Anthropic

Вышло интересное видео, где ребята из Anthropic дают практические советы по промпт-инжинирингу и рассуждают об эволюции и будущем промпт-инжиниринга.

Еще у них вышел хороший мануал
В нем очень круто описаны с примерами:
- multishot prompting
- chain of thought prompting
- сhain complex prompts
- long context prompting tips

#llm

Ризонинг подвезли!

Не могу пройти мимо новинки от OpenAI o1. Модель уже по полной бьет все бенчмарки.

По простому ризонинг это процесс многошаговых рассуждений, где выполняется несколько последовательных шагов размышлений и где каждый шаг зависит от предыдущего. 

Может показаться, что Reasoning и Chain of Thought (CoT) это одно и то же. Они связаны, но это разные концепции.

Reasoning — это общее понятие рассуждения и умозаключений. Оно включает любые формы размышлений и выводов.
Chain of Thought — это конкретная техника, используемая для улучшения reasoning путем добавления промежуточных шагов, чтобы помочь модели ясно выразить свои мысли и более точно прийти к решению задачи.

Подробнее про o1 можно почитать тут

Посмотреть как кодит тут

#llm

RAG и Long-Context LLMs

В ранних версиях LLM модели с RAG были надежным решением для создания ответов на основе контекста.

С появлением long-context LLM, которые могут работать с гораздо более длинными текстами, RAG стал менее популярным, так как новые модели часто превосходят его в задачах с большим контекстом.

В новой статье от NVIDIA сообщается, что при слишком длинном контексте LLM теряют фокус на важной информации, что снижает качество ответов. В статье предлагается новый механизм, называемый OP-RAG (Order-Preserve Retrieval-Augmented Generation), который улучшает работу RAG за счёт сохранения порядка полученных фрагментов данных, что помогает достичь более высокого качества ответов.

Эксперименты на публичных бенчмарках (например, En.QA dataset) показали, что OP-RAG может превзойти современные длинноконтекстные модели без использования RAG, демонстрируя лучшую точность и качество ответов.

Ссылка на статью

#llm

Очень сильно рекомендую посмотреть трех часовой мастер класс от Sebastian Raschka по имплементации, обучению и использованию LLM

https://magazine.sebastianraschka.com/p/building-llms-from-the-ground-up.

​​В предыдущем посте писал, что у меня новый карьерный этап.

С недавних пор помогаю ребятам из unimatch

Делаем AI для венчура.

Сделали system дизайн решения, проводим cust dev, уже изучили конкурентов, есть бэклог. В общем проделали много продуктовой работы.

Кстати у фаундера есть клевый телеграм канал Там он более детально рассказывает о проекте и делиться другими бизнес практиками

​​Модель ИИ для борьбы с онлайн-токсичностью

Решил поделиться результатами своей работы в стартапе.

А занимался я разработкой моделей для модерации контента, направленной на искоренение онлайн-токсичности и создание активных онлайн-сообществ.

Основной целью было разработка модели с высоким перфомансом и минимальным вычислительным затратам и чрезвычайно низкой задержкой.

У нас получилось достигнуть F1-оценку почти 0.96 и AUPRC выше 0.98, при среднем времени оценки контента менее 40 миллисекунд.

Модель также превзошла ведущие ИИ-модели во время независимой оценки, проведенной компанией OpenPipe, лидером в области доработки и оценки доработанных моделей. (можно увидеть на скрине)

Полный текст анонса

А у меня теперь новый карьерный этап, но об этом чуть позже