Пристанище Дата Сайентиста

Пристанище Дата Сайентиста pinned «Менторство, помощь в карьере, запуск пет-проектов и поиск фриланс заказов Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе. Друзья, я решил запустить новый формат – …»

#llm

Нашли отличный курс от преподавателей ВШЭ и ШАД Яндекс, который поможет в деталях разобраться в устройстве LLM 

Он начинается с емкого освоения пререквизитов, а затем вы углубляетесь в особенности архитектур. В курсе предполагается большое количество практики, Вы сможете дообучить генеративную трансформерную модель для решения поставленной перед вами задачи и имплементировать ее в виде сервиса или телеграм-бота.

Но что особенно круто – так это сильная команда преподавателей из топовых университетов и компаний. Это, кстати, те самые эксперты, которые делали AI магистратуру во ВШЭ. 

Курс рассчитан примерно на 10-15 часов в неделю и начинается 21 октября. Мест всего 50, так что скорее записывайтесь!

PS: в своем телеграм канале @shvmxyz ребята выкладывают интересные материалы по LLM, а сегодня в 18:00 там пройдет прямой эфир с автором курса - Еленой Кантонистовой!

Менторство, помощь в карьере, запуск пет-проектов и поиск фриланс заказов

Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе.

Друзья, я решил запустить новый формат – профессиональное комьюнити для тех, кому хочется больше личного общения, помощи в работе и карьере. В отличие от этого публичного канала, там мы сможем пообщаться в живую и разобрать интересующие вас кейсы.

🚀Что будет в чате?
– CV ревью. Ревью ваших резюме, cover letter и профилей в линкедин
– Советы и рекомендации. Рекомендации и советы по профессиональному развитию, поиску работы и так далее
– Общение. Просто общение обо всем
– АМА сессии. АМА сессии со мной и приглашенными гостями
– Поиск фриланс заказов. Бывает так, что ко мне обращаются с каким то заказом, но в силу разных обстоятельств не могу их делать сам и готов ими поделиться
– Запуск сайд- и пет-проектов. Мини-батчи как в акселераторах, «офисные часы» с ответами на вопросы подписчиков, помощь с запуском пет-проектов.

Запуск сайд- и пет-проектов силами участников это большая и амбициозная цель: хочется сделать условия, чтобы у участников получались реальные проекты, пусть и маленькие. Кроме этого мы будем искать новые идеи пет-проектов вместе. Можно будет почувствовать на себе каково это - делать проект с нуля.

👩‍💻Кому будет чат полезен?
– Тем кто вкатывается в Data Sciencе или хочет выйти на новый уровень
– Тем, кто хочет делать стартап, но не знают, как начать
– Тем, кто хочет изучить новые технологии и найти им применение на работе

🤑Какая стоимость?
– Подписка на 1 месяц стоит всего 19 Евро. Стоимость чисто символическая для тех, кому это интересно, и неподъемная для тех, кто просто мимо проходил. Верю, что выборка людей будет бомба!
– Но при оплате в октябре скидка 30% на первый месяц и вы получаете гайд по подготовке к интервью по классическому Data Science на русском и английском языках. Стоимость каждого 5$ если вы бы их покупали по отдельности
– Оплачивается все внутри Телеграма в официальном приложении Tribute

А еще вас ждет первый фриланс заказ, которым я готов поделиться =)

🧐Почему стоит купить подписку именно у меня?
– Последний год помогаю стартапам решать их ML задачи. Среди моих клиентов: Scaanz, Welltech, FindMyKids, UnimatchAI, Conformal Group и др.
– Более 6 лет был на менеджерских позициях и нанимал себе сотрудников. Занимался развитием компетенций и экспертизы в команде.
– 2 года менторил студентов Яндекс Практикума многие из которых трудоустроились в Яндекс, Билайн, AliExpress CIS, X5, Kaspi, и др.
– Я сам искал работу/ проекты/ заказы и не раз.

👉Оплатить подписку со скидкой: https://t.me/tribute/app?startapp=sf1a

💵 А если вам не нужна подписка и вы просто хотите поддержать канал — жмите сюда

Если есть вопросы, то всегда мне можно написать или тут в комментах

Зарплаты data-специалистов за три года выросли на 40% 
 
Kolesa Group провели третье исследование казахстанского рынка data-профессий. 
 
Выяснилось, что профессия повзрослела с 2021 года: специалистов 26-30 лет стало больше на 15%. Доля специалистов в Алматы и Астане выросла на 6%. За три года вырос и общий стаж работы аналитиков, специалистов с опытом от 3 до 5 лет выросло с 38% до 49%. 
 
Зарплаты: 
• Data Science — 825 000 тенге, медиана — 1 099 576 тенге; 
• Data Analysis — 650 000 тенге, медиана — 857 485 тенге; 
• DWH — 824 000 тенге, медиана — 1 081 145 тенге; 
• ML — 1 350 000 тенге, медиана — 1 600 769 тенге; 
• BI — 650 000 тенге, медиана — 726 639 тенге; 
• Прочее — 925 000 тенге, медиана — 929 180 тенге. 
 
За последние три года средняя заработная плата увеличилась примерно на 40%. Количество аналитиков, работающих в финтех-компаниях, возросло на 17%. Удаленная работа (42%) больше ценится среди респондентов, чем корпоративная культура компании (35%).

Митап для NLP специалистов от Beeline Kazakhstan и QazCode | 24.10.2024, 17:00 | Almaty

Я и мои бывшие коллеги из QazCode, Big Data Team Beeline соберемся подискутировать о языковых моделях!

Beksultan Sagyndyk поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Бексултан - один из тех, кто разрабатывает ИИ на казахском в Beeline Казахстан и QazCode.

А после останемся на обсуждение применения NLP в бизнесе: как применять LLMs в реальных кейсах. Расскажу о кейсах, которые я накопил за более чем год фриланс и консалтинг деятельности.

Дата: 24.10, 17:00
Место проведения: DAR U, Коктем-2, 22, 4 этаж

Мероприятие бесплатное, но количество мест ограничено, регистрация по ссылке

#llm #blog

Трендовые статьи по Large Language Model

Пост в блоге

Краткое содержания блогпоста:
- самокоррекция в LLM через обучение с подкреплением: Google Deepmind предложили инновационный подход для повышения способности больших языковых моделей (LLM) к самокоррекции.
- квантование LLM для выполнения инструкций: Было установлено, что методы квантования существенно влияют на производительность LLM. Ключевое наблюдение – квантование моделей с большими параметрами (405B) часто дает лучшие результаты.
- память в LLM: Было доказано, что LLM обладают памятью, а архитектура Transformer выполняет функцию аппроксимации входных данных, демонстрируя «память Шрёдингера», которая активируется входными данными.
- Logic-of-Thought для улучшения рассуждений LLM: Новый подход Logic-of-Thought (LoT) показал значительное улучшение производительности LLM на задачах логического рассуждения, в частности, на наборах данных ReClor, LogiQA и ProofWriter.

Пост в блоге

#llm #blog

Основные тенденции в развитии рассуждений LLM

Решил вместо трех маленьких постов сюда в телеграм канал сделать один большой пост про  тенденции в развитии рассуждений LLM.

Краткое содержания блогпоста:
- Chain of Thought (CoT) – это техника, которая значительно улучшает производительность в задачах, связанных с математикой и логикой, благодаря добавлению промежуточных шагов рассуждений. CoT может применяться избирательно, что позволяет сохранять вычислительную эффективность.
- Diagram of Thought (DoT) – предлагает новый способ структурирования рассуждений через направленные ациклические графы (DAG). Это позволяет моделям выходить за рамки линейных или древовидных рассуждений, охватывая более сложные и строгие логические выводы.
- Iteration of Thought (IoT) – внедряет динамический процесс корректировки рассуждений через агент внутреннего диалога. В отличие от жёстких процессов CoT и DoT, IoT адаптируется к промежуточным результатам, позволяя моделям точнее уточнять ответы на сложные вопросы.

Ссылка на блог пост

#llm #blog

Все новое из мира Large Language Model

За последний месяц произошло очень интересных и знаковых событий в мире Large Language Model (LLM).

Собрал все в один пост в своем блоге

Там вы найдете информацию про новые версии Gemini, новую модель DataGemma от Google, супер новинку Llama 3.2 с возможностями Computer Vision

Всем приятного чтения: https://alimbekov.com/%d0%b2%d1%81%d0%b5-%d0%bd%d0%be%d0%b2%d0%be%d0%b5-%d0%b8%d0%b7-%d0%bc%d0%b8%d1%80%d0%b0-large-language-model/

Материалы с курса ML System Design

Два моих хороших товарища Mikhail Rozhkov и Alexander Guschin выложили в открытый доступ материалы по ML System Design курсу в HARBOUR.SPACE в git

C Мишей мне довелось поработать над курсом MLOps для Data Science и разработки ML моделей, а с Сашей часто общаемся по самым разным вопросам =)

Так же советую ознакомиться с постом на medium

И подписаться на канал Саши в телеграме

#llm

Галлюцинации LLM

Вы слышали про галлюцинации у LLM моделей?
Очень много работ и техник пытаются решить эту проблему

Но вот совсем недавно вышла статья утверждающая, что структурные галлюцинации никогда не могут быть устранены из LLM. И это независимо от модели, RAG, или мер защиты/постобработки.

Термин структурные галлюцинации вводится именно в этой статье.

Авторы проводят анализ опираясь на теорию вычислений и первую теорему Гёделя о неполноте, которая касается неразрешимости задач, таких как задачи остановки, пустоты и принятия.

Авторы утверждают, что на всех этапах процесса работы LLM — от составления обучающих данных до поиска фактов, классификации намерений и генерации текста — существует ненулевая вероятность появления галлюцинаций.

Действительно ли от галлюцинаций у LLM моделей не возможно избавиться? Как вы думаете?

#LLM

Могут ли LLM придумывать новые идеи для рисерча?

Как показала статья от исследователей из Стэнфорда да могут.

По результатам статьи выявлено, что идеи, сгенерированные LLM, оцениваются как более новаторские (p < 0.05), чем идеи экспертов-людей.
Однако их гибкость была оценена несколько ниже.

Также сообщается, что LLM испытывают нехватку разнообразия в процессе генерации идей и не являются надежными оценщиками.

Статья

Building A Generative AI Platform

Chip Huyen - автор книги по Machine Learning Systems Design, выпустила пост с описанием построения Generative AI Platform.

Читается за несколько часов, очень подробно раскрыты темы с RAG, кэшем, метрками, логированием и много другого.

Рекомендую к прочтению

Пристанище Дата Сайентиста pinned «Кофе для автора ☕️ Нравится канал? Поддержите автора, угостив чашкой кофе. Больше энергии — больше контента!»

Кофе для автора ☕️
Нравится канал? Поддержите автора, угостив чашкой кофе. Больше энергии — больше контента!

Prompt engineering от Anthropic

Вышло интересное видео, где ребята из Anthropic дают практические советы по промпт-инжинирингу и рассуждают об эволюции и будущем промпт-инжиниринга.

Еще у них вышел хороший мануал
В нем очень круто описаны с примерами:
- multishot prompting
- chain of thought prompting
- сhain complex prompts
- long context prompting tips

#llm

Ризонинг подвезли!

Не могу пройти мимо новинки от OpenAI o1. Модель уже по полной бьет все бенчмарки.

По простому ризонинг это процесс многошаговых рассуждений, где выполняется несколько последовательных шагов размышлений и где каждый шаг зависит от предыдущего. 

Может показаться, что Reasoning и Chain of Thought (CoT) это одно и то же. Они связаны, но это разные концепции.

Reasoning — это общее понятие рассуждения и умозаключений. Оно включает любые формы размышлений и выводов.
Chain of Thought — это конкретная техника, используемая для улучшения reasoning путем добавления промежуточных шагов, чтобы помочь модели ясно выразить свои мысли и более точно прийти к решению задачи.

Подробнее про o1 можно почитать тут

Посмотреть как кодит тут

#llm

RAG и Long-Context LLMs

В ранних версиях LLM модели с RAG были надежным решением для создания ответов на основе контекста.

С появлением long-context LLM, которые могут работать с гораздо более длинными текстами, RAG стал менее популярным, так как новые модели часто превосходят его в задачах с большим контекстом.

В новой статье от NVIDIA сообщается, что при слишком длинном контексте LLM теряют фокус на важной информации, что снижает качество ответов. В статье предлагается новый механизм, называемый OP-RAG (Order-Preserve Retrieval-Augmented Generation), который улучшает работу RAG за счёт сохранения порядка полученных фрагментов данных, что помогает достичь более высокого качества ответов.

Эксперименты на публичных бенчмарках (например, En.QA dataset) показали, что OP-RAG может превзойти современные длинноконтекстные модели без использования RAG, демонстрируя лучшую точность и качество ответов.

Ссылка на статью

#llm

Очень сильно рекомендую посмотреть трех часовой мастер класс от Sebastian Raschka по имплементации, обучению и использованию LLM

https://magazine.sebastianraschka.com/p/building-llms-from-the-ground-up.

​​В предыдущем посте писал, что у меня новый карьерный этап.

С недавних пор помогаю ребятам из unimatch

Делаем AI для венчура.

Сделали system дизайн решения, проводим cust dev, уже изучили конкурентов, есть бэклог. В общем проделали много продуктовой работы.

Кстати у фаундера есть клевый телеграм канал Там он более детально рассказывает о проекте и делиться другими бизнес практиками

​​Модель ИИ для борьбы с онлайн-токсичностью

Решил поделиться результатами своей работы в стартапе.

А занимался я разработкой моделей для модерации контента, направленной на искоренение онлайн-токсичности и создание активных онлайн-сообществ.

Основной целью было разработка модели с высоким перфомансом и минимальным вычислительным затратам и чрезвычайно низкой задержкой.

У нас получилось достигнуть F1-оценку почти 0.96 и AUPRC выше 0.98, при среднем времени оценки контента менее 40 миллисекунд.

Модель также превзошла ведущие ИИ-модели во время независимой оценки, проведенной компанией OpenPipe, лидером в области доработки и оценки доработанных моделей. (можно увидеть на скрине)

Полный текст анонса

А у меня теперь новый карьерный этап, но об этом чуть позже