Khan of data & analytics🎲

4. Математика
- Хэндбук «Математика для анализа данных» (Яндекс) – ключевые математические темы для анализа данных.
Ключевые темы:
- Линейная алгебра: матрицы, векторы, операции.
- Статистика и вероятность: распределения, теорема Байеса, корреляции.
- Математический анализ: производные, градиенты, оптимизация.

Ресурсы:
- Khan Academy – разделы по линейной алгебре и статистике.
- Книга «Mathematics for Machine Learning» (Marc Peter Deisenroth) – связь математики с ML.

5. Алгоритмы и программирование
- Курс «Основы программирования» (Яндекс Практикум) – начальный курс по программированию.
Платформы для тренировки:
- LeetCode – задачи на структуры данных и алгоритмы.
- Codeforces – олимпиадные задачи.

Книги:
- "Грокаем алгоритмы" (Aditya Bhargava) – визуальное объяснение основ.
- "Introduction to Algorithms" (CLRS) – углубленное изучение (для продвинутых).

6. Примеры задач с олимпиад
- ML: Предсказать оценку студента по данным об учебных привычках.
- CV: Определить наличие опухоли на МРТ-снимке.
- NLP: Классифицировать отзывы на позитивные и негативные.
- ML/CV: Разработать систему, которая определяет породу собаки по изображению.
- NLP: Определить уровень эмоции (гнев, радость, нейтральность) в тексте.

В этом году проводим Республиканскую олимпиаду по AI для школьников!
Будут задачи по машинному обучению (ML), компьютерному зрению (CV), обработке естественного языка (NLP), математике и программированию.
Рекомендации по подготовке еще будут на официальном сайте, но тут от себя добавлю, полезно будет не только школьникам, но и всем.

1. Основы машинного обучения (ML)
- Учебник по машинному обучению (Яндекс) – хэндбук с теоретическими основами ML.
Теория и курсы:
- Курс «Основы анализа данных» (Яндекс Практикум) – обучение основам языка Python и аналитики данных, чтение графиков и построение гипотез.
- Курс Эндрю Ына «Machine Learning» (Coursera) – базовый курс с упором на математику и практику.
- «Introduction to Machine Learning» (Kaggle Learn) – интерактивные уроки с задачами.
- Книга «Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow» (Aurélien Géron) – практические примеры на Python.

Практика:
- Соревнования на [Kaggle] (начните с разделов для новичков, например, Titanic или Iris).
- Проекты: Реализуйте линейную регрессию, классификацию изображений или предсказание временных рядов с нуля.

2. Компьютерное зрение (CV)
- Курс «Компьютерное зрение» (Stepik) – русскоязычный курс по основам CV.
Основы:
- Курс «CS231n: CNNs for Visual Recognition» (Стэнфорд) – лекции и задания по нейросетям для CV.
- Библиотеки: OpenCV (обработка изображений) и PyTorch / TensorFlow (нейросети).

Практика:
- Задачи на распознавание объектов (MNIST, CIFAR-10).
- Мини-проекты: детекция лиц, сегментация изображений.

3. Обработка естественного языка (NLP)
- Курс «NLP Course» (Hugging Face) – русская версия и английская версия – бесплатные курсы по NLP.
Теория:
- Курс «Natural Language Processing with PyTorch» (Udemy) – основы NLP.
- Hugging Face Transformers – бесплатный курс по трансформерам и моделям вроде BERT.

Практика:
- Создайте чат-бота, анализатор тональности текста или переводчик.
- Используйте датасеты из Kaggle NLP Competitions.

#AI_Olymp

AI Olymp атты Республикалық мектеп оқушылар арасындағы жасанды интеллект олимпиадасы Ережелерін ұсынамыз!

📝 Іріктеу кезеңіне тіркелу 2025 жылдың ақпан айының соңында - наурыз айының басында басталады.

Жақында біз олимпиадаға қалай дайындалу керектігі туралы ақпаратпен бөлісетін боламыз, байланыста болыңыз 👩‍💻🧑‍💻
——

Положение Республиканской олимпиады по искусственному интеллекту среди школьников - AI Olymp!

📝 Регистрация на отборочный этап начнется в конце февраля-начале марта 2025 года.

Совсем скоро мы будем делиться информацией как готовиться к олимпиаде, оставайтесь на связи 👩‍💻🧑‍💻

Можете тоже отправлять вакансии, я знаю, тут сидят несколько классных и красивых HR-ов 😉

Решил в канале делиться крутыми вакансиями.

Начну с себя! 🔥 Ищу срочно классного middle/senior UX/UI researcher к себе.

 SELECT * 
FROM subscribers 
WHERE channel_name = 'ux_ui_researcher' 
AND technical_skills IN ('User Research', 'Usability Testing', 'Data Analysis', 'UX Metrics') 
AND empathy = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true 
AND work_location = 'Remote'
AND humor_level > 9000; 

💡 Что важно:
Ваши исследования не лягут «в стол», а станут основой для улучшения интерфейсов, влияя на опыт миллион пользователей.

Остальное расскажу в личке — пишите)

#вакансия

Мой друг Владислав руководит большими командами продуктовых аналитиков в Т-банке. Один из его ребят написал крутую статью про последовательное тестирование (sequential testing).

🚀 Почему это интересно?

В бизнесе очень важна скорость принятия решений. Sequential Testing как раз помогает быстрее принимать решения, позволяя останавливать тесты, как только достигнута статистическая значимость, а не ждать фиксированного горизонта (как в классических A/B тестах).

На работе я всегда использовал классические A/B тесты с фиксированным горизонтом. Однако примерно год назад у меня возникла идея попробовать последовательные тесты и даже многоруких бандитов, но не хватило времени и ресурсов. После прочтения этой статьи вновь загорелся желанием внедрить эти методы.

Статья классная: в ней сравниваются подходы, даётся разбор их плюсов и минусов, а также предоставляется готовая реализация на Python. Надеюсь, в 2025 году у меня получится протестировать этот подход на практике)

еще есть такая мощная статья от Spotify про последовательное тестирование

#Experiments #test

Так, со вчерашнего дня много чего прочитал, вот вам дайджесты – может, кому-то интересно 👇

Важное в мире ИИ

💰 Бизнес и инвестиции
👉 Скайнет? Не, Скайгейт!
Трамп анонсировал проект Skygate с инвестициями ~$500 млрд. Амбиции как у старых фильмов, ждём, когда начнут строить ИИ-империю.
👉 DeepSeek в деле!
Китайский стартап DeepSeek разрывает индустрию. Их модель в топах, приложение — №1 в App Store США.
👉 Китай продолжает давить:
Банк Китая вливает 1 трлн юаней в развитие ИИ.
👉 Anthropic на подъёме:
Google инвестирует ещё $1 млрд в конкурента OpenAI. Видимо, ChatGPT их крепко достал.

🦾 ИИ-ассистенты
👉 OpenAI качает навыки:
Представили Operator — ИИ-агент, который решает задачи прямо в браузере. Живи спокойно, а за тебя пусть работает робот.
👉 Perplexity теперь и на Android! Вообще всем советую, давно вместо гугла тока ее использую
👉 Итоги от ElevenLabs:
Их ИИ-ассистент отрабатывает 80% обращений. А вы всё ещё мучаетесь с колл-центрами?

💬 LLMки
👉 LLaSA-3B
Реалистично синтезирует эмоциональную речь. Кажется, нас ждут очень убедительные ИИ-звонки.
👉 Doubao-1.5-Pro от ByteDance:
Китайцы врываются с моделью, которая в 50 раз дешевле GPT-4. Держитесь, лидеры рынка.
👉 EvaByte:
Открытая модель, которая вообще не использует токенизацию. Новый взгляд на работу с текстом.

🧬 Наука и медицина
👉 ИИ помогает распознавать врождённые пороки сердца.
👉 Генеративные видеомодели уже ускоряют открытия в химии и биологии.
👉 Включаются даже в исследования Титана. Ждём открытия нового дома для людей.


Ян Лекун из Meta предсказывает «новую парадигму архитектуры ИИ» в ближайшие 5 лет.

@khan17analytics

#khan_digest #AI #ML

Как раз для предыдущего поста друзья скинули инфу: есть бесплатная программа по машинному обучению в Яндекс Лицее! Если тебе 13–20 лет, ты шаришь в Python и обожаешь математику — смело подавай заявку до 29 января. За три месяца онлайн-занятий с крутыми экспертами прокачаешь ML‑скилы: от компьютерного зрения до нейронных сетей.

Также есть курсы от наших ребят: https://ai-academy.kz/.

И на faio.kz найдутся полезные ссылки и материалы.

#ml #AI

Горячая новость: в стране пройдет Республиканская олимпиада по ИИ — AI Olymp! Это стало возможным благодаря меморандуму о сотрудничестве, который открыл новый этап развития ИИ-образования у нас.

Олимпиада планируется на весну и пройдет в два этапа. Сначала онлайн-отбор: школьникам со всей страны предстоит решать задачи по программированию, математике и классическому машинному обучению. Лучшие 30–40 участников попадут в заключительный очный тур, где их ждут реальные кейсы по алгоритмам ML, анализу данных и концепциям искусственного интеллекта.

Победители получат шанс войти в специальную программу подготовки для формирования сборной Казахстана на Международную олимпиаду IOAI в Пекине (2–9 августа 2025 г.).

Сам рад участвовать в этом событии, особенно после проведения FAIO; в целом у меня очень позитивное отношение к школьникам, которые осваивают это новое направление — уверен, они еще покажут себя на мировой арене!

Регистрация и положение на олимпиаду скоро появятся.

Пока я ищу людей, кто хочет поучаствовать в этом деле. Знаю, у меня тут сидят мощные ML‑специалисты мирового уровня! Может, кто-то хочет войти в состав жюри, придумывать интересные задачи или тренировать нашу сборную на мировую олимпиаду? Пишите!

#AI

Начал читать и слушать (в Яндекс Книге удобно — аудио с текстом синхронизированы, так что когда хожу, слушаю, когда сижу, читаю) книгу «The Maniac» Бенджамина Лабатута. Автор круто смешивает факты и вымысел, так что иногда вообще не понимаешь, где заканчивается реальность. Главный герой — гениальный математик (Джону фон Нейман), чьи идеи повлияли и на ЭВМ, и на ядерное оружие, и на то, как мы в целом смотрим на мир.

Но самое сильное здесь — это то, как Лабатут показывает «тёмную сторону» гения. Вдруг понимаешь, что есть очень тонкая грань между великой идеей и безумной одержимостью, и она может легко сдвинуться. Пока не закончил, но уже рекомендую всем!

#kitap_khan

Наткнулся на сайт от Амазона — MLU-Explain.

Сделали реально классные визуализации по ключевым темам в ML:
Случайный лес, Перекрёстная проверка, Обучение с подкреплением, Поиск компромисса между смещением и дисперсией, Нейронные сети

Тем пока не так много, но, возможно, будут добавлять. Вообще, очень крутая штука, чтобы освежить знания или объяснить новичкам.

#ML

Прочитал статью "Что мы узнали о LLM в 2024" Саймона Виллисона — человека с опытом работы в веб-разработке и Python более 20 лет!
Статья огонь, поделюсь главными мыслями!

Главные уроки 2024 года

LLMs продолжают удивлять, но и показывают свои ограничения. Вот основные выводы:

⚡️ Контекст — наше всё: Модели стали лучше в обработке длинных текстов, но всё ещё иногда теряют нить повествования. Кто виноват? Ограничения технологии.

🌍 Многоязычность: Работают с десятками языков, но, как говорится, «где данные лучше, там и результат». Пока не везде идеально.

🔐 Этика и безопасность: Использование моделей для дезинформации и прочего деструктива — острый вопрос, который до сих пор решают.

🔍 Узкие задачи — лучший результат: Если модель обучена на конкретной теме, результат просто топ. На широких данных пока «не так всё однозначно».

Технические достижения 2024 года

Сначала про то, что действительно впечатляет:

🪟 Контекстное окно до 100 000 токенов: Теперь LLMs могут «читать» книги, статьи и большие документы. Это уже уровень.

🤖 Интеграция с инструментами: Модели умеют обращаться к базам данных и API, чтобы отвечать на сложные вопросы.

🧩 Модульные архитектуры: Соединение нескольких моделей для разных задач — это что-то новое.

Применение LLMs в реальном мире

Теперь о том, где это всё реально работает:

📊 Бизнес: Автоматизация отчётов, анализ данных, подготовка документов. Времени экономит куча!

🏥 Медицина: Помощь в анализе клинических данных и расшифровке записей врачей.

🎓 Образование: Персонализированные учебные материалы. Учиться стало проще, но не всем.

🛠️ Программирование: Генерация кода, поиск багов. Говорят, джуны начали нервничать.

Проблемы и вызовы
Но не всё так радужно:

❌ Точность: Модели иногда несут чушь. Над этим надо работать.

🕶️ Чёрный ящик: Даже разработчики иногда не понимают, как это работает внутри.

⚠️ Этика: Кто и как будет контролировать использование? Пока больше вопросов, чем ответов.

🌐 Энергопотребление: Модели требуют огромных ресурсов. Экология говорит: «Ай-ай-ай!»

Интересные факты

🔄 Самообучение: Появились модели, которые могут учиться в реальном времени.

🌍 Глобальное внедрение: Даже развивающиеся страны используют LLM для автоматизации.

🧬 Модели с памятью: Теперь они запоминают, что обсуждали раньше. Удобно!

📱 Мобильные версии: LLM, которые работают на смартфонах и IoT-устройствах.

Что нас ждёт в будущем?

🧑‍⚖️ Новые законы: Глобальные правила использования ИИ — это вопрос времени.

🔬 Специализация: Будут модели для конкретных задач, а не «всё обо всём».

🤝 Коллаборации: Компании и страны начнут работать вместе.

🌱 Экологичность: Учёные разрабатывают энергоэффективные методы обучения.

#AI

SQL Squid Game

Представьте себе: вас только что наняли на должность Data Scientist в загадочную организацию Squid Game. Front Man, руководитель игр, заманил вас обещаниями полностью удаленной работы и возможностью работать с передовым ИИ.
Но... сюрприз!
Классическая ситуация в мире данных: вас обманули.

Вместо обещанного вы получаете:
- Product Analytics на SQL.
- Гибридный график (5 дней в офисе, 2 дня возможно удаленно).

И пока вы размышляете о том, как бы пожаловаться на Reddit, Front Man приставляет пистолет к вашей голове и требует ответы на бизнес-вопросы.
Теперь ваша задача - писать SQL-запросы, чтобы выжить!

Готовы проверить свои навыки SQL в экстремальных условиях? Присоединяйтесь к игре!

Вы участвуете в игре Дальгон, где перед вами лежит сахарная фигурка в виде треугольника. Вам нужно вырезать эту фигурку, используя иголку, так чтобы не сломать её. Ваша задача — действовать аккуратно, так как:

1. Каждое нажатие на фигурку с вероятностью 10% приводит к трещине.
2. Если фигурка получает 3 трещины, она ломается, и вы проигрываете.

Вопрос:
Какова вероятность того, что вы сможете вырезать фигурку, сделав ровно 20 нажатий, не сломав её?

#задачи

Продуктовые метрики: что нужно знать всем (не только аналитикам!)

Продуктовые метрики — это как health-check вашего бизнеса. Если не следить за ними, можно легко потерять клиентов, деньги и даже мотивацию команды. Здесь собрал 10 самых интересных и полезных метрик, которые будут понятны не только аналитикам, но и менеджерам, разработчикам. В дальнейшем буду отправлять неочевидные и интересные метрики.

1️⃣ DAU/WAU/MAU (Daily/Weekly/Monthly Active Users)

Что это: Показывает, сколько у вас активных пользователей за день, неделю или месяц.
Зачем нужно: Видите динамику — растёте, стагнируете или падаете.
Пример: Если DAU падает, а маркетинг крутит акции — значит, где-то утечка: баг, неудобный UX или конкуренты переманили.

2️⃣ Retention Rate (Удержание пользователей)

Что это: Процент пользователей, которые вернулись после первой сессии.
Зачем нужно: Без удержания все деньги уйдут на привлечение, а пользователи так и не станут постоянными.
Пример: Игровое приложение: если на третий день остаётся только 10%, то либо игра скучная, либо гейм-дизайнер был в отпуске.

3️⃣ Churn Rate (Отток пользователей)

Что это: Процент пользователей, которые ушли за определённый период.
Зачем нужно: Чутьё на проблемы — чем выше отток, тем больше риска для бизнеса.
Пример: В музыкальном сервисе Churn резко вырос после обновления — оказалось, что добавили платную подписку без уведомления.

4️⃣ ARPU (Average Revenue Per User)

Что это: Средний доход с одного пользователя.
Зачем нужно: Помогает понять, кто ваш самый прибыльный сегмент.
Пример: Если ARPU падает, а скидки раздают всем подряд, то может, вы просто дарите деньги, а не зарабатываете.

5️⃣ NPS (Net Promoter Score)

Что это: Мера лояльности пользователей. Спрашиваете: "Оцените, как вы нас порекомендуете от 0 до 10".
Зачем нужно: Выяснить, кто фанат вашего продукта, а кто пишет вам гневные отзывы.
Пример: Если NPS падает, а вы игнорируете тикеты в саппорте, готовьтесь к антирекламе в соцсетях.

6️⃣ Conversion Rate (Конверсия)

Что это: Процент пользователей, выполнивших целевое действие (покупка, подписка).
Зачем нужно: Помогает измерить эффективность вашей воронки продаж.
Пример: В интернет-магазине с новой формой оплаты конверсия выросла на 15%. Деньги любят, когда удобно.

7️⃣ LTV (Lifetime Value)

Что это: Доход, который пользователь приносит за всё время взаимодействия с продуктом.
Зачем нужно: Чтобы понять, сколько можно потратить на привлечение.
Пример: Если LTV ниже затрат на рекламу, то вы просто спонсируете чужие клики.

8️⃣ Bounce Rate (Показатель отказов)

Что это: Процент пользователей, которые покинули продукт, не совершив ни одного действия.
Зачем нужно: Диагностика UX/UI.
Пример: Сайт с регистрацией в 10 шагов? Bounce Rate 90%, и половина ушедших даже не дошла до первого экрана.

9️⃣ Time to Value (TTV)

Что это: Время, за которое пользователь получает первую ценность от продукта.
Зачем нужно: Чем быстрее клиент увидит пользу, тем выше вероятность, что он останется с вами.
Пример: Если для настройки CRM системы требуется неделя, а у конкурента это занимает день, у вас явно длинный TTV, который отпугивает клиентов. Оптимизируйте первые шаги — меньше инструкций, больше автоматизации.

🔟 Feature Adoption Rate (Уровень освоения фич)

Что это: Процент пользователей, которые начали активно использовать новую фичу или обновление.
Зачем нужно: Чтобы понять, насколько ваши нововведения действительно полезны и понятны.
Пример: Вы добавили суперфункцию для аналитики, но её освоили только 5% пользователей. Может, дело в сложном интерфейсе или недостаточной обучающей информации?

#метрика

Недавно, ну как недавно, уже 2 недели назад (по меркам AI — это давно😃), OpenAI представила Sora — новый мощный генератор видео

Что умеет Sora?
- Генерация видео из текста и изображений. Можете делать ремиксы, склеивать ролики в единый видеоряд и экспериментировать.
- Качество просто топ!
- Удобный интерфейс. Галерея, создание папок, монтаж — всё на месте.
- Гибкость настроек. Видео до 20 секунд в 1080p, плюс возможность продлить генерацию до пяти раз.
- Платный доступ. $20 в месяц за 50 генераций или $200 за безлимит и видео без водяных знаков.

Вообщем, прикольно и круто. Конечно, я ещё тот промптовик 😂
Попробовать можно здесь. Если сделаете прикольные видосы — кидайте сюда))

Недавно начал читать в перелетах «Блиц-масштабирование» Рида Хоффмана, основателя LinkedIn. Интересная книга, рекомендую.

В целом, существует 4 вида масштабирования, и один из них — блиц-масштабирование. Это про то, когда нужно расти быстро и в условиях неопределённости, отдавая приоритет скорости, а не производительности.

Я всегда был немного перфекционистом: считал, что сначала нужно довести продукт до идеала, а уже потом думать о росте. Но книга заставила задуматься. Иногда важнее просто захватить рынок, даже если продукт ещё сыроват.

Особенно зацепило, как авторы показывают ошибки, которые встречаются на пути у стартапов. Многие из них я сам наблюдал, когда консультировал команды. Например:

- Фокус только на технологии, забывая про бизнес-модель. Если не знаешь, как зарабатывать, никакая инновация не поможет.
- Медленный рост из-за страха рисков. Тут нужна готовность действовать, даже если нет полной уверенности.
В книге много практичных советов, которые полезны не только стартапам, но и крупным компаниям. Вообще, если вы хотите понять, как расти в условиях хаоса и стать лидером, рекомендую прочитать. Лично мне некоторые вещи реально поменяли взгляд на масштабирование.

#kitap_khan

Khan of data & analytics🎲 pinned «Первый казахский лидерборд запущен! 🇰🇿 Так, тут большое событие! Мои друзья из прошлого поста сдержали обещание и выпустили лидерборд на основе бенчмарков, о которых мы говорили ранее. Вот ссылка: https://huggingface.co/spaces/kz-transformers/kaz-llm…»

Первый казахский лидерборд запущен! 🇰🇿

Так, тут большое событие! Мои друзья из прошлого поста сдержали обещание и выпустили лидерборд на основе бенчмарков, о которых мы говорили ранее. Вот ссылка: https://huggingface.co/spaces/kz-transformers/kaz-llm-lb

Что это значит для нашего языка и страны?

Это огромный шаг для развития технологий на казахском языке! 🔥 Мы впервые видим инициативу, которая системно поднимает уровень AI-моделей для родного языка.
Раньше казахский часто оставался на задворках крупных AI-разработок. Этот лидерборд — шанс исправить ситуацию:
- Стимул для открытых исследований. Разработчики по всему миру могут вносить вклад и улучшать модели на казахском.
- Поддержка локальных разработчиков. Появляются метрики и инструменты, которые помогают создавать качественные продукты.
- Инвестиции в будущее. Это закладывает основу для технологий, которые будут полезны бизнесу, образованию и государственным проектам.

Итоги первого запуска:

-- Открытый сегмент:
Лидирует ISSAI с моделью LLaMA-3.1-KazLLM-1.0-8B, которая дала +5% к своему бэкбону и обошла Google Gemma-2-9b-it на 1%.
-- Все модели:
Абсолютный лидер — GPT-4o, который опережает ближайшего конкурента Sonnet 3.5 на 2%.

Что дальше?

1. Оффлайн арена с системой рейтинга ELO (духи шахмат уже ликуют!)
2. Более сложные бенчмарки для реальных задач. Это поможет проверить модели в боевых условиях.
3. Кастомные instruct-датасеты. Пора учить AI понимать наши реальные потребности.

Ребята открыты к предложениям и готовы сотрудничать! 🙌 Фидбек, новые идеи или сабмит своей модели — все это можно сделать через GitHub или кнопку Submit на HuggingFace.

Давайте покажем поддержку!
🔗 Репостните, чтобы больше людей узнали о нашем лидерборде.
📢 Чем больше участников и идей, тем быстрее наш язык получит достойное представительство в мире AI.

Подключайтесь! 💪💪💪

😁

🔴 ROADMAP V2.0 для Data Engineer!

Иди прямо по списку, чтобы стать Data Engineer!

➡️ ROADMAP

Кликай на ссылку снизу:
0. Деньги
1. Кто такой Data Engineer
2. Курсы
3. Github / Git
4. Linux / Terminal
5. Data Warehouse
6. Нормальные формы
7. Data Vault (Hub - Satellite - Link)
8. Docker
9. Hadoop
10. Airflow
11. Greenplum
12. ClickHouse
13. Spark
14. dbt (data build tool)
15. Apache Kafka
16. Pet Project
17. Теоретические вопросы c собеседований
18. Резюме и Работа
19. Рабочие кейсы
20. Полезные ссылки

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

🅱️🩸🩸🩸🩸❓
Сколько ты зарабатываешь? | Где лучше работать? | Че спросят на собесе?

Авторы Roadmap:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Владимир Шустиков
💬 Telegram канал
📺 Youtube канал

Алексей Разводов
💬 Telegram канал
📺 Youtube канал

🎉 Внимание! Сегодня и завтра на платный курс по Deep learning от AI-Academy действует скидка 40%!

Скидка действует только первым 15 человек купившим курс

В программе курса:
• Алгоритмы глубокого обучения с нуля, начиная с математики
• Нейронные сети для распознавания изображений на pytorch
• Обработка естественного языка (NLP) с задачами из реального мира

❗ Акция действует только до 22:00 завтрашнего дня!

Подробности на сайте ai-academy.kz
Напишите в ЛС @imanmal1k чтобы записаться

Всем привет!

Очень нужна ваша поддержка для школьников-стартаперов из команды MOMENTUM AI! 🎉

Наши ребята участвуют в конкурсе High School Start-up League — международном соревновании стартапов среди старшеклассников. Конкурс организован совместно с Masters Union (университет бизнеса и экономики из Индии) и впервые проводится в Казахстане в сотрудничестве со Spectrum School.

В первом этапе в Астане участвовало около 170 человек и 17 команд. В результате отбора выбрали 4 лучшие команды, и MOMENTUM AI — одна из них! 🚀 Теперь перед ребятами стоит задача попасть в ТОП-15 мирового рейтинга на основе голосования. Конкуренция жесткая — команды со всего мира! 🌍

Цель конкурса — помочь школьникам развивать свои инновационные идеи. Топ-15 команд получат уникальную возможность презентовать свои проекты международным инвесторам и продолжить развивать свои стартапы.

На данный момент MOMENTUM AI занимает 1 место среди казахстанских команд, но в мировом рейтинге пока только на 26 месте.

Давайте поддержим наших ребят! Ваш голос может реально помочь им выйти в ТОП и представить Казахстан на мировом уровне! 🙌

Vote for Momentum AI
More than 30% of computer users struggle to locate and organize their files cluttered across their devices, decreasing their efficiency and productivity while performing assignments (e.g. school, job, meetings, etc).


That is why we’ve created MOMENTUM AI, the AI which is capable of sorting your documents in a Moment
Vote for Momentum, vote for the future of innovations, make an Impact

🗳Here to vote: https://mastersunion.org/events/hssl-leaderboard-details/67513adf30ca264e0eff503d
Our instagram: https://www.instagram.com/m0mentum.a1/profilecard/?igsh=d2QzdXAxMW0wcW94

Спасибо за поддержку! ❤️

😁😁

Наконец-то недавно провели первую олимпиаду по искусственному интеллекту среди школьников Казахстана — FAIO!
Думаю, все прошло на отлично: мы всей командой старались сделать так, чтобы было интересно и чтобы зажечь у ребят желание развиваться в этой области.

Более двух месяцев мы придумывали и валидировали множество задач. На отборочном туре участвовали более 450 команд, причём даже из Беларуси и Кыргызстана! В финале было около 60 команд. Честно, я очень рад за наших школьников — такие умные, передовые ребята. Уже в школе хорошо пишут код, знают высшую математику, интересуются машинным обучением. Только позавидовать можно!)

Спасибо нашим спонсорам — компании Khan Group (Zapis.kz, umag.kz) — за поддержку!

На этом мы не останавливаемся. В следующем году олимпиада точно будет, и есть большое желание сделать её международной. Если кто-то хочет поддержать или стать спонсором в будущем, дайте знать.

Порешать задачи можно здесь:
https://contest.yandex.ru/contest/69765/problems/

Команда стартапа запустила сайт https://dermamarker.tech/ и сейчас старается лучше понять свою аудиторию, а также определить направления для улучшения. Если будет возможность, зайдите на сайт, протестируйте функционал, и, если заметите что-то полезное или требующее доработки, поделитесь обратной связью @araykamaliyeva. Это будет очень ценно!

Ну и на десерт🍰 хочу поделиться с вами мега полезным обучающим материалом!

В наши дни ИИ всё больше проникает в нашу жизнь, и умение правильно писать промпты становится важным навыком, который стоит освоить как можно скорее.

Я нашёл отличный и, главное, БЕСПЛАТНЫЙ курс от Тинькофф по написанию запросов для ИИ, как для текстов, так и для изображений.

Пройдите курс — не пожалеете!

ENJOY!🌟

#usefulMaterials #systemNomad

Тут классные новости 🔥🔥🔥

Мои друзья Бексултан и Санжар, специалисты в области NLP/DL, объединились для решения важных проблем в разработке казахских LLM моделей и выпустили два набора данных:

1️⃣ Оценка понимания и логического мышления:
• MMLU переведенный на казахский (KK): Адаптация многозадачного языкового понимания на казахском языке. ссылка
• GSM8K переведенный на казахский (KK): Проверка математической логики и мышления. ссылка

2️⃣ Знания, специфичные для Казахстана:
• Казахская Конституция MC: Оценка юридических и гражданских знаний. ссылка
• Казахские традиции MC: Особенности культурного наследия и традиций. ссылка
• Единое национальное тестирование MC: Включает темы по казахской истории, литературе, географии и другим предметам. ссылка

Эти данные помогут моделям LLM не только отвечать на вопросы, но и глубже понимать богатую культуру казахского народа, что позволит применять эти знания на практике. Без таких датасетов модели будут отставать в качестве, особенно когда речь идет о локальных особенностях. А эти данные — как раз мост между нашими реалиями и технологиями. Это шаг к тому, чтобы казахский язык уверенно чувствовал себя в мире больших данных и искусственного интеллекта. 🚀🇰🇿

подробности в LinkedIn пост

21 ноября будет конфа от Тинькофф. Можно глянуть онлайн, надо только зарегаться. Темы вроде огонь: от аналитики до AI, да и много чего еще интересного. Будет выступать мой бывший руководитель и несколько бывших коллег)

ссылка https://producty24conf.tbank.ru/?utm_source=telegram&utm_medium=smm.unp&utm_campaign=meetup.producty24conf.khan17analytics

📖 Книга "Algorithms for Decision Making" от MIT охватывает алгоритмы и методы для принятия решений в условиях неопределённости

🌟 В книге обсуждаются такие темы как оптимизация мл-алгоритмов , машинное обучение, вероятностные модели и планирование, с акцентом на алгоритмы для принятия решений в реальном времени и под воздействием ограничений. Этот материал полезен для специалистов в областях искусственного интеллекта, дата саентистов, робототехники и инженерии, где важно оптимизировать стратегии в условиях ограниченной информации.

🔗 Ссылка: *клик*

@data_analysis_ml

Недавно участвовал в полуфинале Yandex Cup — впервые в категории аналитики. Увы, в финал пройти не удалось, но опыт был очень интересным. В полуфинале соревновались 200 аналитиков, а в квалификации участников было более 1000. В абсолютном зачёте занял 33-е место (28–33 одинаковые балы), а в финал проходили только 20 лучших.

Такие соревнования всегда полезны: это возможность проверить свои навыки и, иногда, получить интересные предложения о работе. От Яндекса, кстати, мне уже прилетают приглашения) Несмотря на то, что я уже давно не занимаюсь активно математикой и программированием, "мышечная память" всё ещё работает, как у спортсменов) Основной секрет — это, конечно, крепкая фундаментальная база, о которой я часто говорю.

Кстати, в полуфинале задачу D я решил первым из всех участников! Забавно, что в сентябре в Астане проходил ICPC World Finals (чемпионат мира по спортивному программированию), где команда КБТУ тоже первой решила задачу D. У них это была задача про Doubles Horseback Wrestling — аударыспак, а у меня в Yandex Cup задача была про открытие мечети. Очень символично получилось! Уровень у меня, конечно, не тот, что у участников ICPC, но совпадение забавное. Среди остальных аналитиков я, наверное, был единственным, кто был близок к теме) Обе задачи оставлю в комментариях.

Если появятся спонсоры и возможности, думаю, было бы круто в следующем году организовать похожий кубок по аналитике и ML!

У меня друг — очень сильный системный аналитик, и он запустил канал про системный и бизнес-анализ. Похоже, таких каналов у нас еще нет! Он делится опытом, карьерными инсайтами и многим другим. Кому интересно, можете подписаться или передать ссылку тем, кому это может быть полезно. Поддержим!

https://t.me/systemNomad/5

Студенты НУ попросили помочь с опросом, думаю, поддержите их в исследованиях!

Добрый день! Мы — студенты Назарбаев Университета и проводим опрос о потребностях в обучении навыкам анализа данных и BI-инструментов. Наш опрос нацелен на специалистов разных сфер, где востребованы навыки работы с данными.

Будем признательны, если вы пройдете опрос и поделитесь ссылкой с коллегами. Это поможет нам лучше понять потребности рынка. Заранее благодарим за поддержку!
Ссылка на опросник: https://forms.gle/tNpC1ZHrTvCBXasH6

Многие, особенно студенты или начинающие специалисты, спрашивают меня, в каком направлении лучше развиваться. За последний год, наблюдая за рынком, я выделил несколько ключевых направлений, где у нас не хватает сильных специалистов.

1️⃣ Дата инжиниринг
Хорошие специалисты здесь есть, но их очень мало. Дата-инжиниринг требует инженерного подхода, так как это разработка в сфере данных. Помимо знаний баз данных и SQL, важно архитектурное мышление, знание систем для работы с биг-дата (Hadoop, Spark, Kafka и др.) и умение работать с распределёнными системами. Полезно владеть одним языком программирования (например, Python, Java или Scala). Развитие в этой области всегда перспективно: объём данных растёт, и инфраструктура, созданная дата-инженерами, обеспечивает работу других специалистов.

2️⃣ Ops (Operations)
Эта область, особенно MLOps и DataOps, у нас пока новая. Но такие специалисты со временем будут очень востребованы. Уже сейчас зарплаты на MLOps позиции довольно высокие! Эти ребята отвечают за инфраструктуру. Пока их задачи часто выполняют дата-инженеры или ML-инженеры, но не всегда с тем качеством, как это делают профильные спецы. Они отвечают за стабильность инфраструктуры, её надёжность и масштабируемость.
Раньше, когда я строил модели, всё сам тянул на продакшен, а потом каждые 1-2 месяца заново их переобучивал. Когда начал работать с MLOps-специалистом, всё заиграло новыми красками. Он многое мне открыл: сам качественно отправлял модели на прод, модели автоматически переобучались, и мы смогли справиться с Data Drift (тогда я ещё даже не знал, что это такое). Короче, OPS-ерам огромный респект, смело двигайтесь в эту область!

3️⃣ Продуктовая аналитика
В целом, у нас пока нет культуры продуктовой аналитики. Но она со временем появится, особенно когда будет развиваться культура данных и инфраструктуры, а также станет больше толковых тех продукт-менеджеров и CPO. Потому что профессия опирается на два стула — данные и продукт.
Культуры A/B тестирования тоже пока нет (ни в одной компании нет собственной платформы для A/B тестов), но я вижу, что многие PM/CPO и аналитики хотят развивать это направление. Без знаний и опыта здесь не обойтись, об этом позже) Верю, что в ближайшее время у нас станет больше грамотных аналитиков, так что направление очень перспективное.

4️⃣ DS/ML/DL
У нас действительно много хороших специалистов, просто хочу выделить несколько областей.
Мне очень интересно следить за развитием рекомендательных систем, и иногда сам в них разбираюсь. Но почему-то у нас они не особо популярны — нет продуктов, где рекомендации работали бы на уровне. Когда я искал спеца по рекомендациям, оказалось, что таких вообще нет. Есть ML-специалисты, которые работают над другими проектами, но иногда берут какие-то опенсорсные библиотеки и адаптируют их для рекомендаций. А вот тех, кто бы этим серьёзно занимался, у нас нет.
Ещё мало специалистов, кто глубоко работает с временными рядами (Time Series Models). И, конечно, не хватает экспертов по большим языковым моделям (LLM). Эти модели будут дальше развиваться, и в будущем важно уметь с ними работать, интегрировать, дообучать и настраивать под свои задачи. Эти специалисты, скорее всего, будут работать с ИИ-агентами, и там точно море интересных задач!

Khan of data & analytics

Что надеть на Хэллоуин, чтобы быть страшнее всех?

Подобрали для вас костюмы, по сравнению с которыми Пеннивайз и Фредди Крюгер покурят в сторонке.

С праздником 🎃

Дорогие программисты (особенно кто кодит не профессионально и не часто), если не пользовались Cursor — рекомендую попробовать.

Это редактор кода на основе VS Code, в который встроили хорошую поддержку AI. Можно выбирать API из множества провайдеров, он сам корректно добавляет контекст, очень удобно подсвечивает добавления/изменения кода.

Я часто прошу накинуть прототип, который дальше довожу до ума. Можно выделить кусочек кода и попросить в нем что-то поменять.

Лично для меня полезно, потому что я программирую редко и часто не помню интерфейсы библиотек (и даже части синтаксиса), но хорошо понимаю, что хочу получить.

Хорошие фул-тайм программисты говорят, что им полезно как мощный инструмент рефакторинга, который берет на себя рутину.

Я сижу на бесплатном тарифе, больше тяжелых запросов — за 20$ в месяц.

Upd. Коллеги напоминают, что совсем недавно Lex Fridman взял интервью у создателей — занимательный разговор!

Показали классную штуку – briefer. Это как Notion, но для блокнотов с кодом и дэшей.

Позволяет создавать динамические блокноты, дэшборды и интерактивные приложения при помощи Markdown, Python и SQL. Конечное же, есть AI для помощи с геренацией кода.

Купил в Меломане книгу Нассима Талеба "Статистические последствия жирных хвостов"

Прочитал все книги Талеба и часто рекомендую их — для развития критического мышления. Но эта книга выделяется: тут реально много математики. Открыл её и сам немного офигел — формулы, теоремы, графики на каждом шагу. Но вроде идей хватает, и они обоснованы интересно.

Работать с жирными хвостами в распределениях — та ещё задачка, особенно в A/B-тестах. Часто есть соблазн исключить хвосты (иногда даже неосознанно), но это может привести к искажениям. В книге рассказывается, почему законы больших чисел в реальном мире работают гораздо медленнее, чем кажется, и как классическое правило 80/20 Поретто не всегда срабатывает, когда сталкиваешься с распределениями с жирными хвостами. Там свои тонкости.

"Мы избегаем правды подобно тому, как скорее преступник постарается выдать себя за честного человека, чем честный человек - за преступника, нам легче принять жирнохвостое распределение за тонкохвостое, чем тонкий хвост за жирный" — Насим Талеб

В общем, книга интересная. Дочитаю — может, ещё напишу подробнее.

#kitap_khan

Недавно участвовал в квалификационном этапе Yandex Cup и, на удивление, прошел в полуфинал по треку "Аналитика". Честно говоря, это стало неожиданностью, ведь уже около года особо не работаю руками. Но, как оказалось, порох в пороховницах еще есть😁

В списке прошедших, к сожалению, не увидел наших ребят. У нас вообще проблема с аналитиками с сильным хард-бэкграундом — таких мало. Думаю, в следующем году заняться этим вопросом и попробовать вырастить хардовых аналитиков. Пока не совсем понимаю, как это будет выглядеть, но посмотрим. Если есть идеи — пишите, буду рад любым мыслям.

Вот одна из простых задач с квалификационного этапа, которую я, кстати, не решил) Кто справится — тому респект!

3 тезиса о карьерном росте, которые я хотела бы знать 10 лет назад

1. Если ваша функция (профессия) не первостепенна для этого типа бизнеса, вы не будете расти. Профессия — это производная от бизнеса. В каждой отрасли есть свои ключевые профессии. В одном случае финансы — драйвер, в другом — обслуживание. Где-то маркетинг — драйвер, где-то (тяжелая промышленность, например) — полумертвая функция. Если научитесь видеть взаимосвязи между функциями и индустриями, поймете, как расти наверх быстрее.

2. Если вы не поднимаете вопрос о своем повышении, никто другой этого за вас не сделает. Бывают работодатели, которые инициируют повышение сами за ваши заслуги, но это большая удача и редкость. Хотите, чтобы вас повысили, говорите об этом. И не просто говорите, а показывайте свое влияние на бизнес на цифрах., договаривайтесь об условиях.

3. Если вы не любите свою профессию, чуда не случится. Если вы ненавидите то, чем занимаетесь, то не захотите уделять этому больше времени, чем отведено трудовой неделей. Вы не будете что-то читать/смотреть по вашей теме на досуге. Не будете подмечать чьи-то тезисы и думать «о, а можно это применить вот в том проекте».

А без доп.усилий роста не бывает, что бы там просветленные ретритами свидетели ворк-лайф бэлэнса ни рассказывали. Зато эти доп.усилия будет прикладывать какой-нибудь Вася из вашего отдела, которому его профессия в кайф.

#рост

Кто любит читать мангу? Тогда вот для вас подборка серьезных манг)
Когда-то давно читал их по пути на работу в метро) В них сложные идеи объясняются доступно и интересно. Сами книги оставлю в комментариях.

Первая олимпиада по ИИ для школьников в Казахстане!

Организовываем олимпиаду по искусственному интеллекту на базе моей альма-матер — школы РФМШ. Цель — популяризировать ИИ как отдельную олимпиадную дисциплину.

- 10 ноября: онлайн-отбор
- 24 ноября: основной этап офлайн

Участвовать можно командой до 3 человек.
Все подробности на сайте: https://faio.kz или в Telegram-сообществе: https://t.me/fizmatai.

Если у вас есть дети, братья или сестры — расскажите им! Буду рад, если поможете распространить эту новость!

Нобелевская премия 2024

Я уже писал тут, что слежу за Нобелевкой, особенно в экономике, из-за глубоких исследований статистики и причинно-следственных связей. Но в этом году ИИ занял центральное место и в других номинациях, что говорит о том, что без него скоро премию не взять, но это не точно)

Физика: Джон Хопфилд и Джеффри Хинтон – ключевые фигуры в развитии нейросетей и машинного обучения. Хопфилд разработал нейросетевую архитектуру, способную моделировать механизм памяти, которую используют в NLP и машинном переводе. Хинтон же известен своей архитектурой Boltzmann Machine и воспитанием ведущих ИИ-экспертов, таких как Илья Суцкевер из OpenAI.

Химия: Дэвид Бейкер, Демис Хассабис и Джон Джампер сделали прорыв в биологии. Их проект AlphaFold от DeepMind, с точностью предсказывающий структуру белков, кардинально улучшил исследования в этой области. А Бейкер получил премию за создание новых белков, которых в природе не существует.

Эти открытия демонстрируют, что ИИ становится неотъемлемой частью научных достижений, а будущие открытия будут всё больше зависеть от технологий.

Экономика: Дарон Аджемоглу, Саймон Джонсон и Джеймс Робинсон раскрыли, как институты влияют на благосостояние стран.
Может уже читали их книги: «Почему одни страны богатые, а другие бедные», «Власть и прогресс: борьба за технологии и процветание».
Теоретическая и эмпирическая работа нобелеатов заключалась в том, чтобы доказать наличие строгой причинно-следственной связи от институтов к богатству.

Всем бы таких лидов!

Прочитал интересную статью

Статья на Uber рассказывает про QueryGPT — инструмент, который использует ИИ для генерации SQL-запросов на основе естественного языка. Это помогает сотрудникам Uber быстро получать нужные данные, не вникая в сложный SQL-синтаксис. QueryGPT существенно экономит время: вместо 10 минут на создание запроса, пользователи могут получить результат за 3 минуты. В процессе разработки компания столкнулась с вызовами, такими как обработка больших схем и «галлюцинации» модели, но постепенно улучшала алгоритм, делая его более точным и удобным.

16 ноября в Алматы пройдет CodeTalks — профессиональная оффлайн конференция для IT-специалистов. В секции Data Science эксперты обсудят Big Data, машинное обучение, аналитику в реальном времени и архитектуры data-driven приложений. Спикеры поделятся опытом построения масштабируемых систем обработки данных и извлечения ценных инсайтов для бизнеса.

Участников конференции ждут:

— Выступления IT-экспертов из Dodo Brands, Miro, Altel Digital, Raiffeisen, IZI, Ænix, Uzum Tezkor, Avito, CDEK Didital, Yandex Market, Yandex.Cloud и многие другие. Полная программа — на сайте.

— Знакомство и общение на стендах IT-партнеров: Yandex Cloud, Altel Digital, PVS-Studio, CDEK, Kolesa Group, Servercore.

— Возможность вырваться из повседневной рутины, посмотреть на задачи и проекты с другой стороны, обменяться опытом и вдохновиться новыми идеями.

Конференция платная — 25 000 тенге. Количество мест ограничено. Для участия — регистрируйтесь на сайте.

Суббота, 16 ноября
Алматы, кинотеатр Арман

Прочитал отличную статью, суть которой в том, что результаты многих статистических методов, применяемых в A/B тестировании, таких как t-тест, стратификация, CUPED, CUMPED, можно получить через построение линейной регрессии и проверку гипотез в рамках этой модели в случае рандомизированного эксперимента
https://habr.com/ru/companies/X5Tech/articles/846298/

Недавно обсудили тему BIG DATA и то, как компании используют данные, а также различные примеры кейсов их применения)))
https://www.youtube.com/watch?v=9Zkjl_eT_v0

Митап для специалистов по NLP 🔥

Дата: 24.10, 17:00
Где: DAR U, Коктем-2, 22, 4 этаж
24 октября в DAR U мы подискутируем о языковых моделях! Наш Senior Data Scientist, NLP Researcher Бексултан Сагындык поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Да-да, Бекс — один из тех, кто разрабатывает первый ИИ на казахском в Beeline Казахстан и QazCode.

А после — квартирник с экспертами из QazCode, Big Data Team и Conformal Group, где подискутируем об NLP в бизнесе: как применять LLMs в реальных кейсах.

Количество мест ограничено, поэтому переходи по ссылке и оставляй заявку 🤩

Если кому-то интересно, сейчас открыт прием заявок в МТС Тета — Школу аналитиков данных! Обучение проводят эксперты, включая моих бывших коллег из BIG DATA МТС.

Формат полностью онлайн, но нужно пройти вступительный тест. Программа действительно мощная, когда-то и сам преподавал там

https://www.teta.mts.ru/analytics-school

Оказывается, у Карпова есть много крутых бесплатных курсов.

1. Основы Python
https://karpov.courses/pythonzero
2. Математика для Data Science
https://karpov.courses/mathsds
3. Визуализация данных и продвинутое Tableau
https://karpov.courses/datavisualization
4. Симулятор SQL
https://karpov.courses/simulator-sql
5. Docker с нуля — сам начал этот курс)
https://karpov.courses/docker

#курсы

Последовательность Фибоначчи — интересная тема

Если не брать в расчет золотое сечение, то последовательность Фибоначчи находит применение в различных областях аналитики и машинного обучения.

Например, в аналитике она используется для прогнозирования временных рядов, чтобы выявить тренды и циклы. В машинном обучении последовательность помогает в задачах оптимизации, таких как настройка гиперпараметров и поиск оптимальных решений.

На собеседованиях эту задачу могут тоже дать, один раз сталкивался с ней. Решение обычно сводится к следующему коду или его рекурсивной версии:

def fibonacci_n(n):
    if n <= 0:
        return "Некорректное значение"
    elif n == 1:
        return 0
    elif n == 2:
        return 1
    else:
        a, b = 0, 1
        for _ in range(2, n):
            a, b = b, a + b
        return b

Вот интересная статья, где можно найти более эффективные реализации:
https://habr.com/ru/companies/ruvds/articles/773566/

#алгоритмы