Khan of data & analytics🎲

21 ноября будет конфа от Тинькофф. Можно глянуть онлайн, надо только зарегаться. Темы вроде огонь: от аналитики до AI, да и много чего еще интересного. Будет выступать мой бывший руководитель и несколько бывших коллег)

ссылка https://producty24conf.tbank.ru/?utm_source=telegram&utm_medium=smm.unp&utm_campaign=meetup.producty24conf.khan17analytics

📖 Книга "Algorithms for Decision Making" от MIT охватывает алгоритмы и методы для принятия решений в условиях неопределённости

🌟 В книге обсуждаются такие темы как оптимизация мл-алгоритмов , машинное обучение, вероятностные модели и планирование, с акцентом на алгоритмы для принятия решений в реальном времени и под воздействием ограничений. Этот материал полезен для специалистов в областях искусственного интеллекта, дата саентистов, робототехники и инженерии, где важно оптимизировать стратегии в условиях ограниченной информации.

🔗 Ссылка: *клик*

@data_analysis_ml

Недавно участвовал в полуфинале Yandex Cup — впервые в категории аналитики. Увы, в финал пройти не удалось, но опыт был очень интересным. В полуфинале соревновались 200 аналитиков, а в квалификации участников было более 1000. В абсолютном зачёте занял 33-е место (28–33 одинаковые балы), а в финал проходили только 20 лучших.

Такие соревнования всегда полезны: это возможность проверить свои навыки и, иногда, получить интересные предложения о работе. От Яндекса, кстати, мне уже прилетают приглашения) Несмотря на то, что я уже давно не занимаюсь активно математикой и программированием, "мышечная память" всё ещё работает, как у спортсменов) Основной секрет — это, конечно, крепкая фундаментальная база, о которой я часто говорю.

Кстати, в полуфинале задачу D я решил первым из всех участников! Забавно, что в сентябре в Астане проходил ICPC World Finals (чемпионат мира по спортивному программированию), где команда КБТУ тоже первой решила задачу D. У них это была задача про Doubles Horseback Wrestling — аударыспак, а у меня в Yandex Cup задача была про открытие мечети. Очень символично получилось! Уровень у меня, конечно, не тот, что у участников ICPC, но совпадение забавное. Среди остальных аналитиков я, наверное, был единственным, кто был близок к теме) Обе задачи оставлю в комментариях.

Если появятся спонсоры и возможности, думаю, было бы круто в следующем году организовать похожий кубок по аналитике и ML!

У меня друг — очень сильный системный аналитик, и он запустил канал про системный и бизнес-анализ. Похоже, таких каналов у нас еще нет! Он делится опытом, карьерными инсайтами и многим другим. Кому интересно, можете подписаться или передать ссылку тем, кому это может быть полезно. Поддержим!

https://t.me/systemNomad/5

Студенты НУ попросили помочь с опросом, думаю, поддержите их в исследованиях!

Добрый день! Мы — студенты Назарбаев Университета и проводим опрос о потребностях в обучении навыкам анализа данных и BI-инструментов. Наш опрос нацелен на специалистов разных сфер, где востребованы навыки работы с данными.

Будем признательны, если вы пройдете опрос и поделитесь ссылкой с коллегами. Это поможет нам лучше понять потребности рынка. Заранее благодарим за поддержку!
Ссылка на опросник: https://forms.gle/tNpC1ZHrTvCBXasH6

Многие, особенно студенты или начинающие специалисты, спрашивают меня, в каком направлении лучше развиваться. За последний год, наблюдая за рынком, я выделил несколько ключевых направлений, где у нас не хватает сильных специалистов.

1️⃣ Дата инжиниринг
Хорошие специалисты здесь есть, но их очень мало. Дата-инжиниринг требует инженерного подхода, так как это разработка в сфере данных. Помимо знаний баз данных и SQL, важно архитектурное мышление, знание систем для работы с биг-дата (Hadoop, Spark, Kafka и др.) и умение работать с распределёнными системами. Полезно владеть одним языком программирования (например, Python, Java или Scala). Развитие в этой области всегда перспективно: объём данных растёт, и инфраструктура, созданная дата-инженерами, обеспечивает работу других специалистов.

2️⃣ Ops (Operations)
Эта область, особенно MLOps и DataOps, у нас пока новая. Но такие специалисты со временем будут очень востребованы. Уже сейчас зарплаты на MLOps позиции довольно высокие! Эти ребята отвечают за инфраструктуру. Пока их задачи часто выполняют дата-инженеры или ML-инженеры, но не всегда с тем качеством, как это делают профильные спецы. Они отвечают за стабильность инфраструктуры, её надёжность и масштабируемость.
Раньше, когда я строил модели, всё сам тянул на продакшен, а потом каждые 1-2 месяца заново их переобучивал. Когда начал работать с MLOps-специалистом, всё заиграло новыми красками. Он многое мне открыл: сам качественно отправлял модели на прод, модели автоматически переобучались, и мы смогли справиться с Data Drift (тогда я ещё даже не знал, что это такое). Короче, OPS-ерам огромный респект, смело двигайтесь в эту область!

3️⃣ Продуктовая аналитика
В целом, у нас пока нет культуры продуктовой аналитики. Но она со временем появится, особенно когда будет развиваться культура данных и инфраструктуры, а также станет больше толковых тех продукт-менеджеров и CPO. Потому что профессия опирается на два стула — данные и продукт.
Культуры A/B тестирования тоже пока нет (ни в одной компании нет собственной платформы для A/B тестов), но я вижу, что многие PM/CPO и аналитики хотят развивать это направление. Без знаний и опыта здесь не обойтись, об этом позже) Верю, что в ближайшее время у нас станет больше грамотных аналитиков, так что направление очень перспективное.

4️⃣ DS/ML/DL
У нас действительно много хороших специалистов, просто хочу выделить несколько областей.
Мне очень интересно следить за развитием рекомендательных систем, и иногда сам в них разбираюсь. Но почему-то у нас они не особо популярны — нет продуктов, где рекомендации работали бы на уровне. Когда я искал спеца по рекомендациям, оказалось, что таких вообще нет. Есть ML-специалисты, которые работают над другими проектами, но иногда берут какие-то опенсорсные библиотеки и адаптируют их для рекомендаций. А вот тех, кто бы этим серьёзно занимался, у нас нет.
Ещё мало специалистов, кто глубоко работает с временными рядами (Time Series Models). И, конечно, не хватает экспертов по большим языковым моделям (LLM). Эти модели будут дальше развиваться, и в будущем важно уметь с ними работать, интегрировать, дообучать и настраивать под свои задачи. Эти специалисты, скорее всего, будут работать с ИИ-агентами, и там точно море интересных задач!

Khan of data & analytics

Что надеть на Хэллоуин, чтобы быть страшнее всех?

Подобрали для вас костюмы, по сравнению с которыми Пеннивайз и Фредди Крюгер покурят в сторонке.

С праздником 🎃

Дорогие программисты (особенно кто кодит не профессионально и не часто), если не пользовались Cursor — рекомендую попробовать.

Это редактор кода на основе VS Code, в который встроили хорошую поддержку AI. Можно выбирать API из множества провайдеров, он сам корректно добавляет контекст, очень удобно подсвечивает добавления/изменения кода.

Я часто прошу накинуть прототип, который дальше довожу до ума. Можно выделить кусочек кода и попросить в нем что-то поменять.

Лично для меня полезно, потому что я программирую редко и часто не помню интерфейсы библиотек (и даже части синтаксиса), но хорошо понимаю, что хочу получить.

Хорошие фул-тайм программисты говорят, что им полезно как мощный инструмент рефакторинга, который берет на себя рутину.

Я сижу на бесплатном тарифе, больше тяжелых запросов — за 20$ в месяц.

Upd. Коллеги напоминают, что совсем недавно Lex Fridman взял интервью у создателей — занимательный разговор!

Показали классную штуку – briefer. Это как Notion, но для блокнотов с кодом и дэшей.

Позволяет создавать динамические блокноты, дэшборды и интерактивные приложения при помощи Markdown, Python и SQL. Конечное же, есть AI для помощи с геренацией кода.

Купил в Меломане книгу Нассима Талеба "Статистические последствия жирных хвостов"

Прочитал все книги Талеба и часто рекомендую их — для развития критического мышления. Но эта книга выделяется: тут реально много математики. Открыл её и сам немного офигел — формулы, теоремы, графики на каждом шагу. Но вроде идей хватает, и они обоснованы интересно.

Работать с жирными хвостами в распределениях — та ещё задачка, особенно в A/B-тестах. Часто есть соблазн исключить хвосты (иногда даже неосознанно), но это может привести к искажениям. В книге рассказывается, почему законы больших чисел в реальном мире работают гораздо медленнее, чем кажется, и как классическое правило 80/20 Поретто не всегда срабатывает, когда сталкиваешься с распределениями с жирными хвостами. Там свои тонкости.

"Мы избегаем правды подобно тому, как скорее преступник постарается выдать себя за честного человека, чем честный человек - за преступника, нам легче принять жирнохвостое распределение за тонкохвостое, чем тонкий хвост за жирный" — Насим Талеб

В общем, книга интересная. Дочитаю — может, ещё напишу подробнее.

#kitap_khan

Недавно участвовал в квалификационном этапе Yandex Cup и, на удивление, прошел в полуфинал по треку "Аналитика". Честно говоря, это стало неожиданностью, ведь уже около года особо не работаю руками. Но, как оказалось, порох в пороховницах еще есть😁

В списке прошедших, к сожалению, не увидел наших ребят. У нас вообще проблема с аналитиками с сильным хард-бэкграундом — таких мало. Думаю, в следующем году заняться этим вопросом и попробовать вырастить хардовых аналитиков. Пока не совсем понимаю, как это будет выглядеть, но посмотрим. Если есть идеи — пишите, буду рад любым мыслям.

Вот одна из простых задач с квалификационного этапа, которую я, кстати, не решил) Кто справится — тому респект!

3 тезиса о карьерном росте, которые я хотела бы знать 10 лет назад

1. Если ваша функция (профессия) не первостепенна для этого типа бизнеса, вы не будете расти. Профессия — это производная от бизнеса. В каждой отрасли есть свои ключевые профессии. В одном случае финансы — драйвер, в другом — обслуживание. Где-то маркетинг — драйвер, где-то (тяжелая промышленность, например) — полумертвая функция. Если научитесь видеть взаимосвязи между функциями и индустриями, поймете, как расти наверх быстрее.

2. Если вы не поднимаете вопрос о своем повышении, никто другой этого за вас не сделает. Бывают работодатели, которые инициируют повышение сами за ваши заслуги, но это большая удача и редкость. Хотите, чтобы вас повысили, говорите об этом. И не просто говорите, а показывайте свое влияние на бизнес на цифрах., договаривайтесь об условиях.

3. Если вы не любите свою профессию, чуда не случится. Если вы ненавидите то, чем занимаетесь, то не захотите уделять этому больше времени, чем отведено трудовой неделей. Вы не будете что-то читать/смотреть по вашей теме на досуге. Не будете подмечать чьи-то тезисы и думать «о, а можно это применить вот в том проекте».

А без доп.усилий роста не бывает, что бы там просветленные ретритами свидетели ворк-лайф бэлэнса ни рассказывали. Зато эти доп.усилия будет прикладывать какой-нибудь Вася из вашего отдела, которому его профессия в кайф.

#рост

Кто любит читать мангу? Тогда вот для вас подборка серьезных манг)
Когда-то давно читал их по пути на работу в метро) В них сложные идеи объясняются доступно и интересно. Сами книги оставлю в комментариях.

Первая олимпиада по ИИ для школьников в Казахстане!

Организовываем олимпиаду по искусственному интеллекту на базе моей альма-матер — школы РФМШ. Цель — популяризировать ИИ как отдельную олимпиадную дисциплину.

- 10 ноября: онлайн-отбор
- 24 ноября: основной этап офлайн

Участвовать можно командой до 3 человек.
Все подробности на сайте: https://faio.kz или в Telegram-сообществе: https://t.me/fizmatai.

Если у вас есть дети, братья или сестры — расскажите им! Буду рад, если поможете распространить эту новость!

Нобелевская премия 2024

Я уже писал тут, что слежу за Нобелевкой, особенно в экономике, из-за глубоких исследований статистики и причинно-следственных связей. Но в этом году ИИ занял центральное место и в других номинациях, что говорит о том, что без него скоро премию не взять, но это не точно)

Физика: Джон Хопфилд и Джеффри Хинтон – ключевые фигуры в развитии нейросетей и машинного обучения. Хопфилд разработал нейросетевую архитектуру, способную моделировать механизм памяти, которую используют в NLP и машинном переводе. Хинтон же известен своей архитектурой Boltzmann Machine и воспитанием ведущих ИИ-экспертов, таких как Илья Суцкевер из OpenAI.

Химия: Дэвид Бейкер, Демис Хассабис и Джон Джампер сделали прорыв в биологии. Их проект AlphaFold от DeepMind, с точностью предсказывающий структуру белков, кардинально улучшил исследования в этой области. А Бейкер получил премию за создание новых белков, которых в природе не существует.

Эти открытия демонстрируют, что ИИ становится неотъемлемой частью научных достижений, а будущие открытия будут всё больше зависеть от технологий.

Экономика: Дарон Аджемоглу, Саймон Джонсон и Джеймс Робинсон раскрыли, как институты влияют на благосостояние стран.
Может уже читали их книги: «Почему одни страны богатые, а другие бедные», «Власть и прогресс: борьба за технологии и процветание».
Теоретическая и эмпирическая работа нобелеатов заключалась в том, чтобы доказать наличие строгой причинно-следственной связи от институтов к богатству.

Всем бы таких лидов!

Прочитал интересную статью

Статья на Uber рассказывает про QueryGPT — инструмент, который использует ИИ для генерации SQL-запросов на основе естественного языка. Это помогает сотрудникам Uber быстро получать нужные данные, не вникая в сложный SQL-синтаксис. QueryGPT существенно экономит время: вместо 10 минут на создание запроса, пользователи могут получить результат за 3 минуты. В процессе разработки компания столкнулась с вызовами, такими как обработка больших схем и «галлюцинации» модели, но постепенно улучшала алгоритм, делая его более точным и удобным.

16 ноября в Алматы пройдет CodeTalks — профессиональная оффлайн конференция для IT-специалистов. В секции Data Science эксперты обсудят Big Data, машинное обучение, аналитику в реальном времени и архитектуры data-driven приложений. Спикеры поделятся опытом построения масштабируемых систем обработки данных и извлечения ценных инсайтов для бизнеса.

Участников конференции ждут:

— Выступления IT-экспертов из Dodo Brands, Miro, Altel Digital, Raiffeisen, IZI, Ænix, Uzum Tezkor, Avito, CDEK Didital, Yandex Market, Yandex.Cloud и многие другие. Полная программа — на сайте.

— Знакомство и общение на стендах IT-партнеров: Yandex Cloud, Altel Digital, PVS-Studio, CDEK, Kolesa Group, Servercore.

— Возможность вырваться из повседневной рутины, посмотреть на задачи и проекты с другой стороны, обменяться опытом и вдохновиться новыми идеями.

Конференция платная — 25 000 тенге. Количество мест ограничено. Для участия — регистрируйтесь на сайте.

Суббота, 16 ноября
Алматы, кинотеатр Арман

Прочитал отличную статью, суть которой в том, что результаты многих статистических методов, применяемых в A/B тестировании, таких как t-тест, стратификация, CUPED, CUMPED, можно получить через построение линейной регрессии и проверку гипотез в рамках этой модели в случае рандомизированного эксперимента
https://habr.com/ru/companies/X5Tech/articles/846298/

Недавно обсудили тему BIG DATA и то, как компании используют данные, а также различные примеры кейсов их применения)))
https://www.youtube.com/watch?v=9Zkjl_eT_v0

Митап для специалистов по NLP 🔥

Дата: 24.10, 17:00
Где: DAR U, Коктем-2, 22, 4 этаж
24 октября в DAR U мы подискутируем о языковых моделях! Наш Senior Data Scientist, NLP Researcher Бексултан Сагындык поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Да-да, Бекс — один из тех, кто разрабатывает первый ИИ на казахском в Beeline Казахстан и QazCode.

А после — квартирник с экспертами из QazCode, Big Data Team и Conformal Group, где подискутируем об NLP в бизнесе: как применять LLMs в реальных кейсах.

Количество мест ограничено, поэтому переходи по ссылке и оставляй заявку 🤩

Если кому-то интересно, сейчас открыт прием заявок в МТС Тета — Школу аналитиков данных! Обучение проводят эксперты, включая моих бывших коллег из BIG DATA МТС.

Формат полностью онлайн, но нужно пройти вступительный тест. Программа действительно мощная, когда-то и сам преподавал там

https://www.teta.mts.ru/analytics-school

Оказывается, у Карпова есть много крутых бесплатных курсов.

1. Основы Python
https://karpov.courses/pythonzero
2. Математика для Data Science
https://karpov.courses/mathsds
3. Визуализация данных и продвинутое Tableau
https://karpov.courses/datavisualization
4. Симулятор SQL
https://karpov.courses/simulator-sql
5. Docker с нуля — сам начал этот курс)
https://karpov.courses/docker

#курсы

Последовательность Фибоначчи — интересная тема

Если не брать в расчет золотое сечение, то последовательность Фибоначчи находит применение в различных областях аналитики и машинного обучения.

Например, в аналитике она используется для прогнозирования временных рядов, чтобы выявить тренды и циклы. В машинном обучении последовательность помогает в задачах оптимизации, таких как настройка гиперпараметров и поиск оптимальных решений.

На собеседованиях эту задачу могут тоже дать, один раз сталкивался с ней. Решение обычно сводится к следующему коду или его рекурсивной версии:

def fibonacci_n(n):
    if n <= 0:
        return "Некорректное значение"
    elif n == 1:
        return 0
    elif n == 2:
        return 1
    else:
        a, b = 0, 1
        for _ in range(2, n):
            a, b = b, a + b
        return b

Вот интересная статья, где можно найти более эффективные реализации:
https://habr.com/ru/companies/ruvds/articles/773566/

#алгоритмы