Объявления конференции HighLoad++

DS- и ML-инженеры и все, кому интересна задача сбора и разметки больших данных для обучения и валидации нейронных сетей в эпоху LLM приходите на доклад «Искусственный vs естественный интеллект в задачах разметки»

В рамках доклада вместе с крутыми экспертами пройдемся по следующим темам:

- разметка в эпоху до LLM и сильных SOTA-решений;
- практические кейсы в домене CV: SAM для задач детекции и сегментации, VLM для кепшенинга изображений и видео;
- практические кейсы в домене NLP: SOTA-решения в задаче описания, суммаризации, рерайтинга больших пластов текста;
- практические кейсы в домене звука: транскрибация аудио, озвучка в режиме сингл- и мультиспикер. Кросс-модальная разметка для задач видео и аудио;
- появление LLM на арене: ускорение разметки, синергия человека и нейросетей;
- специализированная разметка: когда нейронные сети не справляются;
- синтетические данные и как очистить авгиевы конюшни;
- что делать, когда кончится Интернет?

Ждём встречи с вами 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции на сайте

Чтобы узнать о специфике обработки данных электросетей и готовых решениях для бизнеса, а также о том, как улучшить стабильность и масштабируемость IoT-решений в бизнесе, приходите на доклады:

1) Проблема обработки временных рядов данных электросетей в крупных системах сбора и хранения информации. Сергей Юшманов (МТС Диджитал)

Доклад раскроет опыт разработки и внедрения инструмента анализа данных в системах учёта электроэнергии. Слушатели узнают об особенностях сбора и хранения информации о работе счётчиков, выявлении аномалий и фрода, а также о предоставлении аналитических данных энергокомпаниям.

2) Приручить «зоопарк»: как мы искали IT-подход к разнообразному парку самокатов. Андрей Калинин (МТС Юрент)

Сделать аренду самокатов — да что может пойти не так? Но если, с одной стороны, приходится лавировать между бизнесом и техническими возможностями IoT-устройств, задача становится сильно сложнее. В докладе погрузитесь в проблемы масштабирования TCP-соединений, MQTT, унификации без доработок и т. д.

🖐️ До скорой встречи на HighLoad++ 2024. Офлайн-билеты закончились, но вы ещё можете присоединиться к нам онлайн.

✅ Программа конференции, расписание и онлайн-билеты на сайте

Доклад Сергея Игнатова «Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз» — это прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

Доклад будет полезен разработчикам, исследователям и инженерам по безопасности, стремящимся улучшить защиту своих систем от бинарных угроз.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека

Рады сообщить вам, друзья, что мы внимательно изучили ваши отзывы и предложения после предыдущих конференций и заметили, что многие считают полезным добавить событий и отдельных мест для неформальных коммуникаций и поиска полезных знакомств!

Почему это полезно?

•Отличная возможность неформально пообщаться с экспертами предметной области
•Завести новые знакомства и найти единомышленников
•Найти нужные идеи и контакты для сотрудничества
•Узнать о том, как и что сейчас делают коллеги из индустрии и смежных областей и какие есть тренды и возможности для развития

Именно поэтому в этот раз мы выделили несколько слотов в программе конференции (в зале 05. Мумбай (2 этаж)) с 14:40 до 19:00 чисто для нетворкинга! И уже сейчас поделимся идеями некоторых из них 😉

📌 В 14:40 вас ждет активность Нетворкинг-зоны «ML» — это тематическая встреча для всех участников, в ходе которой планируем обсудить следующие актуальные темы этого сезона (но в процессе можно предлагать и свои):

• копилоты для бэкенда;
• RAGи и приложения векторных БД;
• динамика — взаимодействие с аудиторией;
• на стыке железа и пайплайнов;
• затащить сетку на маленькие маломощные девайсы;
• обучение и инференс моделей;
• разметка и датасеты;
• ML в производстве;
• антифрод и модерация;
• MLOps;
• мониторинг продакшн-ML-решений;
• облака

📌 В 15:50 приглашаем пообщаться в Нетворкинг-зоне «Базы данных и системы хранения» и обсудить наиболее актуальные тренды развития рынка СУБД с несколькими известными экспертами 😎

Приходите! Будет интересно, необычно и полезно 💡

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🔴Безопасность разработки
🔴Безопасность платформы
🔴Безопасность сети
🔴Безопасность организации
🔴Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Умение разрабатывать высоко-производительные и надежные системы — ключевой навык бэкендера в современных крупных проектах. Это сложно: чтобы попасть в хайлоад, надо иметь опыт в хайлоаде, а чтобы его получить, надо попасть в хайлоад. Замкнутый круг какой-то!

Одно из направлений R&D-центра Devhands.io как раз такое обучение – обучение с экспертами, обучение через исследования и практикум в специализированных облаках.

Мы приглашаем вас в деврум Devhands, чтобы обсудить с нашими экспертами вопросы разработки систем, выдерживающих 1 миллион запросов в секунду, новый проект Valkey и его отличия от Redis, использование кластерных технологий и многое другое.

Для тех, кто только знакомится с разработкой больших систем, мы проведем сессию, посвященную CAP-теореме и PACELC-классификации. Для CTO и HR/LND у нас заготовлен подробный рассказ о программах обучения, о возможностях образовательного облака и о бизнес-кейсах.

🔴2 декабря вас ждут доклады:

Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL ;) Алексей Рыбак (devhands.io), Алексей Копытов (MyDB)

Корпоративное обучение в области высоких нагрузок: подход devhands. Алексей Рыбак (devhands.io)

wrk2/wrkx: особенности использования, coordinated omission и способы компенсации. Алексей Рыбак (devhands.io)

В следующих постах расскажем о второй части докладов секции, не пропустите 🖐️

Как появилась технология WASM, какие задачи она пыталась решить изначально, и какие задачи перед ней стоят сейчас? Что такое YTsaurus и как он работает? Как устроен мир работы акций на Яндекс Маркете?

Ответы на эти вопросы вы найдёте в докладах:

1) WASM: цель, устройство, перспективы. Владимир Хомутов (ВебСервер)

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны ещё вчера. Поэтому Владимир расскажет о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

2) Как проезжать миллион километров в YTsaurus. Владислав Долбилов (Яндекс Автономный транспорт)

Рассказ о многопоточной симуляции для обучения ML на основе акторов, которая хорошо утилизирует железо и GPU. В задаче есть множество подводных камней от детерминированности до кэширования, и спикер покажет, как YTsaurus можно использовать в качестве надежного фундамента для работы с данными.

3) Легко ли раздать больше миллиона скидок за два дня? Как мы строили архитектуру промоакций на Яндекс Маркете. Анна Кустарева (Яндекс Маркет)

Исследование производительности — процесс бесконечный и бесконечно сложный. Когда тебе надо свести разные аудитории в производительную систему, приходится проходить через череду компромиссов и архитектурных выборов. Доклад Анны — ретроспектива о том, как развивалась и будет развиваться архитектура акций.

Присоединяйтесь к нам онлайн 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции и расписание на сайте

Четыре доклада из секции «Архитектура», которые будут особенно интересны:

- разработчикам, Data Driven-компаниям;
- разработчикам бэкенда, DevOps, MLOps, DS;
- разработчикам и архитекторам ПО, IT-менеджерам. Тем, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;
- разработчикам, которые работают с крупными рекомендательными системами.

1) Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев (Яндекс)

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

2) Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы. Александр Сидоров (Wildberries)

Высокий сезон в ретейле — это огромные пиковые нагрузки в первые минуты старта распродаж. Докладчик расскажет про архитектуру поиска Wildberries, которая отлично держит нагрузку, экономна по железу и дает хорошее качество поиска.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Обзор архитектуры системы, которая может пересчитывать состояние миллиардов объектов каждые несколько минут.

4) Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам. Даниил Гавриловский (Яндекс)

На примере доставки данных в рекламный движок Яндекса вы узнаете, на каких принципах и технологиях строятся действительно большие проекты. Докладчик покажет, как использование специальных бинарных форматов данных помогает достигать высокой производительности на огромных размерах сложных данных.

До скорой встречи на HighLoad++ 2024 🙌

✅ Программа, расписание и онлайн-билеты на сайте

В докладе Игоря Игнатьева (VK) «Security Gate: платформа оркестрации SAST-сканирования своими руками» история-исследование процесса создания платформы безопасности на экстрабольших масштабах в компании.

Внутри будет много полезных инженерных решений и их анализ — от вопросов выбора хранилищ до того, «почему не Open Source».

Доклад будет особенно интересен инженерам по ИБ, а также их руководителям, размышляющим, стоит ли инвестировать время и силы в разработку собственной платформы, обеспечивающей покрытие кодовой базы инструментами SAST-анализа.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Интервью с директором программного комитета DevOpsConf 2025 Дмитрием Зайцевым на самые холиварные темы отрасли. Попробуем разобраться, умер DevOps или нет. Что делать со сложившимися стереотипами и модой? И стоит ли спихивать DevOps-культуру с плато или оставить всё как есть? Будет жарко!

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/859330/

⚡️ Друзья, на HighLoad++ 2024 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
✅ Купить онлайн-билет можно на сайте

* Ранее оформленные заявки доступны для оплаты⠀
Ждем вас в эфире 2 и 3 декабря 🙌

Что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку?

Александр Мельников в своём докладе «Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев» расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

System Design Interview вездесущ. Раньше старшим специалистам достаточно было показать свои навыки в доменной области, чтобы успешно устроиться на свою новую работу мечты. Сейчас же необходимо придумать и построить целую систему всего за 45 минут! Насколько такой навык нужен в реальной работе? Что проверяет такое собеседование?

На HighLoad++ 2024 в рамках дискуссии «System Design Interview: казнить нельзя помиловать» профессионалы взвесят все «за» и «против» — скучно не будет.

Посетить эту дискуссию стоит и менеджерам, планирующим или практикующим system design interview, и сотрудникам.

До скорой встречи, друзья 🙌

Внедрение новых инструментов всегда доставляет много хлопот. Не весь функционал бывает сразу интуитивно понятен, и приходится тратить лишнее время на освоение. Поэтому предлагаем вам воспользоваться подробным пошаговым гайдом для создания дашбордов в Superset. Это Open-Source платформа для исследования и визуализации данных.

Бонусом предлагаем несколько полезных фичей со звёздочкой, которые сделают вашу визуализацию ещё нагляднее и удобнее: https://habr.com/ru/companies/okko/articles/859140/

Rust последние несколько лет стабильно лидирует в StackOverflow Developer Survey в секции языка, на котором хотели бы программировать разработчики.

Но достаточно ли он зрелый язык для того, чтобы начать на нём новый проект? Можно ли постепенно переходить на него в legacy проекте? За 5 лет разработки на Rust в Picodata успели познакомиться со многими нюансами языка и готовы поделиться своим опытом.

2 и 3 декабря на HighLoad++ 2024 спикеры из Picodata поделятся своим опытом решения различных задач.  

Вы узнаете про кейсы Rust проектов как с нуля, так и поверх legacy С/С++, системной разработки СУБД и классической прикладной разработки банковских проектов. Спикеры затронут такие темы как тулинг, кривая обучения, надёжность, скорость разработки и выполнения, особенности архитектуры. И постараются доказать, почему для вашего следующего проекта однозначно нужно выбрать Rust, а не Java/Go/C++

🔴2 декабря вас ждут доклады:

Плагины на Rust для распределённой СУБД — технологический вызов. Георгий Мошкин

Опыт использования Rust в разработке СУБД Picodata. В чём он нам помог и с какими сложностями мы столкнулись. Егор Ивков

В следующих постах расскажем про вторую часть докладов от спикеров Picodata, не пропустите ✋

Давайте разбираться, чем отличается облако и on-prem с точки зрения затрат, из чего состоит «Железный» FinOPS и при чём тут управление рисками? А также в том, как быть, если нужно сохранить Интернет в архив для будущих исследователей. Разобраться помогут доклады из программы HighLoad++ 2024 🔄

1) Железный FinOPS. Алексей Учакин (EdgeЦентр)

Если в хозяйстве существенная часть инфраструктуры живет в on-prem, то одними облачными FinOps-практиками не обойтись. С Алексеем вы пройдете длинный путь от пристального взгляда на инфраструктуру до процесса поставок, будете управлять расходами и обратите внимание на управление рисками.

2) Как сохранить Интернет, или Технологии хранения «холодных» данных. Иван Глебов (РХТУ)

Как ни удивительно, но данные мы храним в физическом мире, и не всегда нам нужна только производительность. Иван расскажет про его наработки в области носителей данных и как из простого стекла можно получить «ледяной» носитель, который проживет кардинально дольше наших с вами HDD и SSD.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Расписание конференции и билеты на сайте

Иван Тямгин в своём докладе «Как масштабировать защиту от DDoS-атак на десятки миллионов RPS. Опыт Яндекса» детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделит внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Доклад не только для тех, кто работает в области защиты сервисов и антифрода, но и для тех, кому интересно узнать про опыт Яндекса в построении высоконагруженного сервиса с бинарной классификацией в реальном времени. Приходите, если вам случалось выполнять задание «Я не робот» и вы хотите послушать про устройство внутри.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Полная программа Яндекс-трека на сайте

На докладах, о которых рассказываем сегодня, у вас будет возможность узнать об архитектуре транзакций в YDB и Apache Kafka, их плюсах и минусах. Рассмотреть Apache Iceberg. Узнать методы масштабирования для повышения производительности и надежности, а также, как эффективно оценить PostgreSQL без нагрузочного тестирования. И погрузится во внутреннее устройство распределенных баз данных 🖐️

1) Транзакционная работа с топиками. Архитектура и сравнение решений в Apache Kafka и YDB. Алексей Николаевский (Яндекс)

Алексей расскажет про транзакционные топики в YDB, которые появились совсем недавно, но уже используются в бою в Яндексе. Будет раскрыта архитектура этого решения, а также сравнение с транзакционными топиками в Apache Kafka.

2) Как на самом деле работает Apache Iceberg. Владимир Озеров (Querify Labs)

Этот доклад — это глубокое погружение в Apache Iceberg. Спикер расскажет про архитектуру и реализацию работы с данными и метаданными, про каталоги и про то, как устроен клиент Trino.

3) Как объединять данные из разных СУБД и делать это эффективно. Виталий Исаев (Яндекс)

На первый взгляд простая задача по выборке данных из разных источников быстро становится дорогой и сложной. В данном докладе посмотрим на основные проблемы и методики, позволяющие решать эту задачу на стороне федеративных БД настолько эффективно, насколько это возможно для универсальной логики.

4) Как нагрузить СУБД без нагрузочного тестирования в рамках миграции на PostgreSQL. Ярослав Киселёв (К2Тех)

Доклад о том, как проводить нагрузочное тестирование при переезде с Oracle на PostgreSQL, при этом не синтетическую, а максимально приближенную к реальной нагрузке текущей работающей системы на Oracle.

5) Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами. Эмир Вильданов (Picodata)

Доклад о том, какие проблемы встают перед распределенными SQL-движками, как эти проблемы решались в Picodata, и на какие инженерные компромиссы пришлось пойти. Бонусом — обзор того, как это сделано в других распределенных БД.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Какие есть преимущества и ограничения использования кэша PHP APCu при работе с приложениями, испытывающими большие нагрузки? Какие могут быть тонкости профилирования в производственной системе?

🖐️ Ответы на эти вопросы в докладах секции «Производительность», в программе PHP Russia 2024, которая пройдет в рамках HighLoad++ 2024.

1) (En) Using and (slightly) abusing APCu cache in high load concurrent environments. Ioannis Loukeris (Altenar)

APCu is a very unexpected choice for a distributed cache. That's why we are looking forward to Ioannis' talk to find out how it works.

2) Continuous Profiling — что, зачем и как. Александр Луценко (Vanta)

Профилирование — сложная и важная тема. В докладе рассказывается, как профилировать код в реальном окружении.

До встречи 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

Можно ли посмотреть в каталог и набрать нужные компоненты архитектуры Пайплайна записи, как продукты в тележку супермаркета? Наверное, можно, если воспользоваться чьим-то удачным примером и использовать уже готовые паттерны.

Ведущий инженер платформы мониторинга в Т-Банке Роман Щербаков рассказал, как они строили нагруженные Пайплайны записи. Это поможет сделать свою систему доставки данных в распределенной среде, не наступая на множество граблей.

Подробности в статье: https://habr.com/ru/companies/tbank/articles/858602/