Объявления конференции HighLoad++

Друзья, привет! В разгар новогодних каникул принесли вам полезную подборку видеозаписей — топ-5 докладов Saint HighLoad++ 2024. Это доклады, которые набрали самые высокие оценки от участников конференции за содержание и подачу.

💙 Смотреть в VK Видео

✅ Содержание плейлиста:

1) Enterprise deploy: почему это больно. Филипп Дельгядо (lekton.io)

Миграция данных и их схемы очень часто приносят нежданные проблемы. Филипп рассказал не только про совсем типичные случаи, но и про довольно сложные нюансы.

2) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков (Т-Банк)

Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.

3) Как мы шли к 5000 RPS на запись. Ян Силов (Ozon)

Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком вы погрузитесь в анализ проблем и оптимизацию.

4) «А так можно было?» — обзор нестандартной криптографии в применении к практическим задачам. Сергей Прилуцкий (MixBytes)

Изучите передовые криптографические алгоритмы, решающие реальные задачи. Узнайте, как они могут быть полезны для вашего проекта и внести вклад в развитие вашей работы. Сергей рассказал теорию и представил примеры их применения в реальных технических задачах.

5) Масштабирование системы хранения секретов на базе HashiCorp Vault. Виктор Корейша (Ozon)

Чтобы отдавать сотни тысяч секретов и укладываться в SLA, ребятам из Ozon пришлось хорошенько поработать с Hashicorp Vault. Бэкендом выбрали etcd, словили проблемы из-за бага, поправили и законтрибьютили. Научили vault работать в режиме мультимастер — решили проблемы с кэшами и отмасштабировались.

Продуктивного просмотра и отличного продолжения каникул 😎

#записьдокладаHL
@HighLoadChannel

С наступающим Новым годом 🎄

Пусть 2025-й будет для вас не только высоконагруженным, но и высокоуспешным 🚀

Желаем, чтобы ваши системы всегда держали нагрузку на уровне, а ваши серверы работали как часы, даже в самые пиковые моменты. Пусть в новом году ваши идеи масштабируются, как ваши проекты, а ошибки будут редкими, как снежинки в пустыне! Не забывайте, что даже в самом сложном коде всегда можно найти оптимальное решение… или просто добавить еще одну ноду 😉

Счастья, здоровья и удачи вам в новом году! Пусть все ваши системы работают без сбоев, а у вас будет больше времени для отдыха ✨

Выписали для вас сертификаты ⤴️ — забирайте себе и отправляйте коллегам 😉

📝 Приём докладов на Saint HighLoad++ 2025 открыт! Конференция пройдёт в июне в Санкт-Петербурге.

Нам интересны тематики, которые охватывают всё, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов, а именно:

Архитектуры, масштабируемость
Базы данных и системы хранения
BigData и инфраструктура машинного обучения (data engineering)
Нейронные сети и искусственный интеллект (data science)
Platform Engineering
DevOps-практики и культура
Безопасность, DevSecOps
Эксплуатация систем
Аппаратное обеспечение
Узкотематические секции
Тестирование, нагрузочное тестирование
Производительность enterprise-систем
Интернет вещей
Технологии будущего
Edge Computing

🎁 Для всех наших спикеров предусмотрены бонусы:

- Бесплатный билет на конференцию;
- Покрытие расходов на логистику (поезд, самолет или автобус);
- Проживание в комфортабельном отеле рядом с местом проведения конференции;
- Помощь в подготовке к выступлению.

Ждём ваши заявки 🖐️
⠀
✅ Узнать подробнее о темах и подать доклад можно на сайте

Друзья, у нас готов отчетный ролик HighLoad++ 2024! Спасибо всем, кто был с нами! Смотрим видео, переносимся в атмосферу на площадке и вспоминаем, как это было высоконагруженно 🔥

В цифрах было так:

3471 участник на площадке
638 участников в онлайн
3 конференции на одной площадке
196 докладов
5 дискуссионных зон
280+ тыс. просмотров открытой трансляции главного зала
+1 кругосветное путешествие у каждого участника 😉

Продолжаем вместе с вами строить профессиональное highload-сообщество 😎

До встречи на Saint HighLoad++ 2025 в Санкт-Петербурге 🖐️

Поговорим про использование Go для сквозной разработки приложений: от бэкенда до графического интерфейса. Посмотрим на существующие решения для Fullstack-разработки и создадим Go-код, который можно компилировать для десктопных, мобильных приложений и веб-UI.

Это будет приложение для трейдеров, позволяющее редактировать список котировок, создавать ордера и отправлять их на биржу. А ещё контролировать состояния портфеля и задавать вопросы AI-ассистенту. Все шаги с демонстрацией кода и деплоя работающего приложения.

🔴Подробности в новой статье: https://habr.com/ru/companies/oleg-bunin/articles/865292/

Интервью с членом программного комитета FrontendConf Сашей Шинкевич про стереотипы о девушках на технических специальностях, про первую работу, собеседования, профессиональные мероприятия, culture fit и карьеру.

А ещё о том, почему соискателям не стоит постить нюдсы: https://habr.com/ru/companies/oleg-bunin/articles/865030/

Как строить мониторинг и алертинг, чтобы быстро находить причины аварий? Это вопрос на миллион, а то и намного больше. Особенно если речь идёт о финтехе.

В сегодняшней статье о том, как несколько разных команд разработки Райффайзен Онлайн объединили общим Observability и начали исключительно с помощью технических метрик отслеживать здоровье бизнес-процессов и быстро находить root cause во время сбоя, если он все-таки произошёл: https://habr.com/ru/companies/oleg-bunin/articles/865690/

Команда Positive Technologies разбирает фото и вспоминает, как классно провели время на HighLoad++ 2024. Было много интересных разговоров и знакомств.

Спасибо всем, кто участвовал в викторине, играл в добль, угадывал, какой термин изобразила нейросеть и фиксил баги красиво!

У нас для вас крутая новость⚡

Мы — команда Онтико — запускаем новый формат конференций, объединенных под знаком Х. В 2025 году это будут конференции по следующим направлениям:

🔴Knowledge Conf X — профессиональная конференция по управлению знаниями.
🔴AppsConf Х — профессиональная конференция разработчиков мобильных приложений.
🔴Golang Conf Х — профессиональная конференция для Go-разработчиков.
🔴TechLead Conf Х — конференция, полностью посвященная инженерным процессам и практикам.
🔴CTO Conf Х — профессиональная конференция для технических директоров и тех, кто хочет ими стать.
🔴TechFounders Х — конференция про запуск, развитие и рост IT-стартапов.
🔴Data Internals — профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных.
🔴1С Conf Х — профессиональная конференция для 1С-разработчиков.
🔴Industrial++ Х — профессиональная конференция для IT-специалистов реального сектора.
🔴AI++ Х — профессиональная конференция по Data Science.

Конференции под знаком Х будут проходить в однодневном формате на небольших лофтовых площадках, что создаст ламповую атмосферу и уютную среду для сообщества. При этом возможностей для нетворкинга меньше не будет!

🔥 А главное отличие — более доступный ценовой формат. Цены стартуют от 25 тыс. рублей за билет, но чем ближе конференция, тем выше будет стоимость.

Каждая конференция X будет состоять из 3 или 4 потоков докладов, подготовленных по высоким стандартам наших традиционных конференций: HighLoad++, TeamLead Conf, DevOps Conf и других.

И сейчас мы приглашаем активистов стать частью этих конференций. Мы в поисках участников программного комитета:

Если у вас есть классные идеи, как сделать конференцию интересной и хочется поучаствовать в создании программы — нам очень нужны ваши мысли, как эксперта программного комитета!

Если вы готовы делиться своими знаниями и опытом с миром — ждем вас в роли спикера!

И, конечно, мы рады видеть вас в числе участников конференции 🖐️ Это отличная возможность узнать о последних трендах, встретить единомышленников и просто классно провести время. При этом значительно сэкономить, не теряя качества приобретенного!

➡️ Все подробности о новых конференциях, а также возможность откликнуться на участие в программных комитетах, подать заявку на доклад и забронировать своё участие по минимальной стоимости можно на сайте

Ждём вас 🙌

🖐️ Внимание участники HighLoad++ 2024

Если вы участвовали в Express quiz на стенде Онтико, то все ваши видео загружены сюда, можете скачивать: https://disk.yandex.ru/d/OaZE7cKnmH_8tg

Будем рады, если поделитесь видео в ваших соцсетях с активной отметкой или ссылкой на канал конференции 💚

Если у вас есть Jenkins, эта статья для вас: https://habr.com/ru/companies/oleg-bunin/articles/864084/   

Если у вас нет Jenkins, либо вы мало с ним работали, это будет не менее полезно. Ведь мы не просто обозначим проблемы безопасности и уязвимости, а будем учиться от них защищаться. Залезем в голову к злоумышленнику и построим тактику защиты. Сразу сформируем чек-лист, чтобы у вас было чёткое понимание на что обратить внимание в ваших инсталляциях.

Команда VK говорит всем участникам HighLoad++ 2024: вы супер 💙

Спасибо, что были с нами. Давайте оставаться на связи — заглядывайте в наш телеграм-канал и приходите на новые события

До новых встреч!

Реклама ООО «ВК» erid: LjN8KL84P

💥HighLoad++ 2024 завершилась!
⠀
Мы благодарим каждого из вас за участие: кто был на площадке, в онлайн, спикеров и партнёров! Эти два дня были очень насыщенные и мы надеемся, что для вас они прошли плодотворно и интересно. Будем рады вашей обратной связи 💚
⠀
До встречи в следующем году 🙌

Друзья, ловите фотографии с конференции в альбомах ВКонтакте 🙌

День 1
День 2

Говорить о технологиях можно сколько угодно, но лучше один раз продемонстрировать, как все устроено на самом деле.
Вместе с экспертами Cloud․ru два дня знакомились с возможностями облачной платформы Cloud․ru Evolution: изучали сервисы и компоненты платформы и проверяли, как они могут использоваться в боевых задачах.

Подписывайтесь на Telegram-канал Cloud․ru Tech, чтобы первыми узнавать о мероприятиях, читать технические статьи и смотреть подкасты с лучшими экспертами в IT.

До встречи на новых конференциях,
Команда Cloud․ru 💚

Реклама ООО «Облачные технологии» erid: LjN8KVAEa

🖐️ Нашедшего паспорт на имя Дарьи Саньковой (черная обложка с наклейкой positive technologies) просим принести его в Штаб

На HighLoad++ 2024 совместно с Домклик мы подготовили специальную секцию «ML как платформа: от kubeflow до feature store».

Домклик — продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.

На докладах секции поговорим про out-of-the-box подход и антихрупкие решения сложных технологических задач в разработке, обработке больших данных и обучения моделей. Как в рамках имеющегося стека и инфраструктурных ограничений построить платформу для ML команд на основе взаимозаменяемых модулей?

Спикеры расскажут о том, как стандартизируют обработку больших данных и тиражируют свою платформу в направления машинного обучения и data science: текстовых и голосовых ассистентов, компьютерного зрения, предиктивных и рекомендательных моделей.

•Проектируем свою inhouse Feature Platform. Алина Баймашева (Домклик)

•Переход от легаси к построению своего Feature Store: Активные действия. Евгений Дащенко (Домклик)

•От ошибок к успеху: эволюция ML Feature Store в Flocktory. Олег Кабанов (Flocktory)

•Централизованная платформа MLOps: от R&D до инференса в едином контуре. Елизавета Гаврилова (Леруа Мерлен)

Реклама ООО «Домклик» erid: LjN8KYYxE

Рассказываем про два доклада из секции «Тестирование», которые будут особенно интересны:

- разработчикам телекоммуникационного оборудования, тестировщикам программного и аппаратного обеспечения, разработчикам сетевых функций, инженерам по телекоммуникациям, специалистам по безопасности;

- разработчикам автоматизированного тестирования, которые думают над архитектурой моков на тестовом окружении в кластере кубернетеса или которые хотят увеличить производительность своего тестового окружения, используя Wiremock не только как инструмент мокирования, но и как инструмент динамического управления трафиком.

1) Система тестирования сервисов управления беспроводными корпоративными сетями. Александр Лошкарев (Eltex)

Глубокое исследование с самых полей о том, что сегодня происходит в индустрии. Рекомендуется слушателям, которые хотят узнать, как развивается сетевая тема, причем тут облака и как всё это тестировать.

2) Под капотом Wiremock: разгадка проблемы производительности. Сергей Гоголев (Яндекс Финтех)

Детективная история о том, как команда Яндекс Финтех справилась с линейным ростом памяти и низкой пропускной способностью Wiremock. Доклад про организацию крупного тестового стенда, зачем там, вообще, Wiremock и узкие места этой технологии, которые могут поджидать в реальных проектах.

До скорой встречи на HighLoad++ 2024 🖐️

✅ Расписание конференции на сайте

На HighLoad++ 2024 разработчики видеохостинга RUTUBE поделятся своими решениями в рамках специальной секции «Архитектура национального масштаба». Если хотите узнать, как устроена архитектура проектов, которыми пользуется почти каждый из нас, приходите послушать доклады:

•Архитектура национального видеохостинга RUTUBE: как мы раздаем 5 Тбит/с со своего CDN. Эльдар Ниязов

•Быстрые кешбеки для быстрых платежей. Константин Гузаров

•Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры. Денис Сахнов, Дмитрий Бузмаков

•Архитектура видеозвонков Т-Банка. Евгений Фирстов

RUTUBE — это крупнейшая российская платформа для просмотра и размещения аудио- и видеороликов. На платформе представлены UGC, эксклюзивные проекты RUTUBE, видео СМИ и государственных организаций, лицензионные шоу, фильмы и сериалы. Национальный видеохостинг RUTUBE входит в «Газпром-Медиа Холдинг», обеспечивающий российских пользователей разнообразным медиаконтентом и меняет технологический ландшафт страны.

Реклама ООО «Руформ» erid: LjN8KaZvE

DS- и ML-инженеры и все, кому интересна задача сбора и разметки больших данных для обучения и валидации нейронных сетей в эпоху LLM приходите на доклад «Искусственный vs естественный интеллект в задачах разметки»

В рамках доклада вместе с крутыми экспертами пройдемся по следующим темам:

- разметка в эпоху до LLM и сильных SOTA-решений;
- практические кейсы в домене CV: SAM для задач детекции и сегментации, VLM для кепшенинга изображений и видео;
- практические кейсы в домене NLP: SOTA-решения в задаче описания, суммаризации, рерайтинга больших пластов текста;
- практические кейсы в домене звука: транскрибация аудио, озвучка в режиме сингл- и мультиспикер. Кросс-модальная разметка для задач видео и аудио;
- появление LLM на арене: ускорение разметки, синергия человека и нейросетей;
- специализированная разметка: когда нейронные сети не справляются;
- синтетические данные и как очистить авгиевы конюшни;
- что делать, когда кончится Интернет?

Ждём встречи с вами 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции на сайте

Чтобы узнать о специфике обработки данных электросетей и готовых решениях для бизнеса, а также о том, как улучшить стабильность и масштабируемость IoT-решений в бизнесе, приходите на доклады:

1) Проблема обработки временных рядов данных электросетей в крупных системах сбора и хранения информации. Сергей Юшманов (МТС Диджитал)

Доклад раскроет опыт разработки и внедрения инструмента анализа данных в системах учёта электроэнергии. Слушатели узнают об особенностях сбора и хранения информации о работе счётчиков, выявлении аномалий и фрода, а также о предоставлении аналитических данных энергокомпаниям.

2) Приручить «зоопарк»: как мы искали IT-подход к разнообразному парку самокатов. Андрей Калинин (МТС Юрент)

Сделать аренду самокатов — да что может пойти не так? Но если, с одной стороны, приходится лавировать между бизнесом и техническими возможностями IoT-устройств, задача становится сильно сложнее. В докладе погрузитесь в проблемы масштабирования TCP-соединений, MQTT, унификации без доработок и т. д.

🖐️ До скорой встречи на HighLoad++ 2024. Офлайн-билеты закончились, но вы ещё можете присоединиться к нам онлайн.

✅ Программа конференции, расписание и онлайн-билеты на сайте

Доклад Сергея Игнатова «Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз» — это прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

Доклад будет полезен разработчикам, исследователям и инженерам по безопасности, стремящимся улучшить защиту своих систем от бинарных угроз.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека

Рады сообщить вам, друзья, что мы внимательно изучили ваши отзывы и предложения после предыдущих конференций и заметили, что многие считают полезным добавить событий и отдельных мест для неформальных коммуникаций и поиска полезных знакомств!

Почему это полезно?

•Отличная возможность неформально пообщаться с экспертами предметной области
•Завести новые знакомства и найти единомышленников
•Найти нужные идеи и контакты для сотрудничества
•Узнать о том, как и что сейчас делают коллеги из индустрии и смежных областей и какие есть тренды и возможности для развития

Именно поэтому в этот раз мы выделили несколько слотов в программе конференции (в зале 05. Мумбай (2 этаж)) с 14:40 до 19:00 чисто для нетворкинга! И уже сейчас поделимся идеями некоторых из них 😉

📌 В 14:40 вас ждет активность Нетворкинг-зоны «ML» — это тематическая встреча для всех участников, в ходе которой планируем обсудить следующие актуальные темы этого сезона (но в процессе можно предлагать и свои):

• копилоты для бэкенда;
• RAGи и приложения векторных БД;
• динамика — взаимодействие с аудиторией;
• на стыке железа и пайплайнов;
• затащить сетку на маленькие маломощные девайсы;
• обучение и инференс моделей;
• разметка и датасеты;
• ML в производстве;
• антифрод и модерация;
• MLOps;
• мониторинг продакшн-ML-решений;
• облака

📌 В 15:50 приглашаем пообщаться в Нетворкинг-зоне «Базы данных и системы хранения» и обсудить наиболее актуальные тренды развития рынка СУБД с несколькими известными экспертами 😎

Приходите! Будет интересно, необычно и полезно 💡

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🔴Безопасность разработки
🔴Безопасность платформы
🔴Безопасность сети
🔴Безопасность организации
🔴Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Умение разрабатывать высоко-производительные и надежные системы — ключевой навык бэкендера в современных крупных проектах. Это сложно: чтобы попасть в хайлоад, надо иметь опыт в хайлоаде, а чтобы его получить, надо попасть в хайлоад. Замкнутый круг какой-то!

Одно из направлений R&D-центра Devhands.io как раз такое обучение – обучение с экспертами, обучение через исследования и практикум в специализированных облаках.

Мы приглашаем вас в деврум Devhands, чтобы обсудить с нашими экспертами вопросы разработки систем, выдерживающих 1 миллион запросов в секунду, новый проект Valkey и его отличия от Redis, использование кластерных технологий и многое другое.

Для тех, кто только знакомится с разработкой больших систем, мы проведем сессию, посвященную CAP-теореме и PACELC-классификации. Для CTO и HR/LND у нас заготовлен подробный рассказ о программах обучения, о возможностях образовательного облака и о бизнес-кейсах.

🔴2 декабря вас ждут доклады:

Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL ;) Алексей Рыбак (devhands.io), Алексей Копытов (MyDB)

Корпоративное обучение в области высоких нагрузок: подход devhands. Алексей Рыбак (devhands.io)

wrk2/wrkx: особенности использования, coordinated omission и способы компенсации. Алексей Рыбак (devhands.io)

В следующих постах расскажем о второй части докладов секции, не пропустите 🖐️

Как появилась технология WASM, какие задачи она пыталась решить изначально, и какие задачи перед ней стоят сейчас? Что такое YTsaurus и как он работает? Как устроен мир работы акций на Яндекс Маркете?

Ответы на эти вопросы вы найдёте в докладах:

1) WASM: цель, устройство, перспективы. Владимир Хомутов (ВебСервер)

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны ещё вчера. Поэтому Владимир расскажет о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

2) Как проезжать миллион километров в YTsaurus. Владислав Долбилов (Яндекс Автономный транспорт)

Рассказ о многопоточной симуляции для обучения ML на основе акторов, которая хорошо утилизирует железо и GPU. В задаче есть множество подводных камней от детерминированности до кэширования, и спикер покажет, как YTsaurus можно использовать в качестве надежного фундамента для работы с данными.

3) Легко ли раздать больше миллиона скидок за два дня? Как мы строили архитектуру промоакций на Яндекс Маркете. Анна Кустарева (Яндекс Маркет)

Исследование производительности — процесс бесконечный и бесконечно сложный. Когда тебе надо свести разные аудитории в производительную систему, приходится проходить через череду компромиссов и архитектурных выборов. Доклад Анны — ретроспектива о том, как развивалась и будет развиваться архитектура акций.

Присоединяйтесь к нам онлайн 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции и расписание на сайте

Четыре доклада из секции «Архитектура», которые будут особенно интересны:

- разработчикам, Data Driven-компаниям;
- разработчикам бэкенда, DevOps, MLOps, DS;
- разработчикам и архитекторам ПО, IT-менеджерам. Тем, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;
- разработчикам, которые работают с крупными рекомендательными системами.

1) Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев (Яндекс)

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

2) Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы. Александр Сидоров (Wildberries)

Высокий сезон в ретейле — это огромные пиковые нагрузки в первые минуты старта распродаж. Докладчик расскажет про архитектуру поиска Wildberries, которая отлично держит нагрузку, экономна по железу и дает хорошее качество поиска.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Обзор архитектуры системы, которая может пересчитывать состояние миллиардов объектов каждые несколько минут.

4) Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам. Даниил Гавриловский (Яндекс)

На примере доставки данных в рекламный движок Яндекса вы узнаете, на каких принципах и технологиях строятся действительно большие проекты. Докладчик покажет, как использование специальных бинарных форматов данных помогает достигать высокой производительности на огромных размерах сложных данных.

До скорой встречи на HighLoad++ 2024 🙌

✅ Программа, расписание и онлайн-билеты на сайте

В докладе Игоря Игнатьева (VK) «Security Gate: платформа оркестрации SAST-сканирования своими руками» история-исследование процесса создания платформы безопасности на экстрабольших масштабах в компании.

Внутри будет много полезных инженерных решений и их анализ — от вопросов выбора хранилищ до того, «почему не Open Source».

Доклад будет особенно интересен инженерам по ИБ, а также их руководителям, размышляющим, стоит ли инвестировать время и силы в разработку собственной платформы, обеспечивающей покрытие кодовой базы инструментами SAST-анализа.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Интервью с директором программного комитета DevOpsConf 2025 Дмитрием Зайцевым на самые холиварные темы отрасли. Попробуем разобраться, умер DevOps или нет. Что делать со сложившимися стереотипами и модой? И стоит ли спихивать DevOps-культуру с плато или оставить всё как есть? Будет жарко!

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/859330/

⚡️ Друзья, на HighLoad++ 2024 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
✅ Купить онлайн-билет можно на сайте

* Ранее оформленные заявки доступны для оплаты⠀
Ждем вас в эфире 2 и 3 декабря 🙌

Что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку?

Александр Мельников в своём докладе «Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев» расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

System Design Interview вездесущ. Раньше старшим специалистам достаточно было показать свои навыки в доменной области, чтобы успешно устроиться на свою новую работу мечты. Сейчас же необходимо придумать и построить целую систему всего за 45 минут! Насколько такой навык нужен в реальной работе? Что проверяет такое собеседование?

На HighLoad++ 2024 в рамках дискуссии «System Design Interview: казнить нельзя помиловать» профессионалы взвесят все «за» и «против» — скучно не будет.

Посетить эту дискуссию стоит и менеджерам, планирующим или практикующим system design interview, и сотрудникам.

До скорой встречи, друзья 🙌

Внедрение новых инструментов всегда доставляет много хлопот. Не весь функционал бывает сразу интуитивно понятен, и приходится тратить лишнее время на освоение. Поэтому предлагаем вам воспользоваться подробным пошаговым гайдом для создания дашбордов в Superset. Это Open-Source платформа для исследования и визуализации данных.

Бонусом предлагаем несколько полезных фичей со звёздочкой, которые сделают вашу визуализацию ещё нагляднее и удобнее: https://habr.com/ru/companies/okko/articles/859140/

Rust последние несколько лет стабильно лидирует в StackOverflow Developer Survey в секции языка, на котором хотели бы программировать разработчики.

Но достаточно ли он зрелый язык для того, чтобы начать на нём новый проект? Можно ли постепенно переходить на него в legacy проекте? За 5 лет разработки на Rust в Picodata успели познакомиться со многими нюансами языка и готовы поделиться своим опытом.

2 и 3 декабря на HighLoad++ 2024 спикеры из Picodata поделятся своим опытом решения различных задач.  

Вы узнаете про кейсы Rust проектов как с нуля, так и поверх legacy С/С++, системной разработки СУБД и классической прикладной разработки банковских проектов. Спикеры затронут такие темы как тулинг, кривая обучения, надёжность, скорость разработки и выполнения, особенности архитектуры. И постараются доказать, почему для вашего следующего проекта однозначно нужно выбрать Rust, а не Java/Go/C++

🔴2 декабря вас ждут доклады:

Плагины на Rust для распределённой СУБД — технологический вызов. Георгий Мошкин

Опыт использования Rust в разработке СУБД Picodata. В чём он нам помог и с какими сложностями мы столкнулись. Егор Ивков

В следующих постах расскажем про вторую часть докладов от спикеров Picodata, не пропустите ✋

Давайте разбираться, чем отличается облако и on-prem с точки зрения затрат, из чего состоит «Железный» FinOPS и при чём тут управление рисками? А также в том, как быть, если нужно сохранить Интернет в архив для будущих исследователей. Разобраться помогут доклады из программы HighLoad++ 2024 🔄

1) Железный FinOPS. Алексей Учакин (EdgeЦентр)

Если в хозяйстве существенная часть инфраструктуры живет в on-prem, то одними облачными FinOps-практиками не обойтись. С Алексеем вы пройдете длинный путь от пристального взгляда на инфраструктуру до процесса поставок, будете управлять расходами и обратите внимание на управление рисками.

2) Как сохранить Интернет, или Технологии хранения «холодных» данных. Иван Глебов (РХТУ)

Как ни удивительно, но данные мы храним в физическом мире, и не всегда нам нужна только производительность. Иван расскажет про его наработки в области носителей данных и как из простого стекла можно получить «ледяной» носитель, который проживет кардинально дольше наших с вами HDD и SSD.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Расписание конференции и билеты на сайте

Иван Тямгин в своём докладе «Как масштабировать защиту от DDoS-атак на десятки миллионов RPS. Опыт Яндекса» детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделит внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Доклад не только для тех, кто работает в области защиты сервисов и антифрода, но и для тех, кому интересно узнать про опыт Яндекса в построении высоконагруженного сервиса с бинарной классификацией в реальном времени. Приходите, если вам случалось выполнять задание «Я не робот» и вы хотите послушать про устройство внутри.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Полная программа Яндекс-трека на сайте

На докладах, о которых рассказываем сегодня, у вас будет возможность узнать об архитектуре транзакций в YDB и Apache Kafka, их плюсах и минусах. Рассмотреть Apache Iceberg. Узнать методы масштабирования для повышения производительности и надежности, а также, как эффективно оценить PostgreSQL без нагрузочного тестирования. И погрузится во внутреннее устройство распределенных баз данных 🖐️

1) Транзакционная работа с топиками. Архитектура и сравнение решений в Apache Kafka и YDB. Алексей Николаевский (Яндекс)

Алексей расскажет про транзакционные топики в YDB, которые появились совсем недавно, но уже используются в бою в Яндексе. Будет раскрыта архитектура этого решения, а также сравнение с транзакционными топиками в Apache Kafka.

2) Как на самом деле работает Apache Iceberg. Владимир Озеров (Querify Labs)

Этот доклад — это глубокое погружение в Apache Iceberg. Спикер расскажет про архитектуру и реализацию работы с данными и метаданными, про каталоги и про то, как устроен клиент Trino.

3) Как объединять данные из разных СУБД и делать это эффективно. Виталий Исаев (Яндекс)

На первый взгляд простая задача по выборке данных из разных источников быстро становится дорогой и сложной. В данном докладе посмотрим на основные проблемы и методики, позволяющие решать эту задачу на стороне федеративных БД настолько эффективно, насколько это возможно для универсальной логики.

4) Как нагрузить СУБД без нагрузочного тестирования в рамках миграции на PostgreSQL. Ярослав Киселёв (К2Тех)

Доклад о том, как проводить нагрузочное тестирование при переезде с Oracle на PostgreSQL, при этом не синтетическую, а максимально приближенную к реальной нагрузке текущей работающей системы на Oracle.

5) Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами. Эмир Вильданов (Picodata)

Доклад о том, какие проблемы встают перед распределенными SQL-движками, как эти проблемы решались в Picodata, и на какие инженерные компромиссы пришлось пойти. Бонусом — обзор того, как это сделано в других распределенных БД.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Какие есть преимущества и ограничения использования кэша PHP APCu при работе с приложениями, испытывающими большие нагрузки? Какие могут быть тонкости профилирования в производственной системе?

🖐️ Ответы на эти вопросы в докладах секции «Производительность», в программе PHP Russia 2024, которая пройдет в рамках HighLoad++ 2024.

1) (En) Using and (slightly) abusing APCu cache in high load concurrent environments. Ioannis Loukeris (Altenar)

APCu is a very unexpected choice for a distributed cache. That's why we are looking forward to Ioannis' talk to find out how it works.

2) Continuous Profiling — что, зачем и как. Александр Луценко (Vanta)

Профилирование — сложная и важная тема. В докладе рассказывается, как профилировать код в реальном окружении.

До встречи 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

Можно ли посмотреть в каталог и набрать нужные компоненты архитектуры Пайплайна записи, как продукты в тележку супермаркета? Наверное, можно, если воспользоваться чьим-то удачным примером и использовать уже готовые паттерны.

Ведущий инженер платформы мониторинга в Т-Банке Роман Щербаков рассказал, как они строили нагруженные Пайплайны записи. Это поможет сделать свою систему доставки данных в распределенной среде, не наступая на множество граблей.

Подробности в статье: https://habr.com/ru/companies/tbank/articles/858602/

Статический анализ уже стал де-факто стандартом при анализе кода, однако и он обладает своими ограничениями.

Из доклада Владимира Кочеткова «Программировать как хакер, защищать — как программист» вы узнаете об особенностях работы статических анализаторов, конструкциях кода, вызывающих наибольшие сложности, и о возможности их избежать.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса

➡️ Полная программа Яндекс-трека на сайте

Как выстроить процессы, которые помогают эффективно выявлять и устранять возникающие инциденты? Реализация какого функционала может значительно улучшить скорость отдачи данных консьюмерам в кластере Apache Kafka? Какие новшества появились в Java и JVM?

Ответы на эти вопросы в докладах:

1) Автоматизация инцидент-менеджмента для 10000 инженеров в Т-Банке. Иван Юрченко (Т-Банк)

Докладчик поделится передовым опытом Т-Банка в построении инцидент-менеджмента. Как с помощью платформы FineDog оперативно выявляются сбои, снижается время инцидента и уменьшается вероятность повторения одинаковых инцидентов.

2) Двоичная Java: CDS, CRaC и AOT для ускорения запуска и прогрева JVM. Рустам Курамшин (Axiom JDK)

Глубокий взгляд на новые технологии JVM: CRaC, CDS и GraalVM. Разбор внутренней работы, примеры для SpringBoot и возможные проблемы. Доклад для Java-разработчиков, которые хотят освоить новые JEP'ы, и всех, кого интересует, как устроена JVM под капотом

3) Возвращение zero-copy: как мы прикрутили kTLS к Apache Kafka. Иван Дащинский (СберТех)

Видишь работу? И я не вижу, а она есть. Простое чтение данных по сети часто происходит не с диска напрямую, а через userspace. В данном докладе автор расскажет про универсальный метод вернуться к эффективному использованию сисколла sendfile в современном мире тотального шифрования.


Ждём вас 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе 🔥

В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.

Будет интересно как тем, кто уже хотя бы раз положил прод, так и тем, кто пока ещё нет 😎

До встречи на HighLoad++ 2024, которая пройдёт 2 и 3 декабря в Москве 🖐️

✅ Расписание конференции и билеты на сайте

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🟣Безопасность разработки
🟣Безопасность платформы
🟣Безопасность сети
🟣Безопасность организации
🟣Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅ Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Сегодня рассказываем вам о докладах секции «Ноу-хау» из программы предстоящей конференции Golang Conf 2024, которые будут особенно интересны для:

- разработчиков микросервисов. Для всех, кто желает познакомиться с распределенными транзакциями и интересуется паттернами проектирования;

- разработчиков на Go, которым будет интересно узнать о новом функционале, появившемся в Go 1.23 — итераторах;

- разработчиков и архитекторов ПО, IT-менеджеров. Тех, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;

- разработчиков, которые активно используют конкурентность в своих проектах и стремятся к более глубокому пониманию микроархитектуры взаимодействия в Golang. Вы получите ценные знания о том, как структурировать конкурентные паттерны и создавать на их основе эффективные микроархитектуры приложений.

1) Эпическое программирование: как мы пишем понятные и поддерживаемые саги. Алексей Бакин (Независимый эксперт)

Практический доклад с обилием кода — как реализовать приложение на сагах так, чтобы бесконечные фичи реализовывались легко и приятно.

2) Итераторы в Go.123: зачем они нужны, как использовать и насколько они быстрые? Павел Агалецкий (Авито)

Когда в языке появляется что-то новое, не всегда понятно, в чем суть появившейся фичи и какую пользу я, как разработчик, получу от ее внедрения. В докладе будет рассмотрена не только история появления итераторов в языке, но и рекомендации по использованию, основанные на функциональных критериях.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Кэш в каждом микросервисе со всегда актуальными данными? Автор расскажет о нетрадиционной работе с БД во ВСЁМ сервисе и как в сложной нагруженной системе сделать БД и дешёвой, и не бутылочным горлышком.

4) Оптимизация конкурентных приложений: паттерны, сравнение и микроархитектура. Максим Мирошниченко (VK, VK Tech)

Конкурентность из коробки — одно из базовых преимуществ Go, однако практический результат применения зависит от умения ее готовить. В докладе речь пойдет о принципах эффективного применения паттернов конкурентности и построения надежно работающих решений, использующих конкурентность.

🖐️ Ждем вас на Golang Conf 2024, которая пройдет 2 и 3 декабря в рамках HighLoad++ 2024.

✅ Программа и расписание есть на сайте

Кирилл Кузин из компании Ви.Tech приглашает вас на Golang Conf 2024 и на свой доклад «Страх и Ненависть в Ви.Tech: как жить без микросервисов». 🖐️

Рефакторинг всего сервиса — от витрины интернет-магазина до всех внутренних систем. Закончить его нельзя, но можно сделать дёшево. Об этом и в целом о том, как строить прагматичную архитектуру масштабного сервиса, — будет рассказ.

Доклад Кирилла будет полезен сеньор-разработчикам, техлидам и лидам, которые так или иначе связаны с распилом монолита или же с созданием крупных сервисов на Golang.

Встречаемся 2 и 3 декабря в Москве на Golang Conf 2024, которая пройдёт рамках HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

Нестандартные решения в финтехе, новые подходы к микросервисам от Яндекса, эволюция WebAssembly и автономного транспорта, изменения в архитектуре метрик — об этом вы узнаете на докладах из сегодняшней подборки ⤵️

1) Финтех: причины моей ненависти. Екатерина Лысенко (Независимый эксперт)

Финтех — это не только интересная и сложная доменная область. Это еще и куча нестандартных решений, костылей и разбросанных граблей. О приключениях, которые могут ждать IТ-специалиста в финтехе — в докладе Екатерины.

2) AppHost: как Яндекс организует взаимодействие сотен микросервисов. Константин Вуколов (Яндекс)

Можно ли придумать альтернативу Service Mesh? Действительно ли это наилучшая технология для любого проекта? В докладе вы узнаете, почему Яндекс реализовал альтернативную модель межсервисного взаимодействия и насколько удачной она получилась.

3) WebAssembly: от браузеров до хайлоада. Алексей Комисов (Positive Technologies)

Взгляд на историю, текущее состояние и будущее WebAssembly. Основы, примеры использования и преимущества Wasm по сравнению с Java. Какие изменения в ландшафте экосистемы WebAssembly несет за собой компонентная модель, и почему этот подход может прийти на смену микросервисной архитектуре.

4) Быстрые Open Loop- и Closed Loop-симуляторы для автономного транспорта. Николай Поливанов (Яндекс)

Рассказ спикера из Яндекса про обучение моделей для автономного транспорта. Сейчас модели обучают уже не только на реальных, но и на симулированных данных. Николай расскажет, как они готовят эти данные и в реальном времени передают их ROS, которая «накатывает» миллионы километров.

5) Эволюция пайплайна метрик. Как менялась архитектура с ростом нагрузки. Руслан Боярский (Т-Банк)

Чем больше систему строишь, тем выше сложность с точки зрения наблюдаемости. Рост и объем системы требуют изменять и систему сбора метрик. Каждый, кто сталкивается с необходимостью строить подобную систему, найдет в докладе полезный опыт эволюции того, как собирать, хранить и анализировать метрики.

Присоединяйтесь к нам 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🙌

✅ Программа конференции, расписание и билеты на сайте

Kubernetes сейчас запускают везде, в том числе и в банках, и в КИИ. Только вот с интернетом там дела не то чтобы обстоят плохо, его нет от слова совсем.

В своем докладе «Kubernetes без интернета» Максим Набоких (Deckhouse) рассказал про установку самого популярного решения для запуска контейнеров там, где не ступал ни один пакет из публичной сети.

🔄

- Рассмотрел целевую схему закрытого контура.
- Отдельно остановился на нюансах работы инструментов для создания безопасной среды.
- Показал, как они готовят дистрибутив к установке.
- Обсудили нюансы, возникающие на тех масштабах, на которых это делает Флант.
- Не обошли стороной и доставку приложений в закрытых окружениях.

▶️Смотреть запись доклада в VK Видео

#записьдокладаHL
@HighLoadChannel

Требуется добавить рекомендации на сайт, и для этого срочно вызываете «Python-разработчика на час»? А зачем? У вас уже всё под рукой, осталось лишь воспользоваться... А как и что нужно сделать расскажет Алексей Нечаев (Digital Clouds) в своём докладе «Машинное обучение и параллельные вычисления на GPU в PHP»

Вы узнаете:

- Преимущества обучения моделей нейронных сетей на GPU перед аналогичной задачей, выполняемой на CPU.
- Как происходит вычислительный процесс на GPU.
- Существующие инструменты машинного обучения на PHP.
- Первые шаги по внедрению параллельных GPU-вычислений на PHP.
- Про оценку производительности.

Ждём вас на HighLoad++ 2024, в рамках которой пройдёт PHP Russia 2024 😎

✋ Присоединиться к нам ещё можно, купив билет на сайте

В наш век повсеместного распространения контейнеров все считают их привычной магией и забывают о том, что они построены на базе самых стандартных технологий, которым не один десяток лет. Особенно это касается организации сетевого взаимодействия. Пора снять завесу тайны с этих технологий и потрогать их руками!

Всегда хотели вжух-вжух и дебажить сети в этих ваших куберах и докерах, но не знали с чего начать? Приходите на Workshop «Контейнеры и сети. Изучаем, разбираемся, отлаживаем» от Александра Попова и Георгия Меликова из VK Cloud. Спикеры покажут, расскажут и научат основополагающим вещам в этом нелегком деле!

Александр и Георгий имеют большой опыт построения сложных систем. Мастер-класс рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.

❗️Для участия в workshop вам потребуется ноутбук с доступом в Internet и ssh-клиент.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 😎

✅ Программа конференции, расписание и билеты на сайте

🖐️ Начинаем знакомить вас со спикерами Golang Conf 2024, которая пройдет в рамках HighLoad++ 2024.

Сначала расскажем о секции «Ноу-Хау», в которую вошли доклады с нестандартными решениями задач и их реализациями на примерах реальных кейсов и мастер-класс для отработки новых знаний на практике.

1) Декларативная платформа управления доступом: от ролей к динамическим политикам. Олег Козырев (Независимый эксперт)

При реализации контроля доступа на уровне платформы регулярно встает дилемма: хардкодить и постоянно переделывать из-за меняющихся требований или потеряться в многомерном пространстве параметров всего и вся. Приходите послушать, как DSL решает эту проблему, и как гибко реализовать RBAC/ABAC.

2) Самый лучший мок на свете: разбираемся с инструментами для генерации моков в Go. Семен Эйгин (Авито)

Если вы уже генерируете моки для тестов в своём проекте, то, возможно, вы используете не самый удобный инструмент для этой задачи. А если ещё не генерируете моки, то самое время узнать, как это можно делать. Семен расскажет, чем отличаются существующие инструменты и какой из них он рекомендует.

3) Грокаем структуры данных для распределенных систем: Bloom Filter, CRDT и Consistent Hashing. Булат Усманов (Независимый эксперт)

Структуры данных связаны с задачами обработки локальных данных, но существуют специальные типы данных для решения задач обработки распределенных. В докладе рассмотрим наиболее распространённые примеры таких структур, их Go-реализацию и как использование этих структур поможет оптимизировать процесс.

4) Мастер-класс «Как использовать Temporal для создания MVP». Евгений Конечный (Uzum Tezkor)

Современные распределенные системы подарили нам целый пласт интересных проблем, которые приходится решать в отказоустойчивых системах. В мастер-классе будет рассмотрен этот класс задач и как их решать при помощи движка Temporal. Получившийся MVP будет не стыдно пустить под реальную нагрузку.

Присоединяйтесь к нам 🙌

✅ Программа, расписание и билеты на сайте

BigData и инфраструктура машинного обучения (data engineering) — следующая секция в программе HighLoad++ 2024.

Сегодня рассказываем вам о первых пяти докладах из данной секции, на которые нужно прийти, чтобы узнать, как большие языковые модели помогают решать реальные задачи, включая создание креативных ботов. Обсудить адаптацию SPYT к YTsaurus в Open Source, реализацию stateful-стриминга для аналитических платформ и разработку MLOps-платформы для рекомендательных систем. А также послушать про оптимизацию нейронных сетей для ботов без ГПУ, изучив методы ускорения и результаты работы с трансформером RoBERTa.

1) Практический подход к использованию LLM: особенности и сложности. Иван Красников (wikilect.com)

Доклад посвящен практическим аспектам применения LLM в реальных бизнес-кейсах. Иван расскажет о полном цикле разработки от создания и проектирования системы на базе LLM до финального продукта в реальной жизни!

2) YTsaurus SPYT: как мы избавились от форка Apache Spark и поддержали широкую совместимость. Александр Токарев (Яндекс)

Поддержка форка крупного Open Source-проекта — это больно. В Яндексе реализовали оригинальный способ внесения доработок в Apache Spark (JVM и Python) без необходимости создания форка, а также обеспечили совместимость своего проекта с широким диапазоном версий.

3) One streaming to rule them all. Стриминг как фундамент аналитической экосистемы. Дмитрий Широков (Яндекc Go)

Доклад про то, как внутри Яндекс Go удалось сделать универсальный стриминг, который поддерживает задачи real-time-аналитики, ML, BigData, DWH и платформы A/B-тестирования.

4) Spark in K8s для десятков DS-команд. Арсен Гумин (Сбер)

В противостоянии «Kubernetes против Apache Hadoop YARN» Арсен из Сбера всегда занимает сторону Kubernetes. В докладе он расскажет, как правильно запихнуть Spark в кубы, настроить весь необходимый для data science зоопарк и (почти) безболезненно манипулировать терабайтными датасетами.

5) Ускорение инференса ML-моделей без лишних трат. Денис Захаров (Домклик)

Глубокий технический доклад про ускорение инференса моделей. Денис расскажет про весь пайплайн работы с RoBERTa и OpenVino, поделится замерами производительности и потребления ресурсов, покажет плюсы и минусы реализации деплоя в прод.

Ждём вас 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🖐️

✅ Программа конференции, расписание и билеты на сайте

Управление поиском цен на отели в сервисе бронирования — это как ремонт работающего двигателя. Работа происходит в реальном времени, и простой запрос «отель N на майские» не позволяет получить правильный ответ. Это проблема не только индустрии гостеприимства, но и всех сфер, где сервис тесно взаимодействует с внешними поставщиками данных.

Тимлид команды разработки Островок! Иван Чернов поделится методами построения архитектуры поиска от кэширования до сложных алгоритмов балансировки запросов. Расскажет, как справиться с нагрузкой и поддерживать бесперебойную работу системы. Про масштабирование Redis, использование Aerospike, фильтр Блума и про ещё одну задачу со звёздочкой.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/856540/

В секции «Базы данных и системы хранения» вас ждут доклады, посвященные современным вызовам и решениям в области управления данными.

Сегодня знакомим вас с пятеркой докладов, из которых участники узнают о предотвращении ошибок удаления данных, инкрементальном резервном копировании, улучшении взаимодействия с облачными дисками, производительности аналитики маркетплейсов и управлении шардированными базами данных.

1) Как я удалил clickstream, но его восстановили из небытия. Дмитрий Немчин (Т-Банк)

Жизненная история о том, как нечаянно стереть 200 терабайт в Hadoop, а потом несколько месяцев их восстанавливать. И как после этого донастроить data governance, чтобы такого не повторилось: начиная от админок и заканчивая TTL.

2) Инкрементальные бэкапы в PostgreSQL при помощи Ptrack и Walsummarizer, или Bloom filter vs. roaring bitmap. Алексей Дарвин, Софья Копикова (Postgres Professional)

Поиск изменений в данных кажется задачей с очевидным решением, но всё быстро становится сложнее, если добавить к ней синхронность, рабочую продовую базу данных и желание делать это быстро и экономно. В докладе узнаем о нескольких подходах к инкрементальным бэкапам от авторов одного из инструментов.

3) Путь к стабильным и быстрым дискам в Yandex Cloud. Даниил Татьянин (Yandex Cloud)

Как не терять производительность при эмуляции устройств, не уходя в крайности? В докладе узнаем про вариант эффективной реализации виртуальных дисков и новый опенсорсный проект, позволяющий решать подобные задачи.

4) Как с помощью ClickHouse решать реальные бизнес-кейсы. Дмитрий Черобаев (Mpstats.io)

В докладе рассматривается опыт работы с большими объёмами данных в аналитике. Описываются особенности сбора и обработки информации, проблемы с её обновлением и практические аспекты использования ClickHouse. Отдельное внимание уделяется автоматизации поиска узких мест при работе с данными.

5) Почтовые приключения с PostgreSQL: как приручить 650+ шардов и выжить. Кирилл Григорьев (Яндекс 360)

В докладе вы узнаете о том, как устроена Яндекс Почта сейчас, какие архитектурные решения в прошлом привели её в эту точку и как команда решала проблему балансировки нагрузки между шардами большого Postgres-кластера при переезде в Облако.

Встречаемся уже меньше, чем через месяц в Москве на HighLoad++ 2024 🖐️

✅ Ознакомиться с программой конференции и купить билет можно на сайте

Запись доклада Дмитрия Гордиевского «Замещение Thales — аппаратных модулей шифрования» с конференции Saint HighLoad++ 2023

Первый доклад про то, зачем делают и как внедряют аппаратные модули шифрования в платежной индустрии. До этого никто не рассказывал про эту тему. А теперь еще и отечественные разработки!

Смотреть запись в VK Видео

Посмотрите сами и поделитесь с коллегами 🙌

#записьдокладаHL
@HighLoadChannel

На докладах секции «Нейронные сети и искусственный интеллект (data science)» поговорим про актуальные практические решения и инновации в области обработки данных.

Рассмотрим конкретные примеры использования LLM для извлечения атрибутов товаров и их дальнейшего мэтчинга. Узнаем о фичах для поиска кадров в видео, оптимизации векторных баз и мультимодальных моделях, а ещё о методах ускорения обучения моделей и оптимизации процессов на больших кластерах. Обсудим влияние модерации на клиентский опыт и применение блюра и inpainting для улучшения изображений. И разберёмся, как правильно отбирать и оценивать данные для обучения LLM на примере Gigachat.

1) Современные подходы к мэтчингу товаров с использованием LLM. GPT-4, Llama 3, InternVL2, Qwen2.5, Qwen2-VL. Виталий Кулиев (Wildberries)

Практический кейс использования llama для мэтчинга товаров. Команда не стала заливать проблему деньгами и пришла к довольно эффективному решению, которое вы, если нужно, сможете повторить у себя.

2) Поиск в видеоконтенте при помощи AI. Александр Соколов (ГПМ Дата)

Когда-нибудь задумывались о том, как найти нужный кадр в тысячах видео? Приходите на доклад и узнаете, как работает мультимодальный сервис поиска нужных моментов среди большой базы видео.

3) Ускоряем обучения LLM более, чем на 45%: увеличиваем реальную утилизацию GPU при помощи оптимизации использования памяти, коммуникаций и здравого смысла. Михаил Хрущев (Яндекс)

У команды Яндекса получилось ускорить свои претрейны в полтора раза, а соседние сценарии Alignment/DPO в 5-10 раз! Как и за счет чего можно достичь такой скорости? Михаил поделится в своём докладе секретными оптимизациями.

4) Эффективная модерация изображений: как исправлять нарушения, сохраняя количество и качество контента. Владимир Морозов (Авито)

Хотите узнать, как обрабатывать большой пул изображений и выявлять в них запрещенный контент с последующим исправлением? Приходите на доклад и узнаете, какой пайплайн построили в команде Авито.

5) Как мы варим данные Gigachat Pretrain. Иван Басков (SberDevices)

Мечтаешь о своей LLM? В Интернете петабайты информации, что само по себе уже вызов. Но как выбрать нужное и полезное? Иван поделится секретами кластеризации, дедупликации и отбора ценных данных для обучения, с акцентом на нюансы кодовых и математических материалов.

До встречи 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

На предстоящей HighLoad++ 2024 пройдёт конференция PHP Russia 2024 💥

Поговорим о тестировании, качестве, лучших практиках, архитектуре и фреймворках, добавим хардкора.

В программе PHP Russia 2024 вас ждут 16 докладов, которые распределены по таким секциям:

🟣AI/ML + PHP
🟣Производительность
🟣Devops под PHP
🟣Лучшие практики
🟣Новые крутые либы
🟣Альтернативные рантаймы
🟣Новые фреймворки
🟣Опыт больших сложных проектов на PHP

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, в рамках которой пройдёт PHP Russia 2024, присоединяйтесь 🖐️

✅ Подробная программа конференции и билеты на сайте

Ловите пятерку докладов из секции «Архитектура», которые будут особенно интересны для:

- разработчиков backend-компонентов, которые сталкиваются с проблемами надежности сервисов;

- разработчиков, решающих задачи изоляции или создающих B2B-продукт внутри отлаженного B2C-бизнеса. Архитекторов и CTO. Специалистов, которым интересно, с какими технологическими вызовами сталкивается «Яндекс Лавка»;

- специалистов по Software-Defined Networking. Сетевых инженеров и архитекторов. Разработчиков сетевых сервисов. Администраторов и разработчиков облачных платформ и платформ виртуализации;

- разработчиков продуктовых и инфраструктурных команд;

- разработчиков, архитекторов и менеджеров, разрабатывающих приложения, в которых нужен поиск.

🔄

1) Как не деградировать сервису подбора рекламы, когда мир сходит с ума. Артем Букин (VK Реклама)

Вместе с разработчиком баннерного демона пройдем путь добавления graceful degradation «на живую» в сложный высоконагруженный проект, сталкивающийся с перегрузками. Попутно разберемся, как устроена рекламная система VK изнутри.

2) Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка». Павел Подколзин (Яндекс Лавка)

Как предоставить продукт более чем одному клиенту, при этом не делая по отдельной инсталляции на каждого? Задача «добавить ещё один фильтр по всей системе» быстро становится заградительно дорогой на масштабах. Послушаем про такой опыт на примере архитектуры очень большого и известного проекта.

3) От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету». Владислав Одинцов (K2 Cloud)

Миграция всегда была задачей со звёздочкой для любых сущностей и систем. Но всё становится сильно сложнее, если мигрируемые сущности связаны. Из доклада мы узнаем интересную и длительную историю такой миграции на примере требования сетевой связности сетей из старого и нового SDN.

4) Resource EXpress: как мы построили общую шину динамических ресурсов в Яндексе. Николай Гайворонский (Яндекс)

Николай расскажет о том, как объединить десяток велосипедов обновления сервисов без перезагрузки в одно решение для всей компании. Задача, которая выглядит несложной, имеет множество подводных камней и граничных случаев, особенно на масштабах Яндекса.

5) Гибридный поиск на базе OpenSearch и Qdrant. Егор Прохоренко (Т-Банк)

Модный «векторный» поиск хорош, но теряет полнотекстовую составляющую, которая все еще важна. Егор расскажет, как они объединяли вместе два поиска: дообучали модель на датасете результатов, учитывали релевантность кликов, использовали дополнительную модель для ранжирования.

Встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции, расписание и билеты на сайте

Пишете на Go? Присматриваетесь к Go? Используете инструменты, написанные на Go? Тогда вам точно нужно на HighLoad++ 2024, в рамках которой пройдёт профессиональная конференция для Go‑разработчиков — Golang Conf 2024!

Участники Программного комитета — эксперты Go-сообществ России — выбрали в программу 30+ крутых докладов с решением актуальных задач.

Ключевые темы конференции:

🟣Обзор нововведений Go 1.22 и 1.23
🟣GO: парадигмы и паттерны
🟣Hardcore: ассемблер, кишки, декомпиляция
🟣Протоколы, библиотеки, тулинг
🟣Истории успеха и провала

Будем говорить про переход на Go с других языков, конечно, про хардкор и смежные области. Программа вас ждёт насыщенная: пять тематических секций докладов и отдельный слот для мастер-класса по Temporal.

Совсем скоро мы начнём рассказывать вам про доклады Golang Conf 2024.

Встречаемся 2 и 3 декабря на Golang Conf 2024, которая пройдёт в рамках HighLoad++ 2024 в Москве 🖐️

✅ Присоединиться к нам ещё можно, билеты на сайте

Скорость обработки поискового запроса часто решает — останется пользователь или уйдёт из сервиса. Поэтому сокращение времени ответа — это настоящее экспресс-расследование.

Команда, отвечающая за наполнение главной страницы онлайн-кинотеатра Okko, увидела, что latency приближается к таймауту, и пошла по горячим следам «убийцы времени» в Grafana.

В главных ролях: Jaeger и OpenTelemetry.
Режиссёр: Python.
Помощник режиссёра: Flask.

Спойлер: «убийца» — сборщик мусора.

Премьера здесь: https://habr.com/ru/companies/okko/articles/853406/

⌛️Осталось 3 дня до повышения цены на HighLoad++ 2024

Друзья, напоминаем, с 1 ноября билеты станут дороже. Если вы планируете к нам присоединиться, но пока этого не сделали, то сейчас самое время это сделать.
⠀
И вот 5 причин, по которым нельзя пропустить HighLoad++ 2024 😎
⠀
1) Узнаете, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир.

2) Будете в курсе последних новостей индустрии.

3) Познакомитесь с технологиями, о которых, возможно, ещё не знаете.

4) Услышите сильные доклады с решением конкретных задач.

5) И просто круто проведёте время в крупнейшей IT-тусовке страны.
⠀
Также напоминаем, что вы можете зафиксировать текущую стоимость, для этого нужно забронировать билет до 1 ноября. Оплатить сможете в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Сейчас в инфраструктуре много мощных решений для балансировки и межсервисных коммуникаций: Nginx, HAProxy, Treafik и LB в публичных облаках. Но эти решения могут не справиться с масштабированием из-за ограничений старых систем для динамической конфигурации, особенно когда хочется автоматизируемое cloud-native-решение.

Архитектор в K2 Cloud Дмитрий Самохвалов расскажет о переходе с NGINX, HAProxy на Envoy. Как это позволяет улучшить быстрые обновления, об интеграции через envoy-control-plane и лайфхаки для эффективного перехода. Осветит и подводные камни, которые возникают при переходе.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/853910/

На докладах секции «Platform Engineering» спикеры поделятся ценными инсайтами и практическим опытом.

Узнайте, как интегрировать безопасность и гибкость в Kubernetes с помощью eBPF, создайте собственное приватное облако без привязки к вендорам, разберитесь в сетевой безопасности и избегите распространенных ошибок в крупных проектах. Также обсудим эволюцию системы логирования в МТС — от теории до практики.

1) Как подружить сеть в Kubernetes и легаси, сделать безопасника счастливым и выиграть в производительности с ebpf. Дмитрий Самохвалов (К2 Cloud)

Мало что начинает строиться на пустом месте. В этом докладе узнаем о вариантах скрестить уже имеющиеся подходы к безопасности в компании и максимальную гибкость настроек сети в Kubernetes с помощью ebpf, при этом выиграв в производительности.

2) Собственная облачная платформа на 20000 виртуальных машин — опыт Wildberries. Алексей Чуркин (Wildberries)

Вы хотите свою платформу виртуализации, но доверия к OpenStack и VMWare нет? Вы хотите не завязываться на конкретных вендорах железа и софта и не боитесь писать код и выстраивать оперирование. Добро пожаловать в мир собственных приватных облаков. Мы с радостью поделимся своим опытом.

3) Все то, что нужно для сетевой безопасности приложений в платформе на базе Kubernetes. Максим Чудновский (СберТех)

Прекрасная возможность разложить у себя все по полочкам в голове относительно сетевой безопасности в Kubernetes и потом не придумывать и не использовать костыли.

4) Что я сделал неправильно, когда строил платформу в лидере рынка e-grocery. Олег Федоткин (Циан)

Что будет, если заранее не озаботиться выбором языков программирования, объяснением архитектурных решений, внедрением стандартов паттернов и конфигураций в действительно большом проекте? Доклад поможет избежать потери денег в неочевидных местах и избежать сопротивления стандартам платформы.

5) Сделать централизованное логирование и крепко спать по ночам. Филипп Бочаров, Юлия Тальцкова (МТС Диджитал)

Продолжение эпопеи о том, как в МТС устроено observability: про эволюцию системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса. В меньшей степени про bleeding edge-технологии, в большей степени — про то, как технологии заставить работать на пользу разработчикам и SRE

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, ждём вас 🙌

✅ Программа конференции, расписание и билеты на сайте

Друзья, у нас готово финальное расписание конференции HighLoad++ 2024 — уже можно планировать, когда и какой доклад пойдете слушать 🖐️

Коротко о том, что вас ждёт:

2 дня,
3 конференции на одной площадке (об этом ещё расскажем подробнее уже следующих постах),
8 потоков,
13 параллельно работающих залов,
170+ докладов.
⠀
О чем поговорим: архитектура, базы данных и системы хранения, Platform Engineering, DevOps-практики и культура, безопасность, эксплуатация систем, аппаратное обеспечение, тестирование, производительность enterprise-систем, интернет вещей, Edge Computing, технологии будущего, BigData и инфраструктура машинного обучения (data engineering), нейронные сети и искусственный интеллект (data science)

HighLoad++ 2024 — реальные кейсы, практический и применимый опыт, честные истории со всеми «граблями», которые встретились на пути решения технологических задач 😎

✅ Выбрать, на какие доклады вы пойдете, и купить билет можно на сайте

Как внедрить WASM в зрелую систему и какие практические вопросы возникают при этом? Как ВКонтакте справляется с отказоустойчивостью и репликацией больших объемов данных? Что насчет менее известных, но эффективных структур данных, таких как дерево Меркла, и их применения в хранении? И, наконец, как построить масштабируемое хранилище данных, учитывающее требования различных потребителей?

Эти вопросы будут рассмотрены в докладах из секции «Базы данных и системы хранения» 🔄

1) WebAssembly и хайлоад: история о том, как Tarantool стал полиглотом. Максим Кокряшкин (VK, Tarantool)

Доклад от команды Tarantool — инженерный дипдайв в WASM и практические вопросы разработки и архитектуры, когда WASM нужно встроить в зрелую систему. Доклад будет интересен всем, кто интересуется, можно ли использовать WASM в продакшне и как.

2) Архитектура хранилища ВКонтакте. Денис Дерюгин (VK, ВКонтакте)

В докладе рассматривается эволюция хранилища ВКонтакте. Особое внимание уделяется отказоустойчивости, репликации и избыточности. Описываются особенности работы с большими объёмами данных и методы распределения данных для предотвращения потери в случае выхода из строя одного из дата-центров.

3) Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли (YADRO)

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. В докладе мы узнаем про дерево Меркла и его эффективное применение совместно с CDC.

4) Архитектура хранилища рекламных объектов Яндекс.Директ. Булат Гайфуллин (Яндекс Технологии)

Булат расскажет, как построить почти безгранично масштабирующееся хранилище данных, учесть требования поставщиков и потребителей, а благодаря использованию YTsausus реализовать эффективный стриминг изменений большому количеству разнородных потребителей.

🖐️ Встречаемся 2 и 3 декабря на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 в Москве.

✅ Программа конференции и билеты на сайте

Третий выпуск Podcast++, в котором обсудили важные аспекты менеджмента:

Как обучать лидов в разработке?
Какие навыки и компетенции важны для успешного лидера?
Как развивать и «выращивать» лидов в команде?

Ведущий подкаста: Иван Матвеев — более 15 лет в разработке и 7 лет в руководстве командами. Побывал в роли Unit lead и Director of Engineering. На текущий момент руководит разработкой в командах core в Ви.Tech.

В гостях: Александр Орлов — эксперт в области обучения руководителей в ИТ, управляющий партнер Школы менеджеров Стратоплан, через обучение в которой прошли более 22 000 руководителей команд и проектов, тимлидов. Автор ряда книг по управлению в ИТ, карьере руководителя и коммуникациям, включая «Секреты управления программистами», «Белая книжная полка менеджера», «Джедайские техники конструктивного общения». В прошлом — менеджер в компаниях Intel и Sun Microsystems, Inc.

🎧 Слушать подкаст:

ВКонтакте
mave
Яндекс Музыка

* В рамках подкаста Александр упоминал бесплатный инструмент оценки ключевых компетенций руководителя, который они используют внутри Школы: если вы хотите оценить себя, как управленца, то переходите по этой ссылке

Коллеги обещают, что вы сможете:

🔴понять, что нужно «докачать», как руководителю
🔴оценить свой уровень в десяти важных функциональных зонах менеджера
🔴использовать его как четкий ориентир в противопоставлении развиваюсь/не развиваюсь, как специалист

Продуктивного прослушивания 🙌

На конференции HighLoad++ 2024 будет много интересного, но, пожалуй, самое необычное — награждение победителей конкурса «Красота кода».

Это не просто конкурс, а возможность показать, что хороший код может быть настоящим искусством. Для участников — это признание их мастерства, а для зрителей — шанс вдохновиться и, возможно, увидеть что-то новое, важное и полезное для себя.

Идея посмотреть на код, как на искусство родилась у разработчиков Сбера. В этом году конкурс получил название «Красота кода 2.0». В чём идея? Красивый код — это такой код, который легко читать даже новичкам и приятно писать.

Если хотите принять участие — welcome. Для этого нужно:

1. выбрать дисциплину;
2. написать решение, которое будет не только функциональным, но и изящным;
3. авторизоваться и заполнить анкету;
4. загрузить код на сайт.

Соревноваться будем по пяти направлениям: frontend, backend, mobile, DevOps и AI. В каждом направлении можно стать победителем в номинациях «краса кода», «изящный код», «звезда кода». Отдельно будет награждён и самый «народный код».

+ В этом году в конкурсе появилась специальная номинация от конференции HighLoad++

Победителей ждёт не только признание сообщества, но и классные призы — iPhone 16, колонка SberBoom и офлайн-билет на конференцию HighLoad++.

Участвуйте и вдохновляйтесь!

🔴Подробности и регистрация — на сайте

Давно ли вы пересматривали свой технологический стек? Не устарели ли ваши технологии? А может быть, о ужас, ваш проект уже воспринимается как legacy? Давайте проследим за изменениями в ландшафте доступных технологий и задумаемся, а не пора ли запланировать переезд, пока не стало слишком поздно?

1) Valkey 8 — релиз форка Redis про performance. Евгений Дюков (Yandex Cloud)

Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

2) Picodata: много маленьких данных. Константин Осипов (Picodata)

Обзорный доклад о распределенной базе данных Picodata, построенной на базе Tarantool. Архитектура, гарантии консистентности, плагины на Rust для клуба любителей распределенных СУБД.

3) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках годами жили с дефолтными и не самыми эффективными рантаймами. Сейчас ситуация начала меняться, и вот подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

Присоединяйтесь к нам на HighLoad++ 2024 🙌

✅ Выбрать интересные для себя доклады из программы и забронировать билет до повышения цены можно на сайте

🖐️ В этом видео Эдгар Сипки из Ozon Банка приглашает вас на Golang Conf 2024, которая пройдёт 2 и 3 декабря в Москве в рамках HighLoad++

Эдгар — опытный сеньор-Go-разработчик, специализирующийся на создании масштабируемых и высоконагруженных систем. В своей работе постоянно изучает новые технологии и совершенствует свои навыки. Умеет работать в команде и обладает опытом проектирования микросервисной архитектуры.

На Golang Conf 2024 Эдгар выступит с докладом «Web over gRPC: какую технологию выбрать», из которого вы узнаете, как можно автоматизировать создание прокси из OpenAPI в gRPC, позволяющего работать с вашим gRPC-сервером по обоим протоколам.

Ждём вас 😎

🖐️ Присоединиться к нам можно, купив билет на сайте

До HighLoad++ 2024 осталось чуть больше месяца, билетов остаётся всё меньше, и это значит, что сейчас самое время к нам присоединиться 😉

🔴Почему вам стоит стать участником:

- познакомитесь с большим количеством единомышленников;
- обменяетесь опытом с коллегами;
- пообщаетесь с крутыми экспертами отрасли.

На HighLoad++ 2024 вы услышите классные технологические доклады, с решением конкретных задач, узнаете, как меняется индустрия прямо сейчас, что в тренде, а что в хайпе, какие есть новые инструменты и технологии. И, конечно, у вас будет отличная возможность найти решение своих собственных профессиональных задач.

Ждём вас 2 и 3 декабря на самой большой айтишной тусовке в стране — HighLoad++ 2024 😎

С 1 ноября билеты станут дороже и достигнут своей финальной отметки. Чтобы зафиксировать текущую стоимость, забронируйте билет сейчас, а оплатить сможете в течение нескольких дней.

✅ Программа конференции, предварительное расписание и билеты на сайте

Как построить высоконагруженную систему мониторинга в экосистеме из более 300 продуктов?

Руководитель стрима мониторинга и наблюдаемости в МТС Digital Филипп Бочаров расскажет, как они реализовали централизованное управление конфигурацией агентов, интерфейс для настройки алертинга и правил сбора метрик. Как собрали все метрики в единое хранилище и построили дашборды здоровья по ключевым продуктам с помощью агента telegraf и большого кластера Victoria Metrics, принимающего 10+ миллионов сэмплов в секунду.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/851024/

Сегодня знакомим вас с докладами из секции «DevOps-практики и культура», на которых эксперты: развеют мифы о PowerShell7, поделятся опытом адаптации PHP-приложений под Kubernetes и расскажут, как оптимизировать облачные расходы. Вы также узнаете о важности инженерной культуры и получите советы по управлению инцидентами в распределённых системах. Не пропустите 🖐

1) Когда Powershell лучше, чем Ansible? Рецепты приготовления на 1000+ серверов. Михаил Соколов (ГНИВЦ)

На нынешний день есть несколько мифов об использовании PowerShell7 в индустрии. Очень хочется их разрушить и взять на заметку советы и паттерны для Configuration Management при условии, когда Ansible уже может не справляться или его использование затруднено

2) Теперь готовлю только так: как мы затащили новостные сайты на Drupal 8 в Kubernetes. Алексей Демьянов (Флант)

Автор расскажет историю одного php приложения, которое было адаптировано под kubernetes. Из этого доклада слушатели поймут, что это не так сложно сделать, как говорится «глаза боятся — руки делают». Узнают, какие подводные камни могут ожидать на этом пути, и благодаря докладу избегут их.

3) FinOps: Optimize для K8s. Илья Кочнев (Lamoda Tech)

Облако съело годовой бюджет проекта за неделю? Илья объяснит, что самое неоптимальное — это виртуальные машины, которые недогружены. В частности, узлы K8s. Спикер расскажет, каким образом сохранить деньги без потери эффективности работы приложения.

4) Инженерная культура на масштабе: Как развивать и оценивать практики! Евгений Харченко (Райффайзен Банк)

В докладе затрагиваются вопросы, связанные с внедрением, развитием и оценкой инженерной культуры, процессов и практик в больших технологических и enterprise компаниях.

5) Дизастер нерекавери, или Как на очередных учениях по отказоустойчивости у нас сломались PostgreSQL-кластеры. Артем Федоров (ИВИ)

Каждый любит истории падений. Кто тестирует на проде, тот знает им цену. Вероятно, многие, кто имел дело с распределёнными базами данных, встречался с проблемами Split Brain или перевыборами. Как обезопасить себя во время падений дата-центра, что делать во время и после инцидента — всё здесь!

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🖐

✅ Программа конференции и билеты на сайте

У нас готово предварительное расписание конференции HighLoad++ 2024 🙌
⠀
Ознакомиться с ним можно на сайте
⠀
В расписании еще возможны корректировки, но ориентировочно уже можно запланировать свой день на конференции 😎

GO-разработчики на рынке труда: вызовы, решения и лучшие практики — тема второго выпуска Podcast++

В этом эпизоде обсудили важные вопросы:

- как вырастить go-разработчика на разных уровнях?
- с какими трудностями сталкиваются компании при найме?
- пути развития разработчиков разных грейдов
- ситуацию на рынке труда для go-разработчиков
- возможные стратегии для джунов для поиска первой работы
- трудности компаний при найме разработчиков

🎤 Ведущий подкаста: Кирилл Кузин. Бросил работу инженера-конструктора, чтобы разрабатывать на Go. За три года вырос до сеньор-разработчика. Сейчас работает над сервисами и PaaS в Ви.Tech.

🖐️ В гостях — Виталий Левченко. Технический менеджер. Основатель Go-комьюнити Санкт-Петербурга. Соорганизатор ProIT Fest, основатель IT-бара Failover в Санкт-Петербурге. Продвигает Go с релиза в 2012 году. Помогает разработчикам вырасти в principal-инженеров.

🎧 Слушать подкаст:

ВКонтакте
mave
Яндекс Музыка

Как минимизировать ущерб и восстановить работу системы проекта, который внезапно столкнулся с нагрузкой в 20 000 RPS в самый ответственный момент? Какие сложности и преимущества внедрения Service Mesh с Istio? Как эффективно управлять многотенантными кластерами Kubernetes? И как поддерживать высокую доступность автоматизированных HR-процессов?

Кейсы с ответами на эти вопросы и практические рекомендации ждут вас в следующих докладах из секции «Эксплуатация систем» 🔄

1) История трансформации: Как мы не справились с 20 000+ RPS и что из этого вынесли. Лев Немировский (ПСБ)

Когда нужно было сделать вчера, вендоры, отсутствие метрик, автотестов и централизированных логов. Что может пойти не так? Да всё! Тут точно будет весело!

2) Опыт эксплуатации Service Mesh в Авито. Игорь Балюк (Авито)

Уникальная возможность узнать о многолетнем опыте эксплуатации Service Mesh в большой компании и ее эволюции с учетом запросов и требований времени.

3) Многотенантный kubernetes. Выжимаем максимум. Александр Качмашев (Точка)

Все знают, как сделать выделенный кубернетес на команду. Но это порождает множество кластеров. Сделать по-настоящему многотенантный или коммунальный кластер сложно. Очень много моментов, которые нужно учесть. Александр поделится своими секретами мастерства для приготовления такого кластера.

4) Сжимаем ресурсы Java в контейнерах: 80% результата за 20% времени и без OOM. Денис Никулин (Сбер)

Отличный доклад, который расскажет, как правильно приготовить JAVA приложение для работы в среде kubernetes и при этом не обжечься. Будут советы, которые помогут сэкономить денег на инфраструктуре, причем значительно, за счет правильной оптимизации java машины и оптимального выбора requests/limits.

Присоединяйтесь к нам 2 и 3 декабря в Москве на самую масштабную тусовку разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Посмотреть программу конференции и купить билет можно на сайте

Редкий пример использования nomad в реальном продакшне в докладе Константина Касева и Марии Васильевой «Переход к Platform as a Service в Яндекс Вертикалях: опыт, проблемы, ошибки» с конференции Saint HighLoad++ 2023, запись которого мы принесли 🙌

Всего пять лет назад в Яндекс Вертикалях разработчики деплоили приложения deb-пакетами. Логи писались в файлы, деплой был долгим и неудобным, мониторинг и алерты лежали на плечах админов — и им же звонили. Они жили на железе и ручном приводе. Из такой точки А начался их путь к прекрасному PaaS будущего.

Теперь в Яндекс Вертикалях живут в облаке, у админов много автоматики, и звонки только по ops-проблемам. Разработчики их сервисов деплоят по кнопке из телеграм-бота или Web UI, пользуются автосгенерированными дашбордами, просматривают логи сервисов в Grafana и анализируют трейсы. В платформе доступны canary- и branch-деплои и запуск периодических задач. Процесс подготовки сервиса к запуску — это написание карты сервиса и манифеста деплоя, что занимает минимум времени. И все это — без вовлечения в процесс службы эксплуатации.

▶️Смотреть запись доклада в VK Видео

Продуктивного просмотра 😎

🔄Четвёрка докладов из секции «Архитектура», которые будут особенно интересны:

- разработчикам, в системах которых так или иначе обрабатываются адреса;
- BE-инженерам, архитекторам, бэкенд-разработчикам;
- и всем тем, кто хочет узнать, как изменилась Алиса с появлением LLM, с какими трудностями столкнулась команда и как их преодолели.

1) Точный адрес – вечная боль! Адресный путь геораспределённого агрегатора курьерской доставки. Михаил Колосов (Газпромбанк.Тех)

Узнайте, как решать вечную проблему адресов в логистике и не только: несовпадение форматов, ошибки в доставке и интеграция с ФИАС. Вы увидите реальные кейсы, технические решения и актуальные подходы к обработке адресов. Доклад Михаила поможет улучшить адресную архитектуру в ваших проектах.

2) Как применить перколятор по назначению и не только. Владислав Сикач (Авито)

Доклад посвящён анализу различных кейсов использования функциональности перколятора на больших объёмах. Владислав также поднимет вопрос о сравнении различных перколяторов — Sphinx, ElasticSearch.

3) Как устроена Алиса нового поколения. Руслан Ахтариев (Яндекс Технологии)

Под капотом новой Алисы три дата-центра и сотни серверов с GPU. Но все равно для обеспечения быстрой работы приходится использовать множество оптимизаций: «рефразеры» для запросов, стриминг, квантизацию и спекулятивный декодинг. Все это — в докладе Руслана.

4) Выделение микросервиса из 15-летнего монолита. Приключение на 1 год. Станислав Кондратьев (hh.ru)

Каждый рефакторинг монолита частично уникален, но только частично. Какие-то, каждый раз свои, шаги и подходы будут повторяться. Очень полезно иметь в своём арсенале запас идей и подходов, потому что рано или поздно монолит придётся рефакторить и вам.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Часто о надежности начинают задумываться, когда система уже написана, запущена в боевую эксплуатацию и «вдруг» случился серьезный инцидент. Как идентифицировать важные риски еще на этапе проектирования системы и заложить защитные меры в дизайн системы? А только ли в архитектуре дело? Что насчет процедур и инженерной культуры?

Разберёмся с этими вопросами на докладах:

1) Надежность на масштабе в 45 млн клиентов — инструменты и практики цифрового банка. Алексей Мерсон (Т-Банк)

В любой сложной системе есть механизмы поддержки, их много, и часто они разрозненны. Дежурные команды, оповещения, «железные женщины» и т.д. В докладе Алексея вы узнаете, как связать их в цельную стройную систему, чтобы надёжными были не только инфраструктура и приложения, но также услуги и клиентский опыт.

2) Что продуктовой команде нужно сделать ДО полного блэкаута системы. Наталья Макарова (CDEK)

Наталья покажет блекаут, про который мы все слышали, глазами техлида одной из команд CDEK, поделится своим прошлым опытом по восстановлению работоспособности систем и новыми инсайтами, как подниматься с нуля. С самого нуля. А ещё какие скрипты приготовить, где все будут толкаться при запуске и пр.

3) Как мы в Авито анализируем 5 миллионов трейсов и проводим архитектурный надзор. Иван Нещадин (Авито)

Вы узнаете как осуществлять архитектурный надзор post-factum анализируя трейсы, какие классы проблем можно идентифицировать таким образом и как организовать хранилище подобных данных.

🖐️ Присоединяйтесь к нам 2 и 3 декабря в Москве на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем HighLoad++ 2024.

✅ Посмотреть программу конференции и купить билет можно на сайте

Владимир Тимонов, руководитель направления специализаций NET, Java и Mobile в ЕвразТехника ИС, рассказал, как и почему пошёл в промышленное IT, о стеке и технологиях, которые они используют. О том, какие кейсы выполнял до работы в реальном секторе и чем они отличаются от промышленных. А ещё о том, как развиваться и не «изобретать велосипеды»

Читать интервью в новой статье: https://habr.com/ru/companies/oleg-bunin/articles/850744/

✋ 14 октября приглашаем вас на встречу потенциальных докладчиков с Программным комитетом DevOpsConf 2025.

⏰ Собираемся в 19:00

Форматы:

Офлайн. Москва, офис Газпромбанк, Коровий Вал 5, БЦ «Оазис».

Онлайн. Ссылка придёт после регистрации на встречу.

Участие свободное нужно только зарегистрироваться здесь

🔥 От Программного комитета во встрече будут участвовать:

🔴Дмитрий Зайцев (Flocktory) — руководитель Программного комитета DevOpsConf. Высококвалифицированный профессионал с опытом работы в разных индустриях — gamedev, adtech, bigdata, fintech, marketing. Развивал DevOps- и SRE-практики и подходы тогда, когда это еще не было мейнстримом. Совмещал их с ITIL и Cobit, пока они еще были в моде. Один из организаторов devopsdays moscow, devops moscow, hangops_ru.

🔴Александр Коротков (Т-Банк). Начал карьеру с разработки инструментов для автоматизации тестирования. После углубился в процессы разработки, непрерывной доставки, обеспечения качества и стабильности. Сейчас увлечён оптимизацией процессов кросс-командного взаимодействия. Суммарный опыт в разработке около 10 лет.

🔴Игорь Курочкин (Enabling.team). Помогал развивать инженерную культуру, процессы и практики в Авито, Учи.ру, Тинькофф, Росбанк, Райффайзен Банк, inDrive, X5 Tech, Wild Apricot, Pushwoosh, Exness, retailCRM, Skyeng, Делимобиль и Lamoda. Руководил направлением анализа и консалтинга в компании Express 42. Работал платформенным и SRE инженером в корпорации Microsoft, технологической компании Skype, стартапах Qik и Scalaxy. Выступал на конференциях HighLoad, AgileDays, South HUB, TeamLeadConf, DevOpsConf, RootConf, DevOops.
⠀
Если вы хотите стать спикером DevOpsConf 2025 — приходите/подключайтесь. Обсудим новости и планы, поговорим о том, что болит и волнует, обменяемся идеями. Мы расскажем про актуальные темы, на которых в этот раз хотим сделать акцент, про все возможные форматы выступления и чем они хороши для вас. Вы узнаете актуальна ли ваша тема и нет ли похожих докладов от других спикеров, а также мы расскажем, как проходит процесс отбора заявок в программу и подготовка принятых докладов к выступлению.

Подать заявку на доклад можно здесь. Дедлайн 22 ноября.
Конференция пройдет 7 и 8 апреля в Москве.
⠀
Встреча обещает быть очень полезной, ждём вас 🙌

Рассказываем о трёх доклада из секции «Базы данных и системы хранения», на которых вы:

- узнаете о внедрении стоимостного оптимизатора в YDB, улучшающего обработку как OLTP, так и аналитических запросов;
- сфокусируетесь на надежности хранения данных, анализируя поведение ОС и методы тестирования приложений;
- исследуете физические ограничения баз данных и способы их преодоления, включая транзакции между удаленными системами.

1) Стоимостный оптимизатор в YDB — как, зачем и почему? Павел Велихов (Yandex.Cloud (YDB))

Ничто так не бесит аналитиков и разработчиков, чем когда тормозит сложный запрос в СУБД. Ответственность за все это несет оптимизатор запросов. В этом докладе узнаем, как современный оптимизатор помогает БД не тормозить и что удалось уже реализовать в оптимизаторе YDB.

2) Итак, вы решили надежно записывать данные на диск. Дмитрий Родионов (Picodata)

Простые действия могут иметь под собой на удивление сложную логику и многочисленные последствия. Доклад погрузит нас в дивный мир гарантий при записи данных, покажет интересные примеры проблем из жизни и затронет важный вопрос поиска подобных ошибок в приложениях.

3) О геораспределённых транзакциях. Владимир Комаров (СберТех)

Теория и ее приложение на практические реализации для задач выбора геораспределенных баз данных — что может быть лучше? Только дополнение о самых современных теориях построения таких систем как SLOG и Detock. И все это — в докладе Владимира!

Встречаемся 2 и 3 декабря в Москве на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Узнать подробнее о конференции и купить билет можно на сайте

Честный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс Диске. Какие нестандартные решения пришлось применить, чтобы пользователям было удобно просматривать фотографии.

О том, как кластеризовать фото для синхронизации в мобильное приложение и мгновенной загрузки с любого места в веб-версии, рассказал в новой статье тимлид в команде бэкенда Яндекс Диска Дмитрий Кривопальцев: https://habr.com/ru/companies/yandex/articles/849584/

Запись доклада Евгения Россинского «Как из Python и палок собрать детектор аномалий для highload» с HighLoad++ 2023

Детекторы аномалий — это не всегда большие и сложные проекты. Евгений из ИВИ рассказал, как в свободное от техдирства время собрал такую штуку для микросервисной хайлоад-системы буквально «на коленке» — и сколько пользы решение принесло команде.

▶️Смотреть запись в VK Видео

#записьдокладаHL
@HighLoadChannel

В мире технологий, где инновации движутся с невероятной скоростью, важно быть в курсе новых решений и подходов. Ловите пять докладов из секции «Архитектура», из которых вы узнаете о создании Feature Platform, организации архитектурных артефактов, эволюции системы защиты видео, инновациях в запуске приложений на nginx и опыте использования Kafka. Этот опыт спикеров поможет вам избежать распространенных ошибок и улучшить эффективность проектов 🔄


1) Проектируем свою inhouse Feature Platform. Алина Баймашева (Домклик)

Алина — архитектор платформы. В докладе она расскажет о том, как подходила к проектированию, какие варианты рассматривала и что в результате получилось. Это история большой компании, которой надо было не просто собрать Feature Platform, но и вписать получившееся в свой технологический ландшафт.

2) Артефакты архитектуры. Какие, зачем и как их организовать. Наиль Миннахметов (МТС)

Практическое осмысление One page enterprise architecture Святослава Котусева на примере процессов в МТС. Что подходит, что требует изменений, что излишне в процессах создания архитектурных артефактов — все через призму практического опыта.

3) Миллионы часов: поиск копий в VK Видео. Никита Кочетков (VK, ВКонтакте)

В докладе рассказывается о решении задачи поиска дубликатов видео при загрузке на VK Видео. Рассказ охватывает несколько стадий этой задачи: декодирование видео, оптимальный сбор фингерпринтов, поиск аналогов. В чем отличие от распознавания лиц, какие сложности при работе с видео — всё в докладе Никиты.

4) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках жили с дефолтными, не самыми эффективными, рантаймами годами. Сейчас ситуация начала меняться, и вот, подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

5) Apache Kafka как единственное хранилище. Использование, проблемы, боль и последствия. Дмитрий Емельянов (Altenar)

Попытка использовать Apache Kafka как единственный источник знаний — не очень хорошая идея. Рассказ о том, почему так и как именно это стреляет в ноги.

Присоединяйтесь к нам 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции и билеты на сайте

Не упустите возможность прокачать свои навыки и расширить знания в области управления данными 🙌

⏰ Завтра (10 октября в 13:00) подключайтесь онлайн на митап «Эволюция управления данными: облако и open-source на службе качества». Это возможность узнать о ключевых этапах перехода компании на облачные технологии и как open-source инструменты могут значительно повысить качество ваших данных.

Это событие — не просто очередная встреча, это шанс стать частью важного обсуждения, которое затрагивает будущее вашей работы и компании в целом.

Мы обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

Александр Лищук, архитектор решений из команды Технологической Платформы НЛМК, в сегодняшней статье рассказал про развитие IT в реальном секторе, про дресс-код и субординацию, стек и технологии. О том, как попасть в промышленность и что это дает для профессионального развития инженера.

👉Читать здесь: https://habr.com/ru/companies/oleg-bunin/articles/849290/

Как формируются персонализированные рекомендации в KION, и какие бизнес-правила за этим стоят? Какие сложности возникли при разработке архитектуры звонков в Авито и как их преодолевали? Как запустить программу лояльности для 80 миллионов клиентов, учитывая все нюансы нагрузки? Как создается система управления светофорами в Москве?

Ответы на эти вопросы будут ждать вас на HighLoad++ 2024 в докладах, о которых рассказываем сегодня 😎

1) Как KION формирует в Realtime персональные рекомендации и витрины. Алексей Жиряков (KION)

Интересный рассказ как из простых инструментов можно собрать систему, которая обеспечивает хорошую производительность для сложной задачи подготовки персональных рекомендаций в режиме realtime.

2) 1000 и 1 боль: как мы запускали «звонки через приложение» на Авито. Станислав Процкий (Авито)

Из доклада можно узнать, как развиваются большие системы. Как и когда принимаются архитектурные решения и чем надо руководствоваться при выборе.

3) Масштабирование в условиях неопределенности или как мы обновляли СберСпасибо. Мария Насырова (Сбер)

Мария расскажет о том, как происходит развитие очень большого проекта. Как готовятся масштабные архитектурные изменения и с какими неочевидными проблемами можно столкнуться в процессе миграции.

4) Как управлять мегаполисом без смс и регистрации. История одного пилота АСУДД. Арсений Сазанов (ИП Сазанов А.М.)

Доклад Арсения про то, как и на каких технологиях строятся АСУДД — Автоматизированная Система Управления Дорожного Движения. Какие проблемы могут встретиться при разработке и внедрении подобных систем.

Встречаемся 2 и 3 декабря в Москве, присоединяйтесь 🙌

✅ Программа конференции и билеты на сайте

🖐️ Приглашаем на онлайн-митап «Эволюция управления данными: облако и open-source на службе качества»

10 октября в 13:00, онлайн.

Обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

Друзья, начинаем неделю с новостей — мы запустили собственный Podcast++ 💥

Будем разбираться в сложных темах с гостями-профессионалами, которые знают свое дело.

Подкаст выходит при поддержке Ви.Тех — команды инженеров из ВсеИнструменты.ру.

В первом выпуске мы поговорили о публичных выступлениях:

- Почему это важно для инженеров?
- Как преодолеть страх сцены?
- Как подготовиться и провести доклад без ошибок?

🎤 Ведущий: Александр Виноградов, руководитель архитектуры в Ви.Тех

🖐 Гости:

Кирилл Анастасин. Создатель отдела презентационных технологий Яндекса. С 2016 года тренер по публичным выступлениям, дизайнер, художник. Автор комиксов, мемов

Алексей Обровец. В IT c 2003 года. Продакт, деврел, человеколюбец. Работал в Рамблере, когда тот был Поиском и Телеканалом, в Яндексе, Интерфаксе, коворкинге #tceh. Ведущий конференций, в частности, HighLoad++. Тренер спикеров и мотивационный спикер на фрилансе.

🎧 Слушать:

ВКонтакте
mave
Яндекс Музыка

Приятного прослушивания 🙌

Построение масштабируемых и эффективных баз данных по-прежнему актуальная тема для разработчиков нагруженных систем. Ландшафт доступных СУБД и архитектурных практик продолжает активно меняться и эволюционировать.

Всё ли мы знаем о поведении Postgres под нагрузками? Нашли ли мы ниши для применения новых СУБД от Яндекса? Поставлена ли точка в дискуссии о способе хранения time-series?

Ответы в докладах ⤵️

1) Аномалии под нагрузкой в PostgreSQL 2.0. Михаил Жилин (Postgres Professional)

Доклад продолжает рассказ об аномалиях производительности PostgreSQL, начатый два года назад. Тут будут изменения за прошедшее время, новые проблемы с индексами и неожиданные эффекты параметра fetch size. Михаил также покажет методы диагностики и устранения проблем.

2) Добавляем ++ в Prometheus. Владимир Гурьянов (Флант), Давид Мэгтон (Флант), Евгений Бастрыков (Deckhouse)

Доклад будет интересен всем, кто интересуется базами данных временных рядов и хранением временных рядов, в частности.

3) Динтаблицы YTsaurus — и ещё одна СУБД от Яндекса. Руслан Савченко (Яндекс)

Динтаблицы YTsaurus используются внутри Яндекса с 2017 года для построения больших сервисов, требующих строгие гарантии консистентности и доступности. В 2023 году исходный код YTsaurus был выложен в open source. В этом докладе Руслан расскажет про самые интересные фичи динтаблиц YTsaurus и сценарии использования в Яндексе.

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

✅ Посмотреть уже принятые в программу доклады и купить билет можно на сайте

Спекуляции на тему того, что нейросети заменят человека, в последнее время появляются довольно часто. Поэтому, когда появился новый ИИ-агент Replit Agent, который якобы пишет код лучше настоящих программистов, команда Raft решила устроить мини-хакатон, чтобы повеселиться, а заодно проверить, насколько полезен новый инструмент и что умеет делать.

➡️ Делимся впечатлениями, промптами, результатами и выводами: https://habr.com/ru/companies/raft/articles/847680/