Yandex Infrastructure

@yandex_infrastructure

Рассказываем как мы делаем внутреннюю инфраструктуру Яндекса.

Сайт: https://infra.yandex.ru
Наш чат для общения: https://t.me/DevTools_Party
Вакансии: https://yandex.ru/jobs/services/infrastructure

Yandex Infrastructure (Russian)

Yandex Infrastructure - это Telegram канал, где представлена внутренняя жизнь, мероприятия, задачи и достижения от команды лучших инженеров Yandex Infrastructure. Если вас интересует техническая сторона разработки и продвижения продуктов ведущей интернет-компании, то этот канал для вас. Здесь вы сможете узнать о последних новостях и изменениях в инфраструктуре Yandex. Кроме того, вы сможете подключиться к общению с командой, задавать вопросы и делиться своим мнением. Посетите наш сайт по ссылке: https://infra.yandex.ru, чтобы узнать больше подробностей о проектах, над которыми работает команда. Не забудьте также присоединиться к нашему чату для общения: https://t.me/DevTools_Party. Если вас заинтересовала возможность присоединиться к команде Yandex Infrastructure, вы можете ознакомиться с открытыми вакансиями по ссылке: https://yandex.ru/jobs/services/infrastructure. Присоединяйтесь к нам, чтобы быть в курсе всех событий и новостей от команды инженеров Yandex Infrastructure!

Yandex Infrastructure

28 Dec, 09:05

Друзья, мы уходим на каникулы и желаем вам отлично встретить Новый год!

Пусть 2025-й будет наполнен сверхамбициозными задачами, проекты легко масштабируются, а рядом будут надёжные коллеги.

Ну а если вы решите провести выходные с пользой, рекомендуем:

*️⃣пересмотреть infra.conf,
*️⃣пересмотреть nexthop,
*️⃣пересмотреть Субботник по инфраструктуре,
*️⃣почитать полезные статьи в нашем блоге на Хабре,
*️⃣посмотреть новое выступление Насти Абрашитовой на TeamLead Conf о сложных ситуациях в управлении командами.

До встречи в январе!
Команда Yandex Infrastructure

862

Yandex Infrastructure

26 Dec, 08:16

Комиксы комикаки про nexthop

Сетевая конференция nexthop прошла в конце ноября, а кажется было буквально вчера. Мы посмотрели больше 20 выступлений и собрали в одном месте 500+ экспертов по сетям. Своими впечатлениями о конференции и докладах поделился наш друг Кирилл Анастасин, автор комиксов @komikaki. Кстати слово это произошло от «комиксы + какие-нибудь».

Скорее на хабр, чтобы увидеть это 🤩

4,715

Yandex Infrastructure

23 Dec, 09:44

✏️

О науке и исследованиях в Яндексе

1х1 — это формат регулярных рабочих встреч с коллегами в Яндексе, а ещё — одноимённая рубрика на канале Яндекса. Здесь встречаются двое сотрудников из разных команд, которые занимаются похожими задачами. Они обсуждают друг с другом работу и отвечают на вопросы с таблички.

Героями выпуска стали учёные Максим Бабенко и Дмитрий Баранчук. Максим работает в Yandex Infrastructure, руководит отделом технологий распределённых вычислений, преподаёт в Школе анализа данных и в НИУ ВШЭ. А Дмитрий исследует генеративные модели в Yandex Research.

В выпуске они обсуждают пользу от науки для бизнеса, разбивают мифы об учёных и дают советы тем, кто хочет попасть в Яндекс. 🔜 Смотрите на YouTube и в VK Видео.

1,406

Yandex Infrastructure

19 Dec, 08:37

🔥

Архитектурная ката: платформа для видеосвязи / { между скобок }

Встретились два разработчика, чтобы провести архитектурную кату и спроектировать платформу для видеосвязи. Обсудили, как создать эффективную WebRTC-платформу для миллионов пользователей, что такое SFU и MCU архитектуры, и как использовать их с максимальной пользой.

В главных ролях:
🔘 Игорь Шеко — руководитель разработки WebRTC в Yandex Infrastructure;
🔘 Вадим Клеба — руководитель бэкенд-разработки в Яндекс 360.

➡️

Смотреть выпуск

1,827

Yandex Infrastructure

18 Dec, 14:29

Ролик и фотографии с nexthop ➞ 2024 посмотрели. Записи докладов – в процессе.

А чем ещё нам запомнилась конференция? Мы искали ответы на разные ~~важные~~ вопросы:
— что такое идеальная сетевая инфраструктура?
— как объяснить бабушке, что такое маршрутизатор?
— когда Wi-Fi станет доступен везде всюду?

Нашли ответы или нет — смотрите в шортс 📹

3,082

Yandex Infrastructure

17 Dec, 11:22

Как прошла конференция nexthop ➞ 2024

В конце ноября мы провели сетевую конференцию nexthop.
Вспоминаем как это было: в видео кусочке того дня 💜

А для тех, кто пропустил или просто хочет пересмотреть доклады, мы уже опубликовали все материалы:
🔘 нарезки докладов на сайте конференции (в блоке программы);
🔘 плейлист на YouTube;
🔘 фотографии;
🔘 все презентации;

❤️

полный отчетный ролик.

1,662

Yandex Infrastructure

09 Dec, 12:58

👨‍💻 Моментальная навигация по коду в SourceCraft

Недавно мы анонсировали платформу для разработчиков SourceCraft, которая уже собирает вокруг себя сообщество.

Теперь открываем чуть больше деталей про возможности навигации в нашей платформе.

Ольга Лукьянова, руководитель группы разработки GitLab, Yandex Infrastructure, в статье на Хабре рассказала:
🔘 как SourceCraft поможет разработчикам не переключаться на IDE и решать типовые задачи в одном интерфейсе;
🔘 как команда искала способы добавить функциональность навигации по коду при ревью пул-реквестов;
🔘 каких результатов мы уже достигли.

🔜

Читать статью

2,119

Yandex Infrastructure

06 Dec, 08:29

Говорим «сети» — визуализируем NOC Team 🥰
Пятничный офисный фото-блиц без повода — поехали

🚀

— чем занимается ваша команда
Мы занимаемся компьютерными сетям и отвечаем за то, чтобы запросы от пользователей доходили до наших дата-центров и обратно. Строим, эксплуатируем и развиваем — ДЦ-фабрики, сети для суперкомпьютеров, оптическую и IP-магистрали, внешнюю связность и огромное количество стыков с провайдерами для Яндекса.

— трек, который лучше всего её характеризует
«INS does OSPF» в YouTube 🙂

— продолжите фразу: сетевая инфраструктура это…
...очень много классных профессионалов своего дела и по-настоящему дружных и ламповых людей!

— опишите инфраструктуру мечты в трёх словах
Надёжная, масштабируемая, простая.

— совет всем, кто хочет стать сетевым инженером
Конечно же, почитать «Сети для самых маленьких».

2,172

Yandex Infrastructure

29 Nov, 10:50

Разыгрываем онлайн-билеты на HighLoad++ и книги по распределённым данным

Все подробности собрали здесь. Переходите, изучайте и принимайте участие. Удачи! 🍀

2,406

Yandex Infrastructure

28 Nov, 13:24

Любите ли вы настольные игры так же, как любим их мы?

Сделали крутую настолку про Yandex Infrastructure c @komikaki 💥 Пока делимся кусочками этой красоты. Хотя уже есть те, кому посчастливилось в неё сыграть 🥳

На настолке не остановимся, готовим что-то очень интересное в онлайне 🤗

Stay tuned! @yandex_infrastructure

2,548

Yandex Infrastructure

27 Nov, 08:05

Топология Dragonfly для дата-центровых сетей

Итак, вы гиперскейлер: у вас большая сеть на тысячи хостов, а лучше стоек. Вы продолжаете расти, у вас отработанный дизайн, автоматизация ввода нового оборудования, всё на потоке. Но отчего‑то вы несчастливы.

Всё дело в эпохе 400G: долгие годы вы строили сеть на 25+100, и всего всегда хватало. А сейчас сами понимаете, что ещё несколько лет — и сеть станет устаревшей. Ещё один повод для серьёзного беспокойства — это стоимость новой сети. И закрадывается робкая мысль, а не пришло ли время...

Марат Сибгатулин в новой статье на Хабре разбирает, когда действительно приходит время Dragonfly. Пройдёмся по устройству этой топологии, сравним её с сетью Клоза, разберёмся, кому что подходит, и не забудем про деньги: посмотрим на арифметику для условных, но очень показательных ситуаций.

442

Yandex Infrastructure

27 Nov, 06:32

➡️

Трансляция конференции nexthop стартует уже совсем скоро в 10:00.

🖍️ Все вопросы спикерам можно задавать в чате конференции.

739

Yandex Infrastructure

25 Nov, 08:31

Уже в эту среду — 27 ноября в 10:00 — встречаемся на nexthop 2024.

🟣 более 20 выступлений экспертов из Яндекса, VK, Ozon, Positive Technologies, Точки и других крупных компаний: подробнее писали в постах с расписанием большого и малого залов.

🟣

мастер-классы по работе с Annet — кто офлайн — берите ноутбуки, будем тестировать основной инструмент сетевой автоматизации в Яндексе.
🟣 нетворкинг и общение с утра и до победного.

💖 До встречи!

568

Yandex Infrastructure

22 Nov, 15:10

🇬🇧

Яндекс на Big Data в Лондоне

В сентябре команда опенсорс-продукта YTsaurus, который входит в Yandex Infrastructure, приехала на международную конференцию, посвящённую большим данным.

🐚 Мы поговорили с ребятами, которые представляли команду и рассказывали о возможностях нашего сервиса. А ещё с Александрой Жихаревой, тимлидом YTsaurus, которая выступила с докладом.

👷 Их опыт и впечатления собрали в эти карточки.

Подписывайтесь:

💬

@Yandex4ML

💬

@Yandex Infrastructure

📹

@YandexML

829

Yandex Infrastructure

22 Nov, 15:10

Читайте в карточках о поездке команды YTsaurus на Big Data LDN в Лондон 🔝

775

Yandex Infrastructure

21 Nov, 13:01

Nearly Stateless L4 Balancer: опыт Yandex Infrastructure

Допустим, вы решили горизонтально масштабировать свой сервис. В простейшем случае вам не понадобится ничего, кроме свитча перед серверами, где крутится сервис: это поможет так или иначе обеспечить ECMP, чтобы отправлять трафик на все серверы.

Будет ли работать такая балансировка? Ну, конечно, будет. А вот масштабируется ли — вопрос открытый: скорее всего, рано или поздно вы упрётесь в размер ECMP-группы. Обойти это ограничение можно с помощью L4-балансировщика — выделенного устройства, которое работает и с IP, и с транспортными заголовками (TCP/UDP).

Но как сделать L4-балансировщик устойчивым к DDoS-атакам? Для решения этой задачи команда Yandex Infrastructure разработала алгоритм двойного консистентного хеширования, который позволил практически избавиться от таблицы TCP-соединений.

Как всё устроено и с какими ограничениями мы столкнулись, читайте в статье Александра Азимова, руководителя группы сетевого R&D в Yandex Infrastructure на Хабре.

2,282

Yandex Infrastructure

21 Nov, 11:10

🎤 Наш технический менеджер Виталий Дмитриев мог бы петь на совещаниях. Насколько мы знаем, он ни разу так не делал, но точно мог бы — Виталий занимается вокалом и выступает с собственной кавер-группой.

➡️ В карточках — о том, с чего началось его увлечение, как собрать свою группу и чем вокал помогает в работе.

1,073

Yandex Infrastructure

20 Nov, 14:13

📣 nexthop 2024 уже через неделю!

Если вы всё ещё раздумываете, участвовать ли, просто задайте себе один простой вопрос:

Да или конечно, да?

В карточках узнаете, почему все дороги в мире сетевых технологий ведут на nexthop, а не только в Рим!

Регистрируйтесь и приходите онлайн или офлайн — сегодня последний день для регистрации ⚠️ А ответы по всем заявкам придут до вечера 22 ноября.

Если уже зарегистрировались — до встречи через неделю!

548

Yandex Infrastructure

15 Nov, 11:10

В мире сетевых технологий немало фейков. Кто изобрёл интернет? Что стало праосновой сегодняшнего интернета? Кто совершил первую DDoS-атаку?

Собрали мифы и правду о сетевых технологиях в карточках. Попробуйте угадать, где что. Правильный ответ написали в комментариях.

Расскажите реакцией, сколько угадали:

😎 — все 6
🤩 — 4–5
🤨 — 2–3
🤯 — 0–2

Правильные ответы ищите в комментариях под публикацией ⬇️

Ещё больше о сетевых технологиях можно узнать на ежегодной конференции nexthop от Yandex Infrastructure.

➡ Регистрируйтесь до 20 ноября и приходите онлайн или офлайн.

375

Yandex Infrastructure

13 Nov, 12:00

Уже через 2 недели пройдёт nexthop — ежегодная конференция по сетевым технологиям от Yandex Infrastructure 🤩

Ведущий одного из треков — Андрей Глазков — рассказывает о том, что ждёт участников.

Спойлер:
🟣доклады от экспертов из Яндекса, VK, Ozon, BI.ZONE, Инфосистем Джет
🟣классный мерч
🟣зона мастер-классов по работе с Annet
🟣Q&A и нетворкинг

Подробнее рассказываем в канале конференции.

➡

Регистрируйтесь на онлайн или офлайн.
Регистрация открыта до 20 ноября. Если вы уже подали заявку на конференцию, но пока не получили ответа — пишите @nu_saash.

Увидимся 27 ноября ⭐️

658

Yandex Infrastructure

12 Nov, 08:21

Различия TCO Apache Kafka и YDB Topics

В 2013 году в Яндексе начали использовать Apache Kafka: на этой платформе работало несколько сотен серверов. Мы передавали через неё все виды данных. В какой‑то момент в системе произошла серия значительных сбоев, причины которых были непонятны... Мы решили с этим что‑то делать и начали строить свою систему, в которой могли быть уверены.

В 2017 году мы запустили YDB Topics в продакшене Яндекса, перевели на неё все потоки данных. В 2022 году мы выложили её в опенсорс в составе YDB‑платформы.

Сейчас, спустя 7 лет, в пике мы передаём данные вплоть до скорости 300 ГБ в секунду (а если это, например, «чёрная пятница», то даже больше). Этим опытом мы с удовольствием делимся с другими компаниями, показывая разницу «на пальцах».

➡️ Читайте новую статью на хабре от Алексея Дмитриева, технического менеджера проектов в Yandex Infrastructure, с разбором различий TCO Apache Kafka и YDB Topics (на конкретных цифрах).

719

Yandex Infrastructure

02 Nov, 12:28

Нарушили руководства и лучшие практики k8s, чтобы описывать инфраструктуру в разы быстрее

Делимся лайфхаками команды Deploy Platform в новой статье на Хабре.

Благодаря Kubernetes® мы организуем для разработчиков Яндекса единое управление всей инфраструктурой. Чтобы проще и быстрее поднимать новые сервисы, мы постоянно повышаем надёжность, скорость разработки и масштабируемость k8s. Иногда, чтобы добиться успешного результата, приходится нарушать правила.

⭐ Как мы отказались от версионирования схем, стали сохранять обратную совместимость и нарушили другие руководства кубера, рассказывает Всеволод Величко, разработчик внутреннего облака в Yandex Infrastructure.

1,590

Yandex Infrastructure

30 Oct, 11:37

До конференции nexthop 2024 остаётся чуть меньше месяца

Отличный повод сообщить, что полная программа уже на сайте!

Вот что мы приготовили в этом году:

⭐

Обмен опытом. Больше 20 докладов, плотно упакованных в 2 зала, и море места для общения.

⭐

Стенд по автоматизации. Мастер-классы по работе с Annet — основным инструментом сетевой автоматизации в Яндексе. Берите с собой ноутбуки — будем пачкать руки.

⭐

Афтепати. Классика конференций — продолжаем общение, атакуем докладчиков.

➡️ За подробной программой заглядывайте на сайт. Там же можно зарегистрироваться на конференцию.

Увидимся 27 ноября в Москве и онлайн!

1,303

Yandex Infrastructure

25 Oct, 14:50

Не бойся! Я всего лишь баг на проде, обнаруженный в пятницу вечером. Давай смотреть друг на друга до тех пор, пока меня не заметят все остальные 💀🔥

1,824

Yandex Infrastructure

18 Oct, 10:00

Трансляция конференции «Wi-Fi Марафон 2024»

19 октября пройдёт «Wi-Fi Марафон» — регулярная отраслевая конференция от сообщества #Ekahau-rus & Wireless Co. в области беспроводных и Wi-Fi технологий.

⭐ В этом году принимаем участников у себя в гостях. Вендоры, крупные интеграторы и заказчики, а также предприниматели в сфере беспроводных технологий соберутся на одной площадке, чтобы:

▫️ Узнать, кто и на каких решениях проектирует Wi-Fi сети сегодня;

▫️ Поделиться опытом, как применять методики планирования и проектирования Wi-Fi сетей;

▫️ Приятно провести время в кругу единомышленников.

➡️ Присоединяйтесь к трансляции, и до встречи!

Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке.

1,255

Yandex Infrastructure

16 Oct, 14:10

Если джем, то Yandex Open Source Jam 🍯

23 октября в Санкт-Петербурге проводим (не)конференцию для всех, кто занимается и интересуется разработкой опенсорса.

Вас ждут доклады про открытый код в разработке, науке и жизни, экспозона, где можно порешать задачки и пообщаться со спикерами, мерч и анонсы. Для тех, кто придёт лично, — ещё и открытый микрофон, на котором можно рассказать про свой опыт в опенсорсе.

Среди докладов:

▫️ Никита Соболев, фултайм-разработчик опенсорса, раскроет секреты своего десятилетнего опыта.

▫️ Антон Фролов, ML-инженер из Яндекса, покажет, как мы ускоряем обучение нейросетей с помощью YaFSDP.

▫️ Антон Полухин, руководитель группы разработки общих компонент из Яндекса, расскажет, как мы строим опенсорс-проект userver.

▫️ Николай Воронцов, выпускающий редактор в N + 1, обсудит, как опенсорс помогает учёным и радует популяризаторов науки.

➡️ Регистрируйтесь, слушайте онлайн и приходите к нам в Петербурге!

1,032

Yandex Infrastructure

15 Oct, 15:09

«Катишь релиз, выходишь на кофе-пойнт, а там его уже обсуждают»

«Команда Yandex Infrastructure» — это короткие ролики, которые знакомят вас с людьми, создающими инфраструктуру Яндекса. В них наши коллеги рассказывают о своей работе, команде и о себе.

В первом выпуске Настя Абрашитова рассказывает, как она увлеклась инфраструктурой, прошла путь от менеджера проектов до руководителя отдела DevTools, чем живёт её команда и как сейчас выглядит её рабочий день.

➡️ Смотрите видео и ставьте ❤️, если любите инфраструктуру так же, как любит её Настя!

903

Yandex Infrastructure

11 Oct, 13:50

Что делать, чтобы правильные вёдра правильно протекали 🤔

Изначально на XDP eBPF‑программе был реализован простой способ лимитирования. В автоматическом режиме для каждого нового клиента в eBPF заводился новый Token Bucket с каким‑то лимитом по умолчанию. Фактически TB заменяли стейты EWMA‑статистики.

⭐ Недостаток схемы в том, что мы были защищены от пика запросов от одного клиента, но не от множества. Тогда мы решили сделать Hierarchical Token Bucket.

➡️

Читайте новую статью на Хабре, в которой Сергей Качеев, старший разработчик отдела сетевой инфраструктуры, рассказал, как мы проектировали разные версии TB, проверяли их в XDP с помощью симулятора и выстроили систему «ведёр» так, чтобы они правильно переливались через край.

1,136

Yandex Infrastructure

08 Oct, 15:50

У нас Joker 🃏

15–16 октября в Санкт-Петербурге пройдёт Joker — одна из крупнейших и старейших конференций по Java-разработке в России. Эксперты из Яндекса расскажут, как разрабатывают YDB, YTsaurus, Алису, Авто.ру и e-com-продукты.

От Yandex Infrastructure подготовили два доклада:

➡️

Кирилл Курдюков на примере YDB покажет, как Java-фреймворки можно адаптировать и интегрировать с распределёнными SQL-хранилищами. Вместе сравним разные решения в этой области.

➡️

Александр Токарев расскажет, как патчить байт-код сторонних библиотек в рантайме и какие библиотеки позволяют это делать. А ещё в докладе — четыре разных способа для патчинга исходных классов библиотеки и их реализация с использованием библиотеки Javassist.

Ставьте ❤️, если с удовольствием придёте (или пришли бы) послушать. И заглядывайте на стенд Яндекса, чтобы пообщаться с экспертами!

1,119

Yandex Infrastructure

07 Oct, 10:02

История единой метрики качества работы видеоплеера

Василий Коровин, аналитик в Yandex Infrastructure, уже три года занимается аналитикой плеера в команде видеоплатформы. Это тот самый веб‑плеер, который используется для воспроизведения видео в разных сервисах Яндекса — Кинопоиске, Диске, Практикуме, Погоде и других. С этого года он доступен в облачном сервисе для хранения, обработки и трансляции видео Cloud Video.

⭐ Вспоминаем выступление Васи на VideoTech в прошлом году. Он рассказывал, как мы понимаем, что вам нравится (или не нравится) пользоваться плеером, и как мы по кирпичикам собирали для этого метрику.

➡️ Полный рассказ читайте на Хабре, а самое главное — в карточках.

943

Yandex Infrastructure

30 Sep, 14:30

Продолжаем рубрику рекомендаций от экспертов Yandex Infrastructure

К середине осени обычно хочется сбежать от приближающихся холодов. Новая подборка книг, которой руководитель отдела DevTools Анастасия Абрашитова поделилась в канале подкаста «Три тимлида заходят в бар», вам в этом поможет.

Куда направиться — в мир фэнтези или женских романов — выбирайте сами. А может, вам, как и Насте, нравится и то, и то.

Что почитать на досуге:
📘 «Доводы рассудка», Джейн Остин
📘 «Убик», Филип Дик
📘 «Кровь и железо», Джо Аберкромби
📘 «Дом, в котором…», Мариам Петросян
📘 «Там, где нас нет», Михаил Успенский

➡️ Подробнее о каждой книге — в карточках.

1,190

Yandex Infrastructure

27 Sep, 10:31

Обсуждаем развитие видеотехнологий на VideoTech 2024 📹

28-29 сентября в Санкт-Петербурге и онлайн пройдёт вторая часть VideoTech — конференции о видеотехнологиях, на которой мы поделимся нашим практическим опытом в производстве видео.

Собрали темы докладов от команды Yandex Infrastructure в карточках.

❤️ — если ждёте статьи по выступлениям.

🔥 — если хотите Q&A со спикерами в нашем чате.

1,144