В сентябре команда опенсорс-продукта YTsaurus, который входит в Yandex Infrastructure, приехала на международную конференцию, посвящённую большим данным.
Подписывайтесь:
Yandex Infrastructure
@yandex_infrastructure
Рассказываем как мы делаем внутреннюю инфраструктуру Яндекса.
Сайт: https://infra.yandex.ru
Наш чат для общения: https://t.me/DevTools_Party
Вакансии: https://yandex.ru/jobs/services/infrastructure
Yandex Infrastructure (Russian)
Yandex Infrastructure - это Telegram канал, где представлена внутренняя жизнь, мероприятия, задачи и достижения от команды лучших инженеров Yandex Infrastructure. Если вас интересует техническая сторона разработки и продвижения продуктов ведущей интернет-компании, то этот канал для вас. Здесь вы сможете узнать о последних новостях и изменениях в инфраструктуре Yandex. Кроме того, вы сможете подключиться к общению с командой, задавать вопросы и делиться своим мнением. Посетите наш сайт по ссылке: https://infra.yandex.ru, чтобы узнать больше подробностей о проектах, над которыми работает команда. Не забудьте также присоединиться к нашему чату для общения: https://t.me/DevTools_Party. Если вас заинтересовала возможность присоединиться к команде Yandex Infrastructure, вы можете ознакомиться с открытыми вакансиями по ссылке: https://yandex.ru/jobs/services/infrastructure. Присоединяйтесь к нам, чтобы быть в курсе всех событий и новостей от команды инженеров Yandex Infrastructure!
Yandex Infrastructure
22 Nov, 15:10
В сентябре команда опенсорс-продукта YTsaurus, который входит в Yandex Infrastructure, приехала на международную конференцию, посвящённую большим данным.
Подписывайтесь:
Yandex Infrastructure
22 Nov, 15:10
Читайте в карточках о поездке команды YTsaurus на Big Data LDN в Лондон 🔝
Yandex Infrastructure
21 Nov, 13:01
Nearly Stateless L4 Balancer: опыт Yandex Infrastructure
Допустим, вы решили горизонтально масштабировать свой сервис. В простейшем случае вам не понадобится ничего, кроме свитча перед серверами, где крутится сервис: это поможет так или иначе обеспечить ECMP, чтобы отправлять трафик на все серверы.
Будет ли работать такая балансировка? Ну, конечно, будет. А вот масштабируется ли — вопрос открытый: скорее всего, рано или поздно вы упрётесь в размер ECMP-группы. Обойти это ограничение можно с помощью L4-балансировщика — выделенного устройства, которое работает и с IP, и с транспортными заголовками (TCP/UDP).
Но как сделать L4-балансировщик устойчивым к DDoS-атакам? Для решения этой задачи команда Yandex Infrastructure разработала алгоритм двойного консистентного хеширования, который позволил практически избавиться от таблицы TCP-соединений.
Как всё устроено и с какими ограничениями мы столкнулись, читайте в статье Александра Азимова, руководителя группы сетевого R&D в Yandex Infrastructure на Хабре.
Допустим, вы решили горизонтально масштабировать свой сервис. В простейшем случае вам не понадобится ничего, кроме свитча перед серверами, где крутится сервис: это поможет так или иначе обеспечить ECMP, чтобы отправлять трафик на все серверы.
Будет ли работать такая балансировка? Ну, конечно, будет. А вот масштабируется ли — вопрос открытый: скорее всего, рано или поздно вы упрётесь в размер ECMP-группы. Обойти это ограничение можно с помощью L4-балансировщика — выделенного устройства, которое работает и с IP, и с транспортными заголовками (TCP/UDP).
Но как сделать L4-балансировщик устойчивым к DDoS-атакам? Для решения этой задачи команда Yandex Infrastructure разработала алгоритм двойного консистентного хеширования, который позволил практически избавиться от таблицы TCP-соединений.
Как всё устроено и с какими ограничениями мы столкнулись, читайте в статье Александра Азимова, руководителя группы сетевого R&D в Yandex Infrastructure на Хабре.
Yandex Infrastructure
21 Nov, 11:10
🎤 Наш технический менеджер Виталий Дмитриев мог бы петь на совещаниях. Насколько мы знаем, он ни разу так не делал, но точно мог бы — Виталий занимается вокалом и выступает с собственной кавер-группой.
➡️ В карточках — о том, с чего началось его увлечение, как собрать свою группу и чем вокал помогает в работе.
Yandex Infrastructure
20 Nov, 14:13
📣 nexthop 2024 уже через неделю!
Если вы всё ещё раздумываете, участвовать ли, просто задайте себе один простой вопрос:
Да или конечно, да?
В карточках узнаете, почему все дороги в мире сетевых технологий ведут на nexthop, а не только в Рим!
Регистрируйтесь и приходите онлайн или офлайн — сегодня последний день для регистрации⚠️ А ответы по всем заявкам придут до вечера 22 ноября.
Если уже зарегистрировались — до встречи через неделю!
Если вы всё ещё раздумываете, участвовать ли, просто задайте себе один простой вопрос:
В карточках узнаете, почему все дороги в мире сетевых технологий ведут на nexthop, а не только в Рим!
Регистрируйтесь и приходите онлайн или офлайн — сегодня последний день для регистрации
Если уже зарегистрировались — до встречи через неделю!
Yandex Infrastructure
15 Nov, 11:10
В мире сетевых технологий немало фейков. Кто изобрёл интернет? Что стало праосновой сегодняшнего интернета? Кто совершил первую DDoS-атаку?
Собрали мифы и правду о сетевых технологиях в карточках. Попробуйте угадать, где что. Правильный ответ написали в комментариях.
Расскажите реакцией, сколько угадали:
😎 — все 6
🤩 — 4–5
🤨 — 2–3
🤯 — 0–2
Правильные ответы ищите в комментариях под публикацией⬇️
Ещё больше о сетевых технологиях можно узнать на ежегодной конференции nexthop от Yandex Infrastructure.
➡ Регистрируйтесь до 20 ноября и приходите онлайн или офлайн.
Собрали мифы и правду о сетевых технологиях в карточках. Попробуйте угадать, где что. Правильный ответ написали в комментариях.
Расскажите реакцией, сколько угадали:
😎 — все 6
🤩 — 4–5
🤨 — 2–3
🤯 — 0–2
Правильные ответы ищите в комментариях под публикацией
Ещё больше о сетевых технологиях можно узнать на ежегодной конференции nexthop от Yandex Infrastructure.
Yandex Infrastructure
13 Nov, 12:00
Уже через 2 недели пройдёт nexthop — ежегодная конференция по сетевым технологиям от Yandex Infrastructure 🤩
Ведущий одного из треков — Андрей Глазков — рассказывает о том, что ждёт участников.
Спойлер:
🟣 доклады от экспертов из Яндекса, VK, Ozon, BI.ZONE, Инфосистем Джет
🟣 классный мерч
🟣 зона мастер-классов по работе с Annet
🟣 Q&A и нетворкинг
Подробнее рассказываем в канале конференции.
➡ Регистрируйтесь на онлайн или офлайн.
Регистрация открыта до 20 ноября. Если вы уже подали заявку на конференцию, но пока не получили ответа — пишите @nu_saash.
Увидимся 27 ноября ⭐️
Ведущий одного из треков — Андрей Глазков — рассказывает о том, что ждёт участников.
Спойлер:
Подробнее рассказываем в канале конференции.
Регистрация открыта до 20 ноября. Если вы уже подали заявку на конференцию, но пока не получили ответа — пишите @nu_saash.
Увидимся 27 ноября ⭐️
Yandex Infrastructure
12 Nov, 08:21
Различия TCO Apache Kafka и YDB Topics
В 2013 году в Яндексе начали использовать Apache Kafka: на этой платформе работало несколько сотен серверов. Мы передавали через неё все виды данных. В какой‑то момент в системе произошла серия значительных сбоев, причины которых были непонятны... Мы решили с этим что‑то делать и начали строить свою систему, в которой могли быть уверены.
В 2017 году мы запустили YDB Topics в продакшене Яндекса, перевели на неё все потоки данных. В 2022 году мы выложили её в опенсорс в составе YDB‑платформы.
Сейчас, спустя 7 лет, в пике мы передаём данные вплоть до скорости 300 ГБ в секунду (а если это, например, «чёрная пятница», то даже больше). Этим опытом мы с удовольствием делимся с другими компаниями, показывая разницу «на пальцах».
➡️ Читайте новую статью на хабре от Алексея Дмитриева, технического менеджера проектов в Yandex Infrastructure, с разбором различий TCO Apache Kafka и YDB Topics (на конкретных цифрах).
В 2013 году в Яндексе начали использовать Apache Kafka: на этой платформе работало несколько сотен серверов. Мы передавали через неё все виды данных. В какой‑то момент в системе произошла серия значительных сбоев, причины которых были непонятны... Мы решили с этим что‑то делать и начали строить свою систему, в которой могли быть уверены.
В 2017 году мы запустили YDB Topics в продакшене Яндекса, перевели на неё все потоки данных. В 2022 году мы выложили её в опенсорс в составе YDB‑платформы.
Сейчас, спустя 7 лет, в пике мы передаём данные вплоть до скорости 300 ГБ в секунду (а если это, например, «чёрная пятница», то даже больше). Этим опытом мы с удовольствием делимся с другими компаниями, показывая разницу «на пальцах».
Yandex Infrastructure
02 Nov, 12:28
Нарушили руководства и лучшие практики k8s, чтобы описывать инфраструктуру в разы быстрее
Делимся лайфхаками команды Deploy Platform в новой статье на Хабре.
Благодаря Kubernetes® мы организуем для разработчиков Яндекса единое управление всей инфраструктурой. Чтобы проще и быстрее поднимать новые сервисы, мы постоянно повышаем надёжность, скорость разработки и масштабируемость k8s. Иногда, чтобы добиться успешного результата, приходится нарушать правила.
⭐ Как мы отказались от версионирования схем, стали сохранять обратную совместимость и нарушили другие руководства кубера, рассказывает Всеволод Величко, разработчик внутреннего облака в Yandex Infrastructure.
Делимся лайфхаками команды Deploy Platform в новой статье на Хабре.
Благодаря Kubernetes® мы организуем для разработчиков Яндекса единое управление всей инфраструктурой. Чтобы проще и быстрее поднимать новые сервисы, мы постоянно повышаем надёжность, скорость разработки и масштабируемость k8s. Иногда, чтобы добиться успешного результата, приходится нарушать правила.
Yandex Infrastructure
30 Oct, 11:37
До конференции nexthop 2024 остаётся чуть меньше месяца
Отличный повод сообщить, что полная программа уже на сайте!
Вот что мы приготовили в этом году:
⭐ Обмен опытом. Больше 20 докладов, плотно упакованных в 2 зала, и море места для общения.
⭐ Стенд по автоматизации. Мастер-классы по работе с Annet — основным инструментом сетевой автоматизации в Яндексе. Берите с собой ноутбуки — будем пачкать руки.
⭐ Афтепати. Классика конференций — продолжаем общение, атакуем докладчиков.
➡️ За подробной программой заглядывайте на сайт. Там же можно зарегистрироваться на конференцию.
Увидимся 27 ноября в Москве и онлайн!
Отличный повод сообщить, что полная программа уже на сайте!
Вот что мы приготовили в этом году:
Увидимся 27 ноября в Москве и онлайн!
Yandex Infrastructure
25 Oct, 14:50
Не бойся! Я всего лишь баг на проде, обнаруженный в пятницу вечером. Давай смотреть друг на друга до тех пор, пока меня не заметят все остальные 💀🔥
Yandex Infrastructure
18 Oct, 10:00
Трансляция конференции «Wi-Fi Марафон 2024»
19 октября пройдёт «Wi-Fi Марафон» — регулярная отраслевая конференция от сообщества #Ekahau-rus & Wireless Co. в области беспроводных и Wi-Fi технологий.
⭐ В этом году принимаем участников у себя в гостях. Вендоры, крупные интеграторы и заказчики, а также предприниматели в сфере беспроводных технологий соберутся на одной площадке, чтобы:
▫️ Узнать, кто и на каких решениях проектирует Wi-Fi сети сегодня;
▫️ Поделиться опытом, как применять методики планирования и проектирования Wi-Fi сетей;
▫️ Приятно провести время в кругу единомышленников.
➡️ Присоединяйтесь к трансляции, и до встречи!
Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке.
19 октября пройдёт «Wi-Fi Марафон» — регулярная отраслевая конференция от сообщества #Ekahau-rus & Wireless Co. в области беспроводных и Wi-Fi технологий.
▫️ Узнать, кто и на каких решениях проектирует Wi-Fi сети сегодня;
▫️ Поделиться опытом, как применять методики планирования и проектирования Wi-Fi сетей;
▫️ Приятно провести время в кругу единомышленников.
Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке.
Yandex Infrastructure
16 Oct, 14:10
Если джем, то Yandex Open Source Jam 🍯
23 октября в Санкт-Петербурге проводим (не)конференцию для всех, кто занимается и интересуется разработкой опенсорса.
Вас ждут доклады про открытый код в разработке, науке и жизни, экспозона, где можно порешать задачки и пообщаться со спикерами, мерч и анонсы. Для тех, кто придёт лично, — ещё и открытый микрофон, на котором можно рассказать про свой опыт в опенсорсе.
Среди докладов:
▫️ Никита Соболев, фултайм-разработчик опенсорса, раскроет секреты своего десятилетнего опыта.
▫️ Антон Фролов, ML-инженер из Яндекса, покажет, как мы ускоряем обучение нейросетей с помощью YaFSDP.
▫️ Антон Полухин, руководитель группы разработки общих компонент из Яндекса, расскажет, как мы строим опенсорс-проект userver.
▫️ Николай Воронцов, выпускающий редактор в N + 1, обсудит, как опенсорс помогает учёным и радует популяризаторов науки.
➡️ Регистрируйтесь, слушайте онлайн и приходите к нам в Петербурге!
23 октября в Санкт-Петербурге проводим (не)конференцию для всех, кто занимается и интересуется разработкой опенсорса.
Вас ждут доклады про открытый код в разработке, науке и жизни, экспозона, где можно порешать задачки и пообщаться со спикерами, мерч и анонсы. Для тех, кто придёт лично, — ещё и открытый микрофон, на котором можно рассказать про свой опыт в опенсорсе.
Среди докладов:
▫️ Никита Соболев, фултайм-разработчик опенсорса, раскроет секреты своего десятилетнего опыта.
▫️ Антон Фролов, ML-инженер из Яндекса, покажет, как мы ускоряем обучение нейросетей с помощью YaFSDP.
▫️ Антон Полухин, руководитель группы разработки общих компонент из Яндекса, расскажет, как мы строим опенсорс-проект userver.
▫️ Николай Воронцов, выпускающий редактор в N + 1, обсудит, как опенсорс помогает учёным и радует популяризаторов науки.
Yandex Infrastructure
15 Oct, 15:09
«Катишь релиз, выходишь на кофе-пойнт, а там его уже обсуждают»
«Команда Yandex Infrastructure» — это короткие ролики, которые знакомят вас с людьми, создающими инфраструктуру Яндекса. В них наши коллеги рассказывают о своей работе, команде и о себе.
В первом выпуске Настя Абрашитова рассказывает, как она увлеклась инфраструктурой, прошла путь от менеджера проектов до руководителя отдела DevTools, чем живёт её команда и как сейчас выглядит её рабочий день.
➡️ Смотрите видео и ставьте ❤️, если любите инфраструктуру так же, как любит её Настя!
«Команда Yandex Infrastructure» — это короткие ролики, которые знакомят вас с людьми, создающими инфраструктуру Яндекса. В них наши коллеги рассказывают о своей работе, команде и о себе.
В первом выпуске Настя Абрашитова рассказывает, как она увлеклась инфраструктурой, прошла путь от менеджера проектов до руководителя отдела DevTools, чем живёт её команда и как сейчас выглядит её рабочий день.
Yandex Infrastructure
11 Oct, 13:50
Что делать, чтобы правильные вёдра правильно протекали 🤔
Изначально на XDP eBPF‑программе был реализован простой способ лимитирования. В автоматическом режиме для каждого нового клиента в eBPF заводился новый Token Bucket с каким‑то лимитом по умолчанию. Фактически TB заменяли стейты EWMA‑статистики.
⭐ Недостаток схемы в том, что мы были защищены от пика запросов от одного клиента, но не от множества. Тогда мы решили сделать Hierarchical Token Bucket.
➡️ Читайте новую статью на Хабре, в которой Сергей Качеев, старший разработчик отдела сетевой инфраструктуры, рассказал, как мы проектировали разные версии TB, проверяли их в XDP с помощью симулятора и выстроили систему «ведёр» так, чтобы они правильно переливались через край.
Изначально на XDP eBPF‑программе был реализован простой способ лимитирования. В автоматическом режиме для каждого нового клиента в eBPF заводился новый Token Bucket с каким‑то лимитом по умолчанию. Фактически TB заменяли стейты EWMA‑статистики.
Yandex Infrastructure
08 Oct, 15:50
У нас Joker 🃏
15–16 октября в Санкт-Петербурге пройдёт Joker — одна из крупнейших и старейших конференций по Java-разработке в России. Эксперты из Яндекса расскажут, как разрабатывают YDB, YTsaurus, Алису, Авто.ру и e-com-продукты.
От Yandex Infrastructure подготовили два доклада:
➡️ Кирилл Курдюков на примере YDB покажет, как Java-фреймворки можно адаптировать и интегрировать с распределёнными SQL-хранилищами. Вместе сравним разные решения в этой области.
➡️ Александр Токарев расскажет, как патчить байт-код сторонних библиотек в рантайме и какие библиотеки позволяют это делать. А ещё в докладе — четыре разных способа для патчинга исходных классов библиотеки и их реализация с использованием библиотеки Javassist.
Ставьте ❤️, если с удовольствием придёте(или пришли бы) послушать. И заглядывайте на стенд Яндекса, чтобы пообщаться с экспертами!
15–16 октября в Санкт-Петербурге пройдёт Joker — одна из крупнейших и старейших конференций по Java-разработке в России. Эксперты из Яндекса расскажут, как разрабатывают YDB, YTsaurus, Алису, Авто.ру и e-com-продукты.
От Yandex Infrastructure подготовили два доклада:
Ставьте ❤️, если с удовольствием придёте
Yandex Infrastructure
07 Oct, 10:02
История единой метрики качества работы видеоплеера
Василий Коровин, аналитик в Yandex Infrastructure, уже три года занимается аналитикой плеера в команде видеоплатформы. Это тот самый веб‑плеер, который используется для воспроизведения видео в разных сервисах Яндекса — Кинопоиске, Диске, Практикуме, Погоде и других. С этого года он доступен в облачном сервисе для хранения, обработки и трансляции видео Cloud Video.
⭐ Вспоминаем выступление Васи на VideoTech в прошлом году. Он рассказывал, как мы понимаем, что вам нравится (или не нравится) пользоваться плеером, и как мы по кирпичикам собирали для этого метрику.
➡️ Полный рассказ читайте на Хабре, а самое главное — в карточках.
Василий Коровин, аналитик в Yandex Infrastructure, уже три года занимается аналитикой плеера в команде видеоплатформы. Это тот самый веб‑плеер, который используется для воспроизведения видео в разных сервисах Яндекса — Кинопоиске, Диске, Практикуме, Погоде и других. С этого года он доступен в облачном сервисе для хранения, обработки и трансляции видео Cloud Video.
Yandex Infrastructure
30 Sep, 14:30
Продолжаем рубрику рекомендаций от экспертов Yandex Infrastructure
К середине осени обычно хочется сбежать от приближающихся холодов. Новая подборка книг, которой руководитель отдела DevTools Анастасия Абрашитова поделилась в канале подкаста «Три тимлида заходят в бар», вам в этом поможет.
Куда направиться — в мир фэнтези или женских романов — выбирайте сами. А может, вам, как и Насте, нравится и то, и то.
Что почитать на досуге:
📘 «Доводы рассудка», Джейн Остин
📘 «Убик», Филип Дик
📘 «Кровь и железо», Джо Аберкромби
📘 «Дом, в котором…», Мариам Петросян
📘 «Там, где нас нет», Михаил Успенский
➡️ Подробнее о каждой книге — в карточках.
К середине осени обычно хочется сбежать от приближающихся холодов. Новая подборка книг, которой руководитель отдела DevTools Анастасия Абрашитова поделилась в канале подкаста «Три тимлида заходят в бар», вам в этом поможет.
Куда направиться — в мир фэнтези или женских романов — выбирайте сами. А может, вам, как и Насте, нравится и то, и то.
Что почитать на досуге:
📘 «Доводы рассудка», Джейн Остин
📘 «Убик», Филип Дик
📘 «Кровь и железо», Джо Аберкромби
📘 «Дом, в котором…», Мариам Петросян
📘 «Там, где нас нет», Михаил Успенский
Yandex Infrastructure
27 Sep, 10:31
Обсуждаем развитие видеотехнологий на VideoTech 2024 📹
28-29 сентября в Санкт-Петербурге и онлайн пройдёт вторая часть VideoTech — конференции о видеотехнологиях, на которой мы поделимся нашим практическим опытом в производстве видео.
Собрали темы докладов от команды Yandex Infrastructure в карточках.
❤️ — если ждёте статьи по выступлениям.
🔥 — если хотите Q&A со спикерами в нашем чате.
28-29 сентября в Санкт-Петербурге и онлайн пройдёт вторая часть VideoTech — конференции о видеотехнологиях, на которой мы поделимся нашим практическим опытом в производстве видео.
Собрали темы докладов от команды Yandex Infrastructure в карточках.
❤️ — если ждёте статьи по выступлениям.
🔥 — если хотите Q&A со спикерами в нашем чате.
1,538
subscribers
353
photos
19
videos
