Как мы делаем Яндекс

Топология Dragonfly для дата-центровых сетей

Итак, вы гиперскейлер: у вас большая сеть на тысячи хостов, а лучше стоек. Вы продолжаете расти, у вас отработанный дизайн, автоматизация ввода нового оборудования, всё на потоке. Но отчего‑то вы несчастливы. Всё дело в эпохе 400G: долгие годы вы строили сеть на 25+100, и всего всегда хватало. А сейчас сами понимаете, что ещё несколько лет — и сеть станет устаревшей. Ещё один повод для серьёзного беспокойства — это стоимость новой сети. И закрадывается робкая мысль, а не пришло ли время...

Марат Сибгатулин в новой статье на Хабре разбирает, когда действительно приходит время Dragonfly. Пройдёмся по устройству этой топологии, сравним её с сетью Клоза, разберёмся, кому что подходит, и не забудем про деньги: посмотрим на арифметику для условных, но очень показательных ситуаций.

#статья

Аркадные «Звёздные войны». История о том, как компания Atari сотворила векторное чудо

Во время экскурсий по Яндекс Музею его хранители, как правило, много рассказывают о компании Atari. Поводов масса: и легендарный «Понг», и приставка Atari 2600, и линейка 8-битных компьютеров. Но, к сожалению, за рамками экскурсий из-за нехватки времени часто остаётся ещё одна важная тема — все остальные аркадные автоматы Atari.

Сегодня мы исправим это упущение и расскажем о необычных игровых автоматах по мотивам классической трилогии «Звёздных войн». В своё время они были хорошим подспорьем для компании во время кризиса индустрии компьютерных игр в 80-е годы.

#статья

Nearly Stateless L4 Balancer: алгоритм и патч на GitHub

Александр Азимов, руководитель группы сетевого R&D в Yandex Infrastructure, рассказал на nexthop 2023, как почти полностью избавиться от стейтов на L4-балансировщике. Внутри доклада — разработанный в Яндексе алгоритм двойного консистентного хеширования, который минимизирует необходимость хранения таблицы соединений на L4-балансировщике, а также патч, позволяющий самостоятельно перепроверить полученные результаты экспериментов.

#доклад

ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя

Главная задача рекомендательной системы — предложить пользователю контент, фильм, трек, книгу, товар или информацию, которые могут его заинтересовать. Сложность в том, что нет явного запроса пользователя, как в поиске, есть только история его взаимодействий с объектами и надежда на верное распознавание его скрытых желаний.

Раньше для решения задачи строились сложные алгоритмы со множеством эвристик, теперь их помогают решать ML‑технологии. Кирилл Хрыльченко, руководитель команды R&D рекомендательных технологий в Яндексе, поделился трендами развития рекомендательных систем и рассказал, как нейросети продолжают улучшать качество рекомендаций.

#статья

Новые динтаблицы: вторичные индексы, web assembly и ещё много улучшений к версии YTsaurus 24.1.0

Сегодня вышла новая версия YTsaurus 24.1.0 — платформы распределённого хранения и обработки больших данных с открытым исходным кодом. Особую роль в ней играют динамические таблицы. В них можно хранить огромные массивы данных, при этом их можно быстро читать, так что динтаблицы используют почти все сервисы Яндекса.

Руководитель службы разработки динамических таблиц в Yandex Infrastructure Руслан Савченко делится, какие интересные разработки появились в динтаблицах к новой версии YTsaurus. В новой статье он рассказал о вторичных индексах, оптимизации и рефакторинге оператора GROUP BY, балансировке таблетов и других наиболее ожидаемых обновлениях динтаблиц.

#статья

ECCV 2024: как это было. Актуальные статьи и главные тренды

Недавно в Милане состоялась одна из крупнейших международных конференций по компьютерному зрению — ECCV 2024. Среди популярных тем и трендов можно выделить следующие:

— Neural 3D Reconstruction and Rendering,
— Dense visual SLAM,
— Video Manipulation and Understanding,
— Multimodality in Vision.

Конференцию посетила группа специалистов по CV из разных команд Яндекса. Александр Устюжанин из команды YandexART и другие разработчики — Алиса Родионова, Дарья Виноградова и Сергей Кастрюлин — поделились инсайтами и ссылками на полезные статьи.

#статья

Грязные трюки C++ из userver и Boost

userver — современный опенсорсный асинхронный фреймворк с богатым набором абстракций для быстрого и комфортного создания микросервисов, сервисов и утилит на C++. В процессе работы над ним и другими сложными проектами, такими как Boost, порой возникают нестандартные проблемы, требующие нестандартных решений.

Именно о них и рассказал в своей статье Антон Полухин. Он показал, как работают исключения на платформе Linux x86, рассказал о сути исключений и как их ускорить, а также как сделать висячую ссылку на невалидный объект. А под конец самое интересное — погружение в шаблонное метапрограммирование.

#статья

Как мы нарушили все гайдлайны Kubernetes, чтобы описывать инфраструктуру в разы быстрее

Всеволод Величко, разработчик в Yandex Infrastructure, рассказал на Kuberconf, как K8s используется для описания инфраструктурных систем в Яндексе. В мире Kubernetes давно устоялись руководства и лучшие практики, как нужно описывать схемы данных CRD и работать с объектами. В докладе Всеволод покажет, как команда сделала всё не по гайдлайнам, но вместо проблем получила надёжность, скорость разработки, простоту поддержки и масштабируемость.

#доклад

To bind or not to bind: как мы управляем identity корпоративных «Маков»

Зачем вводить «Маки» в домен? Чтобы управлять учётной записью и понимать, кто является пользователем каждого компьютера. А ещё чтобы через аутентификацию SSO сотрудники получали простой и быстрый доступ к сервисам компании: файлообменникам, решениям для совместного редактирования документов, безопасной печати.

Павел Кондратьев, руководитель офисной IT-инфраструктуры Apple и Linux в Яндексе, поделился опытом, как управлять парком из 20 000 «Маков». В статье на Хабре он рассказал об Active Directory и альтернативах этому решению, а также имеет ли смысл вводить компьютеры на macOS в домен и как это всё должно работать.

#статья

Полезные фичи С++ на примере организации пайплайна

В микросервисной архитектуре легко создавать «реактивные» сервисы: к вам приходит событие или вызов HTTP-метода, и в ответ происходит действие. Однако бывают сложные сценарии, когда нужно собрать информацию или события для дальнейших действий. В таком случае нужен пайплайн — механизм сложных правил обработки событий.

Павел Сухов, ведущий разработчик Яндекс Доставки, поделился опытом организации пайплайна с использованием интересных трюков в С++. Например, как сделать универсальный запускатель функций, который будет запускать любую функцию или как средствами метапрограммирования удобно сериализовать и десериализовать разнотипные объекты.

#статья

13 млрд счётчиков и 220 000 RPS на запись: проектируем Key-Value-хранилище для Спамообороны

Яндекс Почта обрабатывает миллиарды писем, из них около 20–30% — спам. Выявить его помогает специальный сервис — Спамооборона. Он умеет отличать хорошие письма от плохих с помощью набора признаков: например, отсутствие подписи отправителя, наличие характерных спам-слов, частотность жалоб на ссылку из тела письма.

Тимур Нургалиев, тимлид в команде Спамообороны, рассказал о том, в чём особенности архитектуры этого высоконагруженного сервиса, а также как команда спроектировала Key-Value-хранилище, которое в режиме реального времени хранит и отдаёт признаки массовости письма.

#статья

Более мощное семейство моделей YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения

Сегодня Яндекс открыл доступ к четвёртому поколению своих больших языковых моделей — YandexGPT 4 Pro и YandexGPT 4 Lite уже доступны через API в Yandex Cloud. Более мощная YandexGPT 4 Pro отвечает лучше своей прошлой версии в 70% случаев, а облегчённая YandexGPT 4 Lite отвечает не хуже, чем самая мощная модель предыдущего поколения. Также модели нового поколения умеют работать с расширенным контекстом, поддерживают скрытые рассуждения и вызов функций для работы с внешними инструментами.

Алексей Долотов, руководитель продуктов ML в Yandex Cloud, и Андрей Бут, руководитель команды YandexGPT Alignment, рассказали на Хабре, что команда сделала для улучшения ответов, каковы результаты замеров качества, и что можно протестировать в облаке уже сейчас.

#статья

Встречаем yx_scope: DI-фреймворк для работы со скоупами в открытом доступе

Для больших проектов в мобильной разработке не всегда хватает одного модуля: иногда надо пошарить какие‑нибудь классы или UI‑элементы. Так со временем проект дробится на много мелких модулей, которые так или иначе связаны зависимостями. И если за этим не следить, то рано или поздно структура проекта может стать запутанной.

Сегодня мы выпустили в опенсорс DI‑фреймворк, который поможет с такой проблемой — yx_scope. Он помогает упорядочить работу со скоупами — контейнерами с набором зависимостей, которые «живут» только определённое время. В статье вас ждёт подробный рассказ, зачем нужны скоупы, как они работают, в чём преимущества нашего фреймворка и как его использовать.

#статья

Как мы в Яндексе делаем роборуку с искусственным интеллектом

Отдел робототехники Маркета уже несколько лет трудится над роборукой. В основе технологии — простой коллаборативный робот. А главная задача инженеров — создать эффективные алгоритмы и ML‑модели, чтобы этот робот мог самостоятельно воспринимать окружающую среду, определять, какой предмет ему нужно взять, и выбирать способ захвата.

Дмитрий Мовчан, инженер в отделе робототехники Маркета, в своей статье рассказал, как команда создаёт нейросети, благодаря которым роборука взаимодействует с физическим миром.

#статья

Осторожно, Combine! Откуда берутся утечки памяти, потеря эвентов, нестабильность операторов и что с этим всем делать

Pеактивный фреймворк Combine вышел в 2019 году одновременно со SwiftUI. Эти два фреймворка долгое время были тесно связаны: минимум для работы с UI, максимум — с асинхронным кодом. В одном из проектов Яндекс Диска уже был фреймворк RxSwift, поэтому внедрение Combine повлекло стандартизацию работы с асинхронным кодом и избавление от лишней зависимости.

iOS-разработчик Никита Конашенко подробно разобрал проблемы, с которыми столкнулась команда, как их исправляли и к каким выводам пришли. Также он поделился библиотекой с фиксами и экстеншенами к Combine.

#статья

Как мы внедрили генеративную модель в объявления на Авто.ру. Доклад Яндекса

Фронтенд‑разработчики из Авто.ру Максим Алмаев и Дмитрий Размолодин рассказали на внутреннем митапе, как их команда запустила генерацию описаний машин на основе YandexGPT — в помощь тем, кто публикует объявления на сервисе. Вы узнаете, зачем разработчики лимитировали нагрузку, как победили проблему галлюцинаций и что помогло убедиться в корректной работе решения.

#доклад

Динамические модули в приложениях на Android: опыт использования Dynamic Feature Delivery

Для внедрения одной из SDK, основанной на Flutter, команда Яндекс Go прибегла к механизму Dynamic Feature Delivery (DFD). Он позволяет загружать и удалять модули прямо во время работы приложения. В русскоязычном сегменте информации о DFD мало, поэтому сегодня мы делимся опытом работы с этим механизмом.

Мобильный разработчик Юрий Ваняшкин написал подробный гайд, как интегрировать механизм DFD в современную архитектуру Android-приложения с использованием корутин.

#статья

Балуемся кластеризацией и синхронизацией: как устроена мгновенная загрузка фото в Яндекс Диске. Доклад Яндекса

Димитрий Кривопальцев, тимлид команды бэкенда Яндекс Диска, выступил на конференции Saint HighLoad++ 2024 с докладом, как сделать бесконечную облачную галерею. Он поделился нестандартными решениями, которые позволили эффективно организовать кластеризацию терабайтов фотографий и реализовать механизм синхронизации в мобильном приложении и мгновенной загрузки в веб-версии.

#доклад

Яндекс впервые применил LLM для фотоперевода с учётом контекста

Яндекс представил новую версию технологии перевода текста на фото и изображениях на базе нейросетей. Большая языковая модель семейства YandexGPT теперь помогает переводить картинки с учётом контекста. Кроме того, разработчики сервиса улучшили визуализацию — текст перевода теперь больше похож на оригинальную вёрстку.

Технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке.

#новость

Яндекс представил диффузионную нейросеть YandexART 2.0 — в её основе новая гибридная архитектура

Сегодня команда компьютерного зрения Яндекса вместе с коллегами из Yandex Research представили новое поколение диффузионной нейросети — YandexART 2.0. Она уже применяется в Алисе, а также доступна всем желающим через API в Yandex Cloud.

Новая модель умеет создавать надписи прямо на изображениях, придерживаться нескольких стилей на одной картинке, располагать объекты в пространстве и относительно друг друга более естественно и учитывать при генерации больше деталей из текстового запроса.

#новость

Как Яндекс помогает астрофизикам изучать вспышки на красных карликах

Красные карлики — наиболее распространённый тип звёзд в нашей Галактике. Каталоги обзоров неба содержат десятки миллиардов отдельных наблюдений для сотен миллионов таких звёзд. Для их анализа учёные всё чаще используют методы машинного обучения, и благодаря этому мы узнаём новые факты о нашей Вселенной.

Команда центра технологий для общества Yandex Cloud делится на Хабре подробностями совместной работы с международным исследовательским проектом SNAD. Астрофизики и дата-сайентисты выстроили в облаке пайплайн машинного обучения для поиска звёздных вспышек, и это помогло создать самую крупную выборку вспышек на красных карликах по данным наземных наблюдений.

#статья

Как нарисовать квадрат 3 × 3 см на веб-странице

Представьте, что вам нужно разработать стили для печати документов, но проверять размеры элементов с линейкой возле принтера неудобно. Было бы здорово, если бы можно было просто приложить линейку к экрану компьютера. Но размеры на экране не всегда соответствуют реальным размерам при печати, и точно воспроизвести их невозможно.

Что ж, вызов брошен! Сегодняшняя история о том, насколько оказалось сложно (но всё же возможно) нарисовать красивый красный квадратик размером 3 × 3 см, который одинаково отображается на всех устройствах.

#статья

VLM в Нейро: как мы создавали мультимодальную нейросеть для поиска по картинкам

Сегодня у Поиска вышло большое обновление. Например, теперь ответы Нейро будут появляться сразу в поисковых результатах — для тех запросов, где это полезно и экономит время. Но в сегодняшней статье речь пойдёт о другой части обновления: как Нейро поможет найти ответы в Поиске по картинкам и в Умной камере с помощью новой мультимодальной модели.

Роман Исаченко, разработчик из команды компьютерного зрения Яндекса, рассказал, что такое визуально-текстовые мультимодальные модели (Visual Language Models или VLM), как у нас организован процесс их обучения и какая у них архитектура.

#статья

Markdown Editor: WYSIWYG и markup-редактор на базе Gravity UI

Сергей Махнаткин, разработчик в Yandex Cloud рассказал на Хабре о новом опенсорс-инструменте на базе дизайн-системы Gravity UI — Markdown Editor. Он может работать одновременно в режиме WYSIWYG и markdown markup, поддерживает большое количество блоков из коробки, а также позволяет подключать свои расширения.

#статья

Как устроен робот-доставщик Яндекса: от восприятия до планирования движения

Тая Пенская, ML‑разработчик в команде восприятия робота‑доставщика, подробно описала технологии, благодаря которым робот успешно доставляет заказы. В статье — ключевые компоненты системы, от сенсоров до алгоритмов принятия решений, и принципы их взаимодействия. Вы узнаете, что происходит «под капотом» нашего робота во время его путешествий по городу.

#статья

Yandex Cloud анонсировал платформу для комплексного управления облачной безопасностью с YandexGPT внутри

Команда Yandex Cloud открывает доступ к облачному сервису Yandex Security Deck. Это CNAPP‑платформа, которая включает набор компонентов для централизованного управления безопасностью облачной инфраструктуры.

Сейчас пользователям доступны три модуля: Data Security Posture Management (DSPM) для выявления чувствительной информации в облачной инфраструктуре, модуль диагностики доступа и привилегий, а также модуль контроля прозрачности доступа к облачным ресурсам Access Transparency, который позволяет анализировать действия инженеров Yandex Cloud при обращении к облачным ресурсам за счёт использования YandexGPT. Сервис доступен в режиме бесплатного тестирования ограниченному кругу пользователей и предоставляется по запросу.

#новость

Знакомьтесь, «Незнакомое». Как мы сделали новый режим для Моей волны

Савва Степурин, старший разработчик в группе рекомендательных продуктов Фантеха, рассказал на Хабре о режиме «Незнакомое» для Моей волны. Вы узнаете, почему подборка даже самых любимых ваших песен может быть скучной просто из-за порядка треков, как мы сделали модель более смелой в выборе рекомендаций, а также о том, по какой формуле «Незнакомое» подбирает для вас интересные треки.

#статья

Что делать, чтобы правильные вёдра правильно протекали: иерархический Token Bucket для XDP-программ в eBPF

Сергей Качеев, старший разработчик в отделе сетевой инфраструктуры Yandex Infrastructure, рассказал на Хабре историю о XDP eBPF-программе, защищающей DNS‑серверы от перегрузки. Алгоритм защиты был основан на EWMA‑статистике с вероятностными дропами, которые контролировались из Control Plane, что делало программу неавтономной. Кроме того, если Control Plane падал, сервер оставался в состоянии последнего успешного обновления eBPF. Было решено заменить это на Token Bucket.

#статья

Встречаем нейроредактор в Браузере, или Как мы учили LLM-модели помогать пользователям с текстами

Сегодня мы представляем нейроредактор — инструмент в Браузере, который облегчает монотонную и трудоёмкую работу с текстом. Он появился в результате работы над скоростью и качеством LLM-моделей из предыдущего решения. Теперь пользователи Браузера могут не просто быстро поправить опечатки, но и создать текст с нуля по любому промту.

В статье на Хабре рассказали историю о том, как разработчики пришли к идее отдельного инструмента, как работает кастомный промт и почему переписывание и генерация — это разные задачи с точки зрения моделей.

#статья

Как эволюционировало машинное зрение автономного транспорта. Доклад Яндекса

Всеволод Орлов, руководитель службы восприятия в автономном транспорте, выступил на конференции «Я Железо 2024». Он рассказал, благодаря чему автономный транспорт видит окружающий мир, как его органы зрения менялись и эволюционировали и какой софт позволяет роботам и машинам успешно ездить без человека в кабине.

#доклад

Enterprise 128: компьютер, который опоздал на рынок

Изрядная часть коллекции Яндекс Музея состоит из популярных экспонатов, которые знакомы многим посетителям, но в нашей коллекции встречаются и довольно редкие устройства. Одно из них — Enterprise 128. Это британский компьютер с очень интересной, пусть и не слишком весёлой судьбой.

В новой хабростатье — история о том, как попытки создать идеальный компьютер привели к тому, что он не смог завоевать мировой рынок. Однако он стал культовым среди молодёжи Венгрии и России в начале 90-х годов.

#статья

Как мы генерируем GPT-нейросетями миллиарды объявлений на малом количестве GPU. Доклад Яндекса

Ольга Зайкова, руководитель группы автоматической генерации рекламы, выступила с докладом на Saint HighLoad++ с рассказом о том, как её команде удалось масштабировать ML-решение, генерирующее заголовки рекламных объявлений. Они разработали алгоритм умного обхода объектов и научили сервис инференса GPT-нейросетей адаптироваться к изменяющейся нагрузке со стороны процессинга объявлений.

#доклад

Яндекс Погода открыла бесплатный API для умного дома

Команда Яндекс Погоды открыла бесплатный API для интеграции погодных данных в системы умного дома. С помощью API пользователи смогут создавать сценарии, которые учитывают погоду на улице — например, чтобы в холодные вечера включался тёплый пол, а в дождливое утро — яркий свет. В ближайшее время данные о погоде начнут применяться в умном доме Яндекса.

Сервис совместим с любыми системами, которые поддерживают сторонние API. А для пользователей Home Assistant мы опубликовали плагин, упрощающий процедуру подключения.

#новость

Как мы учили Yandex Code Assistant помогать с написанием кода и делать разработчиков счастливыми

Появление модных LLM и кодовых ассистентов на их основе обещает разработчикам ускорение и упрощение процесса написания кода. Но как научить такого помощника не просто дописывать код, но и предлагать такие подсказки, чтобы разработчик был доволен и счастлив?

Этим вопросом задалась команда ML-лаборатории Yandex Infrastructure, которая осенью выпустила собственного помощника для разработчиков Yandex Code Assistant. Виктор Плошихин и Константин Моксин в новой статье рассказали, что такое метрика "счастья разработчика", и как создатели кодового ассистента вывели её формулу в результате 40+ экспериментов внутри Яндекса.

#статья