Как мы делаем Яндекс @yandexhabr Channel on Telegram

Как мы делаем Яндекс

@yandexhabr

Сотрудники Яндекса каждый день решают технологические задачки.

В нашем блоге они делятся с сообществом опытом и знаниями.

Как мы делаем Яндекс (Russian)

Как мы делаем Яндекс - это увлекательный канал, созданный командой сотрудников Яндекса. Здесь вы сможете заглянуть за кулисы работы в одной из крупнейших технологических компаний России. Участники канала каждый день решают разнообразные технологические задачи и разделяют свой опыт и знания с аудиторией. Они делятся интересными историями о том, как происходит создание популярных сервисов и продуктов, о своих профессиональных достижениях и о том, каким образом воплощаются самые смелые идеи в жизнь. Если вы хотите узнать больше о том, как работает Яндекс и какие технологии используются внутри компании, то этот канал - идеальное место для вас. Присоединяйтесь к сообществу, чтобы быть в курсе последних новостей и технологических достижений Яндекса!

Как мы делаем Яндекс

10 Jan, 07:00

Как починить Теслу и спасти праздничное настроение

Когда каникулы инженера омрачены поломкой любимого электрокара, история рискует превратиться в настоящее техническое расследование. К счастью, даже если не помогла стандартная диагностика Теслы, натренированный взгляд и инженерная интуиция помогут найти первопричину и прийти к счастливому финалу в Новый год.

Асхат Зайнуллин, специалист второй линии поддержки дата-центров в Yandex Infrastructure, делится своей личной новогодней историей, как он справился с неочевидной поломкой Tesla model S. Внутри новой статьи на Хабре — самые интересные детали диагностики и ремонта электромобиля. Главное не пытаться повторить это дома!

#статья
801
Как мы делаем Яндекс

25 Dec, 07:10

Зомби-апокалипсис в Телемосте: как мы проводим нагрузочное тестирование видеоконференцсвязи

В Яндекс Телемосте мы стремимся обеспечить своим пользователям максимальное качество видеосвязи. Но как её тестировать? Можно проводить нагрузочное тестирование каждого отдельно взятого компонента, но не всегда это даёт объективную оценку качества сервиса в целом. Перед нами стояла задача научиться проводить интеграционное тестирование всей связки компонентов Телемоста, эмулируя различную нагрузку и различные сценарии поведения пользователей.

Иван Смирнов, разработчик в команде бэкенда Яндекс Телемоста, рассказал, как создавался инструмент для тестирования — Zombieland, как с помощью него проводится тестирование и какие метрики собираются. Будет полезно тем, кто разрабатывает системы ВКС и хочет проверять, как поведёт себя сервис под нагрузкой.

#статья
1,523
Как мы делаем Яндекс

23 Dec, 09:04

Как и зачем мы замеряли знания культурного кода у YandexGPT

Сегодняшняя статья на Хабре о том, как мы проверяем, понимает ли YandexGPT специфичные для нашей культуры явления: отсылки к фильмам и песням, цитаты, традиции, анекдоты, мемы. Для нас это очень важная задача, ведь YandexGPT используют такие большие продукты, как Поиск и Алиса, с которыми ежедневно взаимодействуют миллионы людей, — нейросеть обязана понимать культурные отсылки самого разного уровня.

Рассказываем про наш бенчмарк культурного кода, в который мы вложили много сил и души: как мы придумали замерять знание «русской души», из чего собрали бенчмарк и как тестировали YandexGPT.

#статья
1,632
Как мы делаем Яндекс

20 Dec, 09:42

Как сделать видео на стриминге легче и не погрязнуть в шакалах: опыт Кинопоиска

У Кинопоиска есть отдел контроля качества, который следит за тем, чтобы до любого устройства пользователя видеоконтент доходил в лучшем виде. Миша Мазанов, отвечающий за технологический стек работы с медиаданными, подробно рассказал на Хабре, как в Кинопоиске оптимизируют качество видео. Вы узнаете об основных алгоритмах сжатия, подходу к понятию «качество», а также о том, на что в Кинопоиске пришлось пойти в один прекрасный новый год.

#статья
1,464
Как мы делаем Яндекс

17 Dec, 07:05

Как честно распределить вычислительные ресурсы? Показываем на примере YTsaurus

Зачастую в распределённой системе ресурсов кластера не хватает, чтобы одновременно запустить все желаемые вычислительные задачи. Тогда на помощь приходит планировщик: он грамотно распределяет ресурсы, чтобы все задачи получали ровно столько, сколько им полагается.

Егор Щербин из команды Yandex Infrastructure в новой статье показывает, как работает планировщик в YTsaurus — платформе для распределённого хранения и обработки данных. Разбираемся, как устроена compute‑подсистема YTsaurus, как определяется честное распределение ресурсов, и как его можно настроить, чтобы гибко приоритизировать вычислительные процессы.

#статья
1,632
Как мы делаем Яндекс

12 Dec, 08:09

Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь

Совсем недавно мы начали новый виток развития голосового помощника: мы хотим поместить в сердце движка большую языковую модель, чтобы Алиса могла выполнять любые задачи пользователя. В этом году мы уже добавили возможность отвечать с помощью LLM на любые вопросы, а теперь добавили смарт-функции, чтобы Алиса могла выполнять любые задачи пользователя. Например, при запросе: «Алиса, выключи телевизор, когда закончится этот фильм»нейросеть разложит запрос на два действия — посмотрит, сколько осталось до конца, и поставит таймер выключения на это время.

Рассказали на Хабре о том, как это стало возможным, а также что такое Function Calling, в чем преимущества нового подхода и какие возможности он открывает для будущих улучшений.

#статья
1,736
Как мы делаем Яндекс

11 Dec, 07:03

ACM RecSys — 2024: тренды и доклады с крупнейшей конференции по ML в рекомендательных системах

Недавно в итальянском городе Бари состоялась международная конференция для разработчиков рекомендательных систем — ACM RecSys. Чаще всегона ней звучали доклады и встречались плакаты на такие темы :

— использование LLM для рекомендаций,
— генерация нейросетями ID айтемов,
— поиск баланса между генерализацией и меморизацией,
— проблемы скейлинга моделей рекомендательных систем.

Конференцию посетила группа специалистов из разных команд Яндекса. Пётр Зайдель, старший разработчик в Музыке, и другие разработчики — Николай Савушкин, Владимир Цепулин и Кирилл Хрыльченко — поделились инсайтами и ссылками на полезные статьи.

#статья
1,349
Как мы делаем Яндекс

10 Dec, 07:03

Встречаем автономные грузовики Яндекса

Недавно мы приступили к первому этапу эксплуатации нового вида автономного транспорта — грузовиков. При этом, несмотря на огромный опыт запуска и эксплуатации нескольких поколений легковых автономных платформ, для грузовика пришлось многое создавать с нуля.

Кирилл Зуев, руководитель проектов по разработке платформ в направлении автономного транспорта Яндекса, рассказал, как мы разрабатывали и запускали свой автономный грузовик, сколько вложили в этот проект сил, знаний и опыта, а также с какими трудностями столкнулись и как их преодолели.

#статья
1,526
Как мы делаем Яндекс

09 Dec, 08:05

Запускаем 8B LLM в браузере: AQLM.rs

Можно ли запустить большую языковую модель на обычном компьютере или даже мобильном телефоне? Как выяснил Владимир Малиновский, исследователь из Yandex Research, это вполне достижимая задача, если использовать современные методы сжатия моделей.

На Хабре он рассказал о своём пет-проекте, который позволяет запускать Llama 3.1 8B прямо в браузере, причём без использования GPU. В статье вас ждут не только детали реализации проекта и исходный код, но и ссылка на готовый демонстрационный сервис, воспользоваться которым может каждый.

#статья
1,465
Как мы делаем Яндекс

05 Dec, 07:02

На чём учатся современные модели машинного перевода: опыт команды Яндекс Переводчика

Современные нейросетевые подходы очень требовательны как к объёму данных в обучении, так и к их качеству. Для получения хорошей переводной модели требуются сотни миллионов, а в идеале миллиарды пар из предложения и его перевода. Но откуда их взять и что это за данные?

Яндекс Переводчик поддерживает переводы между 102 языками для самых разных типов данных: текстов, документов, HTML, изображений и видео. В статье на Хабре — подробный рассказ о том, как из общедоступных текстов интернета в 100 ПБ найти терабайты суперчистых данных с переводами между любыми языками. Вы узнаете, почему для этого требуется обучение более десятка ML-моделей, и какое место в этом процессе занимает YandexGPT.

#статья
1,573
Как мы делаем Яндекс

28 Nov, 07:04

Человек и LLM: как построить метрики для оценки моделей

Когда возникает вопрос о том, как измерить «ум» модели, первое, что приходит в голову, — протестировать её так же, как человека: с помощью тестов, похожих на школьный экзамен. Так в мире LLM появилось немало бенчмарков, с помощью которых можно получить быстрый автоматический вердикт относительно ответов модели и таким образом понять, насколько она умна.

Ирина Барская, руководитель службы аналитики и исследований в Яндексе, в своей статье отвечает на вопрос: есть ли универсальный метод оценки работы LLM‑моделей? Она рассказала, какие для этого существуют бенчмарки и почему нельзя полагаться только на них.

#статья
1,899
Как мы делаем Яндекс

26 Nov, 07:03

ISO C++ — встреча международного комитета в Польше

В конце ноября состоялась встреча международного комитета по стандартизации C++. Антон Полухин, один из участников рабочей группы, традиционно поделился новостями и описаниями изменений, которые планируются в С++26.

В этот раз комитет обсуждал такие темы:

— Рефлексия времени компиляции и оператор-«монобровь»
— Constexpr, много constexpr
— SIMD
— Structured bindings as a pack
— Безопасность, контракты, libc++ hardening, профили, UB и std::launder

#статья
1,892
Как мы делаем Яндекс

21 Nov, 07:06

Топология Dragonfly для дата-центровых сетей

Итак, вы гиперскейлер: у вас большая сеть на тысячи хостов, а лучше стоек. Вы продолжаете расти, у вас отработанный дизайн, автоматизация ввода нового оборудования, всё на потоке. Но отчего‑то вы несчастливы. Всё дело в эпохе 400G: долгие годы вы строили сеть на 25+100, и всего всегда хватало. А сейчас сами понимаете, что ещё несколько лет — и сеть станет устаревшей. Ещё один повод для серьёзного беспокойства — это стоимость новой сети. И закрадывается робкая мысль, а не пришло ли время...

Марат Сибгатулин в новой статье на Хабре разбирает, когда действительно приходит время Dragonfly. Пройдёмся по устройству этой топологии, сравним её с сетью Клоза, разберёмся, кому что подходит, и не забудем про деньги: посмотрим на арифметику для условных, но очень показательных ситуаций.

#статья
1,907
Как мы делаем Яндекс

20 Nov, 07:06

Аркадные «Звёздные войны». История о том, как компания Atari сотворила векторное чудо

Во время экскурсий по Яндекс Музею его хранители, как правило, много рассказывают о компании Atari. Поводов масса: и легендарный «Понг», и приставка Atari 2600, и линейка 8-битных компьютеров. Но, к сожалению, за рамками экскурсий из-за нехватки времени часто остаётся ещё одна важная тема — все остальные аркадные автоматы Atari.

Сегодня мы исправим это упущение и расскажем о необычных игровых автоматах по мотивам классической трилогии «Звёздных войн». В своё время они были хорошим подспорьем для компании во время кризиса индустрии компьютерных игр в 80-е годы.

#статья
1,698
Как мы делаем Яндекс

15 Nov, 13:04

Nearly Stateless L4 Balancer: алгоритм и патч на GitHub

Александр Азимов, руководитель группы сетевого R&D в Yandex Infrastructure, рассказал на nexthop 2023, как почти полностью избавиться от стейтов на L4-балансировщике. Внутри доклада — разработанный в Яндексе алгоритм двойного консистентного хеширования, который минимизирует необходимость хранения таблицы соединений на L4-балансировщике, а также патч, позволяющий самостоятельно перепроверить полученные результаты экспериментов.

#доклад
1,831
Как мы делаем Яндекс

14 Nov, 08:03

ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя

Главная задача рекомендательной системы — предложить пользователю контент, фильм, трек, книгу, товар или информацию, которые могут его заинтересовать. Сложность в том, что нет явного запроса пользователя, как в поиске, есть только история его взаимодействий с объектами и надежда на верное распознавание его скрытых желаний.

Раньше для решения задачи строились сложные алгоритмы со множеством эвристик, теперь их помогают решать ML‑технологии. Кирилл Хрыльченко, руководитель команды R&D рекомендательных технологий в Яндексе, поделился трендами развития рекомендательных систем и рассказал, как нейросети продолжают улучшать качество рекомендаций.

#статья
1,774
Как мы делаем Яндекс

13 Nov, 07:06

Новые динтаблицы: вторичные индексы, web assembly и ещё много улучшений к версии YTsaurus 24.1.0

Сегодня вышла новая версия YTsaurus 24.1.0 — платформы распределённого хранения и обработки больших данных с открытым исходным кодом. Особую роль в ней играют динамические таблицы. В них можно хранить огромные массивы данных, при этом их можно быстро читать, так что динтаблицы используют почти все сервисы Яндекса.

Руководитель службы разработки динамических таблиц в Yandex Infrastructure Руслан Савченко делится, какие интересные разработки появились в динтаблицах к новой версии YTsaurus. В новой статье он рассказал о вторичных индексах, оптимизации и рефакторинге оператора GROUP BY, балансировке таблетов и других наиболее ожидаемых обновлениях динтаблиц.

#статья
1,686
Как мы делаем Яндекс

07 Nov, 07:02

ECCV 2024: как это было. Актуальные статьи и главные тренды

Недавно в Милане состоялась одна из крупнейших международных конференций по компьютерному зрению — ECCV 2024. Среди популярных тем и трендов можно выделить следующие:

— Neural 3D Reconstruction and Rendering,
— Dense visual SLAM,
— Video Manipulation and Understanding,
— Multimodality in Vision.

Конференцию посетила группа специалистов по CV из разных команд Яндекса. Александр Устюжанин из команды YandexART и другие разработчики — Алиса Родионова, Дарья Виноградова и Сергей Кастрюлин — поделились инсайтами и ссылками на полезные статьи.

#статья
1,858
Как мы делаем Яндекс

05 Nov, 07:01

Грязные трюки C++ из userver и Boost

userver — современный опенсорсный асинхронный фреймворк с богатым набором абстракций для быстрого и комфортного создания микросервисов, сервисов и утилит на C++. В процессе работы над ним и другими сложными проектами, такими как Boost, порой возникают нестандартные проблемы, требующие нестандартных решений.

Именно о них и рассказал в своей статье Антон Полухин. Он показал, как работают исключения на платформе Linux x86, рассказал о сути исключений и как их ускорить, а также как сделать висячую ссылку на невалидный объект. А под конец самое интересное — погружение в шаблонное метапрограммирование.

#статья
2,185
Как мы делаем Яндекс

01 Nov, 13:08

Как мы нарушили все гайдлайны Kubernetes, чтобы описывать инфраструктуру в разы быстрее

Всеволод Величко, разработчик в Yandex Infrastructure, рассказал на Kuberconf, как K8s используется для описания инфраструктурных систем в Яндексе. В мире Kubernetes давно устоялись руководства и лучшие практики, как нужно описывать схемы данных CRD и работать с объектами. В докладе Всеволод покажет, как команда сделала всё не по гайдлайнам, но вместо проблем получила надёжность, скорость разработки, простоту поддержки и масштабируемость.

#доклад
2,078
Как мы делаем Яндекс

31 Oct, 07:14

To bind or not to bind: как мы управляем identity корпоративных «Маков»

Зачем вводить «Маки» в домен? Чтобы управлять учётной записью и понимать, кто является пользователем каждого компьютера. А ещё чтобы через аутентификацию SSO сотрудники получали простой и быстрый доступ к сервисам компании: файлообменникам, решениям для совместного редактирования документов, безопасной печати.

Павел Кондратьев, руководитель офисной IT-инфраструктуры Apple и Linux в Яндексе, поделился опытом, как управлять парком из 20 000 «Маков». В статье на Хабре он рассказал об Active Directory и альтернативах этому решению, а также имеет ли смысл вводить компьютеры на macOS в домен и как это всё должно работать.

#статья
2,301
Как мы делаем Яндекс

30 Oct, 07:03

Полезные фичи С++ на примере организации пайплайна

В микросервисной архитектуре легко создавать «реактивные» сервисы: к вам приходит событие или вызов HTTP-метода, и в ответ происходит действие. Однако бывают сложные сценарии, когда нужно собрать информацию или события для дальнейших действий. В таком случае нужен пайплайн — механизм сложных правил обработки событий.

Павел Сухов, ведущий разработчик Яндекс Доставки, поделился опытом организации пайплайна с использованием интересных трюков в С++. Например, как сделать универсальный запускатель функций, который будет запускать любую функцию или как средствами метапрограммирования удобно сериализовать и десериализовать разнотипные объекты.

#статья
1,588
Как мы делаем Яндекс

25 Oct, 08:12

13 млрд счётчиков и 220 000 RPS на запись: проектируем Key-Value-хранилище для Спамообороны

Яндекс Почта обрабатывает миллиарды писем, из них около 20–30% — спам. Выявить его помогает специальный сервис — Спамооборона. Он умеет отличать хорошие письма от плохих с помощью набора признаков: например, отсутствие подписи отправителя, наличие характерных спам-слов, частотность жалоб на ссылку из тела письма.

Тимур Нургалиев, тимлид в команде Спамообороны, рассказал о том, в чём особенности архитектуры этого высоконагруженного сервиса, а также как команда спроектировала Key-Value-хранилище, которое в режиме реального времени хранит и отдаёт признаки массовости письма.

#статья
1,846
Как мы делаем Яндекс

24 Oct, 08:03

Более мощное семейство моделей YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения

Сегодня Яндекс открыл доступ к четвёртому поколению своих больших языковых моделей — YandexGPT 4 Pro и YandexGPT 4 Lite уже доступны через API в Yandex Cloud. Более мощная YandexGPT 4 Pro отвечает лучше своей прошлой версии в 70% случаев, а облегчённая YandexGPT 4 Lite отвечает не хуже, чем самая мощная модель предыдущего поколения. Также модели нового поколения умеют работать с расширенным контекстом, поддерживают скрытые рассуждения и вызов функций для работы с внешними инструментами.

Алексей Долотов, руководитель продуктов ML в Yandex Cloud, и Андрей Бут, руководитель команды YandexGPT Alignment, рассказали на Хабре, что команда сделала для улучшения ответов, каковы результаты замеров качества, и что можно протестировать в облаке уже сейчас.

#статья
1,717
Как мы делаем Яндекс

23 Oct, 07:06

Встречаем yx_scope: DI-фреймворк для работы со скоупами в открытом доступе

Для больших проектов в мобильной разработке не всегда хватает одного модуля: иногда надо пошарить какие‑нибудь классы или UI‑элементы. Так со временем проект дробится на много мелких модулей, которые так или иначе связаны зависимостями. И если за этим не следить, то рано или поздно структура проекта может стать запутанной.

Сегодня мы выпустили в опенсорс DI‑фреймворк, который поможет с такой проблемой — yx_scope. Он помогает упорядочить работу со скоупами — контейнерами с набором зависимостей, которые «живут» только определённое время. В статье вас ждёт подробный рассказ, зачем нужны скоупы, как они работают, в чём преимущества нашего фреймворка и как его использовать.

#статья
1,536
Как мы делаем Яндекс

22 Oct, 07:05

Как мы в Яндексе делаем роборуку с искусственным интеллектом

Отдел робототехники Маркета уже несколько лет трудится над роборукой. В основе технологии — простой коллаборативный робот. А главная задача инженеров — создать эффективные алгоритмы и ML‑модели, чтобы этот робот мог самостоятельно воспринимать окружающую среду, определять, какой предмет ему нужно взять, и выбирать способ захвата.

Дмитрий Мовчан, инженер в отделе робототехники Маркета, в своей статье рассказал, как команда создаёт нейросети, благодаря которым роборука взаимодействует с физическим миром.

#статья
1,559
Как мы делаем Яндекс

19 Oct, 09:03

Осторожно, Combine! Откуда берутся утечки памяти, потеря эвентов, нестабильность операторов и что с этим всем делать

Pеактивный фреймворк Combine вышел в 2019 году одновременно со SwiftUI. Эти два фреймворка долгое время были тесно связаны: минимум для работы с UI, максимум — с асинхронным кодом. В одном из проектов Яндекс Диска уже был фреймворк RxSwift, поэтому внедрение Combine повлекло стандартизацию работы с асинхронным кодом и избавление от лишней зависимости.

iOS-разработчик Никита Конашенко подробно разобрал проблемы, с которыми столкнулась команда, как их исправляли и к каким выводам пришли. Также он поделился библиотекой с фиксами и экстеншенами к Combine.

#статья
1,744
Как мы делаем Яндекс

18 Oct, 13:02

Как мы внедрили генеративную модель в объявления на Авто.ру. Доклад Яндекса

Фронтенд‑разработчики из Авто.ру Максим Алмаев и Дмитрий Размолодин рассказали на внутреннем митапе, как их команда запустила генерацию описаний машин на основе YandexGPT — в помощь тем, кто публикует объявления на сервисе. Вы узнаете, зачем разработчики лимитировали нагрузку, как победили проблему галлюцинаций и что помогло убедиться в корректной работе решения.

#доклад
1,755
Как мы делаем Яндекс

17 Oct, 07:02

Динамические модули в приложениях на Android: опыт использования Dynamic Feature Delivery

Для внедрения одной из SDK, основанной на Flutter, команда Яндекс Go прибегла к механизму Dynamic Feature Delivery (DFD). Он позволяет загружать и удалять модули прямо во время работы приложения. В русскоязычном сегменте информации о DFD мало, поэтому сегодня мы делимся опытом работы с этим механизмом.

Мобильный разработчик Юрий Ваняшкин написал подробный гайд, как интегрировать механизм DFD в современную архитектуру Android-приложения с использованием корутин.

#статья
1,740
Как мы делаем Яндекс

11 Oct, 09:18

Балуемся кластеризацией и синхронизацией: как устроена мгновенная загрузка фото в Яндекс Диске. Доклад Яндекса

Димитрий Кривопальцев, тимлид команды бэкенда Яндекс Диска, выступил на конференции Saint HighLoad++ 2024 с докладом, как сделать бесконечную облачную галерею. Он поделился нестандартными решениями, которые позволили эффективно организовать кластеризацию терабайтов фотографий и реализовать механизм синхронизации в мобильном приложении и мгновенной загрузки в веб-версии.

#доклад
2,283
Как мы делаем Яндекс

11 Oct, 08:19

Яндекс впервые применил LLM для фотоперевода с учётом контекста

Яндекс представил новую версию технологии перевода текста на фото и изображениях на базе нейросетей. Большая языковая модель семейства YandexGPT теперь помогает переводить картинки с учётом контекста. Кроме того, разработчики сервиса улучшили визуализацию — текст перевода теперь больше похож на оригинальную вёрстку.

Технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке.

#новость
1,813
Как мы делаем Яндекс

10 Oct, 09:36

Яндекс представил диффузионную нейросеть YandexART 2.0 — в её основе новая гибридная архитектура

Сегодня команда компьютерного зрения Яндекса вместе с коллегами из Yandex Research представили новое поколение диффузионной нейросети — YandexART 2.0. Она уже применяется в Алисе, а также доступна всем желающим через API в Yandex Cloud.

Новая модель умеет создавать надписи прямо на изображениях, придерживаться нескольких стилей на одной картинке, располагать объекты в пространстве и относительно друг друга более естественно и учитывать при генерации больше деталей из текстового запроса.

#новость
1,799
Как мы делаем Яндекс

08 Oct, 07:04

Как Яндекс помогает астрофизикам изучать вспышки на красных карликах

Красные карлики — наиболее распространённый тип звёзд в нашей Галактике. Каталоги обзоров неба содержат десятки миллиардов отдельных наблюдений для сотен миллионов таких звёзд. Для их анализа учёные всё чаще используют методы машинного обучения, и благодаря этому мы узнаём новые факты о нашей Вселенной.

Команда центра технологий для общества Yandex Cloud делится на Хабре подробностями совместной работы с международным исследовательским проектом SNAD. Астрофизики и дата-сайентисты выстроили в облаке пайплайн машинного обучения для поиска звёздных вспышек, и это помогло создать самую крупную выборку вспышек на красных карликах по данным наземных наблюдений.

#статья
1,728
Как мы делаем Яндекс

04 Oct, 14:05

Как нарисовать квадрат 3 × 3 см на веб-странице

Представьте, что вам нужно разработать стили для печати документов, но проверять размеры элементов с линейкой возле принтера неудобно. Было бы здорово, если бы можно было просто приложить линейку к экрану компьютера. Но размеры на экране не всегда соответствуют реальным размерам при печати, и точно воспроизвести их невозможно.

Что ж, вызов брошен! Сегодняшняя история о том, насколько оказалось сложно (но всё же возможно) нарисовать красивый красный квадратик размером 3 × 3 см, который одинаково отображается на всех устройствах.

#статья
1,979
Как мы делаем Яндекс

03 Oct, 09:03

VLM в Нейро: как мы создавали мультимодальную нейросеть для поиска по картинкам

Сегодня у Поиска вышло большое обновление. Например, теперь ответы Нейро будут появляться сразу в поисковых результатах — для тех запросов, где это полезно и экономит время. Но в сегодняшней статье речь пойдёт о другой части обновления: как Нейро поможет найти ответы в Поиске по картинкам и в Умной камере с помощью новой мультимодальной модели.

Роман Исаченко, разработчик из команды компьютерного зрения Яндекса, рассказал, что такое визуально-текстовые мультимодальные модели (Visual Language Models или VLM), как у нас организован процесс их обучения и какая у них архитектура.

#статья
1,854
Как мы делаем Яндекс

01 Oct, 07:03

Markdown Editor: WYSIWYG и markup-редактор на базе Gravity UI

Сергей Махнаткин, разработчик в Yandex Cloud рассказал на Хабре о новом опенсорс-инструменте на базе дизайн-системы Gravity UI — Markdown Editor. Он может работать одновременно в режиме WYSIWYG и markdown markup, поддерживает большое количество блоков из коробки, а также позволяет подключать свои расширения.

#статья
1,851
Как мы делаем Яндекс

26 Sep, 07:09

Как устроен робот-доставщик Яндекса: от восприятия до планирования движения

Тая Пенская, ML‑разработчик в команде восприятия робота‑доставщика, подробно описала технологии, благодаря которым робот успешно доставляет заказы. В статье — ключевые компоненты системы, от сенсоров до алгоритмов принятия решений, и принципы их взаимодействия. Вы узнаете, что происходит «под капотом» нашего робота во время его путешествий по городу.

#статья
2,246
Как мы делаем Яндекс

25 Sep, 08:06

Yandex Cloud анонсировал платформу для комплексного управления облачной безопасностью с YandexGPT внутри

Команда Yandex Cloud открывает доступ к облачному сервису Yandex Security Deck. Это CNAPP‑платформа, которая включает набор компонентов для централизованного управления безопасностью облачной инфраструктуры.

Сейчас пользователям доступны три модуля: Data Security Posture Management (DSPM) для выявления чувствительной информации в облачной инфраструктуре, модуль диагностики доступа и привилегий, а также модуль контроля прозрачности доступа к облачным ресурсам Access Transparency, который позволяет анализировать действия инженеров Yandex Cloud при обращении к облачным ресурсам за счёт использования YandexGPT. Сервис доступен в режиме бесплатного тестирования ограниченному кругу пользователей и предоставляется по запросу.

#новость
1,821
Как мы делаем Яндекс

25 Sep, 07:04

Знакомьтесь, «Незнакомое». Как мы сделали новый режим для Моей волны

Савва Степурин, старший разработчик в группе рекомендательных продуктов Фантеха, рассказал на Хабре о режиме «Незнакомое» для Моей волны. Вы узнаете, почему подборка даже самых любимых ваших песен может быть скучной просто из-за порядка треков, как мы сделали модель более смелой в выборе рекомендаций, а также о том, по какой формуле «Незнакомое» подбирает для вас интересные треки.

#статья
1,600
Как мы делаем Яндекс

24 Sep, 07:07

Что делать, чтобы правильные вёдра правильно протекали: иерархический Token Bucket для XDP-программ в eBPF

Сергей Качеев, старший разработчик в отделе сетевой инфраструктуры Yandex Infrastructure, рассказал на Хабре историю о XDP eBPF-программе, защищающей DNS‑серверы от перегрузки. Алгоритм защиты был основан на EWMA‑статистике с вероятностными дропами, которые контролировались из Control Plane, что делало программу неавтономной. Кроме того, если Control Plane падал, сервер оставался в состоянии последнего успешного обновления eBPF. Было решено заменить это на Token Bucket.

#статья
1,745
Как мы делаем Яндекс

20 Sep, 08:05

Встречаем нейроредактор в Браузере, или Как мы учили LLM-модели помогать пользователям с текстами

Сегодня мы представляем нейроредактор — инструмент в Браузере, который облегчает монотонную и трудоёмкую работу с текстом. Он появился в результате работы над скоростью и качеством LLM-моделей из предыдущего решения. Теперь пользователи Браузера могут не просто быстро поправить опечатки, но и создать текст с нуля по любому промту.

В статье на Хабре рассказали историю о том, как разработчики пришли к идее отдельного инструмента, как работает кастомный промт и почему переписывание и генерация — это разные задачи с точки зрения моделей.

#статья
1,884
Как мы делаем Яндекс

19 Sep, 08:01

Как эволюционировало машинное зрение автономного транспорта. Доклад Яндекса

Всеволод Орлов, руководитель службы восприятия в автономном транспорте, выступил на конференции «Я Железо 2024». Он рассказал, благодаря чему автономный транспорт видит окружающий мир, как его органы зрения менялись и эволюционировали и какой софт позволяет роботам и машинам успешно ездить без человека в кабине.

#доклад
2,044
Как мы делаем Яндекс

18 Sep, 07:03

Enterprise 128: компьютер, который опоздал на рынок

Изрядная часть коллекции Яндекс Музея состоит из популярных экспонатов, которые знакомы многим посетителям, но в нашей коллекции встречаются и довольно редкие устройства. Одно из них — Enterprise 128. Это британский компьютер с очень интересной, пусть и не слишком весёлой судьбой.

В новой хабростатье — история о том, как попытки создать идеальный компьютер привели к тому, что он не смог завоевать мировой рынок. Однако он стал культовым среди молодёжи Венгрии и России в начале 90-х годов.

#статья
1,765
Как мы делаем Яндекс

13 Sep, 13:01

Как мы генерируем GPT-нейросетями миллиарды объявлений на малом количестве GPU. Доклад Яндекса

Ольга Зайкова, руководитель группы автоматической генерации рекламы, выступила с докладом на Saint HighLoad++ с рассказом о том, как её команде удалось масштабировать ML-решение, генерирующее заголовки рекламных объявлений. Они разработали алгоритм умного обхода объектов и научили сервис инференса GPT-нейросетей адаптироваться к изменяющейся нагрузке со стороны процессинга объявлений.

#доклад
1,994
Как мы делаем Яндекс

12 Sep, 09:16

Яндекс Погода открыла бесплатный API для умного дома

Команда Яндекс Погоды открыла бесплатный API для интеграции погодных данных в системы умного дома. С помощью API пользователи смогут создавать сценарии, которые учитывают погоду на улице — например, чтобы в холодные вечера включался тёплый пол, а в дождливое утро — яркий свет. В ближайшее время данные о погоде начнут применяться в умном доме Яндекса.

Сервис совместим с любыми системами, которые поддерживают сторонние API. А для пользователей Home Assistant мы опубликовали плагин, упрощающий процедуру подключения.

#новость
2,017
Как мы делаем Яндекс

12 Sep, 07:03

Как мы учили Yandex Code Assistant помогать с написанием кода и делать разработчиков счастливыми

Появление модных LLM и кодовых ассистентов на их основе обещает разработчикам ускорение и упрощение процесса написания кода. Но как научить такого помощника не просто дописывать код, но и предлагать такие подсказки, чтобы разработчик был доволен и счастлив?

Этим вопросом задалась команда ML-лаборатории Yandex Infrastructure, которая осенью выпустила собственного помощника для разработчиков Yandex Code Assistant. Виктор Плошихин и Константин Моксин в новой статье рассказали, что такое метрика "счастья разработчика", и как создатели кодового ассистента вывели её формулу в результате 40+ экспериментов внутри Яндекса.

#статья
1,633

2025 All Right Reserved

Disclaimer: The content displayed on this website is solely provided by the respective Telegram channels. We hold no ownership or responsibility for the content shared by these channels.