Inside Yandex Cloud

Чем отличаются программисты прошлого от программистов современности?🧑‍💻

Скоро открываем доступ к платформе для разработчиков SourceCraft, которую разрабатывает команды Yandex Cloud и Yandex Infrastructure. В преддверии этого события давайте разберемся, как работают dev-платформы.

Рекомендуем ролик, в котором рассказывается:
🔘 история появления и развития платформ разработки,
🔘 какие задачи они решают,
🔘 на что стоит обращать внимание при их выборе.

📹 Перейти к просмотру

🛠 Как устроен аналитический модуль СУБД Яндекса — YDB DWH

Расскажем на вебинаре 25 февраля в 12:00 (мск).
Разберём внутреннее устройство механизмов, отвечающих за эффективную обработку аналитических запросов:

🔘архитектуру хранения данных в колоночных шардах YDB DWH и механизмы распределения данных в кластере;
🔘принципы работы и особенности стоимостного оптимизатора запросов YDB DWH;
🔘внутреннее устройство модуля управления нагрузкой (Workload manager), его влияние на производительность базы данных.

Будет интересно разработчикам систем хранения данных, инженерам по оптимизации производительности и архитекторам распределённых систем.

▶️Зарегистрироваться

Всё, что вы хотели знать про SourceCraft, но боялись спросить

👨‍💻 SourceCraft — наша новая платформа для разработчиков. С её помощью можно создавать исходный код, управлять версиями, тестировать, собирать, развёртывать и сопровождать программные продукты.
Первым компонентом SourceCraft стал Yandex Code Assistant, который на базе нейросетей сгенерирует наиболее вероятное продолжение кода по его фрагменту.

🔥 Мы готовим подкаст, в котором ребята из команды расскажут, как родилась идея, каким был путь создания платформы, что под капотом SourceCraft и ответят на ваши вопросы.

🔜 В комментариях к посту задавайте свои вопросы про SourceCraft. Постараемся ответить на них в подкасте.

⚡️ Алло, мы ищем таланты продуктовых дизайнеров: получи офер в Яндекс за 5 дней

Наши дизайнеры работают над проектами и сервисами в Yandex Cloud и Yandex Infrastructure и помогают создавать десятки ключевых решений для бизнеса и разработчиков. Например, публичные опенсорс-проекты (YDB, YTsaurus, Gravity UI, Diplodoc, DataLens) и интегрированные инструменты.

Если вы продуктовый дизайнер с опытом работы от 3 лет*:

🔵Подайте заявку до 13 февраля.
🔵Решите тестовое задание до 17 февраля.
🔵Пройдите вайтборд, познакомьтесь с командами и получите офер в один из дней с 17 до 21 февраля включительно.

* Плюсом будет опыт создания интерфейсов для сложных экосистем, работа с SaaS-продуктами или участие в развитии дизайн-систем, особенно в опенсорс-проектах.

Задачи сложные (но интересные), масштаб впечатляет.
Присоединяйтесь! ❤️

Кто такой разработчик Serverless?

В новом выпуске «Как мы делаем Yandex Cloud» погрузились в тему Serverless-решений. Сергей Ненашев, старший разработчик Serverless Computing Core, поделился впечатлениями от онбординга в команду. Рассказал о своём первом коммите и релизе, чем занимается разработчик Serverless, и какие компетенции ему для этого нужны.

📎 Смотрите на YouTube, Rutube и VK Видео
📎 Слушайте на Яндекс Музыке
📎 Или на любой удобной подкаст-платформе

Поздравляем с наступающим Новым годом и желаем отличных выходных!

Наша подборка того, что посмотреть на каникулах:

*️⃣Yandex Scale
*️⃣Серия подкастов "Как мы делаем Yandex Cloud"
*️⃣Серия подкастов "Безопасно говоря"
*️⃣Мастер-класс "Мультиагентные подходы для работы с LLM на базе сервисов Yandex Cloud"
*️⃣Доклад Ивана Пузыревского про управление командами
*️⃣Новогодний выпуск Monthly Cloud News

До встречи в 2025, друзья!
Команда Yandex Cloud

Автоматизация техподдержки с помощью LLM

⭐ В новой статье на хабре Евгений Данилин, техлид команды развития инструментов и автоматизации поддержки, рассказал как избавляет коллег от рутины.

Рассказал об инструментах, которые опираются на YandexGPT, и решают следующие задачи:
— краткое изложение всего разговора в чате;
— умный поиск в базе знаний
определение топ-контрибьютора, т.е. автора лучшего решения проблемы;
— скоринг эмоциональной нагрузки комментария;
— суммаризация тикетов.

Подробнее о том, как ML помогает нашим коллегам упрощать шаблонные операции, сохранять высокий SLA, делать счастливее себя и пользователей читайте в статье на хабре.

Админские байки в подкасте «Как мы делаем Yandex Cloud»

⭐ В новом выпуске про платформу данных Yandex Cloud пообщались с руководителем команды Дмитрием Сарафанниковым.

Обсудили:
— что под капотом платформы и с чего она начиналась;
— какие качества ценятся в команде, как строится взаимодействие внутри;
— вклад в опенсорс и отношение к догфуддингу.

👀 А ещё узнали, что такое «коррупция» данных.

📎 Это и многое другое смотрите на YouTube
📎 Слушайте на Яндекс Музыке
📎 Или на любой удобной подкаст-платформе

Сыграйте в шахматы на главной странице сайта Yandex Cloud.

Вашим помощником и болельщиком станет YandexGPT: модель будет анализировать и комментировать каждый ход. В финале YandexART нарисует иллюстрацию с одним из ярких моментов игры.

Играйте и выигрывайте гранты на сервисы Yandex Cloud и эксклюзивные шахматные наборы!

Удачи!

👀 Вышел YaC 2024!

Это большой ежегодный рассказ про сервисы Яндекса. Знакомим с людьми, которые их делают, делимся лайфхаками и обсуждаем, как меняются технологии.

В серии «Работа» руководитель бизнеса Yandex Cloud Саша Черников рассказывает об инструментах Яндекса, которые помогают компаниям создавать и развивать цифровые сервисы, разработчикам — писать код с помощью нейросети, и о том, как мы делаем сервисы для специалистов, которыми сами являемся.

Смотрите сериал на YouTube, в Кинопоиске и VK Видео.

#yacloud_news

Автоматизируем уход в отпуск с помощью Event Driven Architecture

Event Driven Architecture, или EDA — довольно популярный архитектурный подход, где мы строим приложение вокруг событий, которые генерируются в системе. Одни из самых видных паттернов для обработки событий в рамках EDA — это хореография и оркестрация.

Даня Шарко, разработчик Serverless, сравнил эти типовые варианты архитектуры на примере решения задачи автоматизации ухода в отпуск. Что из этого вышло — читайте в статье на Хабре.

Разыгрываем онлайн-билеты на HighLoad++ и книги по распределённым данным

Все подробности собрали здесь. Переходите, изучайте и принимайте участие. Удачи! 🍀

Собрали премии событийной индустрии 🔥

💡Рассказываем в карточках как мы сделали мероприятие Yandex Secure Future и получили премии и признание экспертов рынка событийной индустрии.

Поздравляем команду по организации мероприятий Yandex Cloud! 🥳

Посмотреть фотографии и узнать подробности о мероприятии можно на сайте наших партнеров Wevents.

😎 Настоящему DevOps-инженеру (и не только) не стыдно признаться, что он автоматизировал одноразовую операцию и давал стажёру доступ на прод. Надо говорить уверенно: «Да, было!»

Собрали ещё три ситуации, в которых нет ничего предосудительного. Листайте карточки, ищите себя и ставьте реакции:

🎉 — всё про меня
🤩 — пока жду своё комбо
🤔 — я просто мимо проходил

Выступаем на nexthop 2024

27 ноября пройдет крупнейшая конференция по сетевым технологиям — nexthop 2024💥

Мы выступаем с докладами:

🔵Александр Демиденко расскажет, как команда бустила проверки здоровья в Network Load Balancer: почему возможностей для горизонтального масштабирования было уже недостаточно, какие сложности пришлось решать по пути и что из этого вышло.
🔵Александр Лимонов сделает доклад об архитектуре сетевых сервисов гибридных облаков в Yandex Cloud.

Регистрация на онлайн-трансляцию

До встречи 27 ноября 2024!

Чем запомнилась конференция DevOops?

Антон Черноусов, Developer Advocate в Yandex Cloud, подготовил специальный репортаж 😎

«Мне удалось поучаствовать почти во всех качествах: ведущий, спикер, подкастер и просто участник. 

Вместе с Авениром Вороновым я открывал и закрывал онлайн-день конференции.

В этом году было 55 докладов.
Ниже отмечу несколько выступлений, на которые обратил внимание. 

🔘В первый день конференции Андрей Цветцих из Т-Банка выступил с докладом «Zero-downtime deployment и базы данных», пожалуй, этот доклад в полной мере описывает основные подходы к деплойменту, плюсы-минусы каждого из них. Он меня так сильно вдохновил, что я в последний момент в своём выступлении ссылался на этот богатый на фактуру доклад. 

🔘13 ноября в главном зале выступал мой коллега Виктор Кузенный с докладом «Infrastructure from Code: следующий этап развития IaC на примере Serverless». И, как можно было ожидать от Виктора, это было выступление с системным подходом. Его доклад можно разделить на две части. Первая — про то, как развивались методы и подходы к управлению инфраструктурой, и вторая — про относительно новую концепцию Infrastructure from Code, в которой не обошлось без демки с кодом.

🔘Я выступал с темой «Бережная миграция и адаптация проекта в облаке». Вместе с коллегой по подкасту «Разбор полётов» Алексеем Абашевым разобрали суть процесса успешных переездов/заездов в облако:

- три популярные стратегии миграции: Lift & Shift, Improve and move и Rip and replace;
- инвентаризация проекта, подготовка данных и production-среды;
- защита от атак и безопасный деплой.

Помимо докладов на конференции было много и других активностей. Одной из самых захватывающих была дискуссия «Enabling команды в DevOps». Концепция Enabling team — модифицирующих командах (терминология ещё не устоялась в этом месте) — была впервые предложена в книге Team Topologies и вызывает горячие обсуждения в комьюнити.

⚡️В холлах между залами больше всего в глаза бросались стенды компаний. Их было много, и на каждом шла бурная жизнь. На стенде Yandex Cloud наши архитекторы безостановочно общались с DevOps-комьюнити, и меня, как Developer advocate, это радует.
А в ночи после первого дня на площадке конференции записали небольшой традиционный для программного комитета подкаст — где его искать, расскажем позже!

Как обычно, самые сильные эмоции у меня вызывают крутанские доклады, кулуарное общение и энергичный дух DevOops-комьюнити. А это значит, что в следующем году я снова постараюсь быть тут.»

❤️ — если увидимся в следующем году

Правда ли, что команда Yandex Cloud «варит» голоса? Отвечаем в новом выпуске подкаста yet another podcast 📎

Вчера мы представили принципы этичной работы над синтезом речи, которые применяет команда SpeechKit. Эти нормы позволяют сделать взаимодействие с технологией комфортным и безопасным.

По этому поводу — выпуск yet another podcast. В главных ролях:
🔵Елена Белоброва, руководитель группы по развитию бизнеса ML‑сервисов
🔵Василий Ершов, руководитель ML-направления 

В подкасте обсуждаем:
🔵Заменят ли роботы профессиональных дикторов? 
🔵Наступит ли время, когда человек больше не будет говорить по телефону?
🔵И правда ли, что команда Yandex Cloud «варит» голоса? 

🎧 Чтобы узнать ответы на эти вопросы смотрите и слушайте свежий выпуск.

Как мы улучшили Gravity UI

В новой статье на Хабре Владимир Тимофеев, менеджер технических проектов в Yandex Cloud, рассказывает:

🔵как мы меняли дизайн-систему Gravity UI и улучшили её совместимость с программами экранного доступа для работы пользователей с ограничениями,

🔵какие проблемы мы уже решили и какие ещё будем решать.

📌Читайте статью на Хабре, а самое ключевое — в карточках.

«Огромному количеству людей открыли мир ML»

В Yandex Cloud есть целое семейство ML-сервисов: от тех, где внедрены большие генеративные модели YandexGPT и YandexART, до тех, которые решают более узкие задачи: преобразовать речь в текст, синтезировать голоса, распознать изображение. О команде, которая стоит за этими технологиями, поговорили с Сергеем Золотовым, старшим техническим менеджером направления Machine Learning в Yandex Cloud.

⭐ В новом выпуске подкаста «Как мы делаем Yandex Cloud» — про культуру и процессы в команде, как ребята повышают насмотренность, а также как ML-технологии Яндекса помогают изучать популяцию рачков в Байкале.

📎 Это и многое другое смотрите на YouTube
📎 Слушайте на Яндекс Музыке
📎 Или на любой удобной подкаст-платформе

🟠 Как мы помогаем астрофизикам искать вспышки на красных карликах

Красные карлики — самый распространённый тип звёзд среди всех изученных. Данные о них помогают лучше понимать процессы, происходящие с другими звёздами, в том числе с Солнцем.

Один из таких процессов — вспышки. Вспышки на Солнце влияют на магнитное поле Земли и глобальный климат, могут угрожать спутникам связи и космическим приборам, поэтому их важно изучать.

⭐ Центр технологий для общества Yandex Cloud помог международной команде SNAD проанализировать сотни миллионов объектов с помощью ML и найти 1196 вспышек красных карликов.

➡️ Как это было и чем проект поможет в астрофизике — читайте на Хабре. А самое интересное собрали в карточках.

🧠 YandexGPT 4: как обучали новое поколение LLM

Семейство моделей YandexGPT 4 включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы.

Как обучали новое поколение?

📌 Повысили эффективность обучения

Тренировки YandexGPT 4 проходили с использованием опенсорс‑библиотеки Яндекса YaFSDP. Инструмент позволяет чаще проводить эксперименты с обучением, ускорять и улучшать все этапы машинного обучения.

▫️ За счёт комплекса инструментов получилось ускорить этап alignment;

▫️ На этапе pretraining добавили в датасет новые качественные данные;

▫️ В основном обучающем датасете увеличили долю длинных документов, добавили свежие данные;

▫️ Поменяли датасет для стадии supervised fine‑tuning;

▫️ Не обошлось без изменений и в RLHF — о них расскажем подробнее позже.

📌 Использовали скрытые рассуждения

В тренировке моделей применялись данные с подробными пошаговыми рассуждениями — Chain‑of‑Thought. Благодаря этому в новом поколении улучшилась способность моделей анализировать проблему, выделять основные этапы решения и рассуждать, как реализовать эти этапы.

➡️ Подробнее про YandexGPT 4 и дальнейшие планы читайте в статье на Хабре.

🫶 О героях, без которых бы не получилось

Более 300 человек готовили Yandex Scale 2024, среди которых — менеджеры блоков, программный комитет, дизайнеры, модераторы, режиссёры и не только. Без них ничего бы не получилось. Ведь конференция — это в том числе про людей, которые её создают.

➡️ В карточках рассказываем про роли в команде Yandex Scale 2024, о существовании которых вы, возможно, даже не догадывались.

⭐ А подробнее читайте в статье: как связали театр и технологии, куда пропали стулья, кто такие раннеры и другие истории и факты о конференции.

💫 Открываем набор специалистов на Sales Academy

Это оплачиваемая программа для тех, кто хочет развиваться в IT, работать с облаками и помогать клиентам в решении их бизнес-задач. Участники будут осваивать технологии и сервисы Yandex Cloud и включаться в реальные проекты.

📌 К Sales Academy могут присоединиться недавние выпускники вузов, специалисты со стажем до 3 лет, с техническим или бизнес-образованием.

⭐ Программа идёт 6 месяцев, нужно быть готовым выделять на неё 40 часов в неделю. По окончании программы лучшим участникам предложим работу в штате.

➡️ Подать заявку можно до 5 ноября 2024 года.

✍️ «Как мы провели лето» — пишем сочинение с ноткой ностальгии

Огуречный мерч, тимбилдинг у Финского залива и синие волосы: команда Yandex Cloud умеет отдыхать! Пока за окном серая пасмурность, а в новостях мелькают фотографии первого снега, мы решили поделиться самыми яркими моментами этого лета в карточках.

📌 Читайте в статье ещё больше о том, как отдыхает наша команда (спойлер: плетут браслетики, рисуют огурцы, поют в караоке и не только).

⭐ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке.

👀 Мы уже поняли, что многим знакома ситуация, когда случайно ребутнул прод-сервер. А из комментариев узнали, что это ещё не самое страшное, — хуже, когда по ошибке удалил прод.

Продолжаем делиться невымышленными ситуациями из жизни DevOps-инженеров. На этот раз собрали в карточках три ситуации:

❤️ — если что-то совпало
🔥 — если вы идеальный человек и с вами ничего такого никогда не было

👉 Пара слов о запуске YandexART 2.0 от Алексея Долотова, руководителя продуктового направления Yandex Cloud ML.

Ставьте ❤️ и пробуйте новую версию в действии — нашей команде будет приятно!

💫 Какой нам запомнилась конференция Yandex Scale 2024

25 сентября в МХАТ им. Горького прошла большая конференция Yandex Scale. За 8,5 часов 1 700 участников офлайн и более 10 000 участников онлайн посмотрели 31 доклад от 47 спикеров.

🫂 Всё это — благодаря большой команде Yandex Cloud, которая организовала конференцию и наполнила её смыслами и технологиями.

➡️ Смотрите видеоролик с самыми яркими моментами того дня и читайте репортаж на Хабре, где мы показали немного закулисья и рассказали о том, что было в кулуарах конференции.

А мы пойдём считать дни до Yandex Scale 2025 💙

Без лишних слов

Делимся плёночными кадрами с Yandex Scale 2024. Запечатлели коллег за подготовкой к важному дню и саму конференцию. Листайте фотографии, чтобы проникнуться атмосферой ❤️

Автор: Максим Барановский, маркетинг-менеджер по стратегическому партнёрству в Yandex Cloud
Плёнка: Kentmere Pan 400
Фотоаппарат: Leica Minilux