SberProfi DWH/BigData

Готовимся к Новому году с большими планами 🚀
 
Друзья, 2024 был масштабным. DWH/BigData росли, развивались и создавали пространство для новых возможностей.
 
С КАКИМИ ДОСТИЖЕНИЯМИ МЫ ЗАКРЫВАЕМ ГОД
 
💫 Более 1200 участников,
💫 30+ внутренних и внешних мероприятий, 100+ спикеров
💫 9 статей на Habr
💫 Прочитали курсы в МГТУ, МГУ им, МФТИ, КУ
💫 Bootcamp: обновили модели DE и «Добро пожаловать на Фабрику данных», запустили трек MLE, опубликовали курс-тренажер Hadoop
💫 Зарегистрировали 4 патента, 2 АС в Реестре российского ПО, 10+ заявок в работе
 
⛄Благодарим всех причастных к жизни комьюнити, тех, кто развивается и растет вместе с нами!
 
Пусть 2025 станет годом сбывшихся надежд, принесет благополучие и успех, покорение новых вершин и осуществление задуманного! А мы вам в этом поможем:)
 
С НАСТУПАЮЩИМ НОВЫМ ГОДОМ 🎄🥂❄️
 
С уважением,
команда DWH/BigData 💚

Друзья, привет!
 
На Хабре вышел новый материал о способах проверки качества данных после миграции с Teradata на Greenplum. Читаем вместе🔥
 
О своем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях рассказали участники комьюнити Николай Абрамов и Евгений Видман (SberData).
 
👉ЧИТАТЬ СТАТЬЮ👈

P.S. Полезные ссылки для тех, кто пропустил предыдущие статьи цикла:

- Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий
- Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

P.P.S. Если у вас тоже есть материал или идея статьи, напишите нам😊
 
С уважением,
команда DWH/BigData 💚

ДЛЯ ТЕХ, КТО УЧИТСЯ И УЧИТ

Друзья, привет!

Только посмотрите, сколько курсов, программ обучения, видеороликов и компактных обзоров разработали коллеги. Вы можете так же!

Вместе с командой SberData приглашаем вас создавать обучающие решения для команд D-people!

✅Что мы предлагаем:

- Переложить ваш опыт в формат курсов, мини-курсов или видео
- Систематизировать и упаковать ваши материалы для обучения коллег
- Разработать тесты, которые помогут проверять знания и навыки

✅Как участвовать?

- Напишите в комментариях к этому посту о своем уникальном опыте или знаниях, которыми важно поделиться
- Свяжитесь с экспертом комьюнити Владимиром Фадеевым

Подробности и примеры ищите по внутренней ссылке.

Поторопитесь, старт проекту уже дан! И не забудьте поделиться этим постом с друзьями, им тоже будет полезно😊

С уважением,
команда DWH/BigData 💚

Друзья, привет!

⏱️ Через 10 минут начинаем наш мономитап по теме стриминга!

Подключайтесь, будет полезно🔥

P.S. Ссылка в почте и внутренних каналах комьюнити.

Друзья, привет!
 
Подготовили для вас «прыжок в поток» интересный митап по стримингу 😊
 
Формат – открытый диалог! Задавайте вопросы заранее или во время митапа, меняйте акценты, управляйте дискуссией 🔥
 
На мероприятии:
 
- Расскажем, что такое потоковая обработка данных
- Покажем разницу в части работы с ограниченным и неограниченным потоком данных
- Познакомим с концепцией Streamhouse
 
🗓 05 декабря
⏰ 14:00-15:30
🌐 SberJazz, ссылка в почте
 
🎤 Сергей Смирнов, Департамент данных и общих сервисов ИТ B2C
 
Перешли приглашалку коллегам
и получи плюсик в карму!
 
С уважением,
команда DWH/BigData 💚

Мы вышли за все лимиты, перезаходим:)
https://jazz.sberbank.ru/sber-3bxw54?type=webinar&role=VIEWER&psw=OBIDUAcBVBUeAgRGWBVDBhEIGQ

Друзья, привет!
 
Через полчаса собираемся на митапе по вендорозамещению Qlik Sense🔥
 
➡️ Ждем вас на Новоданиловской наб., 10к1 СБТ, 2-ой этаж, Грейт Холл
➡️ Онлайн в JAZZ

Приходите сами и приводите коллег 🏃‍♂🏃‍♀🌪

⏰Начало в 13:30. 
 
С уважением,
команда DWH/BigData 💚

Друзья, привет!
 
Для тех, кто еще не видел рассылку в почте😉 Приглашаем на интереснейший митап комьюнити DWH/BigData!
 
ЧТО БУДЕМ ОБСУЖДАТЬ
 
- Вендорозамещение Qlik Sense и сроки миграции
- Платформа Навигатор
- SDP Analytics
- Реальные кейсы

🗓 25 ноября
⏰ 13:30-16:00
📍 Очно по адресу: Новоданиловская наб., 10к1, СБТ, 2 эт., Грейт Холл
🌐 Онлайн на платформе SberJazz 
❓ Задать вопрос спикерам 
 
Перешли приглашалку коллегам
и получи плюсик в карму!
 
С уважением,
команда DWH/BigData 💚

В среду прошел 60-й митап профсообщества DWH/BigData.
 
☀️ 60 мин., 2 доклада, 5 спикеров, почти 200 подключений.
 
💬 Наши зрители получили возможность послушать крутые доклады коллег о методологии тестирования витрин данных и упрощении работы аналитика с помощью AI-инструментов, посмотреть обзорную экскурсию по пользовательскому опыту работы с GigaChat, обсудить вопросы и продолжить дискуссию со спикерами уже после митапа.
 
Спасибо всем, кто подключился к трансляции, задавал вопросы и проявлял вовлеченность!
 
🔗 Тем, кто не смог принять участие, доступна запись митапа в СберВидео - с таймингом и всеми материалами.

С уважением,
команда DWH/BigData 💚

Друзья, привет!
 
Через 15 минут стартует наш юбилейный ⭐60⭐ митап!
 
Подключайтесь: https://jazz.sberbank.ru/sber-m6s4j8?psw=OBZRVhoFXREEBlZARRFKAgsMSw
 
До скорой встречи 💚

Друзья, привет!
 
Мы рады пригласить вас на наш юбилейный ⭐60⭐ митап 🔥
 
Повестка:
 
- Кирилл Богданов, Эльза Каценеленбоген, Анна Архангельская (SberData): Методология тестирования витрин данных
- Артур Гарайшин, Ирина Грибачева (SberData): Упрощение работы аналитика с помощью AI
 
🗓 13 ноября, среда
⏰ 15:00-16:20
🌐 SberJazz

P.S. Ссылка для подключения - в почте📩
 
Перешли приглашалку коллегам
и получи плюсик в карму!
 
С уважением,
команда DWH/BigData 💚

В Рязани на IT Talks by Sber эксперты обсудили Java, QA и, конечно, ML.

🏆 Участники комьюнити Вадим Сурпин и Семен Горохов установили сразу несколько рекордов:

⚪️ Доклад стал ТОП-1 по итогам голосования 
⚪️ Количество вопросов поставило рекорд митапов в Рязани — целых 20!

Покорил слушателей, конечно, доклад Вадима и Семена - опыт работы с GigaChat и другими LLM для создания SQL-запросов, которые возвращают данные на русском языке.

Больше подробностей и презентация - в Друге.

Поздравляем наших экспертов и ждем новых побед 🎉

С уважением,
команда DWH/BigData💚

Друзья, привет!
 
Делимся зарядом энергии и вдохновения и рассказываем полезные новости нашего комьюнити.
 
На habr.com вышла новая статья "Поиск «токсичных» SQL-запросов". Авторы: Даниил Усков и Александр Диков под кураторством Максима Радионова, Дмитриева Игоря и Владимира Зворыгина.
 
Что внутри?
 
- Анализ существующих подходов и их проверка на открытых данных;
- Тестирование моделей на TPC‑H;
- Тестирование моделей на BIRD;
- Описание оригинального подхода к решению задачи.
 
👉 ЧИТАТЬ СТАТЬЮ 👈
 
Поделитесь в комментариях, что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
 
С уважением,
команда DWH/BigData💚

Друзья, наш митап начался. Подключайтесь! 🫶

Друзья, привет!
 
Не забывайте, что сегодня в 16:00 вас ждет интереснейший Data.Meetup.
 
👉 Встречаемся очно на Кутузовском пр. 32 к.1, 2 этаж, большой конференц-зал (для сотрудников и тех, кто зарегистрировался по ссылке).
👉 Если вы будете смотреть нас онлайн, подключайтесь по ссылке.
 
Повестка в почте и Друге.
 
Ждем всех🤗
 
С уважением,
команда DWH/BigData 💚

Знаете ли вы о возможностях LLM app в части восстановления описания данных?
 
Именно об этом рассказали наши коллеги из SberData Сергей Кочетков, Иван Литвин, Борис Давыдов и Иван Муравлев в рамках Data engineering night 16 октября в Т-Банке.
 
В мероприятии приняли участие свыше 200 человек, а одним из самых посещаемых стал стенд Сбера.

👍👍👍 Коллеги поделились наработками в части восстановления описания данных с помощью LLM app: от формулирования эффективных Prompt-запросов до принципов построения и архитектуры приложения, а также провели интересную демо-программу.
 
Благодарим коллег за инициативность и популяризацию продуктов Сбера не только в рамках Банка, но и за его контуром 💚

Этот осенний день особенный 🍁
 
Именно сегодня, 11 октября, свой День рождения отмечает Илья Поздняков - настоящий лидер (и не только нашего сообщества), который заряжает энергией и вдохновляет на новые свершения 🎂🎈🎉
 
От всего комьюнити поздравляем Илью с праздником! Пусть всë задуманное реализуется, а рядом всегда будут надёжные люди😉 Крепкого здоровья и благополучия всей семье!
 
Запускаем цепочку поздравлений в комментариях, присоединяйтесь 🎁

Друзья, привет!

⚡️Мы обещали, и мы это сделали! Всем, кому недостаёт зубодробительных технических докладов и свежего data-контента, посвящается

Приходите на очный Data.Meetup от команды DWH/BigData и CedrusData! Мы подготовили насыщенную программу по нескольким направлениям🔥

- Обсудим новые горизонты и практические кейсы работы с Trino — миграция в k8s, особенности работы с Iceberg
- Расскажем, как съели пуд соли с metadata-driven платформой (и почти не подавились)
- Поделимся проверенными сценариями для гарантии поставки и безопасного распространения данных в большой гетерогенной data-платформе
- Поговорим про Flink и расскажем, почему этот движок настолько эффективен

Гостей ждут динамичные доклады, жаркие дискуссии, интерактивы, подарки и, конечно же, вкусное угощение! Переносите тренировки, просмотр сериалов и отложите рабочие задачи — такое нельзя пропустить!

🗓️ 24 октября, четверг
⏰  16:00–20:00 мск
📍Ждем вас очно по адресу: Москва, Кутузовский, 32, к. 1, 2-й этаж, большой конференц-зал
🌐 Будет онлайн-трансляция

👉 ПРОГРАММА 👈

До встречи на Data.Meetup 2024!

С уважением,
Команда DWH/BigData 💚

Всем привет!
 
Сегодня – понедельник, и мы открываем рабочую неделю знакомством с полезным инструментом для работы с данными.
 
Знаете ли вы, что в Сбере есть реестр повторно используемого кода? Спойлер - конечно, есть!

👉CodeHub👈
 
Забудьте про разработку уникальных решений для типовых задач. Используйте апробированный код ваших коллег! Делитесь своим кодом!
 
Готовы попробовать или уже есть опыт использования? Делитесь в комментариях:)
 
С уважением,
команда DWH/BigData 💚

Очный Town Hall SberData состоится уже завтра🚀

Обсудим с CDO блоков DataGovernance by Design, расскажем, как запустить продукт без ресурсов с нуля, покажем, какие обучающие решения у нас есть, и расскажем про наши полезные продукты😎

→ 2 октября
→ с 16:00 до 18:00
→ Большой конференц-зал (2.09)
→ Кутузовский, 32

Задайте любой вопрос для дискуссии на мероприятии по ссылке.

Ждём личной встречи с вами!

Друзья, привет!

🗓 На календаре пятница - и в этом посте короткий опрос. Спойлер: таких коротких опросов вы действительно ещё не видели.

До 1 октября мы проводим перепись всех участников комьюнити. Нам хочется узнать о вас больше, чтобы эффективнее настроить наши программы.

Переходите по ссылке и не забывайте нажать кнопку "завершить", чтобы вас точно посчитали😉

👉Пройти опрос👈

С уважением,
команда DWH/BigData💚

Друзья, привет!
 
Знаете ли вы, что в 2025 году планируется переход на MLStorage, который заменит Bitbucket и Nexus в части хранения артефактов моделирования?🧐
 
Приглашаем обсудить новый инструмент для хранения моделей на митапе!
 
👥 Эксперты встречи: Юлия Ступак, Сергей Иванов, Владимир Медин
 
На примере кейсов и опыта мы обсудим:
 
🔹 для решения каких задач предназначен новый инструмент
🔹 как изменится клиентский путь для DS, MLE и Валидаторов
🔹 что станет лучше с переходом на MLStorage
🔹 дальнейшие планы развития
 
Также коллеги проведут DEMO работы с MLStorage и, конечно же, ответят на ваши вопросы!
 
🗓  30 сентября
⏰  12:00
🌐  SberJazz
 
❗️Приглашалку ищите в почте или СберЧате.
 
С уважением,
команда DWH/BigData 💚

Более 150 участников, 3 доклада и 7 спикеров - все это 59-й митап DWH/BigData
 
Собрали для вас основные новости мероприятия👌

🔹Доказали практическую возможность запуска ПИМ на GPU
🔹Обсудили технологию аналитики с временными рядами, как простыми, так и многомерными
🔹Узнали, как GigaChat сокращает время найма IT-сотрудников на 50% и кто такой AI-рекрутер
🔹Получили заряд энергии и мотивации
 
Свежий Data-контент представили:

- Андрей Степанов (SberData), Алексей Евсюгин (Департамент данных и рекомендательных систем B2C)
- Андрей Емельянов, Андрей Ветров, Руслан Мурадымов (SberData)
- Максим Радионов, Владимир Зворыгин (SberData)
 
Запись митапа вы найдете в СберВидео, а материалы встречи можно посмотреть в Друге и на странице в Confluence.
 
Если вы были с нами, поделитесь впечатлениями в комментариях под этим постом ☀️
 
С уважением,
команда DWH/BigData 💚

Коллеги, через 10 минут мы начинаем 59 митап Сообщества!

Приходите, будет полезно.
Впрочем, как и всегда 😉.

Ни одного митапа без DWH/BigData

В нашем Сообществе десятки и сотни команд каждый день разрабатывают и развивают внешние и внутренние продукты, обсуждают функционал, фичи и идеи. И, конечно, всегда готовы делиться опытом😊

11 сентября эксперты DWH/BigData Александр Стрелков и Сергей Лебедев приняли участие в масштабном мероприятии «Arch.Meetup by Sber: современное управление архитектурой данных».

Организаторами выступили наши коллеги и друзья из Architecture Community💚

Более 250 человек познакомились с продуктами SberData на стендах Sber Innovations:

👉🏻 Александр Стрелков приехал из Санкт-Петербурга, чтобы лично представить SDP Beholder – сервис мониторинга и управления нагрузкой на кластерах Greenplum

👉🏻 Сергей Лебедев представил средство маркирования данных Sber Data Guard

Судя по количеству вопросов к нашим стендистам и активному обмену визитками, продукты точно вызвали интерес 😉 

А как насчет повторить опыт со стендами? Ставьте реакции, если ждёте ОЧНОЕ мероприятие в сообществе DWH/BigData 🔥