System Design World

VTB API hackathon 2024. Наш финал!

▶️ Дошли до финала! Сегодня питчу оффлайн.

3 трека:
1) Open API
2) gRPC
3) Единая платформа аутентификации API
Выбрали 3ий.

Финал открытый в отличие от летнего архитектурного хакатона от ВТБ. На котором тоже получилось дойти до финала.
✍️ Можете посмотреть созданные решения, намотать на ус интересные приёмы.

🎦 Наша защита в 16:45.
Подключайтесь!

https://apihack.vtb.ru/
Старт выступления: 5:55:15

System Design Interview вездесущ. Раньше старшим специалистам достаточно было показать свои навыки в доменной области, чтобы успешно устроиться на свою новую работу мечты. Сейчас же необходимо придумать и построить целую систему всего за 45 минут! Насколько такой навык нужен в реальной работе? Что проверяет такое собеседование?

На HighLoad++ 2024 в рамках дискуссии «System Design Interview: казнить нельзя помиловать» профессионалы взвесят все «за» и «против» — скучно не будет.

Посетить эту дискуссию стоит и менеджерам, планирующим или практикующим system design interview, и сотрудникам.

До скорой встречи, друзья 🙌

❄️🔥 Горячая дискуссия в первые дни зимы!

Зима близко! Осталось всего две недели до старта дискуссии System Design Interview: Казнить нельзя помиловать.

Начнём с вводной по этому популярному этапу интервью. Далее разберём по полочкам основные тезисы. А ещё приготовили небольшой интерактив для участников!

Стартуем 2 декабря в 17:00 в зале Найроби+Касабланка.
Приходи онлайн, оффлайн. Будет горячо! :)

🌪Архитектурный дзен

Стартовала ежегодная архитектурная конференция ArchDays.

Интересные доклады, общение. До мерча пока не дошёл😅

Отличие от HighLoad++ в большей абстракции. Больше разговоров на тему архитектуры, подходов, сути и специфики роли архитектора.

Позже напишу интересные тезисы с различных докладов.

А какая конференция нравится тебе больше всего? И почему?

⭐️ System Design LeetCode / TeamLead Avito

✔️ Смонтировал для тебя состоявшийся стрим с Евгением - тимлидом из Авито. Вышло ёмкое учебное пособие по прохождению интервью за 1 час :)

➡️Канал Евгения - https://t.me/afonasev_blog (питон, конференции, развитие языка, жизнь IT).

👍Gо прокачиваться:
youtube
rutube

❓Какой дизайн хочешь увидеть следующим?

🏃 В погоне за BIG TECH!

➕ Расширяем контекст подготовки к прохождению собеседований в BIG TECH компании новым каналом "Укусанный литкодом".

Знаю автора очень хорошо. Можно сказать, он мой давний друг 😊
Сейчас активно готовится в 🔤🔤🔤🔤🔤🔤. Пройдёт ли в этот раз? :) Достаточно ли 100 намеченных решенных задач для этого?

👀 Можно посмотреть как разработчик пропускает через себя алгоритмическую подготовку. С какими трудностями сталкивается. И как осознаёт происходящее и сами задачи.

https://t.me/leetcode_bytes_you/3

⭐️ Новый сезон активностей! Сплошная прокачка в System Design!

1. От Redis к SQLite
⚡️ Изучим как и почему разработчики фаервола избавились от хайпового Редиса в пользу локальной быстрой БД.

2. System Design Interview
👨‍💻 Посмотрим как тимлид Авито создал leetcode за ограниченное время интервью. Это оформленная запись недавнего стрима. Как и обещал, была запись. Смонтировал, оформил. Думаю, такой хорошей подачи материала ты ещё не встречал)

3. Online про System Design
😊 Обещанная встреча. Заходим, знакомимся, общаемся про базу System Design в форме квиза в дружеской атмосфере. Далее смотрим на алгоритмы балансировки трафика. Далее узнаём как эффективно прокачаться в прохождение собеседований за 1 месяц(да-да, время пришло :) )

4. Архитектурная ката от Яндекс 360
Чудесный HighLoad++ дарит не только лишь доклады, общение и мерч. Ещё и возможности на хорошей волне продолжить знакомства в виде совместной активности.
Благодаря конференции познакомился с коллегами из Яндекс 360. Вместе катим кату в середине декабря - 12.12.24 20:00.
Хочешь участвовать? Вперёд!
👉 Заходи в System Design Chat. Отвечай боту про себя и желание участвовать.

Ставь лайк, если с нетерпением ждёшь озвученных активностей 😊
Какую первую из них хочешь увидеть на канале?

👥 Мультитенантность + CDC

📗 Как втащить Change Data Capture в мультитенантный сервис в короткий срок без программистов?

Лариса - крутой архитектор нашей команды "Могём в 23:59" с архитектурной каты МТС, на которой мы заняли призовое 2ое место - специально для канала разобрала реальный рабочий кейс.

I. Что есть:
• Данные записываются и обновляются в PostgreSQL.
• Требование заказчика: "Хотим удобный поиск! Вот тебе аж 2 недели! И загруженная команда разработчиков!"

II. Какой архитектурный паттерн нам поможет?
Change Data Capture(CDC) - захват изменяющихся данных!

III. Что делаем:
• Настраиваем логическую репликацию в PostgreSQL.
• С помощью CDC перекладываем данные в OpenSearch.
• Для его реализации раскатываем и настраиваем pgSync.
• Описываем в json маппинг нужных данных из таблиц PostgreSQL в индекс OpenSearch.
• Катим на прод.

‣ Вуаля! Теперь удобно ищем данные в OpenSearch! Profit!

🎓 Подробности в статье:
https://buildin.ai/share/fe1c7a34-e179-4152-917a-d981ec352e62?code=7PU5ET

▶️ Внедрял новую технологию на свой проект за 2 недели?

😲 WOW эффект для жюри хакатона!

➕ Участвую в очередном хакатоне.
ТЗ: разработать сервис для удобного добавления и тестирование страховых продуктов.
Прилагается отчётность, БД.
Команда дополнила решение фичами AI для тестирование гипотез в процессе добавления.

☝️ В ТЗ отдельным пунктом есть требование к масштабированию архитектуры.
Решил для финального питча показать его с элементами анимации для WOW эффекта 😊
Ведь в ограниченное время нужно продемонстрировать основной функционал и сделать это красиво)
🙂 Посмотрим, как в итоге зайдёт такое решение)

▶️ Как считаете, на питче нужно защищать решение спокойно, убедительно и сухо? Или с эмоциями, вау эффектами, явно демонстрируя исключительную крутость созданного сервиса?

P.S. Подробный отчёт выложу после подведения итогов👌

🌟 Спонтанное интервью-стрим!

🕡 18:00 Teamlead Avito.
Ссылка ближе к этому времени в комментариях.

Сам в шоке 😀

#Stream #Interview

🪚❌💚System Design Interview. Казнить нельзя помиловать!

🆒 Все привыкли к классному формату HighLoad++:
1) Крутые доклады
2) Мастер-классы
3) Доброжелательное сообщество
4) Интересные компании, квесты, мерч
5) Кулуарное общение о том, как оно работает на самом деле :)

А что если прокачать эту мощнейшую конференцию ещё?!
Есть идеи как? 💡

Не так давно я познакомился с топовыми спикерами IT сообщества:
Александр Поломодов - СТО Т-банка - пост, видео, книжный клуб
Филипп Дельгядо - архитектор lekton - видео, выступления

📗 Кто интересуется темой IT не раз сталкивался с их докладами в теме управления, технологий.
У каждого своё мнение на обязательность System Design Интервью при устройстве на работу. Которое они готовы отстаивать топя аргументами противоположную сторону.

❓ А что если... Мы их посадим друг напротив друга? Зададим эту тему. И посмотрим, что будет 🍿

✈️ Окрыленный описанной идеей предложил им такой батл. Оба с энтузиазмом ответили "Да!".

▶️ В итоге необычная идея, заявка прошла входной конкурс на зимний HighLoad++ 2024 😊

Я буду модерировать дискуссию, вовлекать участников, подкидывать в топку новые тезисы 😏
Кто будет офлайн - отмечайте её в форме "собираюсь пойти", чтобы организаторы угадали с размером зала.
Для онлайна - увидимся на экранах :)

📝 Обсудим эту тему на нашей скорой встречи.
А пока... Как считаешь - казнить или помиловать? И почему? :)

https://highload.ru/moscow/2024/abstracts/12699

⚙️ От Postgres к Data Lake

Интересная статья с верхнеуровневым описанием эволюции внутренностей сервиса.

Notion - крутой органайзер с разнообразным функционалом.
Текстовые заметки, картинки, страницы, ... - представлены в виде "блока" в Postgres.

📶 До 2021 - все блоки хранились в 1 инстансе Postgres.
В 2021 стало 20 млн блоков.
Сейчас их 200 млрд. Как они хранятся?

🔡 Данные разбиты на 480 логических шардов, распределенных на 96 инстанцев Postgres.
БД обслуживала разнообразные запросы:
1) пользовательский траффик онлайн
2) оффлайн аналитику
3) машинное обучение

Было решено вынести от Postgres нагрузку 2), 3).

🔀 Воспользовались ETL:
Postgres -> connector -> Debezium -> Kafka -> S3 <- ...аналитика

⏺️ Проффит:
1) Сэкономленный бюджет
2) Быстрая обработка
3) Новые возможности. Решение помогло быстрее внедрять AI функционал.

Подробности в статье:
https://blog.det.life/how-does-notion-handle-200-billion-data-entities-919b238c2846

Мой перевод на хабре:
https://habr.com/ru/articles/845446/

▶️ А у Вас есть проект с ETL? Какие видите в нём преимущества?

Разговор под NDA. Тихо про HFT

😎 Нет, он не хакер.

👨‍💻 Просто делал крутейшие разработки в сверх секретной сфере High Frequency Trading(HFT).
В которой твои подходы и алгоритмы приносят миллиарды валюты в наносекунды.
Об этом никто не говорит. Не говорил. До сегодняшнего дня.

🎤 Предлагаю твоему вниманию интервью с не названным специалистом в финансовой сфере.
Осветили:
1) Подходы к заработку на бирже до финансового кризиса 2008 года
2) Появление HFT +- во время кризиса.
3) Хаки к крупным криптобиржам
4) Создание собственной биржи

😊 Приятного чтения!
vk - NDA talks

🤫 Есть что шепнуть в нашy новую рубрику NDA talks? Пиши. Гарантирую твою анонимность.

⚡️ Блажен, кто посетил сей мир в его минуты роковые!

😇 Дорогие коллеги, подписчики, друзья!
Со многими из вас я знаком лично.

📈 Канал System Design World рос неустанно на протяжение 1 года с момента своего основания и достиг 1242 подписчиков!
Без единой внешней оплаченной рекламы!

🎓 Канал стал местом сбора крутых специалистов. Неожиданно для меня в момент знакомства на крутейшей конференции по высоким нагрузкам Saint HighLoad++ случалось, что специалисты уже подписаны на канал. К каналу подключались также спикеры.

➕ Стартовала авторская колонка крутых специалистов по темам, находящимся в контексте архитектуры. Из недавнего - была проведена своя архитектурная ката, офлайн встреча. Ещё ранее - интервью про создание System Design Интервью, сами мок интервью, #cheat_sheets, освящение хакатона и другое...

▶️ Скоро должна была состояться онлайн встреча... Новая ката или же мини-хакатон, на судейство в котором уже согласились специалисты, архитекторы, с которыми познакомился на профильных встречах. Да и хотелось делится новыми постами с уникальным контентом, устраивать встречи...

🤔 Я думал, что после фактической потери развиваемого youtube канала можно двигаться дальше. Ведь есть основное ядро заинтересованных в теме архитектуры и System Design членов нашего сообщества в рамках мессенджера Телеграм.

😕 Но случилось, что случилось...
Выше был пост по рискам. Неожиданно реализовался один из них для ведения канала. Риск, который может повлечь за собой большую неопределенность в дальнейшем функционирование самого мессенджера.
Думаю, что сейчас тяжело всем авторам сообществ, которые так много вложили своих сил в их развитие.
Но, конечно же, в самой тяжелой ситуации оказался основатель - Павел Дуров.

☝️ Я знаю, что не легко менять комфортную среду.
Чтобы двигаться дальше я создаю резервы, на которые постепенно будет происходить миграция:
rutube - vladimir_v_it - для видео контента
vk - System_Design_World - наше сообщество
boosty - vladimir_v_it - для желающих донатить на канал в это время на сломе эпох.

Подписывайтесь, чтобы оставаться на связи!
И берегите себя и своих близких.