Грефневая Кафка (pro.kafka)

А вы уже попробовали новый плагин Confluent для VSCode?

Качаем с маркетплейса, делимся впечатлениями в комментах!

🎥 Запускаем новый канал Confluent Developer. Только технологии, маркетинг булшит сведен к минимуму .

🔔Подпишись и в колокольчик позвони

https://youtu.be/IQ3VCAQMp9M?si=RdrkTHwQLEgAKc4d

​😱 Если вы в Bay Area сегодня, то приходите поручкаться

- Data Streaming Summit (former Pulsar Summit) https://datastreaming-summit.org/event/north-america-2024/sessions/north-america-2024-uncorking-real-time-analytics-with-pulsar-pinot-and-flink
- BA Kafka meetup https://www.meetup.com/kafkabayarea/events/303887082/

​​Чат, у меня тут новости. В общем, не отпускает меня Кафка. Поэтому я с сегодняшнего дня снова в $CFLT. Как у нас тут говорят, я очень excited по этому поводу.
Будет много разного про Кафку (duh!), Flink ну и смежные технологии!

🚀 Чат! Я так понимаю, что на моей доисторической Родине Clickhouse любят больше, но не могу не похвалиться в этом чате!
Рад объявить о выходе нового курса на канале StarTree, посвященного продвинутым темам в Apache Pinot™!
Смотрите плейлист здесь! 📽️
Перед началом курса настоятельно рекомендую ознакомиться с курсом Apache Pinot 101
Все бесплатно, даже есть материалы для самостоятельного обучения
🚀 В первой серии мы познакомим вас с курсом и расскажем, что вас ждет впереди.
🛠️ Во втором видео мы углубимся в настройку вашего собственного кластера Apache Pinot™! Узнайте, как настроить кластер.
🔒 В третьем видео мы расскажем о настройке тенантов в Apache Pinot™. Узнайте, как изолировать и управлять различными наборами данных и рабочими нагрузками.
🗂️ Четвертое видео посвящено созданию схем, таблиц и сегментов в Apache Pinot™. Узнайте, как эффективно структурировать и организовывать данные.
📥 В пятом видео мы исследуем техники загрузки данных в Apache Pinot™. Узнайте, как эффективно загружать данные в реальном времени и пакетные данные.
🔄 Шестое видео посвящено Upserts в Apache Pinot™. Узнайте, как обновлять существующие записи или вставлять новые без проблем.
🔄 В седьмом видео мы исследуем трансформацию данных во время загрузки в Apache Pinot™. Узнайте, как очищать и обогащать данные на лету.
🔍 В восьмом видео мы рассмотрим запросы данных с использованием одноэтапного и многоэтапного механизмов запросов в Apache Pinot™. Узнайте, какой подход лучше всего подходит для ваших запросов.
⚡ В девятом видео мы исследуем различные типы индексов в Apache Pinot™. Узнайте, как оптимизировать производительность запросов с помощью правильных индексов.
🤖 В десятом видео мы познакомим вас с Minions в Apache Pinot™. Узнайте, как эти фоновые процессы могут автоматизировать и оптимизировать ваши операции с данными. Готовы встретиться с Minions?

​Вебинар «Как создавать высокопроизводительные очереди сообщений с различной архитектурой»

6 июня в 16:00 МСК на вебинаре вы узнаете, как повысить отказоустойчивость и масштабируемость ИТ-систем с помощью Tarantool Queue Enterprise — распределенной in‑memory системы очередей сообщений. Будет рассмотрен кейс применения системы очередей Tarantool Queue Enterprise как интеграционной шины в микросервисной архитектуре.

В программе:

• Как реализовать очередь сообщений с типом взаимодействия Publish/Subscribe для работы в real-time и обработки пиковых нагрузок.
• Как организовать очередь задач с типом взаимодействия Put/Take для обработки асинхронных задач.
• За счет каких технологий и инструментов повышается пропускная способность, масштабируемость и надежность очередей на базе Tarantool Queue Enterprise.

Вебинар будет полезен CTO, архитекторам и разработчикам высоконагруженных систем.

Регистрация #партнерскийматериал

​Мой бывший коллега по Confluent Robin Moffatt https://twitter.com/rmoff/ уже некоторое время ведет замечательный альманах Checkpoint Chronicles и собирает лучшие материалы по Kafka, Flink, Stream Processing. Поддержите моего бро, подпишитесь! Там годнота!

https://www.decodable.co/tag/checkpoint-chronicle

Kafka: Очереди сейчас и в будущем

Kafka поддерживает режим publish-subscribe, когда каждый клиент получает все сообщения топика. Однако, чаще требуется, чтобы клиенты потребляли уникальные подмножества сообщений. Это возможно благодаря consumer groups: в группе каждый потребитель получает набор партиций, из которых может потреблять данные.

Тем не менее, данный подход имеет ограничения. Поэтому появился KIP-932, направленный на добавление новых возможностей очередей в Kafka.

KIP-932 предлагает концепцию Shared Groups, позволяя кооперативное потребление сообщений из топика с произвольным числом потребителей. В отличие от consumer groups, назначение партиций (partition assignment) не эксклюзивное, что снимает ограничения по числу участников в consumer group.
Для тех, кто использует Kafka в продакшене, новые функции предложат значительные улучшения в производительности и гибкости. В статье Adam Warsky подробно рассматриваются текущие характеристики и ограничения consumer groups, новые возможности по KIP-932 и как их можно реализовать с помощью паттерна KMQ.

https://softwaremill.com/kafka-queues-now-and-in-the-future/

Какой ппц, конечно

После слияния VmWare и Broadcom начали выпиливать крутые кадры. Гари Расселл, автор множественных фреймворков спринга (amqp, jms, kafka, pulsar) и активный пользователь Stackoverflow (если вы когда-то гуглили вопросы про Spring+Kafka то точно видели его ответы) твитанул сегодня...

https://x.com/gprussell/status/1729644902235987976

Не знаю как это сложится на общем состоянии поддержки Kafka в Spring. Следим за развитием событий.

📣 На правах рекламы (а может быть и нет) - очень клевая конфа Scale (не путать со Scala) By The Bay https://www.scale.bythebay.io возвращается из онлайна в офлайн. В этом году она пройдет в Окленде, штат Калифорния с 13 по 15 ноября!
Будет много классных докладов (в том числе по Кафке). Так же обещают, Gwen Shapira будет делать keynote.
Для пользователей этого чата нам выписали скидку на билет GRECHA15. За подробностями пишите вашему одмену или @oli_kitty в личку!
Надеюсь увидять многих в ноябре!

​🖼️ Danica Fine из Confluent подробно рассказывает о выходе Apache Kafka 3.5 и всех улучшениях и нововведениях, которые этот релиз внесёт в мир потоковых данных. 🎥🎬

https://youtu.be/BVxDFL5iTx8

📣 Всем привет!
Те, кто не смог посетить недавнюю конференцию Kafka Summit, теперь могут радоваться! Все видеозаписи события теперь доступны онлайн и бесплатно!
Видео можно найти на сайте Confluent.
Всем пока!

​Свежая статья от Neil Buesing в которой он раскрывает все тонкости настройки Apache Kafka в режиме KRaft! Для тех кто не в курсе (что очень странно для меня т.к. мой видос про Kraft давно в сети), KRaft — это KRaft mode in Apache Kafka, режим, который позволяет Kafka работать без использования Apache ZooKeeper.
В статье вы найдете подробные инструкции и лучшие практики по настройке этого режима.
🔗 Статью вы можете прочитать по этой ссылке: тут
А если вы предпочитаете действовать на практике, у нас есть хорошая новость: код и docker compose файлы из статьи доступны на Github!
🔗 GitHub репозиторий: тут

​Jack Vanlightly конечно, графоман, но никто не пишет про бенчмарки так как он. В последнем опубликованном посте, он сравнил производительность Apache Kafka® и redpanda. И на удивление (на самом деле нет) AK оказалась быстрее. Если кратко
Его тесты производительности показали, что Redpanda значительно уступает Apache Kafka по нескольким параметрам. Тесты проводились на идентичном оборудовании с одинаковыми настройками. Вот несколько ключевых выводов:

- Изменение количества продюсеров и консьюмеров с 4 до 50 резко снизило производительность Redpanda, несмотря на сохранение пропускной способности.
- Постоянная нагрузка на Redpanda в течение 24 часов приводила к замедлению дисков NVMe, вызывая высокие задержки. - С Kafka таких проблем не возникало из-за его более последовательного IO доступа.
- При достижении лимита хранения Redpanda показывала большие конечные задержки. Kafka оставался стабильным.
- Использование записей-ключей приводило к снижению пропускной способности и увеличению задержек у Redpanda. Kafka показывал лучшую производительность.
- Только Kafka смог полностью использовать пропускную способность дисков NVMe в 2 ГБ/с.
- Консьюмеры могли только сократить задержки с Kafka при постоянной нагрузке продюсера.
- Несмотря на утверждения, Redpanda не может обеспечить работу с нагрузкой 1 ГБ/с с тремя брокерами i3en.6xlarge.

Более подробные детали с картинками в блоге у Jack Vanlightly.

К разговору про .NET и Kafka в чате вспомни, что рассказывал про это на (внимание) SpringOne. Очень просили сделать что-то для .NET разработчиков. Даже запись сохранилась https://youtu.be/KrrnUrPWUZY

​🐍 Confluent завезли курс по Кафке для Питонистов. Enjoy!
https://developer.confluent.io/learn-kafka/kafka-python/intro/

🤯 Вот это поворот - Confluent покупает стартап Immerok, который специализируется на предоставлении Managed Apache Flink.

Джей Крепс в анонсе:

Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.

In short: we believe that Flink is the future of stream processing.

Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.

Как вам новость? Используете Flink с Кафкой?

https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/

Мы тут все о Кафке и Кафке, но есть и другие тулы в экосистеме.
Всплыла в моей ленте статья (и туториал) о том как использовать Kafka вместе с Apache Pinot (процессинг) и Apache Superset (визуализация).
Пример построения на данных, полученных из Github events API (я когда-то делал стрим про GH Connector https://www.youtube.com/live/VA5FRk1OnTY)

Использовали ли вы что-то из этого стека?

https://medium.com/apache-pinot-developer-blog/using-apache-pinot-and-kafka-to-analyze-github-events-93cdcb57d5f7

https://docs.pinot.apache.org/basics/recipes/github-events-stream

​🎄🎄 Чат! Всех с новым годом!
В уходящем году мы таки получили Production Ready Kafka без Zookeeper и много всяких других приятных мелочей.
В уходящем году я таки дописал книгу про Kafka.

Желаю вам пуленепробиваемых внедрение кафки и меньше часов on-call.

🎧 📖 Записали интервью для GOTO Conference про книгу Kafka in Action.

https://youtu.be/2l-JsB10WaI

Кстати сегодня и завтра на сайте Manning Publishing можно забрать любую с 50% скидкой!

​Статья из разряда «А почему бы и нет 🤔» - чувак сделал Kafka Connect connector для Xbox LIVE events (используется API https://xbl.io).
👩‍💻 https://github.com/dalelane/kafka-connect-xboxlive-source
🧵 https://dalelane.co.uk/blog/?p=4779

На самом деле, я вижу это как отличную идею для демо, когда со сцены играешь в Xbox через Cloud Gaming и события провесишь в Кафке. К тому же еще один пример open source connector для Кафки.

В этом канале я часто пишу про всякие истории успеха Кафки и комьюнити.
Истории успеха являются ценными и важными для сообществ. Они мотивируют и вдохновляют, давая нам надежду и уверенность, что успех действительно возможен. Но иногда неплохо бы и критику почитать.

В Apache Kafka® community не все так радужно, как кажется на первый взгляд. Понятное дело, в нашей уютной телеге все не так, и все друг другу помогают. Но вот тут некий KNOWLES ATCHISON, JR написал статью о том как он пытался создать KIP и как он страдал.
Как я хотел помочь сообществу кафки и каким кошмаром это обернулось "
Сталкивались ли вы с чем-то подобным, можете привести пример community, в котором все гладко?