Посты канала Data Science. SQL hub

Как работает автоматическое переключение на резервный сервер в случае сбоя основного? 

Разберем концепцию высокой доступности баз данных и автоматического failover на практике

Приглашаем на открытый практический урок «Отказоустойчивый кластер Patroni» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка кластер Patroni, включая конфигурацию DCS, настройку PostgreSQL и HAProxy. 

Освойте основные команды Patroni для управления кластером, такие как переключение ролей, перезагрузка, реинициализация и настройка синхронной репликации. 

Навыки полученные на уроке позволят создать отказоустойчивые решения для своих баз данных и эффективно администрировать отказоустойчивые кластеры PostgreSQL.

👉  Регистрация и подробности: 
https://otus.pw/v5QN/?erid=2W5zFJ4NUvU

#реклама
О рекламодателе

🖥 Эта статья посвящена инструменту pg-index-health, созданному для статического анализа индексов PostgreSQL баз данных!

🌟 Автор описывает эволюцию инструмента, который помогает находить проблемы в структуре базы данных, такие как дублирующиеся или избыточные индексы, неиспользуемые индексы, а также потенциальные ошибки проектирования.

🔗 Ссылка: *клик*

@sqlhub

⚡️Как эффективно мигрировать данные в ClickHouse: Денормализация и оптимизация

11 марта в 20:00 мск — присоединяйтесь к вебинару с Константином Трофимовым и узнайте, как ускорить аналитику с помощью правильной миграции данных! 

На вебинаре вы:
> Изучите методы импорта данных из других систем в ClickHouse.
> Научитесь денормализовать данные для ускорения запросов.
> Узнаете, как обогатить данные с помощью словарей и других функций ClickHouse.

🔥После вебинара вы будете уверенно работать с миграцией данных в ClickHouse, улучшать производительность и избегать распространенных ошибок при переходе на новую систему.

Запишитесь на вебинар и улучшите свои навыки уже сегодня!

👉 Регистрация: https://otus.pw/glzWi/?erid=2W5zFJJ3rKA

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

SQL реально спасает жизни 😂

@sqlhub

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

@sqlhub

Defog Introspect

Defog Introspect позиционируется как сервис для глубокого исследования ваших данных. Он позволяет:

- Анализировать структурированные данные: Поддерживаются популярные СУБД (PostgreSQL, MySQL, SQLite, BigQuery, Redshift, Snowflake, Databricks) и файлы форматов CSV/Excel.
- Работать с неструктурированными данными: Интеграция PDF-документов, что позволяет получать дополнительные сведения из документации или отчетов.
- Выполнять поиск в интернете: Инструмент способен обращаться к веб-источникам для получения дополнительного контекста, что расширяет возможности анализа данных.
Источник:

Как это работает?
Инструмент использует "умного" AI-агента, который может:

- Преобразовывать текстовые запросы в SQL-запросы (инструмент text_to_sql), что упрощает работу с базами данных.
- Использовать веб-поиск (инструмент web_search) для поиска дополнительной информации и контекста.
- Анализировать PDF-файлы (инструмент pdf_with_citations) с возможностью цитирования источников.
Для реализации этих функций используются передовые модели, такие как:

o3-mini для преобразования текста в SQL.
gemini-2.0-flash для веб-поиска.
claude-3-7-sonnet для работы с PDF и общей оркестрации запросов.
Источник:

https://github.com/defog-ai/introspect

@sqlhub

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе?

Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow.

Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных.

Что мы будем делать на вебинаре:
🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность;
🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных;
🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике;
🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов.

🕗Встречаемся 4 марта в 19:30 по мск

Зарегистрироваться на бесплатный вебинар

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub

🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения!

🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования.

🔗 Ссылка: *клик*

#machinelearning #deeplearning

AI меняет мир, а вы остаетесь в стороне?

На Data Fusion 2025 есть все, что нужно знать об AI сегодня и завтра. 5-я международная конференция в сфере искусственного интеллекта и больших данных состоится уже 16-17 апреля в Москве!

Вас ждут:
🔥 Острые дискуссии: сможет ли AI заменить человека? Где грань между ошибкой ИИ и прорывом?
🔍 70+ сессий: тренды и передовые исследования в области больших данных и технологий AI
💡Классный нетворкинг: живое неформальное общение с бизнес-лидерами, учеными, представителями государства.

Расписание, спикеры и темы — уже на сайте.

Регистрируйтесь бесплатно по ссылке — https://data-fusion.ru
📍 Москва, технопарк «Ломоносов»

Мы заботимся о вашей безопасности и просим заполнить развернутую форму — это займет всего пару минут. Спасибо за понимание! 🙌

—
*AI — искусственный интеллект
*нетворкинг — полезные связи