DATABASE DESIGN @database_design Channel on Telegram

DATABASE DESIGN

@database_design

Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media

DATABASE DESIGN (Russian)

Если вы интересуетесь созданием эффективных баз данных и хотите углубить свои знания в этой области, то канал DATABASE DESIGN (@database_design) - именно то, что вам нужно. Здесь вы найдете лучшие материалы по работе с хранилищами данных на русском и английском языке. Этот канал предоставляет доступ к качественным материалам, которые помогут вам освоить основы баз данных, изучить методики и принципы их проектирования, а также узнать о последних тенденциях в этой области

Канал DATABASE DESIGN также предлагает возможность разместить рекламу через специального бота @tproger_sales_bot. Также вы можете ознакомиться с правилами общения в канале по ссылке: https://tprg.ru/rules. Если вы заинтересованы в других тематических каналах, вам стоит обратить внимание на @tproger_channels. Кроме того, вы можете ознакомиться с другими проектами команды, посетив ссылку: https://tprg.ru/media

Присоединяйтесь к каналу DATABASE DESIGN (@database_design) уже сегодня, чтобы стать экспертом в области баз данных и научиться создавать эффективные и надежные хранилища данных!

DATABASE DESIGN

15 Feb, 12:14

Данные на льду: как Apache Iceberg перевернул мир аналитических систем

Вы когда-нибудь ловили себя на мысли, что ваш Data Lake больше похож на черный ящик, чем на систему хранения? Дубли, потерянные версии, медленные запросы — вместо четкой структуры хаос, который только растет. Добро пожаловать в реальность работы с Parquet, ORC и классическими подходами к хранению данных. Они неплохи, но не умеют версионировать, оптимизировать и управлять транзакциями так, как это действительно нужно.

И вот появляется Apache Iceberg — файловый формат, который уже используют в Netflix, Apple, LinkedIn и Stripe для хранения петабайтов данных с минимальными издержками на поддержку. Но что делает его таким особенным? Почему его называют «Data Lake без боли»? И самое главное — как заставить Apache Iceberg работать на вас? Давайте разбираться.

Читать: https://habr.com/ru/companies/selectel/articles/875472/

#ru

@database_design | Другие наши каналы
57
DATABASE DESIGN

14 Feb, 17:07

Выбираем решение для NoSQL

Современные приложения требуют высокой скорости работы с данными, гибкости и масштабируемости — но реляционные базы данных не всегда соответствуют этим требованиям. NoSQL-решения предлагают альтернативные подходы к хранению информации, оптимизированные под разные задачи: от аналитики в реальном времени до работы с распределёнными системами. В этой статье мы разберём ключевые принципы NoSQL, сравним популярные базы данных и выясним, как выбрать оптимальное решение в зависимости от ваших потребностей.


Читать: https://habr.com/ru/companies/otus/articles/882598/

#ru

@database_design | Другие наши каналы
70
DATABASE DESIGN

14 Feb, 11:21

EDA of dataset Python

Привет, Хабр!

Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязны данные – это пропущенные значения, дубликаты, неконсистентные данные. Пропущенные значения заставляют нас гадать, что же было замыслено нашим коллегой; дубликаты вводят в заблуждение, умножая одно и то же на количество их копий, а неконсистентные данные заставляют нас сомневаться в каждой цифре.

Очищать грязные данные можно c Pandas. Рассмотрим основные методы.


Читать: https://habr.com/ru/articles/882588/

#ru

@database_design | Другие наши каналы
73
DATABASE DESIGN

14 Feb, 09:17

Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито. В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.


Читать: https://habr.com/ru/companies/avito/articles/881728/

#ru

@database_design | Другие наши каналы
79
DATABASE DESIGN

14 Feb, 09:15

Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито. В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.


Читать: https://habr.com/ru/companies/avito/articles/881728/

#ru

@database_design | Другие наши каналы
77
DATABASE DESIGN

13 Feb, 20:35

🧠 Усиление управления данными при помощи графов знаний

Компания WhyHow.AI разработала платформу на базе MongoDB для улучшения работы с графами знаний. Эти графы преодолевают недостатки традиционных систем, предоставляя точное извлечение и структурированные данные, что важно для AI и обучения моделей. Интеграция с MongoDB обеспечивает масштабируемость и поддерживает современный поиск и агрегацию данных. MongoDB Atlas: Обновление API для улучшенного опыта

В статье рассказывается об обновлённой версии API MongoDB Atlas, которая предлагает улучшение взаимодействия для разработчиков, предсказуемость изменений и поддержку OAuth2.0. Новая версия также включает обновлённый Go SDK, облегчающий работу с API, и дает более гибкие и минимально прерывающие процессы миграции.

Читать подробнее

#en

@database_design | Другие наши каналы
86
DATABASE DESIGN

13 Feb, 17:31

Новые ежегодные LTS релизы MariaDB Community Server

MariaDB объявила о ежегодных LTS релизах для стабильности и предсказуемости. Версия 11.8 станет следующей LTS в мае 2025 года, вводя векторный поиск для AI приложений. Теперь пользователи могут ожидать новые LTS версии каждый май, а также регулярные обновления инноваций.

Читать подробнее

#en

@database_design | Другие наши каналы
78
DATABASE DESIGN

13 Feb, 17:31

Новинки в MariaDB Community Server 11.7 и 11.8

MariaDB Community Server 11.7 теперь доступен для всех пользователей. Главной особенностью версии стал поиск по векторам, что значительно упрощает использование AI. Также обновлены функции генерации UUID и улучшены системные таблицы. Версия 11.8 в стадии релиз-кандидата и включает дальнейшие улучшения.

Читать подробнее

#en

@database_design | Другие наши каналы
77
DATABASE DESIGN

13 Feb, 10:20

Spring JPA и OOM: 5 способов спастись от кэш-ловушки Hibernate

Spring JPA + большие данные = OOM? Hibernate скрывает коварную ловушку, которая может перегрузить память и обрушить приложение. Разбираем причины, а главное – 5 эффективных способов избежать OOM, чтобы работать с миллионами записей без проблем! 🚀


Читать: https://habr.com/ru/articles/882132/

#ru

@database_design | Другие наши каналы
81
DATABASE DESIGN

13 Feb, 10:01

Кем стать: дата-сайентистом, аналитиком, инженером данных или ML

Чем занимаются и сколько зарабатывают специалисты Data Science — дата-сайентист, аналитик, дата-инженер и инжнер машинного обучения.

Читать: «Кем стать: дата-сайентистом, аналитиком, инженером данных или ML»

#ru

@database_design | Другие наши каналы
79
DATABASE DESIGN

13 Feb, 09:23

Хеш-индексы в PostgreSQL: быстрый поиск или скрытые проблемы?

Хеш-индексы в PostgreSQL - мощный, но недооценённый инструмент.

Когда они быстрее B-Tree, а когда наоборот?

Простое объяснение, тесты и ключевые нюансы, которые помогут ускорить запросы...


Читать: https://habr.com/ru/articles/882106/

#ru

@database_design | Другие наши каналы
78
DATABASE DESIGN

13 Feb, 09:22

Хеш-индексы в PostgreSQL: быстрый поиск или скрытые проблемы?

Хеш-индексы в PostgreSQL - мощный, но недооценённый инструмент.

Когда они быстрее B-Tree, а когда наоборот?

Простое объяснение, тесты и ключевые нюансы, которые помогут ускорить запросы...


Читать: https://habr.com/ru/articles/882106/

#ru

@database_design | Другие наши каналы
75
DATABASE DESIGN

13 Feb, 09:06

Как протестировать производительность СУБД перед миграцией: опыт K2Тех

После ухода западных вендоров в 2022 году российские компании столкнулись с необходимостью массовой миграции с Oracle и MS SQL на PostgreSQL и другие открытые СУБД. Теперь к вопросам миграции приходится относиться ответственнее: самостоятельно оценивать риски и прогнозировать работу систем после переезда.

Как перфоманс-инженер, я часто сталкиваюсь с вопросами типа: справится ли PostgreSQL с текущей нагрузкой? Потребуется ли обновление железа? Какие проблемы могут возникнуть после перехода? К сожалению, готовых инструментов для оценки производительности СУБД на рынке фактически нет. Это заставило нас разработать собственную методологию тестирования, которая позволяет выявить потенциальные проблемы и точно оценить необходимые ресурсы.

В этой статье я поделюсь практическим опытом нагрузочного тестирования баз данных и расскажу об инструментах, которые мы используем для анализа производительности. Наш подход не требует существенных затрат и может быть адаптирован под задачи любой компании, планирующей миграцию на PostgreSQL.


Читать: https://habr.com/ru/companies/k2tech/articles/882098/

#ru

@database_design | Другие наши каналы
81
DATABASE DESIGN

12 Feb, 16:04

Переход на новую версию API MongoDB Atlas

MongoDB представила обновленную версию API для администрирования Atlas. Новая версия API улучшает работу с программным доступом к функциям Atlas благодаря изменениям, обеспечивающим стабильность и предсказуемость обновлений. Переход на новую версию облегчит управление вашими базами данных. Новый виток онлайн-образования: опыт WanTong

Пандемия ускорила рост рынка онлайн-образования, и WanTong Education, использовав 70-летний опыт, выбрала MongoDB Atlas для улучшения управления данными. Это помогло повысить гибкость и скорость обработки данных, предоставив лучшую образовательную платформу для студентов.

Читать подробнее

#en

@database_design | Другие наши каналы
92
DATABASE DESIGN

12 Feb, 15:30

Анализ графа заметок Obsidian

Obsidian на Хабре посвящено немало статей и, главным образом, про то, как создать и вести в нем базу знаний или систему управления личными делами. При этом остается обделенной вниманием тема анализа накопленного графа заметок с точки зрения его структуры и динамики. А это дополнительный слой информации, в том числе не закладываемой явно в содержание самих заметок. В качестве примера проведу в данной статье анализ своего графа заметок, собранного за прошедший год.


Читать: https://habr.com/ru/articles/881886/

#ru

@database_design | Другие наши каналы
85
DATABASE DESIGN

12 Feb, 12:16

Миграция BI-аналитики: как перейти на Apache Superset и не потерять пользователей

Привет! Меня зовут Виталий Флёрин, я руководитель отдела BI-аналитики в M2. За год мы успешно перевели всю отчетность компании с Cognos Analytics на Apache Superset и увеличили MAU до 200 (каждый третий сотрудник компании). В статье хочу поделиться опытом внедрения новой системы отчетности и ее эффективного использования.

Материал будет полезен BI-специалистам, кто работает над развитием внутренних систем и хочет переехать на Superset.

История началась с того, что после ухода Cognos Analytics с российского рынка, нам нужно было выбрать новую BI для компании и мигрировать всю отчетность. Текущая система была развернута on-premises и продолжала работать в штатном режиме. Да, без обновлений и поддержки, но благодаря этому мы смогли тщательно подойти к выбору нового решения и обеспечить плавный переход пользователей на новую платформу.


Читать: https://habr.com/ru/companies/m2tech/articles/881190/

#ru

@database_design | Другие наши каналы
88
DATABASE DESIGN

12 Feb, 08:36

Вся правда о данных: от примитивов до озера данных в эпоху микросервисов. Гайд для Java-разработчика

Данные — это новая нефть. От эффективности работы с ними напрямую зависит успех любого проекта, особенно в эпоху микросервисов. В этой статье мы погрузимся в мир данных и рассмотрим его с точки зрения Java-разработчика, который хочет добиться продуктивности и оставаться во всеоружии при работе с любыми объемами информации.

Цель этой статьи - предоставить полное руководство по структурам, концептам и инструментам для работы с данными в экосистеме Java, с уклоном в микросервисную архитектуру.

Мы пройдем путь от простейших структур данных, таких как примитивы и массивы, до сложных концептов, таких как озера данных и потоки событий. Рассмотрим различные способы хранения, обработки и передачи данных, а также архитектурные компоненты, необходимые для построения эффективных систем. Подробно остановимся на стратегиях развития - как правильно выбрать структуру и инструменты в зависимости от стадии развития проекта - от прототипа до высоконагруженной системы. Особое внимание уделим специфике микросервисной архитектуры и тому, как она влияет на выбор подходов к работе с данными.

Статья будет полезна Java-разработчикам разного уровня: от начинающих, желающих систематизировать свои знания, до опытных, ищущих решения для сложных задач в области хранения, передачи и обработки данных.


Читать: https://habr.com/ru/articles/881682/

#ru

@database_design | Другие наши каналы
88
DATABASE DESIGN

11 Feb, 20:34

Новые версии коннекторов MariaDB уже доступны!

Компания MariaDB выпустила обновления для своих коннекторов: C 3.4.4, 3.3.14, 3.1.27 и Java 3.5.2. Изменения включают улучшения в компрессии данных и исправления ошибок. Детали доступны в релизных заметках на сайте компании.

Читать подробнее

#en

@database_design | Другие наши каналы
98
DATABASE DESIGN

11 Feb, 16:07

MongoDB продолжает укреплять позиции в сфере генеративного ИИ, став технологическим партнером года по версии Confluent. Ранее компания приветствовала шестерых новых партнёров в области ИИ и технологий, таких как Base64 и Dataloop, для улучшения интеграций с MongoDB. Узнайте больше в блоге MongoDB! MongoDB помогает ИТ-разработчикам в Индии

Независимые разработчики ПО играют ключевую роль в цифровой экономике Индии. Используя MongoDB, компании создают инновационные SaaS-решения, оптимизируя данные и повышая эффективность. Примеры таких стартапов - Intellect AI и Zluri, которые успешно справляются с растущими объемами данных.

Читать подробнее

#en

@database_design | Другие наши каналы
95
DATABASE DESIGN

11 Feb, 07:47

Почему мы перешли на RAID 10



Недавно у нас развалился RAID 5. Один диск на первом году своей жизни умер сам от естественных причин. Такое может быть и в период трёхлетней гарантии — нечасто, но может. Мы вынули его, поставили на его место диск из горячего резерва — и во время ребилда в массиве умер второй диск. Данные умерли вместе с ним.

Один из пользователей, чьи данные там были, очень живо интересовался тем, что за конфигурация у нас была. Вплоть до моделей дисков, дат их производства и серийных номеров. Он, вероятно, считал, что там стоит какое-то старьё, и до последнего не верил, что так бывает на новом железе. Потом очень искренне смеялся над фразой, что ни одна схема резервирования RAID не даёт стопроцентной гарантии сохранности данных.

Это правда: ни одна схема резервирования никогда не гарантирует 100 %. Случается всякое. Диски из одной партии могут умереть в один день: у нас такое было только один раз несколько лет тому назад, но было. Разболтавшийся кулер может вызвать резонансные вибрации, которые убьют два массива целиком: такое было больше пяти лет тому назад, и мы долго расследовали ту ситуацию.

Бывает всё.

В России не очень принято выплачивать компенсации за простои и потерю данных. В прошлом году мы поняли, что это важно делать, и включили такие пункты в соглашение.

Это привело к целой цепочке последствий, в частности, к тому, что мы перешли на RAID 10 как на новый для нас стандарт хранения данных.

Читать: https://habr.com/ru/companies/ruvds/articles/881290/

#ru

@database_design | Другие наши каналы
111
DATABASE DESIGN

11 Feb, 01:05

MongoDB стимулирует инновации SaaS в Индии, активно поддерживая независимых разработчиков ПО (ISVs).

Работая с такими компаниями, как Intellect AI и Ambee, MongoDB предлагает гибкие и масштабируемые технологии для создания эффективных решений. Это партнерство укрепляет позиции индийских ISVs на рынке современных цифровых решений.

Читать подробнее

#en

@database_design | Другие наши каналы
104
DATABASE DESIGN

10 Feb, 18:02

Новая эра безопасности в MongoDB Atlas: Политики ресурсов

MongoDB Atlas представила политики ресурсов, позволяющие разработчикам самостоятельно управлять ресурсами, сохраняя высокий уровень безопасности и соответствия. Это новшество обеспечивает централизованное управление и автоматизированную проверку, упрощая защиту данных и ускоряя инновации. Развенчиваем мифы о MongoDB и реляционных базах данных

Многие разработчики все еще опираются на представления о MongoDB из 2013 года, упуская десятилетие инноваций. В статье рассматриваются три популярных мифа: отсутствие схемы, несоответствие ACID и невозможность использовать JOINS. Узнайте, как MongoDB изменился и в чем его преимущества.

Читать подробнее

#en

@database_design | Другие наши каналы
83
DATABASE DESIGN

10 Feb, 17:39

Гарантии видимости в распределённых хранилищах

Здравствуйте, меня зовут Дмитрий Карловский и я.. стараюсь сложные вещи рассказывать простым языком, а простые вещи — эзоповым. И часто оказывается так, что в процессе упрощения и структурирования, на самом видном месте обнаруживаются скелеты древних динозавров, присыпанные мутными формулировками так, что долгие годы их никто не замечает. Что ж, если вы хотите окончательно разобраться в уровнях изоляции транзакций и гарантиях порядка операций, до давайте копать вместе.
Выпускайте эскалатор!

Читать: https://habr.com/ru/articles/881204/

#ru

@database_design | Другие наши каналы
84
DATABASE DESIGN

10 Feb, 15:02

Развенчиваем мифы о MongoDB и реляционных базах

Многие разработчики формируют свои представления о MongoDB на основе устаревшей информации. В статье развенчиваются ключевые мифы: отсутствие схемы, несоответствие ACID и невозможность JOINS. Реальность такова, что MongoDB предлагает гибкость и надежность, требуя лишь грамотного подхода к проектированию. MongoDB Atlas Flex: Новый взгляд на управление базами данных

MongoDB представила Atlas Flex, новый тарифный план для управления изменчивыми нагрузками. Он сочетает в себе преимущества предыдущих решений, предлагая гибкость и предсказуемость цен. Это идеальный выбор для стартапов и проектов всех стадий. Узнайте больше и начните работу сегодня!

Читать подробнее

#en

@database_design | Другие наши каналы
88
DATABASE DESIGN

10 Feb, 07:54

Debezium в действии: сбор и синхронизация отчётной базы данных

На текущий момент мы занимаемся разработкой для сотрудников банка фронтального приложения, в котором они смогут в одном окне видеть всю необходимую информацию, физически хранящуюся в трёх отдельных базах данных. В реализации самого приложения никаких особенностей и сложностей нет, чего не скажешь про его бэкенд.

Итак, задача, стоявшая перед нами — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.


Читать: https://habr.com/ru/companies/T1Holding/articles/880310/

#ru

@database_design | Другие наши каналы
93
DATABASE DESIGN

09 Feb, 10:46

Confluent Kafka: любовь и ненависть в .NET, часть 2

Привет! Как и обещала в первой части — теперь про ребалансировки и не только.

Выделяют безотлагательную и совместную ребалансировки.

При безотлагательной ребалансировке пользователи прекращают потребление из партиции, которые им назначены, затем отказываются от права владеть этими партициями, после снова присоединяются к consume group, получают совершенно новое назначение партиций и после этого возобновляют потребление. По сути, это короткое окно недоступности для всей consume group. Длина этого окна зависит от количества пользователей и некоторых параметров конфигурации.

Совместная ребалансировка - это инкрементная ребалансировка, при которой переназначается лишь некоторое подмножество партиций, и пользователи продолжают потребление из тех партиций, которые не были переназначены. Координатор уведомляет пользователей, что они должны будут отказаться от права владения некоторым подмножеством партиций, они прекращают потребление и отказываются от права владения. Затем эти партиции назначаются новым владельцам. Подход может включать несколько итераций, пока не будет достигнуто равномерное распределение. В отличие от безотлагательного подхода, мы не получаем полной недоступности. Это важно для больших consume groups, где балансировка может занять значительное количество времени.


Читать: https://habr.com/ru/companies/beeline_tech/articles/880834/

#ru

@database_design | Другие наши каналы
103
DATABASE DESIGN

08 Feb, 14:25

Яблочный SMB. Или как подружить Samba с iOS

Настраиваю домашний NAS на Ubuntu, сталкиваюсь с проблемами доступа через SMB на iOS, ищу решения и делюсь опытом. Рассказываю, как правильно настроить Samba, исправить несовместимости с Apple-устройствами с помощью VFS-модуля Fruit и избежать распространённых ошибок. В статье есть готовые конфиги, команды для настройки и ссылки на полезную документацию. Если вы тоже запускаете NAS и хотите минимизировать головную боль с правами доступа и совместимостью, этот материал для вас!


Читать: https://habr.com/ru/articles/880722/

#ru

@database_design | Другие наши каналы
101
DATABASE DESIGN

08 Feb, 08:22

Замедление работы pg_repack с помощью cgroup

Операция VACUUM FULL полностью пересоздаёт таблицу, предельно оптимизируя её. Она требует полной блокировки таблицы, поэтому высоконагруженные таблицы обрабатывать ею без простоя системы нельзя. Вместо VACUUM FULL можно использовать расширение pg_repack. Оно создаёт на обрабатываемой таблице триггер, отслеживающей модификации, создаёт копию таблицы, догоняет набежавшие изменения. В конце работы берётся короткая блокировка, старая таблица удаляется, новая становится на её место.

Недостатком pg_repack является то, что она работает СЛИШКОМ БЫСТРО – фактически данные копируются и удваиваются в объёме (по отношению к исходной таблице). Каталог pg_wal забивается с такой скоростью, что архиватор не успевает обрабатывать файлы.

Далее описывается способ замедления работы pg_repack с использованием механизма cgroup.


Читать: https://habr.com/ru/articles/880646/

#ru

@database_design | Другие наши каналы
103
DATABASE DESIGN

07 Feb, 16:20

🔍 Что такое Cache Warmup в Oracle Database?

В статье объясняется процесс cache warmup в True Cache — автоматизированной системе управления кэшем для баз данных Oracle. Узнайте, как правильная настройка кэша может существенно повысить производительность вашего приложения.

Читать подробнее

#en

@database_design | Другие наши каналы
102
DATABASE DESIGN

07 Feb, 12:53

Ошибки, которых следует избегать при миграции из Confluence

Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее

Читать: https://habr.com/ru/companies/documenterra/articles/880304/

#ru

@database_design | Другие наши каналы
105
DATABASE DESIGN

07 Feb, 12:50

Ошибки, которых следует избегать при миграции из Confluence

Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее

Читать: https://habr.com/ru/companies/documenterra/articles/880304/

#ru

@database_design | Другие наши каналы
103
DATABASE DESIGN

07 Feb, 11:57

Confluent Kafka: любовь и ненависть в .NET, часть 1

Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным.

О себе

Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD.

В двух словах о Kafka

Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.


Читать: https://habr.com/ru/companies/beeline_tech/articles/880424/

#ru

@database_design | Другие наши каналы
103
DATABASE DESIGN

07 Feb, 08:43

Зачем запускать облачную СУБД на выделенном сервере

Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.

Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!

Читать: https://habr.com/ru/companies/selectel/articles/880338/

#ru

@database_design | Другие наши каналы
105
DATABASE DESIGN

07 Feb, 08:38

Зачем запускать облачную СУБД на выделенном сервере

Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.

Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!

Читать: https://habr.com/ru/companies/selectel/articles/880338/

#ru

@database_design | Другие наши каналы
101
DATABASE DESIGN

06 Feb, 19:37

Свежие новости о мультиоблаке Oracle

Oracle представила ежемесячную сводку обновлений и ресурсов для мультиоблачных решений. Узнайте о последних новостях из Oracle Cloud Infrastructure, AWS, Azure и Google Cloud и оставайтесь в курсе всех технологических изменений и улучшений!

Читать подробнее

#en

@database_design | Другие наши каналы
112
DATABASE DESIGN

06 Feb, 18:04

Новый уровень в управлении базами данных: Atlas Flex Tier от MongoDB

MongoDB представила новый уровень услуг Atlas Flex Tier, сочетающий гибкость и прогнозируемость расходов. Он предназначен для разработчиков, сталкивающихся с изменяющимися нагрузками, и минимизирует сюрпризные расходы, позволяя сконцентрироваться на инновациях.

Читать подробнее

#en

@database_design | Другие наши каналы
111
DATABASE DESIGN

05 Feb, 18:03

Искусственный интеллект и MongoDB меняют управление сетями

Как AI и MongoDB помогают телекоммуникационным компаниям справляться с резкими всплесками трафика в городах, таких как Торонто? Совместное использование платформы MongoDB и архитектуры RAG позволяет быстро выявлять причины проблем и автоматизировать их устранение, существенно сокращая время на диагностику и реагирование.

Читать подробнее

#en

@database_design | Другие наши каналы
119
DATABASE DESIGN

05 Feb, 14:24

Начните искать по-новому с Oracle AI Vector Search

Хотите расширить возможности поиска в базе данных? Узнайте, как использовать Oracle AI Vector Search в новой версии Oracle Database 23ai. Эта технология позволит осуществлять более точный поиск по большим объемам данных. Оцените преимущества передовых алгоритмов вместе с Oracle.

Читать подробнее

#en

@database_design | Другие наши каналы
112
DATABASE DESIGN

03 Feb, 16:04

Векторные базы данных: простым языком про устройство и принцип работы

Пройдём путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутреннему устройству. Поймём, а где вообще использовать этот инструмент и посмотрим на векторные базы данных в деле.

Читать: «Векторные базы данных: простым языком про устройство и принцип работы»

#ru

@database_design | Другие наши каналы
53
DATABASE DESIGN

03 Feb, 16:04

🔍 Новый MongoDB Django Backend: Режим публичного превью

MongoDB анонсировала публичное превью пакета Django Backend, позволяющего интегрировать Django с MongoDB. Разработчики могут использовать модели Django для работы с документами MongoDB и получать преимущества админки Django. Это объединение ускорит разработку и упростит работу с базами данных. Узнайте больше в блоге MongoDB! Упрощение булевых выражений: ключевые методы

Пост: Исследование освещает подходы для упрощения булевых выражений, включая алгоритм Квайна-МакКласки и закон поглощения. Использование битовых операций ускоряет процесс, а метод Патрика минимизирует избыточность. Затронуты особенности в контексте MongoDB и MQL. Ускорение работы MongoDB с новым алгоритмом

Мы разработали алгоритм для упрощения логических выражений, который в одном случае улучшил производительность MongoDB на 18,100%. Этот проект демонстрирует нашу приверженность решению задач клиентов и постоянному усовершенствованию работы с запросами. Узнайте больше в сообществе MongoDB!

Читать подробнее

#en

@database_design | Другие наши каналы
53
DATABASE DESIGN

03 Feb, 11:36

Путеводитель по техническим транзакциям с Camunda 8 и Spring

Интересно, как работают технические транзакции с Camunda и фреймворком Spring? Узнайте больше о транзакционном поведении в этом посте.


Читать: https://habr.com/ru/articles/879026/

#ru

@database_design | Другие наши каналы
76
DATABASE DESIGN

03 Feb, 00:17

Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях

Опытный разработчик объяснил, почему новички тонут в туториалах, а не в знаниях, и предложил сосредоточиться на базовых принципах программирования

Читать: «Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях»

#ru

@database_design | Другие наши каналы
92
DATABASE DESIGN

02 Feb, 18:21

Вредоносный код навсегда сохранили в блокчейне

Один из старых хакерских трюков — распространять вредоносное ПО под видом обновления браузера. На взломанном сайте размещается плашка с утверждением, что для просмотра нужно обновить браузер. И кнопка для скачивания обновления, как на скриншоте с прошлогодней атаки ClearFake. Таким образом, жертва самостоятельно устанавливает вредоносное ПО на свой компьютер.

В прошлом году злоумышленники разработали умный способ защитить вредоносный софт от уничтожения. Они разместили его в децентрализованном анонимном блокчейне. То есть интегрировали код в смарт-контракт, который навечно сохранился в открытом доступе.


Читать: https://habr.com/ru/companies/globalsign/articles/878822/

#ru

@database_design | Другие наши каналы
95
DATABASE DESIGN

02 Feb, 14:43

Нужен ли Postgres альтернативный сборщик статистики таблиц?

Речь здесь пойдёт о стабильности стандартной статистики Postgres и об идее очередного расширения - на этот раз альтернативы команде ANALYZE. Всё началось с того, что заканчивая работу над предыдущей статьёй я вдруг заметил, что результат выполнения одного и того же запроса теста Join Order Benchmark (JOB) в серии последовательных прогонов может отличаться в разы и даже на порядки - причем как по значению параметра execution-time, так и по pages-read. Это выглядело очень странно, поскольку и тест и ноутбук и все настройки оставались теми же - даже погода за окном. И я решил расследовать, что происходит …


Читать: https://habr.com/ru/articles/878724/

#ru

@database_design | Другие наши каналы
96
DATABASE DESIGN

02 Feb, 11:30

Приключение по перереносу аналитики из Oracle в Iceberg

Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.


Читать: https://habr.com/ru/articles/878764/

#ru

@database_design | Другие наши каналы
100
DATABASE DESIGN

01 Feb, 18:09

Как бизнесу легально использовать метрические программы, если в законе не написано, что это такое

Под занавес ушедшего в безвременье 2024-го года внимательный читатель спросил в комментариях, что такое метрические программы (МП). Ему нужна была выдержка из закона. Ведь Роскомнадзор просит бизнес предупреждать посетителей сайтов о том, что их персональные данные (ПД) обрабатываются метрическими программами, а что такое метрические программы никто не знает.

Погружаться в бездну философских размышлений о том, почему одни реалии для нас более значимы, а другие – менее, не буду. Вместо этого предлагаю выяснить, существуют ли на самом деле метрические программы, находятся ли они сейчас в этой комнате и, если да, то как с ними работать, чтобы не попасть под штрафы Роскомнадзора.


Читать: https://habr.com/ru/articles/878644/

#ru

@database_design | Другие наши каналы
107
DATABASE DESIGN

01 Feb, 13:25

Бесконечное хранилище данных в Telegram

Изучая Aiogram, мне стало понятно, что лимиты для тг-ботов достаточно большие, поэтому с их помощью можно хранить объемные данные

Немного покопавшись, я создал библиотеку, для того, чтобы было проще работать с данными


Читать: https://habr.com/ru/articles/878602/

#ru

@database_design | Другие наши каналы
104
DATABASE DESIGN

01 Feb, 12:12

Новый рекорд емкости: жесткие диски на 36 ТБ уже в продаже

Компания Seagate начала поставки новейших жестких дисков емкостью 36 ТБ избранным клиентам. Эти HDD стали самыми емкими в мире среди серийно производимых моделей. Кроме того, Seagate удалось достичь плотности записи в 6 ТБ на одной пластине, что открывает путь к созданию накопителей объемом до 60 ТБ. Подробности — под катом.


Читать: https://habr.com/ru/companies/selectel/articles/878423/

#ru

@database_design | Другие наши каналы
100
DATABASE DESIGN

01 Feb, 09:24

Проверка на (не)вхождение строк через разные инструменты в PostgreSQL

Сравниваем использование IN, EXISTS и JOIN для нахождения вхождений и рассматриваем их планы выполнения для разных ситуаций.
Найти вхождение (◕‿◕)

Читать: https://habr.com/ru/articles/878574/

#ru

@database_design | Другие наши каналы
97
DATABASE DESIGN

01 Feb, 01:02

Новые возможности работы с Property Graphs

Oracle предлагает новый LiveLab спринт, который помогает освоить работу с Property Graphs в автономной базе данных на бесплатном уровне Oracle 23c. Узнайте, как начать работу с этой передовой технологией и расширить свои навыки в области баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
98
DATABASE DESIGN

31 Jan, 17:32

Новые возможности Oracle Autonomous Health Framework 25.1

Oracle выпустила обновление для Autonomous Health Framework 25.1. Теперь поддерживаются Exadata X11M и Exadata System Software 25.1. Улучшен автоматический анализ проблем, упрощено управление учетными данными и SSH-ключами, а также добавлена поддержка ограничений ресурсов ЦП на Oracle Linux 9.

Читать подробнее

#en

@database_design | Другие наши каналы
92
DATABASE DESIGN

31 Jan, 14:04

Как я создала приложение, которое решает, что мне есть

Работать на удалёнке прекрасно, за исключением одного — всё время нужно что-то готовить. А для этого — придумать, что бы такого вкусного тебе хотелось съесть сегодня.
Меня зовут Лена Райан, я фронтенд-разработчик в Точка Навыки. Недавно закончила свой новый пет-проект — приложение, которое анализирует, какие продукты уже есть дома, и даёт подсказки, что можно из них сделать. В этой статье рассказываю, с какими сложностями пришлось столкнуться, и что в итоге получилось.

Читать: «Как я создала приложение, которое решает, что мне есть»

#ru

@database_design | Другие наши каналы
101
DATABASE DESIGN

31 Jan, 11:41

Менеджер паролей для бизнеса — большой обзор 2025

Стек технологий безопасности для рабочих мест будет неполным без программ управления паролями для сотрудников. Почему?


Читать: https://habr.com/ru/articles/878346/

#ru

@database_design | Другие наши каналы
96
DATABASE DESIGN

31 Jan, 05:45

Сальваторе Санфилиппо возвращается в Redis

Друзья, как будто мы пропустили интересное и важное событие! В декабре 2024 года Сальваторе Санфилиппо - автор Redis - спустя 4 с половиной года отсутствия в проекте возвращается к своему детищу.

Для меня редис - это по-прежнему простой и эффективный элемент разрабатываемых систем. Возможно еще и поэтому я с большим интересном и даже удовольствием прочитал пост antirez-а о возвращении. Под катом взгляд Сальваторе на проблемы лицензирования, раскол в сообществе редис, нейронные сети и LLM, векторный поиск и, конечно, дальнейшие планы по работе над Redis и всё, что с этим связано.
Приятного чтения!

Читать: https://habr.com/ru/articles/878184/

#ru

@database_design | Другие наши каналы
112
DATABASE DESIGN

30 Jan, 16:10

Как защитить серверы критических отраслей от удаленного взлома и физического проникновения

Привет, Хабр! Как давно вы мониторили рынок современных аппаратно-программных комплексов защиты серверов и серверного оборудования? С тех пор как доступ западных новинок на наш рынок сократился под давлением внешних факторов, начала стремительно расти актуальность отечественных разработок в области надежной и эффективной защиты данных на уровне железа. Этот рост стимулировали законодательные инициативы, ужесточившие требования к локализации систем защиты. Так появился криптозамок от Fplus – полностью отечественная разработка, уже доступная на рынке.


Читать: https://habr.com/ru/companies/fplus_tech/articles/878114/

#ru

@database_design | Другие наши каналы
105
DATABASE DESIGN

30 Jan, 16:08

Ускорение запросов MongoDB через упрощение булевых выражений

На MongoDB Blog появилась статья о повышении производительности запросов за счет упрощения булевых выражений. Это позволяет сократить вычислительные затраты и улучшить планирование запросов. Основой метода стал модифицированный алгоритм Квайна–Мак-Класки в сочетании с методом Петрика. Улучшение производительности MongoDB с помощью упрощения логических выражений

MongoDB представила алгоритм для упрощения логических выражений, который улучшает исполнение запросов, применяя методы Куайна-Маккласки и метод Петрика. Новая система, основанная на результатах реальных пользователей, повысила пропускную способность на 18,100% в сложных сценариях. Это пример как идеи превращаются в практические улучшения. История успеха Mateus Leonardi в сообществе MongoDB

Mateus Leonardi, признанный участник сообщества MongoDB, активно развивает локальные группы пользователей в Бразилии. Он выступает на мероприятиях, делится своим опытом и знаниями, помогая другим разработчикам. Его вклад в развитие сообщества был отмечен наградой за вклад в 2024 году.

Читать подробнее

#en

@database_design | Другие наши каналы
105
DATABASE DESIGN

30 Jan, 06:33

Нашумевший ИИ DeepSeek оказался «дырявым» — его БД лежала в открытом доступе

Исследователи обнаружили, что база данных DeepSeek была открыта для внешнего доступа. В ней хранились история чатов, API-ключи и логи работы сервиса

Читать: «Нашумевший ИИ DeepSeek оказался «дырявым» — его БД лежала в открытом доступе»

#ru

@database_design | Другие наши каналы
122
DATABASE DESIGN

29 Jan, 23:52

Что учесть перед миграцией базы данных Oracle

Планируете миграцию базы данных Oracle? Учтите важные аспекты: критичность нагрузки, усилия по настройке и поддержке, а также затраты. Эти факторы помогут принять обоснованное решение и избежать проблем в будущем.

Читать подробнее

#en

@database_design | Другие наши каналы
115
DATABASE DESIGN

29 Jan, 20:08

Обновления в Oracle Database и Graph Server

Вышло обновление Oracle Database 23.7 и Graph Server 25.1. Среди новинок — добавление ROWS-клауз для SQL Property Graphs, обновления инструмента визуализации графов и новый Quicksetup-скрипт для Graph Server. Узнайте подробности о последних улучшениях!

Читать подробнее

#en

@database_design | Другие наши каналы
112
DATABASE DESIGN

29 Jan, 16:07

Поздравляем Матеуса Леонарди с получение премии William Zola Award 2024 за выдающиеся достижения в MongoDB сообществе! За год он организовал шесть мероприятий MongoDB User Group, стал MongoDB Community Creator и активно делился своим опытом. Узнайте больше о его вкладе на MongoDB Community! 🔗 Бесперебойная синхронизация с новым коннектором Ditto для MongoDB

Узнайте, как новый двусторонний коннектор от Ditto позволяет поддерживать актуальность данных в любых условиях. Подходит для продажи, логистики и других сфер. Коннектор автоматически синхронизирует данные даже при отсутствии связи. Упростите интеграцию и обеспечьте надежное обновление данных!

Читать подробнее

#en

@database_design | Другие наши каналы
105
DATABASE DESIGN

28 Jan, 17:43

Ускоряем приложения с Oracle True Cache

Не упустите возможность сделать ваши приложения быстрее и масштабируемее с помощью Oracle True Cache. Узнайте, как эффективнее использовать KEEP pool, чтобы значительно повысить производительность кэша. Подробности в статье.

Читать подробнее

#en

@database_design | Другие наши каналы
45
DATABASE DESIGN

28 Jan, 16:07

🔗 Новый коннектор для MongoDB

Ditto MongoDB Connector решает проблему синхронизации данных между мобильными устройствами и облаком. Новый двусторонний коннектор обеспечивает надежную и бесперебойную передачу данных даже в условиях плохой связи. Это решение уже доступно для интеграции в вашей системе! Баланс работы и жизни: советы от инженера MongoDB

В новой статье серии "Away From the Keyboard" инженер Ariel Hou рассказывает о своем опыте достижения баланса между работой и личной жизнью. Она делится методами создания границ, такими как физическое разделение пространства и "неразрыванием печати" на работе из дома. Узнайте, как это помогает оставаться продуктивным и счастливым инженером.

Читать подробнее

#en

@database_design | Другие наши каналы
58
DATABASE DESIGN

28 Jan, 15:03

Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос

Иван Якунин, продуктовый аналитик команды Fintech Marketplace, рассказал про то, как в Авито работают с Vertica, и на примерах объяснил, что такое проекции, и когда их стоит использовать.

Читать: «Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос»

#ru

@database_design | Другие наши каналы
59
DATABASE DESIGN

28 Jan, 09:10

Дорожная карта миграции большого хранилища данных

Недавно решали на работе задачу миграции хранилища данных. Оно у нас одно из крупнейших в отрасли, по крайней мере, в нашей стране. Оказалось, что даже на этапе планирования всё не так просто, как кажется. Делюсь проблемами, их решениями и получившейся дорожной картой.

Привет, Хабр! Меня зовут Татьяна Сеземина. Я — директор портфеля проектов Т1 ИИ и руковожу проектами разработки и миграции больших хранилищ данных, сейчас мои проекты касаются отраслей  ритейла и логистики. Каждый проект миграции длится от года до нескольких лет. Одна из моих команд столкнулась с необходимостью детального планирования длительной многолетней миграции хранилища, вплоть до каждого объекта. Расскажу, почему так произошло и как такую проблему решать.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/876306/

#ru

@database_design | Другие наши каналы
79
DATABASE DESIGN

28 Jan, 07:15

Как мы усовершенствовали CDP благодаря агрегатным атрибутам

Постоянный рост конкуренции на рынке вынуждает компании учиться глубже понимать клиентов и адаптировать свои предложения под их потребности. В решении этой задачи маркетологам, аналитикам данных и владельцам бизнеса помогают платформы клиентских данных, которые улучшают персонализацию маркетинговых кампаний и повышают эффективность взаимодействия с клиентами. Под катом мы расскажем, как платформы могут помочь в этом процессе, обсудим концепцию агрегатных атрибутов и их роль в оптимизации работы с данными о клиентах.


Читать: https://habr.com/ru/companies/lanit/articles/875642/

#ru

@database_design | Другие наши каналы
84
DATABASE DESIGN

27 Jan, 16:01

Тайм-менеджмент: как Ариэль Хоу находит баланс между работой и личной жизнью

Ариэль Хоу, инженер MongoDB, делится опытом, как сохранить границы между работой и личным временем. Она использует два ключевых правила: не реагировать на рабочие вопросы в нерабочее время и физически разделять рабочее пространство. Эти принципы помогают не только сохранять баланс, но и повышают эффективность в работе. Узнайте больше о том, как это может изменить вашу карьеру. 🔒 Повышение безопасности: MongoDB и RegData в финансовом секторе

Финансовые учреждения сталкиваются с вызовами в защите данных во время цифровой трансформации. MongoDB совместно с RegData предлагает решения для безопасности, объединяя шифрование и контроль доступа. Эти инструменты помогают соблюдать регулятивные требования и защищать данные клиентов.

Читать подробнее

#en

@database_design | Другие наши каналы
87
DATABASE DESIGN

27 Jan, 14:00

Вопрос на техинтервью аналитика и разработчика: “Назовите способы проверки username на уникальность”

Продолжаем посты на тему технических интервью. Новый пост, который мы позаимствовали у автора Дилана Смита, будет для джунов по специальностям «Системный аналитик», «Backend‑разработчик» и «Fullstack‑разработчик». Иногда такой вопрос также попадается на интервью архитекторам и инженерам баз данных. Ответ на вопрос из заголовка может быть как очень коротким, где всего четыре пункта, так и развернутым — включая примеры кода и диаграммы. Естественно, мы рассмотрим тему во всех подробностях.


Читать: https://habr.com/ru/companies/ssp-soft/articles/876622/

#ru

@database_design | Другие наши каналы
87
DATABASE DESIGN

27 Jan, 05:12

Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse

Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали  репликацию материализованных представлений.


Читать: https://habr.com/ru/companies/flant/articles/875510/

#ru

@database_design | Другие наши каналы
94
DATABASE DESIGN

26 Jan, 16:48

Как благодаря полётам в космос, лесозаготовкам и облакам появились современные СУБД

Редко можно встретить технологии, которые существуют более пятидесяти лет в стремительно меняющейся ИТ-индустрии. Пока одни разработки быстро теряют актуальность, базы данных продолжают играть ключевую роль. По мере увеличения объёмов данных растёт и потребность в инструментах для их обработки, управления и анализа.

Первая СУБД, основанная на иерархическом подходе, была разработана ещё в 1960-х годах. В 1970-х появились реляционные системы, которые и сегодня остаются востребованными благодаря своей универсальности и эффективности.

Сегодня обсудим, каким был путь развития СУБД.


Читать: https://habr.com/ru/companies/mws/articles/876768/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

26 Jan, 16:43

Как благодаря полётам в космос, лесозаготовкам и облакам появились современные СУБД

Редко можно встретить технологии, которые существуют более пятидесяти лет в стремительно меняющейся ИТ-индустрии. Пока одни разработки быстро теряют актуальность, базы данных продолжают играть ключевую роль. По мере увеличения объёмов данных растёт и потребность в инструментах для их обработки, управления и анализа.

Первая СУБД, основанная на иерархическом подходе, была разработана ещё в 1960-х годах. В 1970-х появились реляционные системы, которые и сегодня остаются востребованными благодаря своей универсальности и эффективности.

Сегодня обсудим, каким был путь развития СУБД.


Читать: https://habr.com/ru/companies/mws/articles/876768/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

24 Jan, 10:03

Big Data в 2025: Как изменились технологии работы с данными и что нас ждет дальше?

Big Data в 2025. Показываем основные технологии работы с большими данными. Рассматриваем пошаговую инструкцию ✔ Tproger

Читать: «Big Data в 2025: Как изменились технологии работы с данными и что нас ждет дальше?»

#ru

@database_design | Другие наши каналы
115
DATABASE DESIGN

24 Jan, 09:07

Достижение согласованности без менеджеров транзакций

Вам нужно интегрировать несколько компонентов без помощи менеджеров транзакций с поддержкой ACID (атомарность, согласованность, изоляция и долговечность)? Тогда этот пост для вас.

Я сначала кратко объясню, что такое менеджеры транзакций и почему вы можете не иметь их под рукой в современных архитектурах. Затем я опишу решение, как работать без менеджеров транзакций в целом, а также рассмотрю проект, который я знаю лучше всего, как конкретный пример: движок процессов Camunda.


Читать: https://habr.com/ru/articles/876292/

#ru

@database_design | Другие наши каналы
108
DATABASE DESIGN

24 Jan, 08:10

Настройка бэкапов в S3 через Microsoft SQL Server без скриптов и стороннего ПО

Привет, Хабр! Меня зовут Даниил, я дежурный системный инженер в Selectel. Но так было не всегда. Несколько лет назад я работал системным администратором в маленькой компании. И в какой-то момент мы решили внедрять 1С. А так как все вокруг у нас было на Windows, выбор пал на Microsoft SQL Server. Связка казалась самой очевидной и простой. В то время опыта у меня было маловато, многого я не знал, но прекрасно понимал, что резервное копирование — наше все. Так я без должного опыта занялся настройкой бэкапирования через MS SQL. Путь оказался не самым простым, поэтому я решил поделиться с новичками набитыми шишками и полученным опытом.

Читать: https://habr.com/ru/companies/selectel/articles/875956/

#ru

@database_design | Другие наши каналы
102
DATABASE DESIGN

24 Jan, 04:14

Горизонтальное масштабирование базы данных. Репликация. Партицирование. Шардирование

В современном мире данных нагрузка на базы данных стремительно растёт. Когда один сервер перестаёт справляться с объёмом запросов, встаёт вопрос о масштабировании: как эффективно распределить нагрузку, сохранив высокую производительность и доступность?

Существует множество стратегий решения указанной проблемы. Сегодня мы разберем самые популярные из них - репликацию, партициривание и шардирование. Рассмотрим их принципы, плюсы и минусы, а также лучшие практики применения. Понимание этих техник поможет разработчикам и архитекторам строить отказоустойчивые, масштабируемые и высокопроизводительные системы хранения данных.


Читать: https://habr.com/ru/articles/875708/

#ru

@database_design | Другие наши каналы
103
DATABASE DESIGN

23 Jan, 16:02

Защита данных в цифровую эпоху: MongoDB и RegData на страже финансов

Текст: В финансовом секторе, движущемся к цифровой трансформации, безопасность данных становится ключевым приоритетом. MongoDB и RegData предлагают надежное решение, позволяя финансовым учреждениям сохранять конфиденциальность и соответствовать нормативным требованиям в условиях внедрения ИИ и машинного обучения. MongoDB — оптимальный выбор для финансовых сервисов

Текст: Ведущие мировые банки переходят на MongoDB, используя его гибкость и масштабируемость для модернизации своей архитектуры. MongoDB поддерживает инновации и упрощает интеграцию ИИ, обеспечивая безопасность данных и адаптацию к бизнес-изменениям.

Читать подробнее

#en

@database_design | Другие наши каналы
109
DATABASE DESIGN

22 Jan, 16:05

MongoDB: Будущее финансовых данных

MongoDB предлагает документную модель для финансовых сервисов, обеспечивая гибкость и масштабируемость. Это позволяет банкам быстро адаптироваться, снижать затраты и улучшать производительность приложений. Семь из десяти крупнейших банков мира уже используют MongoDB. Узнайте, почему это важно для вашей деятельности. 🚀 Революция в клиническом поддержке решений: Kraken Coding и Clinical Branches

Kraken Coding преобразует доступ к медицинской информации с помощью Clinical Branches. Используя MongoDB, это инновационное решение оптимизирует процессы принятия решений и повышает качество ухода за пациентами. Будущее клинической медицины становится ярче!

Читать подробнее

#en

@database_design | Другие наши каналы
105
DATABASE DESIGN

22 Jan, 13:17

pg_profile и pgpro_pwr: анализируем производительность БД

Администраторы баз данных часто ломают голову над тем, чтобы выявить самые «прожорливые» процессы, из-за которых страдает быстродействие систем. В далеком 2017-м DBA (а теперь инженер Postgres Professional) Андрей Зубков тоже задавался этим вопросом, а в результате придумал утилиту pg_profile для PostgreSQL, которая сейчас «проросла» в pgpro_pwr.

В этой статье мы расскажем о стратегическом мониторинге БД и научим выявлять узкие места в ваших БД с помощью наших утилит.


Читать: https://habr.com/ru/companies/postgrespro/articles/868174/

#ru

@database_design | Другие наши каналы
123
DATABASE DESIGN

22 Jan, 09:10

Мониторинг систем хранения данных в Docker Compose: из чего состоит и как его повторить

Год назад к инженерам YADRO обратился клиент с просьбой помочь с настройкой мониторинга для СХД TATLIN.UNIFIED. Ему нужно было готовое интегрированное решение, которое бы не нагружало инженеров компании. Так появился Monitoring Appliance — приложение для мониторинга систем хранения данных, которое можно развернуть на сервере за пять минут. В статье рассказываем, как собирать с СХД все возможные данные и где могут быть подводные камни.


Читать: https://habr.com/ru/companies/yadro/articles/875566/

#ru

@database_design | Другие наши каналы
115
DATABASE DESIGN

21 Jan, 18:08

🔍 Kraken Coding: Новый Взгляд на Медицину

Kraken Coding с продуктом Clinical Branches меняет подход к медицинской поддержке решений. Используя MongoDB, они создают алгоритмы, упрощая доступ к информации и повышая безопасность пациентов. С помощью AI и баз данных они прогнозируют риски и оптимизируют лечение. MongoDB на перекрестке технологий и опыта

Исследуйте, как команды API Experience и Kubernetes в MongoDB создают уникальный опыт для разработчиков, обеспечивая бесшовное взаимодействие с продуктами. С фокусом на DevOps Tools и крупномасштабной архитектуре, MongoDB помогает клиентам раскрывать потенциал данных в эпоху ИИ. Узнать больше о карьере: [ссылка].

Читать подробнее

#en

@database_design | Другие наши каналы
117
DATABASE DESIGN

21 Jan, 17:00

Ускорьте свои приложения с Oracle True Cache

Хотите повысить производительность своих приложений? Ознакомьтесь с Oracle True Cache — решением, которое обеспечивает ускоренную обработку данных и улучшает скорость работы ваших систем. Узнайте, как эта технология может оптимизировать ваши операционные процессы и повысить их эффективность.

Читать подробнее

#en

@database_design | Другие наши каналы
102
DATABASE DESIGN

08 Jan, 15:01

🔍 Новый интерактивный инструмент от MongoDB

MongoDB представила Search Demo Builder, который позволяет изучить возможности Atlas Search без создания аккаунта. Это интуитивно понятная среда для настройки поисковых функций, таких как автозаполнение и фильтры, без потребности в технических навыках. Попробуйте уже сегодня! Как MongoDB Улучшает Производительность Баз Данных

Пост: В условиях изменчивого бизнеса ZH использует MongoDB для повышения стабильности и расширяемости баз данных. Шардирование для распределения данных и сжатие снижают нагрузку и экономят дисковое пространство. Это позволяет быстрее обрабатывать запросы и избегать проблем с застойными данными. Узнайте больше подробнее. Оптимизация SonyLIV с помощью MongoDB Atlas

SonyLIV выбрал MongoDB Atlas для миграции данных и улучшения работы с контентом. Благодаря поддержке MongoDB Professional Services, время задержки сократилось с 1.3 секунд до 0.022, значительно повысив производительность. Это позволило SonyLIV быстрее выпускать контент и улучшать пользовательский опыт.

Читать подробнее

#en

@database_design | Другие наши каналы
59
DATABASE DESIGN

08 Jan, 01:02

У SonyLIV на 98% улучшилась производительность CMS благодаря MongoDB Atlas

Платформа SonyLIV, популярная в Индии, значительно повысила качество работы своей системы управления контентом (CMS) после перехода на MongoDB Atlas. Это позволило увеличить скорость обработки запросов и улучшить пользовательский опыт, справляясь с потоками данных в режиме реального времени. 🔍 MongoDB и PeerAI: Быстрая миграция и анализ в реальном времени

PeerAI предлагает предприятиям модернизировать устаревшие системы Sybase на MongoDB, обеспечивая мгновенную аналитику и масштабируемость. Процесс, занимающий раньше до 18 месяцев, теперь можно завершить за 3-4 месяца при снижении затрат до 50%. 🚀 Оптимизация баз данных на Zhihu с помощью MongoDB

Zhihu столкнулся с проблемой масштабируемости из-за увеличения данных. MongoDB помогает оптимизировать ресурсы и уменьшить нагрузку благодаря зоне и тегам. Технология сжатия позволяет эффективно использовать дисковое пространство. MongoDB уже активно используется в различных бизнес-направлениях Zhihu.

Читать подробнее

#en

@database_design | Другие наши каналы
79
DATABASE DESIGN

08 Jan, 01:02

Как Zhihu и MongoDB обеспечивают надежность данных

Zhihu, крупнейшая платформа вопросов-ответов в Китае, использует MongoDB для повышения надежности и безопасности данных. Решение помогает обрабатывать огромные объемы информации в режиме реального времени, обеспечивая быстрое и эффективное реагирование на подозрительное поведение пользователей. MongoDB в поддержке больших данных

В условиях растущей потребности в масштабируемых базах данных, MongoDB предлагает решения для оптимизации ресурсов и эффективного хранения данных. Технологии, такие как шардирование и мощные компрессии, позволяют крупным платформам, включая Zhihu, управлять огромными объемами данных с минимальной нагрузкой. SonyLIV увеличила производительность CMS на 98% с MongoDB Atlas

SonyLIV, ключевая платформа потокового видео в Индии, модернизировала свою систему управления контентом с помощью MongoDB Atlas. Была улучшена производительность поиска и снижено время задержки до минимальных 0,03 секунд, что привело к более высокому качеству пользовательского опыта и ускорило выход нового контента.

Читать подробнее

#en

@database_design | Другие наши каналы
72
DATABASE DESIGN

07 Jan, 18:25

🔍 Прорыв в производительности с Exadata X11M

Exadata X11M, оптимизированная для процессоров AMD EPYC, обеспечивает значительно более высокую производительность по сравнению с конкурентными системами. Улучшения затрагивают все рабочие нагрузки: ускоряются AI-запросы, IOPS, доступ к хранилищу и аналитические сканирования.

Читать подробнее

#en

@database_design | Другие наши каналы
80
DATABASE DESIGN

07 Jan, 18:14

Мои результаты тестов сравнения быстродействия NVME-over-TCP и NVME-over-RDMA

На хабре уже было несколько статей, посвящённых технологии NVME over Fabric, которая в последнее время становится всё более популярной для сетевых дисковых подключений. Мы сейчас строим некую новую систему и у меня возникла мысль протестировать и сравнить несколько различных настроек. Возможно, кому-то из коллег будут полезны полученные мной результаты.


Читать: https://habr.com/ru/articles/872084/

#ru

@database_design | Другие наши каналы
81
DATABASE DESIGN

07 Jan, 17:03

Упрощаем переход с Oracle на MariaDB

Планируете миграцию с Oracle на MariaDB? Использование sql_mode и DBeaver значительно облегчит этот процесс. DBeaver поможет с переносом схемы и данных, а режим Oracle в MariaDB упростит адаптацию SQL-кода. Преимущества MariaDB: снижаем затраты и повышаем гибкость.

Читать подробнее

#en

@database_design | Другие наши каналы
85
DATABASE DESIGN

07 Jan, 16:06

Переход с Sybase на MongoDB с помощью PeerAI

Платформа PeerAI от PeerIslands ускоряет модернизацию баз данных, упрощая переход от устаревшей системы Sybase ASE к MongoDB. С помощью AI-инструментов PeerAI разрабатывает новые архитектуры и оптимизирует процессы, сокращая время и затраты на миграцию. MongoDB укрепляет позиции лидера в облачных базах данных

MongoDB вновь признан лидером в Magic Quadrant 2024 года от Gartner среди систем управления облачными базами данных. Это подчеркивает инновации MongoDB и внимание к клиентам. Компания продолжает поддерживать разработчиков, предлагая передовые решения и услуги.

Читать подробнее

#en

@database_design | Другие наши каналы
89
DATABASE DESIGN

01 Jan, 06:09

Клинопись 21 века. Способ хранения данных с большей плотностью

Суть клинописи – в засечках, которые наносятся на глиняные таблички с помощью тростникового стилуса. Новый способ хранения данных использует наномасштабные углубления, сделанные на высокотехнологичном полимере с помощью тонкого зонда, и благодаря атомно-силовому микроскопу.


Читать: https://habr.com/ru/articles/871136/

#ru

@database_design | Другие наши каналы
149
DATABASE DESIGN

29 Dec, 07:25

Как я запустил 99* контейнеров с Oracle Database 21c Express Edition внутри Podman на отечественной ОС

В статье рассматривается пошаговое создание образов «с нуля» для контейнерного движка Podman. Внутрь контейнера «упакована» база данных Oracle Database 21c Express Edition. И всё это отечественной операционной системе РЕД ОС.

*2 контейнера
Зачем?

Читать: https://habr.com/ru/articles/870766/

#ru

@database_design | Другие наши каналы
173
DATABASE DESIGN

27 Dec, 08:26

Как организовать библиотеку книг в Obsidian

Делюсь своим опытом организации цифровой библиотеки книг в Obsidian с фильтрацией по жанрам, авторам и статусу прочтения.


Читать: https://habr.com/ru/articles/870262/

#ru

@database_design | Другие наши каналы
183
DATABASE DESIGN

27 Dec, 06:09

Инфраструктура для Data-Engineer Liquibase

Liquibase — это по сути реализация принципов IaC, но для баз данных, что делает его ключевым инструментом для DataBase as Code (DBaC). Как IaC управляет инфраструктурой, так Liquibase управляет схемами баз данных, обеспечивая автоматизацию, консистентность и версионирование изменений.


Читать: https://habr.com/ru/articles/863242/

#ru

@database_design | Другие наши каналы
168
DATABASE DESIGN

26 Dec, 18:04

Как я написал 1400 регламентов и почему это важно для бизнеса

Посмотрев назад на свой длинный путь в бизнесе, могу смело заявить, что я знаю о бизнес-процессах больше, чем кто-либо.

Руководя своей командой, я заметил, что мы тратим массу времени на повторяющиеся вопросы и одни и те же проблемы. «Как оформлять счета?», «Какая процедура работы с клиентами?», «Что делать, если клиент недоволен?» — эти вопросы повторялись просто каждый день. Даже очевидные задачи превращались в постоянные созвоны и обсуждения. Это тормозило развитие бизнеса, мешало внедрять автоматизацию и вызывало у сотрудников демотивацию к работе.

Так я пришел к идее: нужно структурировать всё. С того момента я написал более 1400 регламентов, охватывающих почти все бизнес-процессы, и это стало настоящей революцией в нашей работе. В этой статье я хочу поделиться, как мне удалось создать систему, которая избавила нас от хаоса, и объясню, почему инструкции — это не формальность, а основа для успеха.


Читать: https://habr.com/ru/articles/870136/

#ru

@database_design | Другие наши каналы
146
DATABASE DESIGN

26 Dec, 13:27

Создание динамических таблиц в SuperSet

Однажды в студеную зимнюю пору из-за морей, из-за океанов прилетело известие: лицензии не выдаем, тех.поддержку не оказываем, а можем и вовсе отключить все системы. В компании погоревали, но делать нечего, решили переходить на новые системы, да такие, чтобы не смогли в любой момент их превратить в тыкву. И стали смотреть в сторону open-sourсe решений. Проанализировали несколько BI-систем и остановились на SuperSet. /*После QlikSense и Tableau казалось, что это так себе затея*/

Меня зовут Корнева Настя, я отвечаю за разработку BI-отчетности в Magnit Tech в рамках проекта Аналитика УЦП (управление цепочками поставок). В этой статье поделюсь нашим опытом создания динамических сводных таблиц в BI-инструменте SuperSet, что будет полезно разработчикам отчетности и всем, кому интересна тематика.


Читать: https://habr.com/ru/companies/magnit/articles/869924/

#ru

@database_design | Другие наши каналы
125
DATABASE DESIGN

26 Dec, 08:42

Как проводить сложные исследования в Google Таблицах и Excel? Работаем с формулой QUERY

Привет, Хабр! Раньше ни один мой рабочий день не проходил без Google Таблиц. Теперь продолжаю использовать инструмент только в личных целях, но в его аналогах многое очень похоже.

Меня зовут Саша, я координатор отдела пользовательских исследований в Selectel. В этой статье я объясню, как и какие формулы использовать в таблицах, чтобы работать с большими объемами данных.

Читать: https://habr.com/ru/companies/selectel/articles/869732/

#ru

@database_design | Другие наши каналы
131
DATABASE DESIGN

25 Dec, 11:01

Google Play уходит, а ваши платежи остаются!

Google Play прекращает сотрудничество с российскими разработчиками 26 декабря. Кажется, самое время подключить альтернативный способ приёма онлайн-платежей. 

С CloudPayments монетизация бизнеса продолжит работать без перебоев!

Интегрируйте сценарии оплаты через мобильный SDK и получите весь инструментарий платёжного сервиса CloudPayments:

— Сервис подписок — настройте рекуррентные платежи через удобный UI и получайте прогнозируемую прибыль 
— Приём международных платежей — ваши клиенты смогут оплачивать покупки из любой точки мира
— Все платёжные методы — от T-Pay до СБП. Ваши покупатели точно найдут удобный для них способ оплаты

Подключить сервис легче, чем вы думаете. 
Ассистенты Cloud всегда помогут с реализацией ваших идей.

Подключение: https://clck.ru/3FQ6tZ

Подписывайтесь на канал Cloud и получайте ещё больше полезной информации о приёме онлайн-платежей.

Это #партнёрский пост
100
DATABASE DESIGN

25 Dec, 05:33

Telegram-бот-магазин на Python: пошаговый гайд с оплатой, каталогом и админкой (Aiogram 3 + SQLAlchemy 2)

Сегодня я к вам с новым практическим проектом на Python. На этот раз мы создадим полноценного Telegram-бота для продажи цифровых товаров с базой данных, которой будем управлять через SQLAlchemy 2, админ-панелью, пользовательской частью и интегрированной оплатой через Юкассу.

Я шаг за шагом проведу вас через все этапы разработки такого бота: начиная от регистрации токена в BotFather и заканчивая деплоем готового продукта на удаленном хостинге, чтобы бот мог бесперебойно работать 24/7 без привязки к вашему компьютеру или интернет-соединению.


Читать: https://habr.com/ru/companies/amvera/articles/869136/

#ru

@database_design | Другие наши каналы
155
DATABASE DESIGN

24 Dec, 13:59

PostgreSQL — особенности работы с памятью для 1С-систем. Часть 3

Это третья и заключительная часть цикла статей по настройке памяти в PostgreSQL. Полагаю, она получилось уже не такой заумной, как предыдущие две, и представляет из себя некий сухой остаток с собирательным примером, в котором показано как выбирать параметры PostgreSQL по настройке оперативной памяти. Если же хочется погрузиться в руду, то милости просим в Часть 1 и Часть 2. Тем не менее, цепочка логических рассуждений сохранена – как делаем, зачем и почему.


Читать: https://habr.com/ru/companies/softpoint/articles/869446/

#ru

@database_design | Другие наши каналы
133
DATABASE DESIGN

24 Dec, 11:57

Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum

Привет, Хабр! Мы завершаем серию статей о миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущих статьях мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL‑скриптов с помощью реализованных сервисов миграции кода и переноса архива данных. В этот раз мы расскажем вам о нашем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом.

Завершая нашу серию, мы подходим к ключевому аспекту миграции данных — проверке и обеспечению качества данных после переноса. Теперь, когда перед нами стоят два параллельно функционирующих хранилища, возникает вопрос о точности и согласованности данных между ними.


Читать: https://habr.com/ru/companies/sberbank/articles/869294/

#ru

@database_design | Другие наши каналы
137
DATABASE DESIGN

24 Dec, 06:10

Как мигрировать данные между разными StorageClass в Kubernetes и зачем это делать

Миграция данных в Kubernetes: практическое руководство. Узнайте, как легко и безопасно перемещать данные между различными StorageClass с помощью простых шагов.


Читать: https://habr.com/ru/companies/flant/articles/868280/

#ru

@database_design | Другие наши каналы
124
DATABASE DESIGN

23 Dec, 23:33

Oracle расширяет облачные возможности

В 2024 году Oracle отметилась важными нововведениями в области облачных баз данных. Ключевые моменты включают запуск Oracle Database@Google Cloud и Oracle Database@AWS, а также представление Exadata Exascale и Oracle Database 23ai с интеграцией AI для бизнес-анализа.

Читать подробнее

#en

@database_design | Другие наши каналы
125
DATABASE DESIGN

23 Dec, 17:04

MongoDB в числе лидеров облачных БД по версии Gartner

MongoDB третий год подряд получает статус "Лидера" в облачных системах управления базами данных в отчете Gartner 2024. Это подтверждает успех компании в инновациях и ориентированности на клиента, а также выдающееся исполнение и стратегическое видение платформы MongoDB. Инновации в ритейле с MongoDB и Dataworkz

Современные покупатели ждут персонализированных предложений и быстрого обслуживания. MongoDB Atlas и Dataworkz предлагают решение: использование данных для создания уникального клиентского опыта. Сервис облегчает поддержку, улучшает рекомендации и оптимизирует маркетинг для ритейлеров.

Читать подробнее

#en

@database_design | Другие наши каналы
125
DATABASE DESIGN

23 Dec, 14:34

Революция в ритейле с MongoDB и Dataworkz

RAG и MongoDB трансформируют цифровую розницу, предоставляя персонализированные рекомендации и улучшенное взаимодействие с клиентами. Сочетание структурированных данных с неструктурированной информацией дает магазинам возможность оперативно ответить на запросы клиентов и эффективно управлять запасами. Узнайте, как MongoDB и Dataworkz делают это возможным. 🔍 MongoDB 8.0: Прорыв в области AI и поиска данных

В 2024 году MongoDB представила обновление 8.0, улучшив скорость базы данных и добавив поддержку зашифрованных запросов. Также запущена программа MAAP для ускорения разработки AI-приложений и улучшена функция поиска в MongoDB Atlas Vector Search. Эти новшества делают работу с AI быстрее и дешевле.

Читать подробнее

#en

@database_design | Другие наши каналы
122
DATABASE DESIGN

23 Dec, 14:08

Tarantool CDC. Жизнь данных в гетерогенной среде

Часто в распределенных ИТ-ландшафтах компании используют несколько хранилищ данных под разные задачи. Это делает их важным компонентом любой системы Change Data Capture (CDC) — они помогают отслеживать изменения данных и связывать используемые хранилища. Но далеко не все CDC-инструменты способны ответить на актуальные запросы бизнеса.

Меня зовут Евгений Афанасьев. Я архитектор VK Tech в команде Tarantool. В этой статье я расскажу о том, с какими вызовами сталкиваются современные компании при работе с данными и как на них помогает отвечать Tarantool CDC.


Читать: https://habr.com/ru/companies/vk/articles/868406/

#ru

@database_design | Другие наши каналы
112
DATABASE DESIGN

23 Dec, 12:13

Нашли для вас интересную новость из сферы финтеха

А именно — узнали, что ОТП Банк запустил TG-канал для айтишников. Команда строит финтех в международном банке и теперь можно узнавать прямо у них, как они это делают.

На OTP Tech стоит подписаться, чтобы узнавать о внутрянке работы, фичах, которые ребята пилят, как решают разные инфраструктурные задачи и в целом чтобы покайфовать. Мы, например, зависли на этих енотиках. К слову, вакансиями ребята тоже делятся.

Прокачайте свою ленту крутым каналом: OTP Tech

Это #партнёрский пост
112
DATABASE DESIGN

23 Dec, 08:02

Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.


Читать: https://habr.com/ru/companies/fplus_tech/articles/868850/

#ru

@database_design | Другие наши каналы
126
DATABASE DESIGN

21 Dec, 08:27

Seagate представляет 32 ТБ накопитель для пользователей: технология HAMR идет в массы

Не так давно мы писали об анонсе жестких дисков нового типа от Seagate. Их особенность — сверхвысокая плотность хранения данных. Сейчас американская компания Seagate таки выпустила жесткий диск Exos M емкостью 32 ТБ — рекордной для потребительских HDD.

Высокой плотности записи удалось добиться при помощи технологии HAMR, при которой область записи нагревается при помощи лазера. Это перспективная разработка, которая позволит и дальше наращивать емкость HDD. Правда, у нее есть конкурент в лице технологии MAMR с использованием магнитных полей.


Читать: https://habr.com/ru/companies/selectel/articles/868396/

#ru

@database_design | Другие наши каналы
134
DATABASE DESIGN

20 Dec, 19:27

Харденинг баз данных

Сейчас любое сколько-нибудь серьезное приложение нуждается в базе данных для хранения информации. СУБД позволяет сохранять данные, оперативно находить и извлекать то, что нужно с помощью запросов. Но для того, чтобы наши данные в базе хранились в безопасности необходимо не просто установить и настроить необходимое ПО, но выполнить харденинг – безопасную настройку СУБД.

В рамках данной статьи мы не будем концентрироваться на какой-то конкретной СУБД, а посмотрим те советы, которые подойдут любой базе данных.


Читать: https://habr.com/ru/companies/otus/articles/866810/

#ru

@database_design | Другие наши каналы
129
DATABASE DESIGN

20 Dec, 15:18

Мы ускорили JOIN в ClickHouse… в 100 раз

Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.


Читать: https://habr.com/ru/companies/otus/articles/868436/

#ru

@database_design | Другие наши каналы
129
DATABASE DESIGN

20 Dec, 13:16

Обновление прошивки Toshiba NAS HDD под Linux



Я произвёл реверс-инжиниринг модуля обновления прошивки своего HDD Toshiba, чтобы иметь возможность обновлять её под Linux. Приведённые ниже команды должны работать, но используйте их на свой страх и риск:

"$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/ISFw.dat
$ grep -C2 MODELNAME ISFw.dat
# ^
# |___ здесь определяем нужное имя файла
$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/sk060202.ftd
# hdparm --fwdownload-mode3 sk060202.ftd /dev/sdX"

Предыстория

Недавно я приобрёл для своего NAS диск Toshiba HDWG480 HDD. Вот вывод команды "hdparm -I /dev/XXX":

"ATA device, with non-removable media
Model Number: TOSHIBA HDWG480
Serial Number: 3430A00RFR0H
Firmware Revision: 0601
Transport: Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
Standards:
Used: unknown (minor revision code 0x006d)
Supported: 10 9 8 7 6 5
Likely used: 10
[...]"
Как обычно, я хотел проверить, есть ли для него доступные обновления прошивки. На сайте Toshiba для моей модели приводится версия "0602".

К сожалению, и вполне ожидаемо, для пользователей Linux возможности обновления нет. Производитель предоставляет лишь «Internal Storage Firmware Update Utility» для Windows.

Сами файлы обновления также отсутствуют.

Читать: https://habr.com/ru/companies/ruvds/articles/867898/

#ru

@database_design | Другие наши каналы
104
DATABASE DESIGN

20 Dec, 11:31

Переход на новую архитектуру проекта: как это влияет на надежность стриминга web-данных

Предположим, что перед вашей командой стоит задача по поиску надежного стриминга web и app данных, который бы соответствовал требованиям службы безопасности, ожиданиям отделов маркетинга и аналитики, а также был бы полезен для управляющей команды. Не менее важно удобство и прозрачность работы стриминга, а внесение изменений в ожидаемый результат, желательно, без привлечения дополнительного ресурса аналитиков и разработчиков.


Читать: https://habr.com/ru/articles/868358/

#ru

@database_design | Другие наши каналы
108
DATABASE DESIGN

20 Dec, 09:12

Раскрыто дело о тайных пациентах медицинских компаний

Медицинские компании, помимо приёма пациентов, должны качественно и безопасно хранить все данные, связанные с лечением, осмотрами и процедурами. От этого зависит не только имидж, но и лицензия организации.


Читать: https://habr.com/ru/articles/868290/

#ru

@database_design | Другие наши каналы
110
DATABASE DESIGN

05 Dec, 09:28

CRUS: принципиально новая архитектура работы с данными

Здравствуйте, меня зовут Дмитрий Карловский и я.. обычно пишу статьи с ответами, но на этот раз я, наоборот, буду задавать много вопросов, о которых вы даже не задумывались.

Далее будет много и фундаментальной теории, и мелких технических деталей. Так что приглашаю специалистов по криптографии, безопасности, хранению, обработке и синхронизации данных вместе размять наши мозговые косточки.
Ответить на все вопросы

Читать: https://habr.com/ru/articles/863968/

#ru

@database_design | Другие наши каналы
49
DATABASE DESIGN

04 Dec, 16:36

Устойчивость MariaDB с подключением MaxScale

Как избежать единичного отказа в вашей базе данных MariaDB? Используйте современные коннекторы приложения, поддерживающие автоматическое переключение, чтобы MaxScale не стал единственной точкой отказа. Настройка фейловера позволяет вашему приложению работать без перебоев даже при сбое узла MaxScale.

Читать подробнее

#en

@database_design | Другие наши каналы
81
DATABASE DESIGN

04 Dec, 12:37

Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами

Apache Kafka — популярный распределенный брокер сообщений, который собирает и сохраняет сообщения (данные) со всех источников, а после предоставляет их программам и сервисам-получателям. Благодаря своей производительности и архитектуре инструмент довольно активно используется в проектах, где нужно гонять большие объемы данных. Но даже возможностей Kafka не всегда достаточно — иногда системам нужен буст по скорости и надежности. И получить его можно с помощью кэширования данных в Tarantool.

Меня зовут Никита Молоствов. Я старший программист в команде разработки VK Tech. В этой статье я расскажу о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и дам подробную пошаговую инструкцию, с которой каждый сможет применить мои наработки в собственной системе.


Читать: https://habr.com/ru/companies/vk/articles/863518/

#ru

@database_design | Другие наши каналы
78
DATABASE DESIGN

04 Dec, 07:59

Пора перестать в любой непонятной ситуации строить DWH для аналитики

Привет!
Кажется, первая статья нашла своего благодарного читателя.Снова мысли от CDO трудящегося вместе с одной небольшой компанией ру-сегмента.
Продолжу о том, что "наболело".

Эта статья может быть Вам полезна, если консалтинг/интегратор/CTO/CIO/сын маминой подруги настойчиво хочет решить все Ваши "проблемы" в аналитике классным корпоративным хранилищем, далее - DWH.


Читать: https://habr.com/ru/articles/863308/

#ru

@database_design | Другие наши каналы
76
DATABASE DESIGN

04 Dec, 07:27

«У нас кончились столбцы» — Лучшая, худшая кодовая база

Оу, таблица merchants2? Ну, у нас кончились столбцы в merchants, так что мы сделали merchants2.

Когда я начал заниматься программированием в детстве, я не знал, что людям за это платят. Даже когда я закончил высшую школу, я предполагал, что мир "профессиональной разработки" был устроен совершенно иначе, чем мой код, написанный в свободное время. Когда мне посчастливилось попасть на первую работу разработчиком, я быстро понял насколько я был прав и неправ. Моя первая работа была "испытанием огнём", и по сей день эта кодовая база является и худшей, и лучшей из тех, с которыми я работал. И пусть она навеки останется закрытой в стенах той конкретной компании, я всё же могу поделиться парой самый забавных и страшных историй.


Читать: https://habr.com/ru/articles/863656/

#ru

@database_design | Другие наши каналы
75
DATABASE DESIGN

03 Dec, 21:24

Apache Flink: Flink Table API & SQL

Привет! Меня зовут Александр Булатов, я старший инженер данных в Блоке Данных билайна. В этой серии статей я расскажу, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.

Я работаю на проекте Radcom, в котором мы получаем данные о детализации звонков. И есть источник потоковых данных, которые мы получаем с Kafka. Таких потоков у нас внутри Radcom одиннадцать штук, и данные от них идут в формате csv. Формат не самый удобный для обработки, потому что он не имеет в себе схему — нам присылают просто голые строки csv, без какой-либо схемы, и нам нужно парсить эти строки относительно ее.

В одном подобном потоке вполне может находиться сто миллиардов записей в сутки, а это со всех потоков почти семь терабайт в день. У нас в билайне это считается одним из самых больших потоков, которому требуется очень много ресурсов, в год с учетом репликации мы занимаем почти семь петабайт данных.

Так вот, мы принимаем данные в csv и должны их сохранять в Hive в колоночных форматах, чтобы впоследствии аналитики и Data Scientists могли пользоваться этими данными. У нас принято использовать либо ORC, либо Parquet. Мы попробовали оба формата, пришли к Parquet.


Читать: https://habr.com/ru/companies/beeline_tech/articles/863588/

#ru

@database_design | Другие наши каналы
81
DATABASE DESIGN

03 Dec, 05:13

Создание блога на FastAPI с нуля: JWT, Markdown и современный веб-дизайн

В этой статье мы создадим полноценный мини-блог на FastAPI с нуля, используя современные технологии веб-разработки. Вы узнаете, как реализовать JWT-аутентификацию, работать с Markdown и создать привлекательный пользовательский интерфейс.

Мы рассмотрим асинхронную работу с SQLAlchemy 2, включая сложные запросы и связи ManyToMany, а также интеграцию фронтенда с использованием Jinja2.

Этот проект демонстрирует, как создать функциональный блог, подобный Telegraf, преодолевая его ограничения и расширяя возможности.


Читать: https://habr.com/ru/companies/amvera/articles/863130/

#ru

@database_design | Другие наши каналы
88
DATABASE DESIGN

02 Dec, 16:04

MongoDB и AI: Как технологии улучшают клиентский опыт

MongoDB продолжает внедрять инновации в сфере искусственного интеллекта (AI), помогая компаниям оптимизировать бизнес-процессы. Сотрудничество с Amazon ускоряет обработку данных и снижает издержки, тогда как партнеры из MAAP развивают AI-функционал для таких платформ, как IndiaDataHub и CentralReach. 🌟 Персонализируй свое AI-приложение с MongoDB и AWS

MongoDB и AWS объединяют усилия, чтобы упростить процесс создания AI-приложений. Новая программа обучает разработчиков использовать Amazon Bedrock вместе с MongoDB Atlas для создания интеллектуальных решений. Получите бесплатный знак MongoDB и начните свое AI-путешествие уже сегодня!

Читать подробнее

#en

@database_design | Другие наши каналы
82
DATABASE DESIGN

02 Dec, 16:04

Новый курс MongoDB и AWS: освоение AI приложений

MongoDB и AWS запустили бесплатный курс для разработчиков по созданию AI приложений. Обучение включает интеграции с Amazon Bedrock и MongoDB Atlas, что упрощает внедрение AI в проекты. Получите сертификат и расширьте свои профессиональные горизонты с MongoDB University! MongoDB и MAAP: Инновации в ИИ и партнерские успехи

Платформа MAAP расширяет партнерскую сеть, включая Capgemini и IBM, предлагая ещё больше возможностей для клиентов в сфере ИИ. Компания CentralReach использует решения MongoDB и MAAP для улучшения помощи при аутизме, интегрируя медицинские данные и повышая эффективность лечения.

Читать подробнее

#en

@database_design | Другие наши каналы
69
DATABASE DESIGN

02 Dec, 15:41

Весь год вы фиксили баги и деплоили проекты… Пришло время расслабиться и начать создавать себе новогоднее настроение!

Tproger вместе с друзьями сделал Виммельбух — новогоднюю книгу-головоломку про технологический город.

Открывайте первую главу, рассматривайте карту, узнавайте, чем живёт город в новогоднюю пору, и попробуйте найти все пасхалки: https://tprg.ru/zaN7

Реклама, ИП Михайлишина Гузель Фаниловна, erid: LjN8JxPmb
70
DATABASE DESIGN

02 Dec, 15:33

10 инструментов для облегчения backend-разработки

Backend-разработка может быть довольно сложной из-за огромного количества инструментов, библиотек и пакетов, из которых приходится выбирать.

Однако правильные инструменты способны значительно облегчить работу разработчика.

Сегодня мы познакомимся с 10 инструментами, которые сделают backend-разработку проще.

Этот список вас удивит.
1. Encore — фреймворк для backend‑разработки на TypeScript и Go, предназначенный для создания надёжных и типобезопасных приложений.
Создание масштабируемых приложений с использованием облачных сервисов часто сопряжено с плохим опытом разработки. Разработчикам приходится управлять сложной инфраструктурой и выполнять рутинные задачи, что замедляет их работу.

Encore помогает решить эту проблему, предлагая полный набор инструментов, ускоряющий разработку приложений.

Это как если бы у вас была кухня, полностью укомплектованная ингредиентами и инструментами, и вы могли бы сразу приступить к готовке, не тратя время на сбор всего необходимого.

Encore предоставляет opensource-фреймворк для backend-разработки (на TypeScript и Go), который позволяет определять инфраструктуру в виде типобезопасных объектов прямо в вашем приложении, объединяя инфраструктуру с кодом приложения. Encore автоматически занимается предоставлением инфраструктуры и DevOps, анализируя код приложения.

Это позволяет быстро создавать готовые к продакшену backend’ы, используя такие инструменты, как микросервисы, Postgres и Pub/Sub, без излишней сложности и забот о DevOps. Дополнительно вы получаете:


Читать: https://habr.com/ru/articles/863138/

#ru

@database_design | Другие наши каналы
70
DATABASE DESIGN

02 Dec, 13:35

Документы под контролем: Как выбрать идеальную платформу и не сойти с ума

Запутались в выборе платформы для работы с документацией? Функций море, терминология запутанная, а вариантов столько, что глаза разбегаются—даже опытные специалисты порой теряются! Мы собрали для вас 10 ключевых критериев, которые помогут найти идеальную систему управления документацией без лишней головной боли. Давайте разберёмся вместе!


Читать: https://habr.com/ru/companies/documenterra/articles/863096/

#ru

@database_design | Другие наши каналы
78
DATABASE DESIGN

02 Dec, 11:19

Как мы сделали собственное S3-совместимое объектное хранилище

Всем привет! На связи Виктор Стародуб — технический лидер команды S3, один из авторов и создателей объектного СХД в Cloud.ru. Недавно вышла статья, в которой мой коллега Сергей Лысанов @LysanovSergey рассказал, как мы сделали собственный Software-Defined Storage для дисков виртуальных машин в публичном облаке Cloud.ru Evolution. А в этой статье я расскажу о том, как мы написали свое объектное хранение, имея отказоустойчивое блочное хранилище в качестве базового слоя, с какими сложностями столкнулись, как их решили и какие сделали выводы.
Читать дальше

Читать: https://habr.com/ru/companies/cloud_ru/articles/850526/

#ru

@database_design | Другие наши каналы
92
DATABASE DESIGN

01 Dec, 10:13

Разворачиваем PG Back Web в облаке: как автоматизировать резервное копирование PostgreSQL

Резервное копирование является важнейшей частью управления базами данных, гарантируя, что данные будут восстанавливаемы и защищены от неожиданных сбоев. Избитую фразу про две категории людей, которые не делают бэкапы и которые уже делают бэкапы, можно назвать грустной самоиронией, за которой стоят террабайты потерянных данных и сотни миллионов рублей списанных убытков.

В этой статье рассмотрим задачу управления резервным копированием для PostgeSQL с помощью популярного Open Source решения PG Back Web.


Читать: https://habr.com/ru/companies/dockhost/articles/862340/

#ru

@database_design | Другие наши каналы
104
DATABASE DESIGN

29 Nov, 14:13

Качественные данные для среднего бизнеса: почему без промышленной платформы интеграции не обойтись?

Качество данных и его значение для среднего бизнеса. Что такое качество данных? Почему качество данных так важно для среднего бизнеса? Кто относится к среднему бизнесу в России? Основные риски низкого качества данных. Основные рекомендации по выбору решений.


Читать: https://habr.com/ru/articles/862476/

#ru

@database_design | Другие наши каналы
110
DATABASE DESIGN

29 Nov, 14:13

Качественные данные для среднего бизнеса: почему без промышленной платформы интеграции не обойтись?

Качество данных и его значение для среднего бизнеса. Что такое качество данных? Почему качество данных так важно для среднего бизнеса? Кто относится к среднему бизнесу в России? Основные риски низкого качества данных. Основные рекомендации по выбору решений.


Читать: https://habr.com/ru/articles/862476/

#ru

@database_design | Другие наши каналы
99
DATABASE DESIGN

29 Nov, 11:30

Универсальный классификатор НСИ- правда или фантастика?

Управление НСИ — оптимизация рабочих процессов. Основные задачи НСИ. Прикладные задачи. Классификация номенклатуры. Методы классификации НСИ. Основные критерии.


Читать: https://habr.com/ru/articles/862414/

#ru

@database_design | Другие наши каналы
106
DATABASE DESIGN

29 Nov, 11:29

Универсальный классификатор НСИ- правда или фантастика?

Управление НСИ — оптимизация рабочих процессов. Основные задачи НСИ. Прикладные задачи. Классификация номенклатуры. Методы классификации НСИ. Основные критерии.


Читать: https://habr.com/ru/articles/862414/

#ru

@database_design | Другие наши каналы
106
DATABASE DESIGN

29 Nov, 10:07

Как оптимизировать SQL-запросы для снижения нагрузки на БД

Оптимизация SQL-запросов. Показываем возможности снижения нагрузки на БД. Рассматриваем пошаговую инструкцию для начинающих и продвинутых пользователей ✔ Tproger

Читать: «Как оптимизировать SQL-запросы для снижения нагрузки на БД»

#ru

@database_design | Другие наши каналы
112
DATABASE DESIGN

29 Nov, 10:05

Как оптимизировать SQL-запросы для снижения нагрузки на БД

Оптимизация SQL-запросов. Показываем возможности снижения нагрузки на БД. Рассматриваем пошаговую инструкцию для начинающих и продвинутых пользователей ✔ Tproger

Читать: «Как оптимизировать SQL-запросы для снижения нагрузки на БД»

#ru

@database_design | Другие наши каналы
93
DATABASE DESIGN

29 Nov, 06:59

Разбираем алгоритм полнотекстового поиска BM25

BM25, или Best Match 25 — это широко используемый алгоритм полнотекстового поиска. Среди прочего, он по умолчанию применяется в Lucene/Elasticsearch и SQLite. В последнее время в рамках «гибридного поиска» часто начали комбинировать полнотекстовый поиск и поиск по схожести векторов. Мне захотелось понять, как работает полнотекстовый поиск и в частности BM25, поэтому в этой статье я постараюсь разобраться в этом.


Читать: https://habr.com/ru/articles/860830/

#ru

@database_design | Другие наши каналы
89
DATABASE DESIGN

29 Nov, 06:11

Инфраструктура для Data-Engineer форматы файлов

В современной дата-инженерии работа с данными неразрывно связана с различными форматами файлов. Каждый формат имеет свои особенности, преимущества и области применения. В этой статье мы рассмотрим наиболее популярные форматы, научимся с ними работать и поймем, когда какой формат лучше использовать.


Читать: https://habr.com/ru/articles/859968/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

28 Nov, 17:01

DVC, FDS, Kart и Dolt для версионирования данных

Дата-сайентистам необходимо следить, на каком наборе данных ML-модели проявляют себя наилучшим образом и почему. Для этого есть специализированные решения, которые помогают реализовать версионирование данных. Меня зовут Павел Куницын, я главный специалист по анализу данных и МО в ПГК Диджитал, и сегодня хотел бы рассказать о некоторых профильных open source инструментах


Читать: https://habr.com/ru/companies/pgk/articles/861484/

#ru

@database_design | Другие наши каналы
93
DATABASE DESIGN

28 Nov, 11:18

Динамические SQL-запросы в PostgreSQL: когда, зачем и как

Сегодня поговорим о мощной штуке в PostgreSQL, которая одновременно помогает и открывает портал в ад: динамические SQL‑запросы. Динамика — это когда SQL собирается на лету, а не пишется заранее статичным текстом. Звучит неплохо, но при неправильном подходе легко превращается в катастрофу.


Читать: https://habr.com/ru/companies/otus/articles/861240/

#ru

@database_design | Другие наши каналы
97
DATABASE DESIGN

28 Nov, 11:17

Spring Boot Avengers: объединяем Spring Data JDBC и JSONB в PostgreSQL

При работе со Spring Data JDBC и колонкой базы данных с типом `jsonb` вы можете столкнуться с трудностями при выборе правильного типа для свойства `jsonb` в entity, реализации конвертеров для преобразования объектов из/в базу данных и определении запросов Spring Data JDBC для вложенных свойств `jsonb`.


Читать: https://habr.com/ru/companies/T1Holding/articles/858762/

#ru

@database_design | Другие наши каналы
96
DATABASE DESIGN

28 Nov, 10:03

Большой гайд по миграциям в Django: готовимся к миграциям и избегаем конфликтов

Привет! Меня зовут Макс, я backend-разработчик в компании idaproject и автор YouTube-канала PyLounge.

Я всегда хотел создавать контент, который пригодился бы мне самому в прошлом или настоящем. Эта большая статья — не исключение. Она для тех, кто только начинает изучение Django: жалею, что когда я начинал, мне не попался подобный материал. Надеюсь, он станет для вас хорошим подспорьем.

Кому-то всё сказанное здесь покажется очевидным, но я всегда придерживался принципа — «то что очевидно мне или вам, не всегда очевидно другому».

Что будет? Я расскажу, что такое миграции, зачем они нужны, как подготовиться к работе с ними и провести базовую работу на Django; отдельно подсвечу тему конфликтов и схлопываний, покажу, как содержать в чистоте историю миграций.

Всё это с примерами на практике и иллюстрациями. Погнали!


Читать: https://habr.com/ru/companies/idaproject/articles/861386/

#ru

@database_design | Другие наши каналы
95
DATABASE DESIGN

27 Nov, 15:07

Новая эра обслуживания: AI в колл-центрах

Согласно статье от MongoDB Blog, страховые компании могут значительно улучшить качество обслуживания клиентов с помощью AI-технологий. Преобразуя аудиозаписи звонков в векторы данных, страховщики ускоряют доступ к важной информации, повышая удовлетворение клиентов и их лояльность. MongoDB: секрет успешной работы игровых сервисов

MongoDB помогает игровым разработчикам гибко управлять сложными данными, улучшая их обновление и анализ. Благодаря автоматическому мониторингу и индексации, система предупреждает о проблемах и улучшает пользовательский опыт. Это повышает надежность и эффективность сервисов. Искусственный интеллект в цифровом банкинге: удобство и персонализация

Согласно исследованию Accenture, 44% молодых клиентов банков испытывают трудности с получением человеческой поддержки. ИИ, такие как чат-боты, может помочь, предоставляя мгновенные ответы и персонализированные советы. Это меняет банковский опыт и способствует росту отрасли.

Читать подробнее

#en

@database_design | Другие наши каналы
91
DATABASE DESIGN

27 Nov, 13:04

Создаём простой копирующий сборщик мусора



Этот пост станет итерацией туториала и знакомством с реализацией сборки мусора, описанной в классической статье. Мы продолжим работать с простыми сборщиками мусора, но на этот раз немного повысим сложность.

Я подумал, что это будет здорово, ведь в коде из статьи уже имелся крошечный, но функциональный мутатор, а набор тестов был призван это подчеркнуть; это значит, что мы можем сравнивать производительность и реализацию копирующего сборщика и обычного сборщика.

Читать: https://habr.com/ru/companies/ruvds/articles/861776/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

27 Nov, 10:05

PostgreSQL — особенности работы с памятью для 1С-систем. Часть 2

Продолжаем исследовать и настраивать память в PostgreSQL. Начало см. здесь.

Будет ешё и третья – заключительная часть, где я постараюсь максимально доступным языком рассказать уже методику выбора настроек. А пока предлагаю набраться терпения и ознакомиться со следующей порцией исследования по выбору настроек оперативной памяти PostgreSQL. Предупреждаю, будет не просто и, наверняка, не каждый доберется до конца.

В первой части были рассмотрены параметры shared_buffers, maintenance_work_mem, autovacuum_work_mem. А сегодня на повестке параметры temp_buffers и work_mem.


Читать: https://habr.com/ru/companies/softpoint/articles/861738/

#ru

@database_design | Другие наши каналы
87
DATABASE DESIGN

27 Nov, 10:03

Как Сеченовский Университет создал безопасную платформу для анализа медицинских данных с применением облачных технологий

Меня зовут Константин Бражников, я заместитель директора департамента развития клинических и образовательных проектов в Сеченовском Университете. Сегодня это исследовательский медицинский университет мирового уровня, и у него три направления деятельности: наука, образование и медицинская практика.

В структуре университета работает пять университетских клинических больниц, где ежегодно проходят лечение около 500 000 пациентов. Накопленная статистика по клиническим случаям — один из источников для научных работ наших сотрудников.

В прошлом году мы уже кратко рассказали на Хабре, как с использованием сервисов Yandex Cloud мы разработали платформу анализа медицинских данных — это сервис, который позволяет сотрудникам Сеченовского Университета получить доступ к клиническим данным. Пользователи системы — наши врачи‑исследователи, аспиранты и ординаторы — профессиональные научные сотрудники, которые двигают вперёд медицинскую науку. В этой статье покажу подробнее, как мы реализовали этот проект, как это решение живёт сейчас и помогает преподавателям и врачам‑исследователям в их работе.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/861698/

#ru

@database_design | Другие наши каналы
93
DATABASE DESIGN

26 Nov, 14:06

Как создать дамп базы данных MySQL

MySQL — это наиболее популярная система управления реляционными базами данных выполняющая множество разнородных манипуляций с таблицами: добавление, удаление, поиск, сортировка и вывод по запросу пользователя.

Важно понимать, что MySQL, подобно библиотекарю в библиотеке, управляет БД, а не является ею. Поэтому MySQL и база данных отделены друг от друга.


Читать: https://habr.com/ru/companies/timeweb/articles/861534/

#ru

@database_design | Другие наши каналы
85
DATABASE DESIGN

26 Nov, 01:03

🔍 История успеха MongoDB в индустрии игр

Современные игры требуют высокопроизводительных баз данных, и MongoDB стала ключевым инструментом для многих игровых компаний. NetEase, например, широко использует MongoDB для управления данными, анализа поведения игроков и улучшения пользовательского опыта. Гибкость и масштабируемость MongoDB обеспечивают стабильность и высокую доступность, внося значительный вклад в успех NetEase.

Читать подробнее

#en

@database_design | Другие наши каналы
94
DATABASE DESIGN

22 Nov, 09:44

Прощай, Маша, не поминай лихом! Как мы переходили с MariaDB на PostgreSQL

Привет, Хабр! Меня зовут Игорь, и я один из разработчиков НОТА ЮНИОН. При подборе сотрудников (рекрутменте) есть много рутинных задач, отнимающих немало времени. Чтобы рекрутеры могли больше времени уделять, скажем так, творческой части своей работы, есть решение «Нота Юнион». Это набор инструментов для автоматизации подбора сотрудников. И в этом году мы перевели его базу данных с MariaDB на PostgreSQL. Задача оказалась масштабной, пришлось изрядно потрудиться. Хочу рассказать о том, почему мы решили поменять базу и как это реализовали. Возможно, вам это поможет сразу выбрать более подходящий под ваш продукт вариант.


Читать: https://habr.com/ru/companies/T1Holding/articles/858530/

#ru

@database_design | Другие наши каналы
61
DATABASE DESIGN

22 Nov, 09:12

Python и SQL: что изучать в первую очередь для анализа данных

Python и SQL — самые популярные инструменты для работы с данными. Но какой из них изучать первым? Разбираемся в статье.

Читать: «Python и SQL: что изучать в первую очередь для анализа данных»

#ru

@database_design | Другие наши каналы
63
DATABASE DESIGN

21 Nov, 22:01

Меньше JOIN’ов — больше скорость! Или несколько примеров оптимизаций DAX и SQL

Все мы любим ClickHouse, но прекрасно знаем, что у этой СУБД есть свои особенности и ограничения. В этой статье мы поговорим о том, почему нужно избавляться от лишних операторов JOIN, если вы работаете с большими нагрузками, а также оценим, какой эффект дает исключение JOINов, поднятие их на уровень выше, перестановка таблиц местами и некоторые другие хитрые трюки на уровне кода SQL. Всех, кто работает с ClickHouse, а также тех, кто не хочет работать с ClickHouse, но подумывает получить все готовенькое от Visiology, приглашаю под кат!


Читать: https://habr.com/ru/articles/860438/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

21 Nov, 17:26

Новый релиз MariaDB Community Server 11.7 с векторным поиском

Представлена версия MariaDB Community Server 11.6 GA и 11.7 RC. В 11.7 добавлена функция векторного поиска, позволяющая эффективно обрабатывать многомерные данные, такие как текст и изображения. Узнайте больше о нововведениях на сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
86
DATABASE DESIGN

21 Nov, 16:28

Новые возможности MicroTx в облаках

MicroTx выпустил обновление версии 24.2.2, которое значительно расширяет его функциональность. Теперь пользователи могут использовать MicroTx в облаках других поставщиков, что открывает новые горизонты для интеграции и работы с данными.

Читать подробнее

#en

@database_design | Другие наши каналы
74
DATABASE DESIGN

21 Nov, 16:09

Hana: революция среди AI-ботов для бизнеса

Вас интересуют возможности генеративного ИИ? Узнайте, как стартап Hanabi Technologies внедрил своего бота Hana в Google Workspace. Hana помогает малым компаниям автоматизировать задачи и улучшать совместную работу, используя возможности MongoDB Atlas для масштабирования и надежности.

Читать подробнее

#en

@database_design | Другие наши каналы
71
DATABASE DESIGN

21 Nov, 10:59

Проверь свои знания MongoDB: особенности и базовые операции

MongoDB — одна из самых популярных NoSQL-баз данных. Этот тест поможет вам проверить свои знания о её особенностях и основных принципах работы.

Читать: «Проверь свои знания MongoDB: особенности и базовые операции»

#ru

@database_design | Другие наши каналы
69
DATABASE DESIGN

21 Nov, 10:59

Проверь свои знания MongoDB: особенности и базовые операции

MongoDB — одна из самых популярных NoSQL-баз данных. Этот тест поможет вам проверить свои знания о её особенностях и основных принципах работы.

Читать: «Проверь свои знания MongoDB: особенности и базовые операции»

#ru

@database_design | Другие наши каналы
59
DATABASE DESIGN

21 Nov, 10:18

Появился новый тип супер-накопителей: Это SSD и магнитная лента в одном устройстве

Стремительный рост объемов пользовательских данных, которые нужно долго и безопасно хранить, создает серьезные вызовы для инженеров и архитекторов систем хранения. В то время как большинство производителей концентрируются на совершенствовании традиционных технологий, один из ключевых игроков рынка готовит настоящую революцию в этой области. Новая архитектура накопителей объединяет, казалось бы, несовместимые технологии и обещает радикально изменить существующие подходы к организации многоуровневого хранения данных. Она получила название MED и, как говорят в Одессе, имеет предложить нам все лучшее от SSD и магнитных лент. Как они устроены, и какие выгоды могут принести, читайте под катом.


Читать: https://habr.com/ru/companies/x-com/articles/858412/

#ru

@database_design | Другие наши каналы
73
DATABASE DESIGN

20 Nov, 19:30

Новый релиз MariaDB Java Connector 3.5.1

Вышла новая версия MariaDB Java Connector 3.5.1 с поддержкой аутентификации PARSEC, новым режимом высокой доступности с балансировкой нагрузки и улучшениями для команд INSERT ON DUPLICATE KEY UPDATE. Узнайте больше в примечаниях к релизу и на сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
82
DATABASE DESIGN

20 Nov, 16:01

Прими участие в хакатоне Т1 2024 в Москве и поборись за призовой фонд в 1 200 000 рублей!

Когда: 26-29 ноября 2024
Формат: гибридный

Хакатон Т1 2024 создан для тебя, если ты:

– Выпускник вуза или молодой специалист;
– Студент старших курсов технических вузов;
– Специалист по frontend или backend-разработке, системный аналитик, AI-специалист.

На хакатоне будут 2 кейса:

1. Хаб: объединение данных пользователя в золотую запись.
Создай методику, которая поможет найти «золотую запись» в большом наборе данных, используя признаки актуальности, частоты и полноты.

2. Окно знаний: цифровой ассистент базы знаний.
Создай платформу, которая позволит пользователям разрабатывать окна взаимодействия с ассистентом, интегрируя собственные базы знаний.

Это твой шанс разработать инновационные решения для крупных заказчиков и повысить свои компетенции в области IT!

Регистрация открыта! Успей зарегистрироваться по ссылке до 24 ноября, 23:59 МСК и стать частью хакатона в Москве.

Это #партнёрский пост
82
DATABASE DESIGN

20 Nov, 15:40

Путь к успеху с MongoDB: Инженерное дело и инновации

В статье рассказывается о работе старшего инженера MongoDB Эндрю Уитакера. Он объясняет, почему выбрал компанию, отмечая ее культурные ценности, возможности для роста и акцент на непрерывном совершенствовании. Эндрю также ведет новые проекты, включая улучшение шардирования и интеграцию ИИ. Узнайте больше об инженерной культуре MongoDB и карьерных возможностях. MongoDB и Azure Arc: Новые горизонты управления данными

MongoDB Enterprise Kubernetes Operator и Azure Arc объединяют усилия для улучшения управления и развертывания MongoDB на множестве кластеров. Это решение усиливает устойчивость и управление данными, упрощая поддержание безопасности и согласованности в гибридных средах. Узнайте больше на Azure Marketplace!

Читать подробнее

#en

@database_design | Другие наши каналы
78
DATABASE DESIGN

20 Nov, 09:10

Как использовать JSON в СУБД РЕД База Данных 5. Основные функции

Привет, Хабр, это команда разработки СУБД РЕД База Данных от компании «РЕД СОФТ»! Недавно мы представили мажорный релиз РЕД Базы Данных 5.0, в котором добавили поддержку работы с JSON‑форматом. В этом материале мы расскажем, как пользоваться основными функциями JSON в СУБД РЕД База Данных. И, так как РЕД База Данных основана на Firebird, в ближайшее время формат будет портирован и в эту open source СУБД.

Немного теории

Немного теории не помешает. Многие слышали про JSON, почти каждый второй материал подробно его описывает, но в общих чертах напомнить о стандарте стоит.

JSON (JavaScript Object Notation) — это текстовый формат для хранения и передачи структурированных данных. Стандарт основан на синтаксисе объекта в JavaScript, но не привязан к нему. Этот формат состоит из следующих элементов и их комбинаций: «Объект», «Массив», «Скаляр», «null». «Объект» представляет собой пару или набор пар ключ‑значения. «Массив» состоит из упорядоченного списка значений, заключённых в квадратные скобки. «Скаляр» используется для представления простых значений, таких как строки, числа или булевые значения. «null», указывающий на отсутствие значения, определяется в JSON, как и в SQL, отдельно.


Читать: https://habr.com/ru/companies/redsoft/articles/859726/

#ru

@database_design | Другие наши каналы
87
DATABASE DESIGN

19 Nov, 23:03

🚀 Новая версия MariaDB Enterprise Server 11.4 RC готова для тестирования! Исправлены недостатки MySQL, обновлены функции Online Schema Change для минимизации простоев, улучшен оптимизатор, расширены возможности работы с JSON и усилены меры безопасности. Это шаг в будущее для экосистемы баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
88
DATABASE DESIGN

19 Nov, 14:10

Ускоряем запросы в PostgreSQL, оптимизируя оператор GROUP BY

Пользователи PostgreSQL нередко оперируют аналитическими запросами, при выполнении которых данные сортируются и группируются по разным правилам. За счёт оптимизации вычисления агрегатов и сортировок можно значительно сократить время и стоимость выполнения запросов. Об одной из таких оптимизаций — выборе порядка колонок в выражении GROUP BY — расскажем в этой статье.

Postgres уже умеет перестраивать список группируемых выражений в соответствии с порядком колонок из условия ORDER BY, чтобы исключить дополнительную сортировку и сэкономить вычислительные ресурсы. Мы пошли дальше, реализовали свою идею в дистрибутивах Postgres Pro Standard и Enterprise и вынесли патчи на обсуждение сообщества Postgres (первое и второе) в надежде, что они войдут в ближайшую версию ванильного PostgreSQL.


Читать: https://habr.com/ru/companies/postgrespro/articles/852414/

#ru

@database_design | Другие наши каналы
94
DATABASE DESIGN

19 Nov, 14:06

MongoDB EA: Новые горизонты с Azure Arc

MongoDB Enterprise Advanced получил сертификацию для Azure Arc, делая его одним из первых Kubernetes-приложений в Azure Marketplace. Это открывает новые возможности для управления и безопасности, упрощает гибридное развертывание и помогает компаниям ускорить цифровую трансформацию. Узнайте больше! Выгоды миграции на MongoDB Atlas на Azure

Почему стоит перейти на MongoDB Atlas на Azure? Это облачное решение совмещает мощь платформы MongoDB с масштабируемостью Azure, поддерживая высокопроизводительные приложения. Бесплатная миграция с CMF от Microsoft упростит переход и повысит безопасность и эффективность.

Читать подробнее

#en

@database_design | Другие наши каналы
85
DATABASE DESIGN

19 Nov, 14:05

Ускорение миграции MongoDB на Azure с Microsoft Migration Factory

Перемещение MongoDB в облако Azure стало проще благодаря Microsoft Cloud Migration Factory (CMF). Этот новый подход предлагает бизнесу возможность быстро и безопасно перенести свои базы данных в MongoDB Atlas на Azure, снижая технические риски и обеспечивая высокую производительность. MongoDB и Azure Arc: Новые горизонты для Kubernetes

MongoDB Enterprise Advanced в паре с Azure Arc расширяет возможности управления Kubernetes-кластерами на различных платформах. Это упрощает развертывание, улучшает устойчивость систем и обеспечивает централизованное управление безопасностью и соответствием. Узнайте больше на сайте MongoDB.

Читать подробнее

#en

@database_design | Другие наши каналы
78
DATABASE DESIGN

18 Nov, 16:40

Книжные пираты: современные Робины Гуды или преступники?

Хотя термин «цифровая библиотека» приобрел популярность в последние годы, они развивались по технологической лестнице в течение последних тридцати лет. В начале 1970-х годов цифровые библиотеки были построены вокруг мини- и мэйнфреймовых компьютеров, предоставляющих удаленный доступ и онлайн-поиск и извлечение данных из онлайн-баз данных с использованием компьютерных и коммуникационных технологий, доступных в то время.

Историческая эволюция цифровых библиотек не была линейной. Цифровая библиотека — это эклектичная наука. Таким образом, вклад в эволюцию цифровых библиотек пришел из нескольких дисциплин, что привело к появлению множества концепций цифровых библиотек, каждая из которых находилась под влиянием точки зрения основной дисциплины. Таким образом, история цифровых библиотек — это история множества различных типов информационных систем и технологий, которые считались «цифровыми библиотеками» или их предшественниками. Эти системы и технологии очень неоднородны по своим целям, сфере применения и функциональным возможностям. Таким образом, их эволюция не следует единому пути. Можно заметить, что большинство систем, описанных в этом модуле, все еще практикуются в той или иной форме с использованием новых технологических решений и имеют приложения в различных областях управления информацией.


Читать: https://habr.com/ru/articles/847602/

#ru

@database_design | Другие наши каналы
94
DATABASE DESIGN

18 Nov, 13:11

Неочевидные для начинающих тонкости Postgres



Добрую часть десятилетия я профессионально занимаюсь веб-приложениями, и за этот срок научилась пользоваться множеством разных систем и инструментов.

В процессе этого обучения я обнаружила, что самой полезной обычно оказывается официальная документация.

За исключением… Postgres.

Не потому, что официальная документация несовершенна (она прекрасна!), просто её очень много. Если распечатать её как стандартный PDF на бумаге формата Letter, то получится 3200 страниц (для текущей версии 17)1. Разработчик-джун вряд ли сможет сесть и прочитать её с начала до конца.

1. Если печатать на бумаге A4, то получится 3024 страницы; наверно, это ещё один аргумент в пользу Letter.

Поэтому мне захотелось каталогизировать ту информацию, которая бы очень пригодилась мне, когда я только начинала работать с базой данных Postgres.

Надеюсь, это упростит процесс освоения для читателей моей статьи.

Стоит отметить, что многое из описанного может быть применимо и к другим системам управления базами данных (СУБД) SQL и вообще к базам данных в целом, но я слабо знакома с ними, так что не буду утверждать с уверенностью.

Читать: https://habr.com/ru/companies/ruvds/articles/859422/

#ru

@database_design | Другие наши каналы
99
DATABASE DESIGN

18 Nov, 13:03

Оптимизация PostgreSQL: параметры для ускорения запросов

Почему SQL-запросы иногда работают не так быстро, как хотелось бы? PostgreSQL — мощный инструмент, который раскрывает свои возможности при правильной настройке. В этой статье мы разберем ключевые параметры, влияющие на производительность запросов, а также дадим рекомендации, как их использовать. В конце мы обсудим, как избежать ошибок при конфигурации и почему мониторинг так важен.


Читать: https://habr.com/ru/companies/Linx/articles/859460/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

18 Nov, 11:18

PostgreSQL 18: Часть 1 или Коммитфест 2024-07

Эта статья открывает цикл о новостях будущей, 18-ой, версии PostgreSQL. Рассмотрим следующие возможности попавшие в июльский коммитфест.
Планировщик: поддержка правого полусоединения хешированием
Планировщик: материализация внутреннего набора строк для соединения вложенными циклами в параллельном плане
Вспомогательные функции планировщика для generate_series
EXPLAIN (analyze): статистика рабочих процессов узла Parallel Bitmap Heap Scan
Функции min и max для составных типов
Имена параметров для функций regexp*
Режим отладки в pgbench
pg_get_backend_memory_contexts: столбец path вместо parent и новый столбец type
Функция pg_get_acl
pg_upgrade: оптимизация работы pg_dump
Предопределенная роль pg_signal_autovacuum_worker


Читать: https://habr.com/ru/companies/postgrespro/articles/856498/

#ru

@database_design | Другие наши каналы
60
DATABASE DESIGN

18 Nov, 09:52

Магнитная лента и SSD: Huawei разработала гибридный накопитель на 72 Тб для «теплого» и «холодного» хранения данных

Привет, жители Хабра! Это Даша Волкова из МТС Диджитал. Huawei продолжает искать альтернативные пути для развития собственных технологий. Для компании под санкциями это крайне актуально, ведь речь идет о выживании отдельных направлений бизнеса, включая мобильные телефоны, чипы, накопители. Насколько можно судить, у китайцев все в порядке с поиском новых путей развития.

Недавно они представили технологию хранения на основе магнитно-электрического диска (magneto-electric disk, MED). В ней удалось объединить высокую производительность SSD с большой емкостью традиционных ленточных накопителей. Новинка предназначена для использования в ЦОД, для «теплого» (nearline или warm, об этом ниже) и «холодного» (архивного) хранения данных. MED призван заменить классические жесткие диски (HDD) и снизить зависимость от американских технологий.


Читать: https://habr.com/ru/companies/ru_mts/articles/859378/

#ru

@database_design | Другие наши каналы
70
DATABASE DESIGN

18 Nov, 07:51

Новые возможности Oracle AVDF 20.13

Вышло обновление Oracle Audit Vault and Database Firewall 20.13. Этот релиз сосредоточен на критически важных потребностях пользователей и предлагает новые функции для улучшения удобства использования и расширения поддержки на уровне предприятия. Узнайте больше о всех нововведениях!

Читать подробнее

#en

@database_design | Другие наши каналы
77
DATABASE DESIGN

17 Nov, 20:24

Сравнение реализаций гео-решений в СУБД

Привет, Хабр! Сегодня быстро разберём, как разные СУБД справляются с геоданными. Вопрос простой: если нужно работать с координатами, полигонами, считать расстояния — какая база справится лучше? В сравнение пойдут PostgreSQL (с его крутым PostGIS), MySQL, Oracle, SQL Server и MongoDB.


Читать: https://habr.com/ru/companies/otus/articles/858680/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

15 Nov, 18:02

Новый релиз MariaDB Connector/Python 1.1.11

MariaDB объявили о выходе версии 1.1.11 их коннектора для Python. В этой версии добавлена поддержка Python 3.13, новые свойства для TLS и изменены пакеты для Windows. Узнать подробности и скачать новинку можно на официальном сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
97
DATABASE DESIGN

15 Nov, 07:29

Загрузка и обработка видеофайлов посредством Minio, REST и FFmpeg

Всем привет! Меня зовут Павлов Денис, я .NET backend разработчик в компании DD Planet.

В статье расскажу о реализации загрузки и обработки видеофайлов с использованием Minio в качестве хранилища и FFmpeg для обработки видео.


Читать: https://habr.com/ru/articles/858768/

#ru

@database_design | Другие наши каналы
95
DATABASE DESIGN

15 Nov, 06:14

Инфраструктура для Data-Engineer BI-tools

BI (Business Intelligence) – это инструмент или несколько инструментов, которые помогают собрать данные в нужный вид и посмотреть на бизнес со стороны данных.

Чаще всего BI-инструментами пользуются аналитики. Они строят дашборды (витрины), выполняют Ad hoc задачи и в целом проводят анализ данных в этих инструментах.

В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.


Читать: https://habr.com/ru/articles/856922/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

14 Nov, 20:03

Новый релиз MariaDB ODBC Connector 3.2.4

Вышла стабильная версия MariaDB Connector/ODBC 3.2.4. Основные изменения: улучшена интеграция благодаря базе MariaDB Connector/C 3.4.3 и исправлены различные ошибки. Подробности и доступ к скачиванию на сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
85
DATABASE DESIGN

14 Nov, 18:25

Оптимистические и пессимистические блокировки на примере Hibernate (JPA)

Привет, Хабр! Давно хотел стать частью «деврел» сообщества: писать статьи, участвовать автором в митапах и т. д. Но никак не мог найти тему для рассказа. Недавно решил изучить тему «оптимистическая» и «пессимистическая» блокировки, но на мое удивление ни в ру сегменте, ни в англ сегменте — хороших статей, которые дают полное представление об двух типах блокировок с применением Hibernate, нет, поэтому я решил агрегировать всю информацию в одной короткой статье. Так как это моя первая статья, буду рад критике:) Итак, погнали.

P. S. Это статья не является полным гайдом для этих двух типов блокировок, она в первую очередь нацелена дать понятное описание двух решений одной проблемы, а если нужны примеры использования в Hibernate, то добро пожаловать в Google:)


Читать: https://habr.com/ru/articles/858714/

#ru

@database_design | Другие наши каналы
84
DATABASE DESIGN

14 Nov, 15:06

Обзорность баз данных MongoDB и интеграция с инструментами мониторинга

Как улучшить операционную эффективность? Интеграция MongoDB Atlas с популярными платформами мониторинга, такими как Datadog и Prometheus, упрощает управление базами данных и оперативный контроль. Это улучшает видимость систем и упрощает диагностику, не требуя замены текущих инструментов.

Читать подробнее

#en

@database_design | Другие наши каналы
77
DATABASE DESIGN

14 Nov, 14:05

Data catalog: от истории до сравнения решений

Прийти и по запросу быстро найти нужные данные — идеальный сценарий. Но он практически невозможен при условии использования множества баз данных и хранилищ. В реальных условиях без «надстройки» над всеми БД и «единой точки входа» команды вынуждены тратить время на исследование разных хранилищ, их каталогов и подкаталогов в поиске нужных файлов без какой-либо гарантии успешного результата. Такой «надстройкой» являются каталоги данных.

Меня зовут Юрий Орлов, я тимлид команды ML Platform. В этой статье я подробно разберу, что такое каталоги данных и какие они бывают, а также расскажу о нашем выборе инструмента для построения каталога под запросы аналитиков данных.


Читать: https://habr.com/ru/companies/vk/articles/857894/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

14 Nov, 11:22

Путешествие внутрь YADRO. Часть 1: распаковка и тест-драйв TATLIN.FLEX.ONE

Хабр, привет! На связи Алексей Зотов из К2Тех. Не так давно в нашу лабораторию приехало оборудование от российского вендора YADRO: TATLIN.FLEX.ONE и TATLIN.BACKUP. Наша команда протестировала это железо, и теперь я хочу поделиться с вами полученными результатами и впечатлениями об этих продуктах.

Сегодня будет часть 1, в которой мы поговорим о российской системе хранения данных начального уровня – TATLIN.FLEX.ONE. В этой статье я детально разберу ее характеристики, особенности конфигурации и администрирования. По итогам серии тестов производительности рассмотрю возможности системы в различных сценариях использования, а также нюансы работы с веб-интерфейсом и CLI, которые могут быть полезны системным администраторам.

Готовы погрузиться в мир отечественных систем хранения данных? Тогда поехали!


Читать: https://habr.com/ru/companies/k2tech/articles/858570/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

14 Nov, 08:21

Если вам нужен швейцарский нож для работы с базами данных, попробуйте DBeaver

Это бесплатный инструмент для разработчиков, администраторов баз данных и аналитиков, поддерживающий практически любую базу данных с драйвером JDBC (что по сути означает - ЛЮБУЮ базу данных).

Функционал: DBeaver предлагает мощный SQL-редактор с подсветкой синтаксиса, автодополнением и форматированием запросов, редактор метаданных, диаграммы ERD, инструменты для экспорта, импорта и миграции данных, а также анализ планов выполнения SQL и т.д.

А благодаря поддержке плагинов, DBeaver можно легко адаптировать к вашим нуждам, добавляя специальные функции для работы с различными базами данных.

Осталось только лайк поставить и сохранить👍

#SQL #инструменты #dbeaver
85
DATABASE DESIGN

13 Nov, 17:36

💡 Нововведения в MariaDB 11.6 для бэкапа и восстановления

В версии MariaDB 11.6 улучшены инструменты дампа и импорта баз данных. Добавлены новый формат бэкапа в директорию и опция --parallel, позволяющая проводить параллельные операции бэкапа и восстановления. Эти изменения существенно повышают производительность.

Читать подробнее

#en

@database_design | Другие наши каналы
89
DATABASE DESIGN

13 Nov, 15:02

Oracle Database 23ai теперь и на MacBook с M4

Oracle выпускает бесплатные контейнерные образы Oracle Database 23ai для MacBook на базе Arm, включая модели с чипом M4. Теперь разработчики могут воспользоваться всеми преимуществами Oracle Database 23ai как на Linux, так и на Windows.

Читать подробнее

#en

@database_design | Другие наши каналы
73
DATABASE DESIGN

09 Nov, 05:33

Boson — разработка СУБД «с нуля» (итог)

Цель проекта Boson — это разработка встроенного движка базы данных документов JSON, написанный на C++. Основные возможности: стандартное хранилище JSON-документов в формате ключ/значениями с постоянным хранением на диске. Размер документов до 4Gb. Быстрый поиск документов по ID с использованием индекса B+ дерева. Поддержка курсоров для линейного обхода записей. База данных в одном файле, без временных файлов. Простое, чистое и легкое в использовании API. Самодостаточный и не требующий настройки.

В предыдущих двух статьях мы прошли шаги от кэширования файлового ввода/вода (часть I) до построенного на его базе хранилища записей произвольной длины (часть II) с проверкой целостности, возможностью получения записей списком и повторным использованием свободного места. Теперь мы переходим к завершающей части и "сердцу" СУБД - индексу.

Зачем нужен индекс: предположим, что в базе есть 1 млрд не отсортированных записей документов, тогда поиск конкретного документа по ID потребует O(n) операций, то есть до 1 млрд операций в худшем случае. Однако, если бы документы в базе были бы отсортированы по ID, то поиск в сортированной базе, тем же бинарным поиском занял бы O(log n) занял бы 30 операций. Что, теоретически, на базе в 1 млрд записей будет в 33.3 млн раз быстрее.


Читать: https://habr.com/ru/articles/856876/

#ru

@database_design | Другие наши каналы
46
DATABASE DESIGN

08 Nov, 13:04

Как MongoDB Меняет Игру для Digital Natives

В своём последнем блоге MongoDB анализирует, как цифровые компании могут преодолевать сложности современного ПО, используя правильные платформы для управления данными. Узнайте, как MongoDB помогает ускорить разработку, адаптироваться к рынку и масштабироваться без потерь в производительности. MongoDB Atlas: Оптимизация облаков и автоскейлинг

MongoDB Atlas обновляет возможности автоскейлинга и расширения хранилища на Azure. Благодаря новым улучшениям, клиенты могут оптимальнее распределять ресурсы, управляя производительностью и затратами. Ускорение обработки динамических нагрузок теперь до 5 раз быстрее.

Читать подробнее

#en

@database_design | Другие наши каналы
71
DATABASE DESIGN

08 Nov, 09:12

Создание конфигурируемого Webhook-модуля для NestJS-приложении

В рамках этой статьи я опишу создание двух NestJS-модулей с различным способом конфигурирования: утилитарный модуль и бизнес-модуль со своей базой данных.


Читать: https://habr.com/ru/articles/848634/

#ru

@database_design | Другие наши каналы
67
DATABASE DESIGN

08 Nov, 08:17

Ленточные накопители в домашнем ПК

Приветствую всех!
Однажды перед каждым из нас встаёт вопрос: где хранить сотни гигабайт столь важной информации? Кто-то продлевает подписку в облаке, кто-то покупает ещё один винт, кто-то собирает NAS, а кто-то, как и я, присматривается к чуть более экзотическим решениям.
Вдохновившись постом двухгодичной давности про серверное железо в обычном ПК, я решил, что самое время рассказать про ещё один атрибут подобных систем — стримеры.
Если в прошлый раз я рассказывал про древний аппарат, то в сегодняшней статье поговорим про более современные экземпляры, а главное — про использование таких девайсов в самых обычных компьютерах. Заодно разберёмся, стоит ли пытаться так делать, как заставить всё это работать, какой экземпляр лучше, а на какие не стоит даже смотреть.


Читать: https://habr.com/ru/companies/timeweb/articles/851498/

#ru

@database_design | Другие наши каналы
69
DATABASE DESIGN

08 Nov, 02:26

Обучающие видео от Oracle о MicroTx

Oracle предлагает серию видеороликов, которые раскрывают ценные аспекты использования MicroTx. В нашем новом блоге вы найдете описания и ссылки на эти материалы. Познакомьтесь с полезными ресурсами!

Читать подробнее

#en

@database_design | Другие наши каналы
78
DATABASE DESIGN

07 Nov, 11:30

Как мы сделали собственный Software-Defined Storage для публичного облака Cloud.ru Evolution

Хабр, приветствую! Я Сергей Лысанов — технический лидер и руководитель разработки систем хранения данных. Наша команда начала создавать собственное хранилище с нуля в 2021 году и через два года мы вышли в продакшн вместе с публичным облаком Cloud.ru Evolution. В этой статье я подробно расскажу, как устроено наше хранилище и поделюсь интересными техническими решениями. Welcome!
Читать дальше

Читать: https://habr.com/ru/companies/cloud_ru/articles/842744/

#ru

@database_design | Другие наши каналы
89
DATABASE DESIGN

07 Nov, 11:30

Когда есть разница регистров, но это не верхний и не нижний регистры?

Если вы начнёте изучать стандарт Unicode, то к своему удивлению можете обнаружить, что некоторые символы, имеющие различия в регистре, которые сами по себе ни в верхнем, ни в нижнем регистре.

У-у-у-у, загадочно и пугающе.

Иными словами, это символ c, обладающий следующими свойствами:

toUpper(c) ≠ toLower(c), однако

c ≠ toUpper(c) и c ≠ toLower(c).

Поздравляю, вы обнаружили таинственный третий регистр: Title case.


Читать: https://habr.com/ru/articles/856784/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

06 Nov, 18:12

Новый уровень изоляции в MariaDB

В новом посте обсуждается тестирование и отладка нарушений уровня изоляции в MariaDB. Изоляция — ключевое свойство транзакций в базах данных. Для улучшения выполнения "Repeatable Read" введён новый уровень изоляции "Snapshot", доступный с MariaDB 11.6.2. Узнайте, как это влияет на тестирование и устранение ошибок. Тестирование изоляции в InnoDB: интересные находки и решения

Команда MariaDB и эксперты выяснили, что уровень изоляции Repeatable Read в InnoDB не соответствует общепринятым определениям и более точно описывается как Snapshot isolation. Благодаря новым инструментам, тестирование нарушений изоляции стало проще и удобнее.

Читать подробнее

#en

@database_design | Другие наши каналы
104
DATABASE DESIGN

06 Nov, 17:00

Базы данных: общие понятия. SA для самых маленьких

Добро пожаловать в блок статей для начинающих системных/бизнес аналитиков. Здесь мы готовимся к получению заветного оффера вместе

Пожалуй, начнем с самого базового и примитивного - определения.

База данных (БД) - это набор данных, хранящихся в структурированном виде.

Вторым ключевым понятием является СУБД.

Система управления базами данных (СУБД) - это системы (или программы), позволяющие создавать базы данных и манипулировать сведениями из них.

Схема ниже представляет собой упрощенный процесс взаимодействия с БД


Читать: https://habr.com/ru/articles/856576/

#ru

@database_design | Другие наши каналы
97
DATABASE DESIGN

06 Nov, 12:29

Обзор российских VPS-серверов в Нидерландах

Недавно увидел рекламу от FirstVDS, что у них появились серверы в Нидерландах — стало интересно и захотелось протестировать предложение. Но чтобы было проще ориентироваться на местности, я также решил протестировать серверы нескольких других хостеров, которые также предоставляют свои услуги в Нидерландах. А их оказалось немало: это и привычные RUVDS с Timeweb, и не бывавшие ранее в моих тестах VPS1 и VDSKA. Под катом — несколько тестов на производительность и сравнение предложений между собой.


Читать: https://habr.com/ru/articles/856398/

#ru

@database_design | Другие наши каналы
92
DATABASE DESIGN

06 Nov, 10:20

Как упростить управление базами данных и снизить расходы

Для многих компаний надежная и высокодоступная база данных имеет решающее значение для обеспечения бесперебойной работы сервисов и поддержания роста. Однако сложность и стоимость, связанные с управлением базами данных, часто становятся серьезными препятствиями. Организации постоянно ищут способы оптимизировать процессы и снизить затраты - от баланса между производительностью и надежностью до компромиссов между облачными решениями и самостоятельным управлением.

В этой статье рассматриваются стратегии для преодоления этих проблем, оптимизации управления базами данных и сокращения инфраструктурных расходов без ущерба для качества и надежности.


Читать: https://habr.com/ru/articles/856448/

#ru

@database_design | Другие наши каналы
91
DATABASE DESIGN

06 Nov, 07:21

Квантовые дефекты и возрождение CD и DVD: революция в оптических носителях данных?

Объем информации, генерируемой ежегодно, растет: так, сейчас человечество создает около 147 зеттабайт данных в год, а к 2025 году этот показатель может вырастет до 181 зеттабайта. Необходимость новых решений в хранении информации становится все острее, поэтому производители накопителей данных постоянно разрабатывают более емкие системы.

Но, возможно, стоит не только искать новые технологии, но и совершенствовать уже существующие. Новые исследования Чикагского университета и Аргоннской национальной лаборатории показали, что давно забытые CD и DVD могут обрести вторую жизнь. Использование квантовых дефектов и редкоземельных элементов позволяет многократно увеличивать плотность данных на оптических носителях. Возможно, что они смогут конкурировать с современными технологиями хранения​. Справедливости ради стоит сказать, что вопросов к этой работе больше, чем ответов. Подробности — под катом.


Читать: https://habr.com/ru/companies/ru_mts/articles/856380/

#ru

@database_design | Другие наши каналы
91
DATABASE DESIGN

05 Nov, 22:14

SQL Firewall в Oracle 23ai — новый уровень безопасности

В Oracle Database 23ai появилась уникальная возможность — SQL Firewall. Это мощный инструмент для обеспечения безопасности данных. Узнайте, как эффективно использовать эту функцию, на новом практическом занятии Oracle LiveLabs.

Читать подробнее

#en

@database_design | Другие наши каналы
103
DATABASE DESIGN

05 Nov, 13:48

🔒 MongoDB: Революция в защите данных с помощью шифрования

MongoDB представила уникальную технологию Queryable Encryption, которая обеспечивает полную безопасность данных на всех этапах их жизненного цикла. Теперь можно безопасно выполнять поиск по зашифрованным данным без предварительного расшифрования, что значительно упрощает соблюдение требований GDPR. 🔒 Защита данных на новом уровне с MongoDB

MongoDB внедряет усовершенствованную технологию шифрования данных, обеспечивая безопасность на всех этапах их жизненного цикла. Поддержка диапазонных запросов открывает новые возможности, от борьбы с мошенничеством до персонализированных страховых предложений, не раскрывая чувствительную информацию. MongoDB и партнеры ускоряют развитие ИИ

MongoDB активно участвует в ИИ-революции, сотрудничая с партнерами для создания простых и мощных инструментов разработки. Fireworks.ai и Nomic предлагают решения для работы с открытыми моделями, улучшая скорость и безопасность. Генеративный ИИ становится доступнее для всех.

Читать подробнее

#en

@database_design | Другие наши каналы
107
DATABASE DESIGN

05 Nov, 08:57

Можно ли нарастить хранилище в MacBook на Apple Silicon? Судя по всему, да

Еще десять лет назад модернизация хранилища в компьютерах Apple не была хоть сколько-то актуальной темой. Компания почти этому не препятствовала, и пользователи могли без проблем нарастить хранилище своих Mac. Но с 2016 года заменить накопитель стало фактически невозможно. Apple стала не просто мешать этому, а просто возвела эту процедуру в статус абсолютного зла. Однако недавнее открытие может в корне изменить сложившуюся ситуацию, поскольку решение для расширения накопителя в современных MacBook все-таки есть.


Читать: https://habr.com/ru/companies/x-com/articles/856112/

#ru

@database_design | Другие наши каналы
103
DATABASE DESIGN

04 Nov, 21:07

MongoDB и партнёры формируют будущее ИИ

MongoDB вместе с партнёрами ускоряет развитие ИИ, создавая доступные инструменты для разработчиков. Компании, такие как Fireworks.ai и Nomic, внедряют инновационные решения для обработки данных, а Capgemini инвестирует в обучение своих сотрудников. Узнайте, как MongoDB помогает улучшить ваши ИИ-программы. Обновления MongoDB Atlas: Эффективная оптимизация облачных ресурсов

MongoDB Atlas представила новые возможности: независимая авто-масштабируемость шардов, расширенное хранилище и IOPS на Azure. Эти функции позволяют организациям эффективно управлять ресурсами, снижая затраты и поддерживая производительность. Узнайте, как воспользоваться обновлениями уже сегодня!

Читать подробнее

#en

@database_design | Другие наши каналы
113
DATABASE DESIGN

04 Nov, 16:53

MongoDB 8.0: Почему стоит обновиться?

Новая версия MongoDB 8.0 предлагает массу улучшений, среди которых повышение производительности на 30%, усовершенствованная безопасность с помощью шифрования, а также упрощенный и более экономичный масштаб. Платформа позволяет обрабатывать большие объемы данных быстрее и эффективнее, предоставляя надежную основу для современных приложений. 🚀 MongoDB 8.0: Новый стандарт производительности!

MongoDB представил 8.0 — самую безопасную и высокопроизводительную версию с улучшенной памятью и скоростью запросов. Клиенты уже отмечают двойное ускорение обработки данных. Эта версия идеальна для современных AI решений и высоконагруженных приложений. Не упустите! MongoDB Atlas: Новый уровень авто-масштабирования

MongoDB Atlas обновил возможности авто-масштабирования. Теперь пользователи могут быстрее и эффективнее управлять ресурсами благодаря улучшенным алгоритмам. Это позволит оптимизировать затраты и поддерживать высокую производительность даже при резком росте нагрузки. Узнайте больше на сайте!

Читать подробнее

#en

@database_design | Другие наши каналы
25
DATABASE DESIGN

04 Nov, 16:53

Встречайте MongoDB 8.0: новые возможности и улучшения

MongoDB представила новую версию 8.0 с множеством улучшений. Среди ключевых особенностей — ускорение работы на 30%, улучшенная защита данных с помощью новаторского шифрования, а также новые инструменты для более экономичного и легкого масштабирования. MongoDB 8.0 предлагает прочный фундамент для всех типов приложений. MongoDB 8.0: Новый Уровень Производительности!

С MongoDB 8.0 вертикальное масштабирование стало проще и дешевле. Новая версия позволяет увеличить скорость распределения данных в 50 раз и снизить затраты вдвое. Это обеспечивает стабильную работу приложений даже при высоких нагрузках. Узнайте больше на mongodb.com/try! MongoDB 8.0: Новый Уровень Эффективности

MongoDB 8.0 удивляет значительно улучшенной производительностью и новыми функциями. Скорость выполнения обычных запросов увеличилась на 32%, а внедрение улучшенного шардирования и сжатых векторов снижает затраты. Продукт уже доступен для загрузки, так что пробуйте и оценивайте сами!

Читать подробнее

#en

@database_design | Другие наши каналы
19
DATABASE DESIGN

04 Nov, 16:53

MongoDB 8.0: Революция в базах данных

Встречайте MongoDB 8.0 — новый стандарт в управлении данными! Эта версия обещает значительные улучшения в производительности и безопасности, поддерживая глобальные приложения. Оцените её преимущества и попробуйте бесплатно на mongodb.com/try!

Читать подробнее

#en

@database_design | Другие наши каналы
17
DATABASE DESIGN

04 Nov, 16:52

Почему выбрать MongoDB 8.0?

MongoDB 8.0 теперь доступен и предлагает разработчикам улучшения производительности, увеличенную безопасность и сниженные затраты. Эта версия особенно полезна для создания новых и оптимизации существующих приложений с поддержкой горизонтального масштабирования и передовой шифрации. Узнайте больше на mongodb.com/try. MongoDB 8.0: Новый уровень производительности и безопасности

MongoDB представила версию 8.0, которая улучшает безопасность, надежность и производительность. Среди нововведений — снижение времени запросов, улучшенная обработка пакетов данных и масштабируемость. Версия уже доступна на MongoDB Atlas и для скачивания на сайте компании. Современные возможности MongoDB Atlas: управляем стоимостью и производительностью

В октябре 2024 компания MongoDB представила обновления для Atlas, включая улучшенное авто-масштабирование и независимое масштабирование шардов. Эти инструменты позволяют клиентам оптимизировать затраты и производительность в облаке, легко адаптируясь под изменяющиеся нагрузки. Узнайте больше на странице документации или начните с бесплатной пробной версии.

Читать подробнее

#en

@database_design | Другие наши каналы
20
DATABASE DESIGN

04 Nov, 16:52

🚀 Новая Эра с MongoDB 8.0!

MongoDB 8.0 уже доступна! Эта версия значительно увеличила производительность, повысила безопасность с помощью Queryable Encryption и упростила масштабирование. Идеальна как для новичков, так и для опытных пользователей, предлагая интуитивно понятный интерфейс и поддержку различных приложений. Узнайте больше на сайте MongoDB! MongoDB 8.0: Новый стандарт в производительности и безопасности

MongoDB представила версию 8.0, обещая повышения безопасности, устойчивости и производительности. Новые оптимизации значительно ускоряют операции: чтение стало быстрее на 36%, записи — на 56%. Эти улучшения помогут пользователям сократить затраты и повысить эффективность. Узнайте больше на mongodb.com. Оптимизация масштабирования с MongoDB Atlas

Недавно представленные функции MongoDB Atlas значительно улучшают время масштабирования и реакцию на нагрузку, обеспечивая до 5-кратного повышения производительности. Это помогает компаниям как Conrad и Current автоматически увеличивать вычислительные мощности без сложных настроек. Управляйте облачными затратами эффективно с MongoDB Atlas!

Читать подробнее

#en

@database_design | Другие наши каналы
21
DATABASE DESIGN

04 Nov, 16:43

Почему стоит обратить внимание на MongoDB 8.0

MongoDB 8.0 уже доступна, предлагая значительное улучшение производительности, безопасность и лёгкость масштабирования. Новая версия позволяет быстрее обрабатывать запросы, снижает затраты на инфраструктуру и расширяет возможности для постройки надежных приложений. Узнайте, как MongoDB 8.0 может улучшить ваши проекты! 🔍 Новый стандарт: MongoDB 8.0

MongoDB 8.0 стал доступен и предлагает значительные улучшения в производительности и безопасности. Новая версия обеспечивает на 36% более быстрое чтение и значительное ускорение записи данных. MongoDB продолжает поддерживать разнообразные корпоративные потребности, от шифрования до оптимизации ресурсов. Узнайте больше на официальном сайте MongoDB! Ускорьте масштабирование с MongoDB Atlas

Недавние обновления MongoDB Atlas повышают эффективность авто-масштабирования до 5 раз, оптимизируя ресурсы и сохраняя высокую производительность. Без ручного вмешательства, клиенты могут управлять облачными затратами и подстраиваться под динамичные нагрузки. Попробуйте бесплатную версию уже сегодня!

Читать подробнее

#en

@database_design | Другие наши каналы
31
DATABASE DESIGN

04 Nov, 14:30

Что нового в MongoDB 8.0?

MongoDB 8.0 стала доступной, и ее обновления впечатляют! Теперь база данных работает на 30% быстрее, поддерживает расширенное шифрование, упрощает горизонтальное масштабирование и улучшает контроль над приложениями. Эти улучшения обеспечивают отличную производительность и безопасность. Новая эпоха производительности с MongoDB 8.0

MongoDB анонсировала выпуск версии 8.0, которая обещает значительное улучшение безопасности, долговечности, доступности и производительности. Среди ключевых обновлений - снижение времени обработки запросов и памяти, а также поддержка разработки на основе современных стандартов шифрования. Попробуйте и убедитесь сами! Оптимизация ресурсов с MongoDB Atlas

MongoDB Atlas представила обновления: независимое масштабирование шардов, улучшенное авто-масштабирование и расширенное хранилище на Azure. Эти новшества позволяют оптимально распределять ресурсы и снижать затраты. Изучите подробнее и начните экономить на облачных расходах!

Читать подробнее

#en

@database_design | Другие наши каналы
49
DATABASE DESIGN

04 Nov, 11:29

PSQLBuddy — резервное копирование и восстановление PostgreSQL

Все мы так или иначе решаем вопросы резервирования наших данных. Но всегда хочется, чтобы думать об этом приходилось как можно меньше, стоило это дешевле, а восстановление было простой задачей. Это я и попытался сделать в своем проекте PSQLBuddy.

Опять-двадцать пять, или резервное копирование баз данных PostgreSQL по новому. Снова.
. Опять

Читать: https://habr.com/ru/articles/855912/

#ru

@database_design | Другие наши каналы
102
DATABASE DESIGN

04 Nov, 11:21

Немного о Durability в Postgres. Часть 2

В прошлой публикации мы обсудили механизм парсинга, оптимизации и исполнения запроса в PostgreSQL. В процессе обсуждения, был также затронут WAL (Write-Ahead Log). Давайте разберемся, что же это такое.

WAL, он же Write Ahead Log - бинарный лог, хранящий в бинарном виде непоcредственные результаты исполнения транзакций, модифицирующих текущее состояние данных. Речь идет о запросах INSERT, UPDATE и DELETE.

WAL обеспечивает Durability из ACID, т.е. сохранность данных в случае любых возможных сбоев.  Тем не менее, ошибочно представлять себе WAL как бэкап данных. Смысл данного механизма не в хранении копии всех созданных и измененных данных с момента создания бд.

WAL используется для нескольких целей. В том числе - это основной механизм получения реплицируемых данных, будь то физическая или логическая репликация. Но об этом мы сейчас не будем говорить. В нашем примере речь идет о единственном инстансе PostgreSQL, запущенном на отдельной машине или в контейнере.


Читать: https://habr.com/ru/articles/855910/

#ru

@database_design | Другие наши каналы
98
DATABASE DESIGN

03 Nov, 15:06

Фотография на 4,6 терабита: техника фотографии XIX века, использованная в новом методе хранения данных

Кларк Джонсон говорит, что хотел стать учёным с трёх лет. В 8 лет ему наскучил полученный в подарок набор для создания телеграфа, и он переделал его в телефон. К 12 годам он решил изучать физику, потому что хотел понять, как работают вещи на самом базовом уровне.

«В то время я ошибочно полагал, что физики настроены на левое ухо Бога», — говорит Джонсон.

Окончив в 1950 году в возрасте 19 лет Университет Миннесоты Twin Cities со степенью бакалавра по физике, он собирался поступать в аспирантуру, когда ему позвонил руководитель физического отдела научно-исследовательской лаборатории компании 3M и предложил работу. Соблазнившись перспективой делать всякое своими собственными руками, Джонсон согласился на должность физика на предприятии компании в Сент-Поле, штат Миннесота. Так началась его более чем семидесятилетняя карьера инженера-электрика, изобретателя и предпринимателя, которая продолжается и по сей день.


Читать: https://habr.com/ru/articles/855806/

#ru

@database_design | Другие наши каналы
111
DATABASE DESIGN

03 Nov, 13:54

Марии (db) 15 лет! 15 причин чтобы её полюбить (или хотя бы с ней познакомиться)

MariaDB Server исполняется 15 лет! Вот 15 причин, по которым разработчики и администраторы баз данных любят его!


Читать: https://habr.com/ru/articles/855802/

#ru

@database_design | Другие наши каналы
115
DATABASE DESIGN

03 Nov, 09:58

Топ 10 трюков для оптимизации SQL. Часть 1

В этой серии статей мы рассмотрим 10 трюков для оптимизации ваших SQL запросов. Большинство трюков из этой статьи многие уже знают, но я всё равно решил о них упомянуть)


Читать: https://habr.com/ru/articles/855770/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

02 Nov, 13:26

Как мы научились эффективно управлять ростом данных с переходом на BW/4HANA

Всем привет! Меня зовут Сергей Вяльцев. Я архитектор команды «Финансы» в «Ленте», домен «Данные и Аналитика». Хочу поделиться тем, как благодаря миграции на BW/4HANA нам удалось разгрузить сервер базы данных хранилища SAP BW, не прибегая к покупке дорогостоящего оборудования. Более подробно остановлюсь на описании новой технологии NSE и результатах ее применения в нашей системе.


Читать: https://habr.com/ru/companies/lentatech/articles/855412/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

02 Nov, 12:53

Сравнение архитектуры отказоустойчивых хранилищ для виртуализации в картинках

Показанные схемы в статье отображают задний фон в виде серверов и коммутаторов. Это необходимо для ассоциативного восприятия, приближенного к тому, как программные сервисы архитектуры связаны с оборудованием, а также для понимания разницы в логических компонентах программных архитектур хранилищ на основе одного и того же минимального аппаратного набора.


Читать: https://habr.com/ru/articles/808113/

#ru

@database_design | Другие наши каналы
85
DATABASE DESIGN

02 Nov, 09:15

Восстановление данных с зашифрованного Linux тома с помощью cryptsetup

В этой статье мы разберем восстановление данных с зашифрованного с помощью LUKS тома NAS.

Внимание: в самом худшем случае для восстановления данных этим способом потребуется свободное место равное двум объемам зашифрованного раздела. Например, если у вас есть зашифрованный раздел на 1 ТБ, то необходимо иметь 2 ТБ свободного места. В лучшем случае (незначительные повреждения) понадобится один объем свободного дискового пространства. Также обращаем внимание, что вам НУЖНО ЗНАТЬ пароль, который использовался для шифрования тома

Для примера мы будем использовать диск от QNAP с зашифрованном разделом.

1.     Подключаем диск от QNAP к компьютеру с помощью USB или SATA. После чего нужно любым доступным способом создать образ зашифрованного раздела. Для примера мы будем использовать программу Vолга. Выбираем раздел QNAP и начинаем создание образа. Мы советуем сохранить образ в формате .img (посекторный RAW образ) на любой внешний диск.


Читать: https://habr.com/ru/articles/855290/

#ru

@database_design | Другие наши каналы
65
DATABASE DESIGN

02 Nov, 06:09

Файловая система без фокусов: как hard links и XOR сэкономят ваши гигабайты

Для начала нужно понять главное - файлов не существует.
А потом на примере простых манипуляций разобрать что такое hard links, чем может быть полезен непонятный XOR и как это всё уживается в системах копирования и снимков


Читать: https://habr.com/ru/articles/855480/

#ru

@database_design | Другие наши каналы
67
DATABASE DESIGN

01 Nov, 17:26

Новые обновления для MariaDB Community Server

MariaDB объявила о выходе обновлений для версий 11.4.4, 11.2.6, 10.11.10, 10.6.20 и 10.5.27. Узнайте больше о новых функциях и исправлениях на сайте проекта. Скачайте последние версии уже сегодня! Подробности по ссылке: mariadb.com/downloads.

Читать подробнее

#en

@database_design | Другие наши каналы
71
DATABASE DESIGN

01 Nov, 10:27

Импортозамещение Data Quality стека в нефтегазохимии: опыт СИБУРа

В СИБУРе много данных, которые текут в режиме реального времени с многочисленных датчиков на разных производствах, эти данные нужно собирать, хранить, обрабатывать и анализировать, чтобы компания могла принимать правильные бизнес-решения. И от качества инфраструктуры для работы с данными зависит рентабельность производств и прибыль компании в целом, а это жизненно важные показатели.

В небольшом цикле из двух статей мы разберём опыт СИБУРа в создании, поддержке и развитии DQ (Data Quality — качество данных) сервиса для DWH (Data Warehouse — хранилище данных) в условиях санкций и исчезающих вендоров проверенных и привычных решений.

Рассказывать об этом опыте будет Александр Бергер, Lead DQ Analyst в Цифровом СИБУРе, которому посчастливилось лидить процесс создания DQ-сервиса на решениях вендора, который решил покинуть рынок РФ в разгар рабочего процесса.


Читать: https://habr.com/ru/companies/sibur_official/articles/855310/

#ru

@database_design | Другие наши каналы
78
DATABASE DESIGN

01 Nov, 09:13

Система сквозного логирования с передачей единого идентификатора между независимыми задачами Airflow

Привет! Меня зовут Никита Хилов, я работаю в билайне уже более десяти лет. Начинал я работать с поддержкой систем фиксированного фиксированного биллинга, впоследствии я отвечал за разработку и поддержку различных расчетов по системам управленческой или корпоративной отчетности. А сейчас я работаю в роли тимлида дата-инженеров в блоке по архитектуре и инфраструктуре данных и отвечаю за управление разработкой и сопровождением программных продуктов компании по различным точкам бизнес-приложения.

Итак, какие же вопросы мы обсудим в этой серии постов. Сегодня я хочу осветить вопросы касаемо того, как же нам организовывать, компоновать и в принципе заставить работу систему журналирования наших расчетов для таких случаев, когда наш общепринятый ключ периодики, на котором мы обычно строим свои расчеты, перестает быть однозначным идентификатором той итерации процесса подготовки данных, на которую мы сейчас смотрим, и от которых мы ждем результаты.

Мы обсудим, например, когда такое происходит и что для этого является катализатором. Рассмотрим механики и механизмы, которые дают возможность связывать независимые процессы и цепочки подготовки данных в единое целое.

И в дополнение расскажу, как мы эту проблему решали в своем продукте.

Но прежде всего давайте определим для чего нам это, в принципе, нужно.


Читать: https://habr.com/ru/companies/beeline_tech/articles/855274/

#ru

@database_design | Другие наши каналы
76
DATABASE DESIGN

01 Nov, 08:09

Восстанавливаем данные с кассеты от старого стримера

Приветствую всех!
Многие давно привыкли, что ленточные накопители — что-то высоконадёжное и предназначенное для долговременного использования. Но есть один стандарт, про который сказать так как-то не получается, и имя ему — QIC. Странная конструкция стримера и кассеты, не слишком уж долгий срок хранения — всё это про него.

Так получилось, что как-то раз ко мне попал стример такого типа и кассета к нему, на которой ещё оставались какие-то данные. Что же с ним можно сделать? Давайте разбираться.
Итак, в сегодняшней статье поговорим про стримеры стандарта QIC и miniQIC. Попутно разберёмся, как они работают и в чём их фатальный недостаток, попробуем восстановить данные с архива тридцатилетней давности и узнаем, почему нельзя пользоваться проприетарным софтом для резервного копирования.


Читать: https://habr.com/ru/companies/timeweb/articles/853608/

#ru

@database_design | Другие наши каналы
71
DATABASE DESIGN

01 Nov, 06:15

Инфраструктура для Data-Engineer DBT

dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python.

При помощи dbt можно создавать разные "слои" данных или выделить dbt только под один слой, к примеру dm.

При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake.


Читать: https://habr.com/ru/articles/854990/

#ru

@database_design | Другие наши каналы
78
DATABASE DESIGN

31 Oct, 14:28

Читать подробнее

#en

@database_design | Другие наши каналы
75
DATABASE DESIGN

31 Oct, 13:14

Обходим ограничение доступа Github к базе уязвимостей Trivy. Быстрый фикс вам в помощь

Совсем недавно разработчики, применяющие сканер образов Trivy, столкнулись с ошибкой TOOMANYREQUESTS. Она произошла из-за достижения максимального количества пользователей инструмента и предельной скорости по загрузкам из Container Registry (CR) ghcr.io.

Меня зовут Алиса Кириченко, я занимаюсь разработкой контейнерной платформы «Штурвал». Мы вовсю используем Trivy, но совсем не хотим зависеть от доступности сторонних сервисов. Иначе заказчики не поймут. Поэтому базы у нас свои, и обновляются они каждую ночь.

Если лень дальше читать, то вот, берите:

Trivy DB: public.shturval.tech/trivy-db

Trivy Java DB: public.shturval.tech/trivy-java-db

Детали — под катом.


Читать: https://habr.com/ru/companies/chislitellab/articles/854964/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

31 Oct, 11:19

Большой обзор менеджеров паролей для бизнеса

Стек технологий безопасности для рабочих мест будет неполным без программ управления паролями для сотрудников. Почему? Потому что одной из самых частых причин взлома учетных записей являются слабые и скомпрометированные пароли. А с учетом того, что все больше сотрудников работают удаленно, адекватные методы парольного менеджмента становятся еще более важными.

Ниже собрал список доступных для российских компаний вариантов менеджеров паролей (если что, дополняйте в комментариях) и попробовал сравнить их.


Читать: https://habr.com/ru/articles/854998/

#ru

@database_design | Другие наши каналы
78
DATABASE DESIGN

31 Oct, 09:35

Ужасный код: если бы злодеи хорроров стали программистами

Мы погрузились в мрачный мир фантазий и представили, какие языки программирования и роли могли бы выбрать самые известные злодеи хоррор-фильмов, если бы они ворвались в IT.

Читать: «Ужасный код: если бы злодеи хорроров стали программистами»

#ru

@database_design | Другие наши каналы
93
DATABASE DESIGN

31 Oct, 08:29

Разоблачение привилегий: как PAM помогает выявить скрытые риски

В статье расскажем о решении класса PAM (Privilege Access Management), а также рассмотрим, кто такие привилегированные пользователи и какую ключевую роль они играют в управлении доступом к критически важным системам и данным. Понимание особенностей этой роли и рисков, связанных с действиями привилегированных пользователей, является основой для разработки эффективных стратегий управления доступом и защиты информации.


Читать: https://habr.com/ru/companies/ussc/articles/854896/

#ru

@database_design | Другие наши каналы
80
DATABASE DESIGN

31 Oct, 07:08

Выбираю Open Source БД для себя

Задача такая: искал Open Source БД для своего пет-проекта. Решил посмотреть в интернете новые решения в рамках БД. После чтения статей и отбора из 6-7 БД остались три (3), которые понравились лично мне. Больше ничего путного не нашел.

Почему именно эти? Во-первых, они Open Source, а во-вторых, у них есть ответы на два главных моих вопроса «Для чего это нужно?» и «Работает ли из коробки?»

Давайте покажу на примерах.


Читать: https://habr.com/ru/companies/alfa/articles/854400/

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

31 Oct, 06:11

Как мы внедрили CockroachDB на DBaaS в компанию классических СУБД

Привет! Меня зовут Полина Кудрявцева, я инженер DBA в Авито. В этой статье я расскажу о том, как мы внедрили CockroachDB на DBaaS в компанию классических СУБД, а также опишу его плюсы, минусы и особенности работы.


Читать: https://habr.com/ru/companies/avito/articles/854732/

#ru

@database_design | Другие наши каналы
82
DATABASE DESIGN

30 Oct, 21:53

Маршрут длиною в 15 лет: история успеха MariaDB

MariaDB Server отмечает 15-летие с момента первого релиза в 2009 году. Проект, начавшийся с команды MySQL, вырос благодаря поддержке сообщества и многим внешним участникам. Сегодня он активно разрабатывается и используется по всему миру, сохраняя дух и функциональность MySQL.

Читать подробнее

#en

@database_design | Другие наши каналы
86
DATABASE DESIGN

30 Oct, 11:01

Как мы переехали с StatsD на Prometheus всего за месяц

Недавно мы мигрировали все метрики нашей инфраструктуры со StatsD на Prometheus и очень довольны результатами. Миграция потребовала огромных усилий, и мы многому научились в процессе. Этот пост призван пролить свет на то, почему мы перешли на Prometheus, а также описать некоторые технические сложности, с которыми мы столкнулись.

Метрики — настолько важный и повсеместный компонент в современных распределенных системах, что легко забыть, что популярные протоколы метрик с открытым исходным кодом начали появляться только в последнее десятилетие.


Читать: https://habr.com/ru/articles/854666/

#ru

@database_design | Другие наши каналы
87
DATABASE DESIGN

30 Oct, 10:01

Как использовать серверы Redis и Memcached для кэширования

Что такое кэширование. Показываем основные способы использовать серверы Redis и Memcached для кэширования. Рассматриваем пошаговую инструкцию ✔ Tproger

Читать: «Как использовать серверы Redis и Memcached для кэширования»

#ru

@database_design | Другие наши каналы
80
DATABASE DESIGN

30 Oct, 08:45

Неформатированный текст не так уж прост

Когда мы взаимодействуем с текстовым файлом при помощи редактора, то, что мы видим, не всегда отражает содержимое файла. Да, содержимое файла с неформатированным текстом — это байтовые коды, закодированные в таких форматах, как ASCII, UTF8 и UTF16, и в этих байтовых кодах находится источник истины. Но в конечном итоге, именно текстовый редактор выбирает, как интерпретировать и отображать пользователю источник истины (двоичные коды). Это значит, что два файла могут выглядеть одинаково или один и тот же файл может выглядеть по-разному в зависимости от редактора.

Текстовый редактор может подсвечивать (или нет) отдельные части на основании распознанного им синтаксиса, может управлять отображением табов (2 пробела, 4 пробела или даже 8). Он решает, как кодировать нажатие клавиши Tab, например, как \t или как заданное количество пробелов. То же относится и к нажатию на клавишу Enter для создания новой строки — будет ли она кодироваться как \n (UNIX) или \r\n (Windows), зависит от конфигурации редактора.

Текстовый редактор скрывает подробности, чтобы пользователю не пришлось слишком много думать. Однако довольно часто такие подробности протекают сквозь защитный слой, который пытается создать редактор. И мы часто не замечаем подобные тонкости, пока не столкнёмся с ними.

Основная цель моей статьи — поделиться своим опытом и проблемами, с которыми можно столкнуться, работая с неформатированным текстом.


Читать: https://habr.com/ru/articles/854416/

#ru

@database_design | Другие наши каналы
81
DATABASE DESIGN

29 Oct, 00:04

YoMio.AI и MongoDB: Идеальное Партнерство для Быстрого Прогресса

Пост: YoMio.AI, стартап, создающий AI развлечения, выбрал MongoDB Atlas для оптимизации своих приложений. Благодаря этому партнерству, компания смогла ускорить обработку данных и расширить возможности поиска, делая свою продукцию более эффективной и доступной глобально. Вдохновляющий "Think-A-Thon" в Лондоне

MongoDB провела второй AI Build Together в Лондоне, где разработчики и лидеры индустрии обсудили инновационные AI-решения. Мероприятие собрало около 50 участников, работавших над решениями для здравоохранения, образования и других отраслей, превращая идеи в мощные концепты.

Читать подробнее

#en

@database_design | Другие наши каналы
24
DATABASE DESIGN

28 Oct, 15:06

Карты на стол: зачем нам понадобился собственный картографический сервис

Привет, Хабр! На связи Настя Швецова, руководитель проектов управления исследований и разработки «МосТрансПроекта». Недавно мы создали свой собственный картографический сервис. Вы спросите – зачем, есть же готовые решения? Да, но для наших нужд они не подходят по ряду причин. Что это за причины и в чем уникальность нашей ГИС расскажем под катом. Статья будет интересна тем, кто занимается картографией и геоинформационными системами.


Читать: https://habr.com/ru/companies/mostransproekt/articles/854086/

#ru

@database_design | Другие наши каналы
70
DATABASE DESIGN

28 Oct, 09:31

Резервное копирование системы виртуализации Basis.DynamiX с помощью RuBackup

Привет всем, кто заботится о данных и не собирается их терять. Сегодня мы рассмотрим тему бэкапа виртуальных машин (ВМ) на платформе виртуализации Basis.DynamiX (далее — DynamiX). Для этого будем использовать систему резервного копирования (СРК) RuBackup.

В статье расскажу, как установить, настроить и использовать RuBackup для создания резервных копий (РК) ВМ на платформе DynamiX, а также разберу некоторые сложности, которые могут возникнуть в процессе работы.

В первую очередь статья будет полезна для администраторов платформы виртуализации DynamiX, которым необходимо настроить в системе резервное копировани. Также статья подойдет для новичков, которые хотят разобраться, как в целом работает RuBackup.

Не забудьте про ссылки в конце статьи, они будут полезны!


Читать: https://habr.com/ru/companies/astralinux/articles/853554/

#ru

@database_design | Другие наши каналы
79
DATABASE DESIGN

25 Oct, 13:14

Безупречная миграция данных с Adiom и MongoDB Atlas

Пытаетесь упростить миграцию данных? Adiom представляет dsync, мощный инструмент для безболезненного перехода на MongoDB Atlas. Он обеспечивает быструю, безопасную и предсказуемую миграцию, устраняя риски и скрытые затраты. Это решение для крупных предприятий, желающих ускорить внедрение MongoDB.
Читать подробнее

#en

@database_design | Другие наши каналы
103
DATABASE DESIGN

25 Oct, 08:26

Рецензия на книгу “Основы проектирования баз данных (Database Design Solutions, 2nd Edition)”

Сегодня мы расскажем о новой переводной книге по проектированию баз данных от автора Рода Стивенса «Основы проектирования баз данных. — 2-е изд» (Database Design Solutions, Second Edition). Это практическое руководство почти на 800 страниц по проектированию реляционных и нереляционных баз данных на разных аппаратных платформах и в кросс-платформенных окружениях. И да, речь в книге идет о формировании правильной структуры данных в БД под ваши задачи и проект, а не о разработке программной оболочки (СУБД).


Читать: https://habr.com/ru/companies/ssp-soft/articles/853350/

#ru

@database_design | Другие наши каналы
105
DATABASE DESIGN

24 Oct, 21:37

🔍 Новые коннекторы MariaDB уже в вашем распоряжении

Компания MariaDB выпустила обновленные версии коннекторов для Java, R2DBC и Node.js. В них добавлена поддержка плагина PARSEC для улучшенной безопасности. Подробности и загрузка доступны на официальном сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
109
DATABASE DESIGN

24 Oct, 17:50

Новые улучшения InnoDB ускоряют MariaDB

Текст: Последние обновления в движке хранения InnoDB значительно повысили производительность MariaDB Server. В тестах MariaDB 11.4.3 показала от 7% до 36% больше запросов в секунду по сравнению с MySQL 8.0.38. Улучшения касаются ускорения операций записи и оптимизации использования ресурсов.

Читать подробнее

#en

@database_design | Другие наши каналы
99
DATABASE DESIGN

24 Oct, 17:50

Оптимизация с помощью Oracle

В статье рассказывается, как использовать бесплатные изображения для ускорения развертывания, улучшения процесса тестирования и полного раскрытия возможностей распределенной базы данных Oracle для ваших приложений. Узнайте, как повысить эффективность разработки.

Читать подробнее

#en

@database_design | Другие наши каналы
82
DATABASE DESIGN

24 Oct, 17:49

Экономия с Elastic Pools на Oracle Autonomous Database

Узнайте, как развернуть Elastic Pools на Oracle Autonomous Database в Google Cloud, чтобы сократить затраты и упростить работу с базами данных. Новая возможность поможет оптимизировать ресурсы и упростить управление данными.

Читать подробнее

#en

@database_design | Другие наши каналы
84
DATABASE DESIGN

24 Oct, 14:01

Осознание нейроразнообразия в MongoDB

Примерно 20% населения США является нейроразнообразными. В MongoDB это признают и поддерживают через инициативу Config. С момента своего основания в 2023 году, она объединила более 200 сотрудников по всему миру. Config проводит образовательные мероприятия, направленные на повышение осведомленности о таких темах, как аутизм и СДВГ, и помогает создать более инклюзивную рабочую среду. У
Читать подробнее

#en

@database_design | Другие наши каналы
87
DATABASE DESIGN

24 Oct, 10:59

Быстрее пули: как найти счастье с PostgreSQL

В этой статье мы расскажем о том, как эффективно реализовать полнотекстовый поиск с помощью PostgreSQL. Узнайте, как улучшить скорость и точность поиска по текстовым данным, используя такие инструменты, как tsvector, tsquery и индексы GIN, и как эти возможности могут значительно повысить производительность вашего приложения.


Читать: https://habr.com/ru/articles/853124/

#ru

@database_design | Другие наши каналы
88
DATABASE DESIGN

24 Oct, 10:34

Ручное восстановление БД PostgreSQL после аппаратного сбоя

В очередной рабочий день поступила задача обновить Gitlab. Задача в общем-то не сложная, ни смотря на то, что там он установлен в докере из многим знакомого образа от sameersbn, что впоследствии было переделано на omnibus (что бы это не значило), т.к. по моему опыту omnibus версия (установка на чистый линукс) гораздо проще и предсказуемей в эксплуатации. Впрочем статья совсем не об этом.

Но как можно понять из наличия этой статьи, что-то пошло не так...


Читать: https://habr.com/ru/articles/853048/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

24 Oct, 10:04

Проверь свои знания PostgreSQL (для джунов)

Этот тест поможет проверить ваши знания SQL на уровне Junior. Вопросы касаются основ работы с базами данных и создания оптимизированных запросов.

Читать: «Проверь свои знания PostgreSQL (для джунов)»

#ru

@database_design | Другие наши каналы
86
DATABASE DESIGN

24 Oct, 08:08

Технологический прорыв: WD выпустила первый в мире HDD на 32 ТБ. Конкуренты позади, хоть и временно

Источник.

Компания Western Digital анонсировала первый в мире жесткий диск объемом 32 ТБ, в котором используются технологии ePMR и UltraSMR. Это модель WD Ultrastar DC HC690. Инженеры компании добавили дополнительную пластину, так что их теперь 11 вместо обычных 10. Достижение WD именно в том, что она первой выпустила на рынок свой диск такой емкости. У Seagate, например, были прототипы HDD объемом 30+ ТБ на базе 10 пластин с технологией HAMR, но в продаже их не найти. Что же, давайте посмотрим, что это за диск такой.


Читать: https://habr.com/ru/companies/selectel/articles/852982/

#ru

@database_design | Другие наши каналы
105
DATABASE DESIGN

23 Oct, 19:06

Повышение надежности и безопасности баз данных

В статье рассказывается о решении AHF Fleet Insights, которое помогает администраторам баз данных улучшить их устойчивость и производительность. Оно позволяет отслеживать конфигурации, выявлять несоответствия лучшим практикам и предупреждать о критических проблемах.

Читать подробнее

#en

@database_design | Другие наши каналы
108
DATABASE DESIGN

23 Oct, 15:05

Мозговой штурм с искусственным интеллектом: итоги мероприятия от MongoDB

На AI Think-A-Thon в Лондоне, организованном MongoDB, разработчики и эксперты обсудили инновационные решения для различных отраслей. Участники составили планы работы над ИИ-продуктами для образования, здравоохранения и других сфер. Было решено провести ещё три подобных события в 2024 году. Gamuda выбирает MongoDB Atlas для инноваций в AI

Компания Gamuda выбрала MongoDB Atlas, чтобы оптимизировать свою инфраструктуру и сконцентрироваться на разработке AI-решений. Благодаря инструментам, таким как Atlas Search и Vector Search, Gamuda сократила время вывода продуктов на рынок и повысила эффективность в сфере строительства.

Читать подробнее

#en

@database_design | Другие наши каналы
110
DATABASE DESIGN

23 Oct, 13:07

Поиск «токсичных» SQL-запросов

Мы, студенты из МИФИ, Даниил и Александр, пришли на стажировку в Сбербанк в департамент SberData, который занимается развитием внутренней корпоративной аналитической платформы (КАП).Это современная платформа с удобными инструментами созданная для закрытия полного спектра потребностей Сбера в работе с данными, таких как хранение, интеграция, разнообразная аналитика, отчетность, моделирование и контроль качества данных. Все эти направления было бы трудно развивать без отдельного R&D подразделения, в составе которого мы и работаем. Сегодня мы хотим поделиться нашим исследованием в области проектирования алгоритмов в выявлении «токсичных» SQL‑запросов с помощью машинного обучения. Почему же запросы называются именно «токсичные»? Они затрачивают на своё выполнение слишком большое количество ресурсов, а именно времени. На самом деле не только время, но для упрощения мы будем считать только время, так как это ключевой параметр.

Статья посвящена исследованию существующих подходов и их апробации на открытых данных. В качестве общедоступных данных были выбраны данные из таких бенчмарков, как TPC‑H и BIRD. Помимо этого, в статье рассматриваются некоторые трудности, с которыми мы столкнулись при работе над задачей, например, генерация данных и SQL‑запросов, а также миграция между диалектами SQL. В конце статьи мы опишем оригинальный подход, к которому по итогу пришли. В следующей статье мы расскажем о применении полученного опыта для реальной промышленной системы.


Читать: https://habr.com/ru/companies/sberbank/articles/852836/

#ru

@database_design | Другие наши каналы
105
DATABASE DESIGN

22 Oct, 23:04

Gamuda внедряет ИИ в строительство с MongoDB Atlas

Gamuda Berhad, ведущая инженерная компания из Малайзии, использует MongoDB Atlas для внедрения ИИ в строительство. С его помощью компания оптимизирует рабочие процессы, управляет большими объёмами данных и ускоряет инновации, позволяя сосредоточиться на разработке новых ИИ-решений.

Читать подробнее

#en

@database_design | Другие наши каналы
107
DATABASE DESIGN

22 Oct, 14:33

Инновации в страховании с MongoDB и Informatica

Использование сценарного планирования помогает страховым компаниям выбирать стратегические технологические инвестиции. Важную роль играет модернизация данных, которая упрощает работу с информацией. Решение Informatica MDM на базе MongoDB Atlas помогает улучшить качество данных и управлять ими эффективно.

Читать подробнее

#en

@database_design | Другие наши каналы
94
DATABASE DESIGN

22 Oct, 14:06

MongoDB: чем эта база отличается от других

Что такое MongoDB. Показываем основные отличия от других баз данных. Рассматриваем преимущества и недостатки MongoDB ✔ Tproger

Читать: «MongoDB: чем эта база отличается от других»

#ru

@database_design | Другие наши каналы
91
DATABASE DESIGN

22 Oct, 13:49

Как мы плавно подготовились к переходу с Oracle на PostgreSQL и не потеряли в эффективности

Привет, Хабр! Меня зовут Михаил Герасимов. Это продолжение статьи «Как в РСХБ разработали средство генерации SQL-запроса для упрощения задач по тестированию», где описывались принципы работы QueryBuilder.

В условиях растущего тренда на импортозамещение в ИТ-компаниях, переход с коммерческих СУБД на Open Source решения стал одной из ключевых задач для многих организаций. В частности, в проекте по автоматизации тестирования специалисты РСХБ успешно адаптировали свой инструмент генерации SQL-запросов QueryBuilder к переходу на PostgreSQL.


Читать: https://habr.com/ru/companies/rshb/articles/852544/

#ru

@database_design | Другие наши каналы
95
DATABASE DESIGN

22 Oct, 13:18

Новшества в защите данных в Oracle Database 23ai

Oracle Database 23ai обновилась до версии 23.6, предлагая значительные улучшения функции Data Redaction. Для тех, кто еще не знаком с этой технологией, рекомендуем ознакомиться с вводным блогом Oracle для получения подробной информации.

Читать подробнее

#en

@database_design | Другие наши каналы
90
DATABASE DESIGN

21 Oct, 14:19

Почему многие пользуются древними версиями Postgres?



Postgres 17.0 уже вышла, и она замечательная, но реальность такова: большинство пользователей Postgres не выполняют апгрейд сразу же. Многие, вероятно, сейчас даже не на 16.4, и даже не на 16, они пользуются Postgres 15 или ещё более старой версией. Ситуация с Postgres не такая же, как с новыми Call of Duty, когда каждый хочет скачать обновление сразу же после его выхода.

Почему же люди так неохотно идут на апгрейд?

На то есть множество причин, но всё сводится к двум основным: качество работы Postgres и неудобство апгрейдов.

Читать: https://habr.com/ru/companies/ruvds/articles/852266/

#ru

@database_design | Другие наши каналы
108
DATABASE DESIGN

19 Oct, 08:24

Создаём свой реестр данных на основе ФГИС «Аршин». Часть 1 — добавляем данные в PostgreSQL и сокращаем размер БД

Всем привет, этот практический цикл статей рассчитан на начинающих. Я решил поделиться своим опытом создания реестра данных на основе государственного. В этой статье займемся загрузкой и обработкой данных о результатах поверки средств измерений.


Читать: https://habr.com/ru/articles/851858/

#ru

@database_design | Другие наши каналы
64
DATABASE DESIGN

18 Oct, 14:26

Buzzy и MongoDB: Будущее без кода

Текст: Платформа Buzzy делает разработку AI-приложений доступной каждому, независимо от навыков программирования. Благодаря MongoDB Atlas, Buzzy предлагает гибкость и масштабируемость для разнообразных приложений, упрощая интеграцию AI. Новый этап в демократизации создания приложений уже здесь! Умные AI-системы с LlamaIndex и MongoDB

LlamaIndex и MongoDB предлагают мощную интеграцию для создания AI-приложений. Разработчики могут легко организовать данные и улучшить поисковые функции, комбинируя полнотекстовый и векторный поиск. Это упрощает обработку данных и позволяет создавать более отзывчивые приложения. Узнать больше можно в их GitHub репозитории.

Читать подробнее

#en

@database_design | Другие наши каналы
68
DATABASE DESIGN

18 Oct, 13:16

Восстанавливаем работу MySQL. Решение задачи

Привет! Я Саша Хренников, руководитель DevOps-юнита в KTS.

Недавно мы провели DevOps-челлендж, где нужно поднять неисправный экземпляр MySQL. Было нелегко — быстрее всех справились семь сильнейших DevOps-мастеров, которым мы уже отправляем призовой мерч.

В этой статье я разберу задачу и покажу, как её можно решить двумя способами.


Читать: https://habr.com/ru/companies/kts/articles/851730/

#ru

@database_design | Другие наши каналы
70
DATABASE DESIGN

18 Oct, 10:18

Pydantic 2: Полное руководство для Python-разработчиков — от основ до продвинутых техник

Друзья, сегодня мы погрузимся в мир Pydantic 2 – мощного инструмента для валидации данных в Python! Узнаем, почему эта библиотека стала незаменимой в 30% Python-проектов и как она упрощает работу с данными. От базовых концепций до продвинутых техник – мы охватим всё, что нужно знать современному Python-разработчику. Готовьтесь к практике – ведь только так можно по-настоящему освоить Pydantic и сделать ваш код более надёжным и эффективным.


Читать: https://habr.com/ru/companies/amvera/articles/851642/

#ru

@database_design | Другие наши каналы
73
DATABASE DESIGN

18 Oct, 08:08

Расшифровка черного ящика, или технический аудит базы данных перед сменой ERP-системы при полном отсутствии документации

Реальный кейс анализа и технического описания базы данных клиента для осуществления корректной миграции на отечественное ERP-решение. Важным аспектом проекта было сохранение работоспособности всех систем, зависящих от исходной ERP-системы. В статье — опыт аудита OLAP-системы клиента.

Привет, Хабр! Меня зовут Анастасия Цацкина, я старший разработчик Отдела разработки баз данных IBS. В продолжение нашей серии статей о переезде с иностранных решений на отечественные, сегодня я хочу поделиться проектным опытом проведения полноценного аудита базы данных аналитической отчетности перед сменой ERP-системы. Расскажу, какая задача стояла, как выглядела архитектура баз данных заказчика, из каких этапов состоял аудит и что в результате всего этого получилось.


Читать: https://habr.com/ru/companies/ibs/articles/851350/

#ru

@database_design | Другие наши каналы
77
DATABASE DESIGN

18 Oct, 06:07

Инфраструктура для Data-Engineer Data Lake Apache Iceberg

В этой статье вы узнаете что такое Apache Iceberg, как его можно использовать и для чего он вообще нужен.

В статье также рассматривается вопрос Data Lake.


Читать: https://habr.com/ru/articles/850674/

#ru

@database_design | Другие наши каналы
76
DATABASE DESIGN

17 Oct, 15:00

Как настроить мониторинг в Oracle Cloud

В статье рассказывается о создании сервиса для получения и публикации кастомных метрик из Oracle Autonomous Container Database в систему мониторинга Oracle Cloud Infrastructure. Подробно рассматриваются SQL-запросы, реализация сервиса на Java с использованием Micronaut и этапы его развертывания.

Читать подробнее

#en

@database_design | Другие наши каналы
88
DATABASE DESIGN

17 Oct, 14:26

Новое слово в поисковых технологиях: гибридный поиск в MongoDB и LlamaIndex

MongoDB внедряет гибридный поиск в интеграции с LlamaIndex, объединяя возможности поиска по ключевым словам и семантического анализа. Это позволит создавать AI-решения, более чутко реагирующие на пользовательские запросы и контекст, улучшая точность ваших приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
86
DATABASE DESIGN

16 Oct, 16:53

🔍 Новая функция Oracle True Cache в 23ai

Oracle представляет True Cache — новейшую разработку в версии 23ai. Ознакомьтесь с живыми демонстрациями в лабораториях и оцените возможности этой передовой технологии. Узнайте, как True Cache может улучшить производительность ваших систем.

Читать подробнее

#en

@database_design | Другие наши каналы
98
DATABASE DESIGN

16 Oct, 16:49

🔐 Защита MaxScale окружения: лучшие практики

В современном мире защита инфраструктуры баз данных ключевая задача. Блог рассказывает о практике повышения безопасности среды MariaDB MaxScale: от управления доступом и настройки шифрования до админ-аудита. Следуя советам, вы снизите риск несанкционированного доступа и утечек данных.

Читать подробнее

#en

@database_design | Другие наши каналы
95
DATABASE DESIGN

16 Oct, 14:07

🔒 Новая степень безопасности с MongoDB Queryable Encryption

MongoDB открывает новые горизонты защиты данных с инновацией Queryable Encryption, позволяющей шифровать и выполнять запросы на данные без расшифровки. Преимущества включают усиленную защиту, соблюдение регулятивных норм и упрощение операций. Узнайте больше о возможностях и применении этой технологии!
Читать подробнее

#en

@database_design | Другие наши каналы
91
DATABASE DESIGN

16 Oct, 05:19

Как снизить расходы на мониторинг: замена Prometheus на VictoriaMetrics

Мониторинг может оказаться дорогим делом из-за огромных объемов данных, которые необходимо обрабатывать. В этой статье вы узнаете о лучших способах хранения и обработки метрик мониторинга для снижения расходов и о том, как VictoriaMetrics может в этом помочь.

(cм. вторую статью из этой серии — Как снизить расходы на мониторинг: более разумный подход к данным.)


Читать: https://habr.com/ru/articles/850990/

#ru

@database_design | Другие наши каналы
90
DATABASE DESIGN

16 Oct, 01:18

Новые возможности защиты данных в Oracle Database 23

Oracle Data Redaction в Oracle Database 23ai предлагает усовершенствованные методы защиты конфиденциальной информации, снижая риск утечки данных за пределы базы. Узнайте, как это может повысить безопасность вашего бизнеса.

Читать подробнее

#en

@database_design | Другие наши каналы
101
DATABASE DESIGN

15 Oct, 18:01

🚀 Новый уровень миграций: Cosmos DB на MongoDB Atlas

Adiom представила dsync, инновационное решение для бесшовной миграции данных из Cosmos DB в MongoDB Atlas. dsync обеспечивает быстрое и безопасное перемещение данных, избегая обычных рисков и скрытых затрат. Попробуйте dsync и упростите сложности масштабных миграций! Эффективное управление полетами с MongoDB и Google Cloud

Пост: Узнайте, как интеграция MongoDB с Google Cloud и Vertex AI помогает авиакомпаниям оптимизировать процессы. Реальное время, машинное обучение и масштабируемая архитектура позволяют быстро реагировать на изменения, снижая затраты и улучшая опыт пассажиров.

Читать подробнее

#en

@database_design | Другие наши каналы
96
DATABASE DESIGN

15 Oct, 15:13

Как развернуть Supabase в облаке Timeweb Cloud

Пакет Supabase — это бесплатный аналог облачных сервисов Google Firebase (БД, аутентификация, хранение файлов, realtime обмен данными, framework для популярных языков). Перечисленные инструменты позволяют разработчикам быстро создавать как простые мобильные приложения и сайты, так и сложные корпоративные системы. Кроме того, при использовании Supabase вам не нужно уметь управлять сервером, пользователями и обслуживать базу данных — для этого в пакете присутствует готовая административная панель.


Читать: https://habr.com/ru/companies/timeweb/articles/850860/

#ru

@database_design | Другие наши каналы
97
DATABASE DESIGN

15 Oct, 14:01

Реальные данные в реальном времени: решение для авиакомпаний

Текст: Устали от отмен и задержек рейсов? Новая платформа на базе MongoDB предлагает авиакомпаниям инструмент для анализа данных в реальном времени. Это позволяет быстро перераспределять ресурсы и минимизировать финансовые потери, улучшая опыт пассажиров. Как Grab улучшил базы данных с помощью MongoDB Atlas

Grab успешно перешел на MongoDB Atlas, укрепив инфраструктуру своих баз данных. Переход позволил компании обеспечить масштабируемость и безопасность платформы, сократив время на обслуживание на 50%. Теперь команды Grab могут сосредоточиться на развитии продуктов.

Читать подробнее

#en

@database_design | Другие наши каналы
92
DATABASE DESIGN

15 Oct, 13:33

Куда утекает производительность? Ищем ответ в логах Greenplum

Привет, Хабр!

Greenplum — это база данных, созданная специально для больших данных и аналитики. Ее основное преимущество — это архитектура массово параллельной обработки, сокращенно – MPP, которая позволяет масштабироваться до огромных объемов данных, не теряя производительности.

Но с большими данными приходят и большие проблемы. Медленные запросы, ошибки сегментов, отказы... Когда что-то идет не так, первое, куда мы заглядываем — это логи. Логи Greenplum содержат все, что нужно для диагностики и отладки системы. В этой статье рассмотрим, как извлечь из логов максимум полезной информации, какие инструменты помогут и как автоматизировать анализ.


Читать: https://habr.com/ru/companies/otus/articles/850290/

#ru

@database_design | Другие наши каналы
88
DATABASE DESIGN

15 Oct, 12:02

Педант или помогатор: какой вы системный аналитик?

Собрали для вас забавную викторину на основе реальных кейсов из мира системного анализа. Переходите по ссылке и отвечайте как чувствуете: https://tprg.ru/uvGl

Это #партнёрский пост
96
DATABASE DESIGN

15 Oct, 07:52

Я знаю, что ты делал этим летом на Postgres Pre-Commitfest Party от Postgres Professional

Чтобы объяснить, что есть Postgres Pre-Commitfest party и зачем мы в это ввязались, для начала нужно объяснить, как идёт разработка ванильного постгреса. Процесс принятия новых фичей и патчей в код разделён на так называемые коммифтесты (сокращённо CF), расписание которых всегда можно посмотреть на сайте https://commitfest.postgresql.org/. Когда разработчик предлагает свой код (неважно, будь это новая фича или багофикс), для того чтобы он был рассмотрен в рамках CF, он предварительно должен пройти процедуру ревью и быть одобрен для рассмотрения. Конечно, это совершенно не гарантирует, что код будет принят на этом CFили даже следующем, но сейчас не про это.

Найти ревьюера для своего кода зачастую задача более сложная, чем написать сам код. Человека надо погрузить в решаемую проблему, объяснить, что именно ты предлагаешь изменить, почему так, а не иначе и так далее. Прямо сейчас, в статусе Needs review, находится 29 патчей. Со свойственным нам желанием помогать, мы решили кинуть клич среди коммитеров и собрать всех желающих под одной крышей, чтобы они могли представить свои патчи, обсудить их и, возможно, найти желающего провести ревью.

Так получилось, что собрались мы в рамках проходившего Highload++ в Санкт-Петербурге. Поскольку Open Source — дело добровольное, мы просто разослали всем контактам, которые у нас были, предложение примерно следующего содержания: зовём всех неравнодушных постгресистов собраться в шатре, рассказать про свои патчи, обсудить их и хорошо провести время.


Читать: https://habr.com/ru/companies/postgrespro/articles/850584/

#ru

@database_design | Другие наши каналы
89
DATABASE DESIGN

14 Oct, 23:00

Grab повысила эффективность на 50% с MongoDB Atlas

Пост: Grab, ведущая суперприложение в Юго-Восточной Азии, успешно мигрировала свой ключевой сервис GrabKios на MongoDB Atlas. Это дало возможность улучшить гибкость и масштабируемость их инфраструктуры, снижая время на управление базами данных на 50%. Узнайте больше о их опыте!

Читать подробнее

#en

@database_design | Другие наши каналы
106

2025 All Right Reserved

Disclaimer: The content displayed on this website is solely provided by the respective Telegram channels. We hold no ownership or responsibility for the content shared by these channels.