Клуб CDO

Вот как??? Вот как так может работать поиск в приложении, в эпоху больших данных, искусственного интеллекта и восстания машин????

Заметил тут статью и решил отлодить его из дайджеста в отдельный пост, показалось инетресным.

Основная идея (мой take away) - хорошая платформа - та, которой пользуются! и технологии тут ни при чем 🙂

Какие темы упомянуты:

1. Шаблоны: Подчеркивается важность использования шаблонов, таких как Kanban и Agile в JIRA или Data Product в DataOS, чтобы помочь пользователям легко ориентироваться в новом экосистеме.

2. Документация, основанная на опыте: Рекомендуется предоставить пользователям документацию, основанную на их опыте, а не на обучении, чтобы они могли сразу увидеть ценность платформы.

3. Интеграция с привычными инструментами: В статье подчеркивается необходимость поддерживать интеграцию с инструментами, которые пользователи уже используют (например, git для разработчиков или BI-инструменты для аналитиков), чтобы облегчить переход на новую платформу.

4. Дорожная карта развития продукта: Обсуждается важность вовлечения пользователей в процесс создания и обновления дорожной карты платформы, чтобы они могли видеть, как их запросы учитываются и как платформа развивается.

5. Гид по платформе и FAQ: Указано на необходимость наличия встраиваемых справок и инструкций, чтобы пользователи не терялись в новом интерфейсе и могли легко находить ответы на свои вопросы, что значительно улучшает общий опыт.

Работа с данными должна быть интуитивно понятной и поддерживаться постоянным взаимодействием с пользователями, чтобы они чувствовали себя частью экосистемы и могли быстро адаптироваться к изменениям.


https://medium.com/@community_md101/building-data-platforms-the-mistake-organisations-make-f27874447fef

Коллеги, напоминаем, что сейчас идет сбор заявок на участие ваших проектов в премии Data Award 2025 - поспешите с подачей заявки!

https://www.osp.ru/articles/2024/1118/13058948

Дайджест статей

Why AI-generated recommendation letters sell applicants short
https://www.nature.com/articles/d41586-024-03481-4

Dask для анализа временных рядов
https://habr.com/ru/companies/otus/articles/855408/

ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя
https://habr.com/ru/companies/yandex/articles/857068/

7 причин, почему компании внедряют BI, даже если есть отчеты 1С
https://habr.com/ru/articles/858486/

Big Data мертвы, да здравствуют Smart Data
https://habr.com/ru/companies/magnus-tech/articles/853192/

Как создать дашборд в Superset: гайд для новичков и полезные лайфхаки
https://habr.com/ru/companies/okko/articles/859140/

Сравнение реализаций гео-решений в СУБД
https://habr.com/ru/companies/otus/articles/858680/

Инфраструктура для Data-Engineer BI-tools
https://habr.com/ru/articles/856922/

Сравнение бенчмарков LLM для разработки программного обеспечения
https://habr.com/ru/articles/857754/

Машинное обучение в оценке кредитных рисков: как ML меняет правила игры?
https://habr.com/ru/companies/data_light/articles/858540/

Полезная статья, вынесу пожалуй в отдельный пост

https://habr.com/ru/companies/piter/articles/853400/?utm_source=habrahabr&utm_medium=rss&utm_campaign=853400

Дайджест статей

Графики, которые работают: выбор лучшей визуализации
https://habr.com/ru/articles/856206/

Области применения ИИ в разработке ПО
https://habr.com/ru/companies/it_monsters/articles/856598/

Что такое Data Driven подход
https://habr.com/ru/articles/856920/

Data Fusion Contest 2024, разбор и итоги соревнования
https://habr.com/ru/companies/T1Holding/articles/856228/

Выбираем BI платформу для начинающего специалиста
https://habr.com/ru/articles/857234/

Написание ETL пайплайна при помощи airflow, rabbitmq и postgres
https://habr.com/ru/articles/857476/

Managing human-AI collaborations within Industry 5.0 scenarios via knowledge graphs: key challenges and lessons learned
https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2024.1247712/full

История Data Literacy в России
https://habr.com/ru/articles/857176/

Виды аналитиков данных
https://habr.com/ru/companies/yandex_praktikum/articles/852068/

Друзья, рады сообщить вам о запуске нового модуля в CDP CleverData Join — Campaign Manager!

Компания CleverData, разработчик платформы для управления данными в маркетинге, добавила этот модуль, чтобы решить важную задачу: предоставить пользователям возможность не только обрабатывать данные, но и непосредственно их использовать в маркетинговой коммуникации с клиентами.

Campaign Manager — это не просто еще один инструмент для управления кампаниями; это решение, основанное на данных, которое позволит максимально эффективно реализовать маркетинговые стратегии.
Теперь управление маркетинговыми кампаниями стало проще и эффективнее. С помощью Campaign Manager можно:
✨ Создавать массовые рассылки
✨ Отправлять email, SMS и Push-уведомления
✨ Управлять согласиями
✨ Редактировать шаблоны
✨ Выставлять приоритеты рассылки
✨ Использовать API для подписки и отписки
✨ Применять инструменты AI для маркетинга
Чтобы подробнее узнать о том, как работает Campaign Manager и как интеграция с Unisender Go поможет повысить эффективность ваших маркетинговых коммуникаций, приглашаем вас на вебинар!
Дата: 19 ноября
Время: 11:00

На вебинаре эксперты подробно расскажут о функционале нового модуля Campaign Manager в платформе CDP CleverData Join, управлении клиентскими данными и автоматизации рассылок.

Спикеры:
🧑🏻‍💻 Сергей Фокин, менеджер продукта CDP CleverData Join
🧑🏻‍💻 Григорий Бахин, коммерческий директор Unisender

Не упустите возможность узнать, как новый модуль может трансформировать маркетинговые стратегии в компании, выстраивая процесс маркетинга на данных.

Регистрация тут

рубрика "no comments"

На подходе новое поколение глосовых помошников.

На этой неделе появился анонс новой версии виртуального помошника Alexa, с глубокой интеграцией с LLM и умными устройствами компании. Какие возможности дают новые технологии для виртуальных ассистентов?

🎥 Мультимодальность: Amazon заявила о расширении возможностей общения с ассистентом, включая невербальное взаимодействие и интеграцию с умными устройствами. Это позволит ассистенту более точно понимать паузы в разговоре и определять, когда пользователь хочет продолжить фразу. Также можно будет взаимодействовать без активационного слова — достаточно просто посмотреть на экран умного устройства.

🤖 Агентность: Ассистент сможет не только отвечать на вопросы, но и выполнять сложные сценарии от лица пользователя. Например, можно настроить сценарий «каждую субботу в 6 утра включай свет и песню Metallica в детской». Поддержка интеграций с внешними системами пока не анонсирована, но вероятно, что это следующий шаг.

💡 Контекст и память: Ассистент будет сохранять историю диалогов, распознавать пользователя, понимать контекст беседы и продолжать её с того места, где была завершена. Это новый уровень взаимодействия, максимально приближенный к реальному общению.

🗣️ Речь: Обещаны новые технологии генерации и распознавания речи с улучшенной плавностью и возможностью подстраиваться под эмоциональную окраску диалога. Например, если спросить у Alexa, выиграла ли команда, она ответит радостно при победе и с сочувствием при поражении.

💳 Платежи: Виртуальные ассистенты и их интеграция с умными устройствами может перевернуть сферу eCommerce и платежей. Прогнозы аналитиков показывают, что новые технологии LLM и «мягкие» сигналы (например, тип устройства, местоположение) могут обеспечить более бесшовные и безопасные платежи, которые помогут избежать проблем на этапе оплаты, где сейчас теряется до 27% покупок.

📈 Бизнес-модель: Аналитики ожидают введения платных подписок для ассистента (примерно $5-10 в месяц), при этом бесплатная версия останется доступной. Пока неясно, чем будут отличаться платные и бесплатные тарифы, но рынок следит за развитием, так как такие модели еще не были опробованы. Кстати, над своим ассистентом работает и Meta, тоже анонсировавшая платную подписку.

📅 Технологии и сроки запуска: Ожидается, что Alexa будет использовать модели от Anthropic, поскольку Amazon столкнулась с трудностями в разработке собственных моделей. Главная техническая проблема — скорость генерации ответа, поэтому запуск продукта ожидается в 2025 году (ранее прогнозировали октябрь 2024).

https://youtu.be/SKybmb0M1MU

Дайджест статей

Как мы научились эффективно управлять ростом данных с переходом на BW/4HANA
https://habr.com/ru/companies/lentatech/articles/855412/

От кода к роботам — основные тренды ИИ, меняющие бизнес и жизнь
https://habr.com/ru/companies/sherpa_rpa/articles/855596/

Действительно ли ИИ-помощники экономят время разработчиков?
https://habr.com/ru/companies/spring_aio/articles/854624/

Data-driven подход в аналитике: как использовать данные для принятия решений в FinTech
https://habr.com/ru/companies/it_monsters/articles/854978/

Работа с календарями в BI — с DAX и без него
https://habr.com/ru/companies/visiology/articles/855178/

Импортозамещение Data Quality стека в нефтегазохимии: опыт СИБУРа
https://habr.com/ru/companies/sibur_official/articles/855310/

Data Governance in Big Data: Ensuring Quality, Security, and Compliance
https://medium.com/@adityas.rajput22/data-governance-in-big-data-ensuring-quality-security-and-compliance-98a2b1dd561c

Migrating to an iceberg lakehouse: key architecture considerations
https://medium.com/@hugolu87/migrating-to-an-iceberg-lakehouse-key-architecture-considerations-08e636890ab5

Прочитать тысячу книг - все равно что прожить тысячу жизней

Немного философии от редакции (там про данные в конце вывод) 🙂 Почему надо читать не только бизнес-литературу и учебники но и художественную литературу 🙂

Все же уже знают (из многочисленных книг по бизнес-литературе и учеников), что наш мозг не различает реальность и воображение – он одинаково реагирует на реальные ощущения и мысленные образы. Это связано с тем, что во время представления определенной ситуации активируются те же нейронные сети, что и при ее реальном переживании. Например, когда человек представляет, что идет по песчаному пляжу, в мозгу активируются те же области, которые задействованы при физическом ощущении тепла песка под ногами. На этом эффекте основаны практики аутотренинга: мысленно воспроизводя образы и ощущения, человек может управлять состоянием тела и психики, достигая расслабления или мотивации.

И мне кажется, что каждая прочитанная хорошая книга оставляет в нас не только приятное воспоминания, но и меняет нас, так же как меняют реальные переживания и опыт и в наших новых нейронах связях остается частичка прочитанной истории.

Мы - это субъективный опыт и никакая аналитика не может его передать, его может передать только искусство: музыка, живопись, книги…

У LLM нет (ну пока так точно) субъективного опыта и все, что производится моделью - красиво, но это реплика.

Поэтому пока я не думаю что настоящее искусство под угрозой, потому что человеку нужен человек и его субъективные ощущения, которые трогаю струны нашей души через песни, книги и картины.

Brutforce побеждает логику 🙂

Я тут в выходные читал книгу про лингвистику и там была глава о том, как трудно делать автоматический перевод текста с одного языка на другой. И что в 60-е годы были основаны целые институты для создания соответствующих логических моделей и годами по этой теме велась огромная работа. И тут я подумал: а я ведь сейчас для перевода в основном использую ChatGPT, а ее ведь этому вообще не учили, это такой side effect получился. И получается, что LLM просто перечеркнула все то, что сумела создать лингвистика?

И я хотел поделиться этой мыслью тут в канале, но наткнулся на эту замечательную статью и делюсь ссылкой на нее. В ней эта идея раскрывается не просто великолепно, а с мощнейшей аргументацией в виде наглядного примера компании и продукта, ссылками на авторитетные источники и тд. Я очень рекомендую почитать статью, несмотря на довольно большой объем - очень интересно.

Тут и про то, как LLM убил продукт в который компания вкладывала миллионы долларов, и про историю замечательной компании ABBYY, и про бизнес-уроки, которые можно вынести для себя. Да и вообще много нового можно узнать про ABBYY и про морфологию 🙂

Да, и про то, что тренд на замечание эмпирической логики, которую мы в продуктам все еще очень активно продолжаем использовать, все более мощным LLM очевиден и достоит отдельного обдумывание. Имхо у нас сейчас тут момент как переход от процедурного программирования к объектно-ориентированному. Тут нужна смена парадигмы в голове.

В общем на выходные вам домашка 🙂


https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proigrali-poslednjuju-bitvu-za-nlp/

Perplexity

Ребята, конечно, молодцы. Стал замечать, что все больше и больше переползаю на них с нативного интерфейса ChatGPT. Очень активно обрастают новыми функциями и возможностями, только что выпустили приложение для Mac, что для меня тоже очень приятно.

В чем я отмечаю для себя удобства:

Первое, это, конечно, выбор моделей. Там нет пока o1, но зато есть Lama и Cloude. Но нет Gemini и Grok, а было бы интересно с ними тоже поработать, а когда надо в каждую модель отдельно ходить - не удобно.

Зато есть Spaces - очень удобная фича, где ты можешь задать промпт для однотипных запросов. В LLM правильный промпт - залог успеха, а писать его каждый раз, как это надо делать в ChatGPT - убийство. Я вот очень часто использую модель для перевода текста на английский и тут я задал один раз задачу, указал стиль в котором нужен итоговый текст (я обычно прошу на языке Шекспира переписывать мой русский текст) и просто постишь ей текст для перевода.

Ссылки на источники и интеграция с поиском - если они начинали как чисто поиск (или его замена), то сейчас это поиск + llm и это стало удобнее. Ну и то что сразу ссылки красиво выпадают и можно пойти в источник и самому разобраться - тоже очень полезно.

Новости - там есть тред новостей, в целом интересные подборки делает, но пока еще как то явно есть куда развиваться им в этом плане.

Ну и конечно нельзя не заметить активное развитие функций командной работы, возможностей для крупного enterprise и тд.

В целом интересно наблюдать за развитием на рынке 2-х типов решений:
⁃ Классические SaaS приложения оборачиваются в LLM и трансформируются
⁃ Классические LLM пытаются обрастать функциями классических приложений

Явно они встретятся где то посередине и эту середину все пытаются активно найти.

То же самое происходит и с поиском. Я не апологет того, что LLM победит поиск. Поиск с его классическими игроками типа Google тоже на месте не сидит и обладая мощнейшей инфраструктурой для работы с данными, сбора данных, роботами для обхода интернета которые прописаны везде и всюду, обученной армией лояльных маркетологов, которые отвечают за продвижение контента, является более зрелым игроком и тупо просто лучше знает рынок и потребителя. Поэтому имхо тут следует говорить о синергии и слиянии, а не о замещении.

https://www.perplexity.ai/

Дайджест статей

Data Architecture: Lessons Learned
https://towardsdatascience.com/data-architecture-lessons-learned-3589b152a8a6

Automate Private Azure Databricks Unity Catalog Creation
https://dzone.com/articles/automate-azure-databricks-unity-catalog-creation

Building Predictive Analytics for Loan Approvals
https://dzone.com/articles/building-predictive-analytics-for-loan-approvals

SQL and Data Modelling in Action: A Deep Dive into Data Lakehouses
https://towardsdatascience.com/sql-and-data-modelling-in-action-a-deep-dive-into-data-lakehouses-fcbab9a4b9c2

Building Data Platforms: The Mistake Organisations Make
https://medium.com/@community_md101/building-data-platforms-the-mistake-organisations-make-f27874447fef

Почему СУБД такие медленные
https://habr.com/ru/companies/ruvds/articles/851330/

Автоматизировать аналитику, визуализировать данные и не только — примеры российских BI-решений
https://habr.com/ru/companies/mws/articles/852308/

Оценка LLM: метрики, фреймворки и лучшие практики
https://habr.com/ru/articles/852046/

Что такое DWH?
https://habr.com/ru/articles/852910/

Какую архитектуру конвейера данных следует использовать?
https://habr.com/ru/companies/piter/articles/853400/

Как мы отбираем и обучаем разметчиков: от первых шагов до реальных проектов
https://habr.com/ru/companies/data_light/articles/853372/

На следующий неделе редакция находится с миссией в Дубайске. Заезжайте на кофе!

Ждём?

Пятничный пост

Друзья, редакция канала хочет в жесткой форме воспользоваться служебным положением и распространить офф-пот контент, просим прощения и очень надеемся на вашу поддержку!

Мой сын сегодня выпустил новый альбом, который он сам записал полностью в одиночку, текст, музыка, просто в своей комнате в Лондоне в котором он рассказал о первом годе своей жизни в UK, адаптации и отношениях на расстоянии.

Он много вкладывается в музыку, а я настолько далек от этой индустрии, что помочь могу поддержать только этим постом 🙂

А если этот пост набор такой же отклик, как знаменитый пост ЗАКРОМА (который феерично победил всех тренды Гартнера, как они ни старались)- будет вообще отлично 🙂

Послушайте, имхо очень неплохо, а песня HOBBY вообще огонь, а редакция пока займется сбором ссылок на статьи про данные 🙂

Полный альбом на всех площадках: https://zvonko.link/1AD0E7F

🔥 Gartner выпустил ТОП 10 стратегических трендов на 2025 год.

Вот и год пролетел. Какие изменения?

▶️ Смещение фокуса с отдельных технологий на комплексные платформы и экосистемы.

В 2024 году Gartner выделял такие тренды, как платформенная инженерия, отраслевые облачные платформы и интеллектуальные приложения. В 2025 акцент смещается на более широкие концепции, такие как агентский ИИ, платформы управления ИИ, пространственные вычисления и гибридные вычисления.

▶️ Усиление внимания к вопросам этики, безопасности и доверия в сфере ИИ.

В 2025 году тема управления доверием, рисками и безопасностью ИИ (AI TRiSM) развивается в выделение самостоятельных трендов, как платформы управления ИИ и безопасность дезинформации, подчеркивая растущую потребность в контроле и регулировании ИИ.

▶️ Появление новых технологических направлений.

В 2025 году Gartner вводит новые тренды - постквантовая криптография, невидимая интеллектуальная среда, энергетически эффективные вычисления, полифункциональные роботы и неврологическое усиление.

ТОП 10 трендов 2025 года:

1. Агентский ИИ: программное обеспечение, которое самостоятельно принимает решения и действует для достижения целей, комбинируя ИИ с памятью, планированием и взаимодействием с окружением.

2. Платформы управления ИИ: платформы управления и контроля систем ИИ, гарантирующие ответственное и этичное использование, соответствие стандартам безопасности и ценностям организации.

3. Безопасность дезинформации: системы, которые гарантируют точность информации, проверяют подлинность, предотвращают мошенничество и отслеживают распространение вредоносного контента.

4. Постквантовая криптография: криптографические методы, защищающие данные от угроз квантовых компьютеров.

5. Невидимая интеллектуальная среда: использование меток и датчиков для отслеживания объектов и сред,и последующего анализа информации в облаке.

6. Энергоэффективные вычисления: проектирование и эксплуатация компьютерных систем с минимальным потреблением энергии и углеродным следом.

7. Гибридные вычисления: объединение различных вычислительных технологий, таких как CPU, GPU, ASIC, нейроморфные и квантовые системы, для решения сложных задач.

8. Пространственные вычисления: технология, дополняющая физический мир цифровым контентом, с которым пользователи взаимодействуют в реалистичной и интуитивно понятной форме.

9. Полифункциональные роботы: машины, которые могут выполнять несколько разных задач, следуя инструкциям или примеру человека.

10. Неврологическое усиление: улучшение когнитивных способностей человека с помощью технологий, которые считывают и декодируют, а при необходимости записывают информацию в мозг

Новые вызовы - новые возможности!

▶️Отчет в первом комментарии.


🅰️🅱️ @ReymerDigital

Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)

Закрома – передовое российское ПО для хранения и управления корпоративными данными

Гибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.
ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.

https://zakroma.ru/

🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных

🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core

▪️GitHub

@sqlhub