Microsoft Azure Українською

Налашування логів Application Insight для APIM

Доповнюючи цей пост ось де налаштовуються логи для API Management:

⚙️ Налаштування через Azure portal — 📱 Enable Application Insights logging for your API.

Підключення Application Insight + була задача розширити логи і відображати request-body. Для цього включили Frontend Response (на скріншоті).

⬇️⬇️⬇️

👨‍🎓API Management (API) - допомагає консолідувати різні API в одному інтерфейсі або, наприклад, виставити легасі API, якщо є якісь обмеження підключення із-за застарілої реалізації. І це в цілому — ще різного функціоналу там вистачає. Єдине — це вартість на маленька, якщо повноцінно використовувати.

Попрацювали певний час з відео-курсами від Microsoft для підготовки до сертифікацій.

По відгукам відеоогляди більш поверхневі, якщо порівнювати з матеріалами Learning Path.

➡️ Ось тут був пост про це

Ось посилання на ресурс з відео-курсами 📱 Instructor-led Training Series

Які є ролі фахівців з даних?

Ще доповнюючи ➡️ цей пост ось цікавий слайд з ролями для роботи з даними. ©️Слайд взятий з Microsoft івенту Data Fundamentals.

Database Administrator
▪️Розгортання бази даних та налаштування
▪️Безпека та доступ користувачів
▪️Резервне копіювання та відмовостійкість
▪️Моніторинг продуктивності та оптимізація

Data Engineer
▪️Інтеграції даних і ETL процеси
▪️Очищення та перетворення даних
▪️Схеми зберігання аналітичних даних та завантаження даних

Data Analyst
▪️Аналітичне моделювання
▪️Подання та узагальнення даних
▪️Візуалізація даних

💡 Єдине ще не бачу роль Data Scientist

На днях в логах Application Insight налаштовували відображення IP-адреси

Треба було ідентифікувати точно звідки приходять запити.

💡 В даному випадку використовується Azure API Management і в налаштуваннях до нього підключений Application Insight для збору логів.

За замовчанням IP-адреси не відображаються в цілях безпеки. Як на скріншоті.

Щоб увімкнути збір та зберігання IP-адрес треба внести зміни в JSON шаблон App Insight ресурсу. Інструкція нижче за посиланням.

📱 Geolocation and IP address handling

Поставьте 👌 хто мав досвід з API Management. Цікаво наскільки популярний сервіс в нашій локації.

👋 Трохи вирішив розібратися з Microsoft Fabric. Але почав з початку 😀 — послухав івент Data Fundamentals.

Корисно. Рекомендую. Помітив, загалом, що fundamentals івенти досить цікаві — гарно висвітлюють базові речі.

В цьому розповідають про:
▪️ Що таке дані та які бувають типи даних?
▪️ Як дані зберігаються?
▪️ Які є ролі фахівців із даних?
▪️ SQL та NoSQL
▪️ Аналітика даних
▪️ ...

Ну і звичайно фокус на сервіси 📱 Microsoft для роботи з даними. Скріншот з переліком сервісів звідти.

Кому цікаво, ось найближчі дати:
🗓 21.11 - 22.11 🗓 25.11 - 26.11

☝️ 2 дні по 1,5 години

Ціни на сертифікації Microsoft пішли вниз 📉

З 1 листопада змінилася ціна на сертифікацію з $80 до 💲5️⃣8️⃣

Приємний бонус і це для України 😎

В інших країнах вищі ціни і взагалі не для всіх країн є знижка.

Є нюанс. Поки на сторінці іспиту ціна відображається стара, але якщо реєструватися на іспит то на етапі оплати підтягується нова.

Тому не соромимося, готуємося та сертифікуємося. Всі умови для цього є.

📱 New pricing for Microsoft Certification exams

AI магія з GitHub Copilot for Azure 😎

Використання розширення GitHub Copilot для Azure та Azure Kubernetes Service у VS Code:

▪️Пошук прикладу для встановлення AKS з GitHub
▪️Розгортання кластеру
▪️Розгортання контейнерів

https://www.youtube.com/watch?v=SCUAdAxS8ZY

🎓 З'явилася нова сертифікація: Fabric Data Engineer

Data Engineering тема надважлива сьогодні — без гарно підготовлених даних з ШІ далеко не зайдеш.

Щоб пройти сертифікацію достатньо здати іспит DP-700.

Ще зацініть картинку 🤘 — гарно візуалізує загальний роадмап розвитку у data engineering, data science та data analytics.

Microsoft Fabric, хто не знає — це SaaS платформа аналітики та даних. Вона поєднує Power BI, Azure Synapse Analytics, Azure Data Factory в єдине середовище.

📱 Announcing the new Fabric Data Engineer Associate Certification

👋 Коли у травні проходив Microsoft Build зробив ось такий скриншот собі. Забув скинути.

Satya Nadella, хто не знає — це CEO Microsoft, анонсував тоді GPT-4o.

Так ось хочу тут звернуту увагу на тенденцію позитивного розвитку GPT моделей - вартість в рази зменшується 📉 та швидкість роботи покращується. Тобто глобально над цим працюють постійно і на практиці це в цілому відчувається — вже можна підтвердити.

Кумедний ракурс картинки вийшов. Надсилав ще тоді своїм колегам, то вони спитали як я туди потрапив 😄 YouTube можна по різному фотографувати📸.

Як порахувати вартість використання GPT-моделей в Azure?

Два способи, спираючись на практику:

▪️Стартовий розрахунок — за допомогою Azure Calculator
▪️На базі історичної інформації (метрик)

1️⃣ Перший спосіб - дуже приблизний. В Azure Calculator обираємо Azure OpenAI Service, там потрібну модель і вказуємо кількість токенів вхідних та вихідних. На місяць. Вхідні — це prompt, вихідні — відповідь.

Треба враховувати скільки користувачів, як часто запити, де та як використовуються GPT-моделі. Кучу всього. Хочеться сказати, що розрахувати майже не реально, але треба рахувати та від чогось відштовхуватися.

2️⃣ Другий спосіб більш надійний — на базі історичних даних, коли на виході ми маємо метрики 📊 використання за 1-3 місяці. І тут якраз гарно допоможе розробка MVP або стартувати використанням застосунку невеликими робочими групами.

На картинці саме ті необхідні метрики на які можна спиратися. І цей інтерфейс з'явився нещодавно з оновленням Azure OpenAI Studio. Дуже корисний, зверніть на нього увагу.

3️⃣ І третій спосіб теж актуальний — не паритися та не рахувати 🙂. Як показує досвід вартість можна корегувати, наприклад граючись з різними моделями, але не суттєво. Треба по трохи звикати до таких цін. AI стрімко розвивається, рано чи пізно всі цим будемо користуватися.

І краще чим швидше віднайти як це буде приносити вам вигоду 💰 та цим покривати витрати.

👩‍🎓 Плануємо навчання на наступний тиждень

Детальну адженду дивіться за посиланням до івенту.

Орієнтовна тривалість кожного десь1️⃣➖2️⃣години.

🆓 🆓 🆓 🆓

Zero Trust Architecture for Enhanced Security
🗓 15.10

Data Lakehouse with Microsoft Fabric
🗓 17.10

Generative AI Fundamentals
🗓 17.10

Azure OpenAI Services
🗓 17.10

Анонсували GPT-4o з підтримкою голосу 🗣

На минулому тижні сталася неабияка подія. 📱 Microsoft анонсував GPT-4o для аудіо та голосу. Це ще один черговий прорив у напрямку AI 🤖.

До цього були доступні тільки текстові GPT-моделі. Для обробки голосу потрібно було конвертувати його в текст (Speech-To-Text), далі працювати з текстовими моделями та потім конвертувати назад у голос. Це могло створювати певні затримки в розмові, а також впливати на якість.

Нова модель ще у Preview. Тому потестимо та подивимося що і до чого. Важливий тут момент - це підтримка української мови.

Традиційно модель доступна в Azure OpenAI сервісі.

➡️Announcing new products and features for Azure OpenAI Service including GPT-4o-Realtime-Preview with audio and speech capabilities

Архітектура мікросервісів у Azure Kubernetes Service (AKS)

На картинці еталонна архітектура мікросервісів, розгорнутих в Azure Kubernetes Service (AKS). Конфігурацію, яка може бути відправною точкою для більшості розгортань.

▪️Мережева ізоляція;
▪️Аутентифікація та авторизація з Microsoft Entra;
▪️Взаємодія з CI/CD;
▪️Логічне розділення на Namespaces;
▪️Azure Key Vault для безпечного зберігання сікретів;
▪️Моніторинг з Azure Monitor.

📱 Microservices architecture on Azure Kubernetes Service

👋 Плануємо навчання на наступний тиждень

Обов'язково перейдіть за посиланням - там адженда, краще буде зрозуміло про що івент.

Всі івенти безкоштовні та підібрані під наш часовий пояс.

Azure VMware Solution Migration 
🗓 10.10

Code-First LLMOps from prototype to production
🗓 10.10

Building Generative Apps with Azure OpenAI Service
🗓 07.10

Azure Fundamentals
🗓 07.10

Migrate and Secure Windows Server and SQL Server Workloads
🗓 08.10

Azure Data Fundamentals
🗓 10.10

🤟 Для Azure ✈️ Search приємно покращили Basic план

Для розробки своїх проектів ми часто користуємося саме Basic планом.

В ньому кількість індексів - 15, що в принципі достатньо. І storage був 2 Gb - чого було замало.

🆕 Зараз для нових створених сервісів вже доступно 15 Gb.

☝️ Оновитися можливості немає. Необхідно створювати новий сервіс і мігрувати індекси.

Також storage збільшився і для Standard планів ➡️ Service limits in Azure AI Search

Hub-and-spoke network topology

Топологія мережі, яку найчастіше використовують, якщо мова НЕ йде про розгалужені філіали та розміщення в різних регіонах.

📱 Microsoft часто підсвічує важливість використання цієї топології, коли валідує наші архітектурні схеми.

Коротко суть:

▪️На картинці показано Connectivity Subscription — звідси за звичай іде підключення до on-premise через VPN. Це Hub частина.
▪️Landing Zone Subscription - таких підписок з різними застосунками або ворклоадами може бути багато. Це Spoke частини.
▪️Між Hub та Spoke налаштовується VNet Peering;
▪️Ідея у структурованості, у можливості швидко масштабуватися, у ізоляції.

Переваги:

▪️Економія коштів за рахунок використання shared сервісів;
▪️Запобігання лімітів підписки — Azure subscription and service limits, quotas, and constraints;
▪️Ізоляція робочих навантажень (workloads) — для безпеки та розподілення між різними підрозділами, командами або центрами витрат.

➡️ Hub-and-spoke network topology

Trunk-based development

Ще раз порекомендую послухати івент Accelerate Developmenusing Azure DevOps and GitHutb.

🗓 26.08

Пояснюють там як працює Trunk-based development.

Є стандартний Git Flow:
▪️гілки під кожне середовище;
▪️під кожне середовище свій білд, довший релізний процес;
▪️може виникати багато конфліктів в процесі мерджу.

A є Trunk-based development:
▪️гілки, які живуть декілька днів;
▪️Feature-flags для закриття "сирого функціоналу";
▪️завжди чиста мастер гілка та готова до релізу;
▪️мінімум конфліктів при розробці.

Івент безкоштовний, два дні по декілька годин, реєструйтеся вище 👆

🎓 Плануємо наступний тиждень

Ще є вільні місця на наступні івенти.

На деяких івентах надають 5️⃣0️⃣🛍 знижки на fundamentals сертифікації.

Implementing a Data Lakehouse with Microsoft Fabric
🗓 29.08

Building Generative Apps with Azure OpenAI Service
🗓 27.08 🗓 29.08

Azure Fundamentals
🗓27.08

Azure Data Fundamentals
🗓27.08

➡️ Онлайн-івенти у серпні

GPT-4o mini вже доступна в Azure Open AI

Анонсували ще 18.07 але тоді з'явилася тільки можливість потестувати через Chat Playground.

Наразі вже доступна і API через Azure AI сервіс ➡️ GPT-4o mini Now Available in API

Оптимізують, пришвидшують та зменшують вартість. Побачимо що буде з якістю...

Модель доступна не у всіх регіонах. Актуальна інформація по доступності тут ➡️ Azure OpenAI Service models.

📹 Відео-курси для підготовки до Miсrosoft сертифікації

Натрапили на безкоштовні офіційні відео 📹 курси від Microsoft для підготовки до сертифікацій 😍.

Судячи по датах додавання відео цей ресурс з'явився нещодавно. І це чудова новина - цього не вистачало.

Раніше таке шукали на Udemy або схожих ресурсах з оплатою. Але 👆 важливо — користь та якість контенту ще будемо перевіряти.

До кожного іспиту є Leaning Path з текстовим контентом для навчання. Це альтернатива у відео форматі - повинно пришвидшити вивчення матеріалів (теорії).

Є AI-102, AZ-104, AZ-305, AZ-204, AZ-400, DP-203, AZ-500 - коротше багато.

Ось посилання ➡️ Instructor-led Training Series

⭐️ Роадмап сертифікації по інфраструктурі та девелопменту
⭐️ Роадмап сертифікації по Data та AI

Generative AI Fundamentals
 🗓 20.08 🗓 21.08

Цей івент надає гарні пояснення AI термінології:

▪️Що таке AI, що таке Gen-AI?
▪️Що таке LLM?
▪️LLM — Tokenization
▪️LLM — Embeddings
▪️LLM — Attention

Безкоштовно, пару годин, реєструйтеся 👆

🎓 Плануємо наступний тиждень

Наступний тиждень насичений по івентам — реєструємося:

➡️ Онлайн-івенти у серпні

+ Дві новенькі теми. Адженду дивіться за посиланнями:

VMWare Migration Journey
🗓 20.08

Microsoft Fabric and Azure Databricks
🗓 23.08

Ephemeral session

Ось ще цікава штука про Azure Cloud Shell.

Є 2️⃣ режими роботи:

Ephemeral session - це коли жодні файли чи зміни не збережуться після поточного сеансу, та другий — підключається Storage Account для зберігання даних.

В якому режимі ви працюєте можна перевірити через команду df. Змінити режим роботи можна через Settings -> Reset User Settings.

➡️ Get started with Azure Cloud Shell ephemeral sessions

Оновився інтерфейс Azure Cloud Shell

Змінився саме user interface - на панелі інструментів тепер використовуються текстові пункти меню, а не піктограми, що є більш зрозумілим.

▪️Зручне перемикання між Bash та PowerShell;
▪️Кнопка Restart для перезавантаження середовище запустивши його в новому контейнері;
▪️Через Manage files можна завантажити скрипт з локальної машини.

➡️ How to use the new user interface for Azure Cloud Shell
➡️ Пост про Azure Cloud Shell

🎓 Плануємо наступний тиждень

Ще є вільні місця на наступні івенти:

Accelerate Development using Azure DevOps and GitHub
🗓 15.08

Implementing a Data Lakehouse with Microsoft Fabric
🗓13.08

Azure Data Fundamentals
🗓13.08

Securely Migrate and Modernize SQL Servers with Azure
🗓 14.08

➡️ Онлайн-івенти у серпні

Azure Networking Cookbook

Натрапив на таку цікаву книгу 📚. Вона в електронному форматі, безкоштовна.

➡️ Завантажити можна тут https://info.microsoft.com/ww-landing-packt-azure-networking-cookbook.html

Практичні гайди щодо використання мережевих служб Azure:

▪️Створення та налаштування гібридної мережі;
▪️Налаштування мережевих сервісів Azure;
▪️Проектування рішень для мереж з високою доступністю;
▪️Моніторинг мережі;
▪️Підключення локальних мереж до віртуальних мереж;

Корисні онлайн-івенти Microsoft у серпні

Мова англійська.

Реєстрація заздалегідь, кількість місць обмежена.

🔝 Accelerate Development using Azure DevOps and GitHub
🗓 07.08 🗓 15.08 🗓 22.08 🗓 26.08

🔝 Generative AI Fundamentals (знижка 50% на іспит Azure AI Fundamentals)
🗓 05.08  🗓 20.08 🗓 21.08

🆕 Microsoft Fabric and Azure Databricks
🗓 23.08

🆕 VMWare Migration Journey
🗓 20.08

Azure AI Search with Semantic and Vector Search
🗓 22.08

Implementing a Data Lakehouse with Microsoft Fabric (знижка 50% на іспит Data Fundamentals)
🗓13.08 🗓19.08 🗓 21.08 🗓 29.08

Building Generative Apps with Azure OpenAI Service (знижка 50% на іспит Azure AI Fundamentals)
🗓 07.08  🗓 22.08 🗓 27.08 🗓 29.08

Azure Fundamentals (знижка 50% на іспит Azure Fundamentals)
🗓19.08 🗓21.08 🗓27.08

Azure Data Fundamentals (знижка 50% на іспит Data Fundamentals)
🗓07.08  🗓13.08 🗓27.08

Migrate and Secure Windows Server and SQL Server Workloads
🗓 19.08  🗓 20.08

Securely Migrate and Modernize SQL Servers with Azure
🗓 14.08