Як порахувати вартість використання GPT-моделей в Azure?
Два способи, спираючись на практику:
▪️Стартовий розрахунок — за допомогою Azure Calculator
▪️На базі історичної інформації (метрик)
1️⃣ Перший спосіб - дуже приблизний. В Azure Calculator обираємо Azure OpenAI Service, там потрібну модель і вказуємо кількість токенів вхідних та вихідних. На місяць. Вхідні — це prompt, вихідні — відповідь.
Треба враховувати скільки користувачів, як часто запити, де та як використовуються GPT-моделі. Кучу всього. Хочеться сказати, що розрахувати майже не реально, але треба рахувати та від чогось відштовхуватися.
2️⃣ Другий спосіб більш надійний — на базі історичних даних, коли на виході ми маємо метрики 📊 використання за 1-3 місяці. І тут якраз гарно допоможе розробка MVP або стартувати використанням застосунку невеликими робочими групами.
На картинці саме ті необхідні метрики на які можна спиратися. І цей інтерфейс з'явився нещодавно з оновленням Azure OpenAI Studio. Дуже корисний, зверніть на нього увагу.
3️⃣ І третій спосіб теж актуальний — не паритися та не рахувати 🙂. Як показує досвід вартість можна корегувати, наприклад граючись з різними моделями, але не суттєво. Треба по трохи звикати до таких цін. AI стрімко розвивається, рано чи пізно всі цим будемо користуватися.
І краще чим швидше віднайти як це буде приносити вам вигоду 💰 та цим покривати витрати.