Калькулятор стоимости LLM-приложений: модель для закупок и экспериментов

Разработчик Ajinkya представил AI Cost Calculator — инструмент для оценки реальных затрат на приложения на базе больших языковых моделей. Калькулятор задуман как «закупочного уровня» (procurement-grade) модель, то есть не упрощённый онлайн-калькулятор, а инструмент, пригодный для планирования бюджета в корпоративных и государственных проектах.

Поддерживаемые сценарии

Калькулятор включает готовые шаблоны рабочих нагрузок, среди которых:

• геопространственный Q&A в разных конфигурациях (свободный, многосегментный, с реестром инструментов);
• агенты для государственных задач — моделирование энергосетей (DOE), поиск по клиническим испытаниям (NIH), отслеживание штормов (NOAA);
• чат-боты поддержки стартапов, HIPAA-портал для пациентов, юридический triage;
• бенчмарки: SWE-bench-класс одноразовый кодер, мультиагентная поддержка, голосовой агент (STT → LLM → TTS).

Стратегии хостинга

Ключевое решение — где исполняется модель. Калькулятор предлагает четыре варианта:

• API (managed) — оплата за токен через OpenAI / Anthropic / Bedrock, с резервированием для committed spend;
• Self-host (EC2 GPUs) — почасовая аренда GPU под открытые модели (Llama, Mistral), с расчётом реплик и обязательств;
• On-prem (owned) — собственное железо в дата-центре, затраты amortized как фиксированная месячная сумма;
• Hybrid (split) — комбинация API и self-host с настройкой доли трафика.

Выбор стратегии хостинга меняет всю downstream-модель: для API появляются поля резервирования, для self-host — расчёт GPU-инстансов, для on-prem — TCO. Ошибка на этом шаге может изменить итоговый счёт в 5–10 раз.

Глобальные параметры и экспорт

На уровне всей рабочей нагрузки настраиваются MAU, сессии, ходы диалога, кэширование и повторные запросы. Специфика отдельных агентов вынесена в отдельную вкладку. Результаты можно выгрузить в Excel, CSV, распечатать или сохранить в PDF, а также скопировать shareable-ссылку.

Источник: Hacker News - Newest: ""AI" "LLM""