OSS AI стек легко протестировать, но в проде — молчание

На Hacker News появился обсуждение, которое звучит просто, но бьёт в больную точку: кто реально гоняет open-source AI инфраструктуру в production и с какими проблемами сталкивается?

Вопрос охватывает весь стек: inference, orchestration, observability, vector search, data pipelines, evaluation, model management. Автор честно признаёт главное — большинство OSS-проектов легко протестировать, но эксплуатация в проде — это совершенно другая задача.

И вот что показательно: на момент написания — ноль комментариев. Не потому что тема неинтересна, а потому что у тех, кто реально это делает, обычно нет времени писать развернутые ответы на HN. А те, кто хочет — часто не имеют production-опыта, только proof-of-concept.

Это отражает реальный разрыв в индустрии. Хайп вокруг open-source моделей и фреймворков огромный, но между демо и production-эксплуатацией лежит пропасть: cost-управление, доступность GPU, безопасность, manageability. Каждый из этих пунктов — отдельная инженерная задача, для которой нет готового playbook.

Мой вывод: рынок OSS AI инструментов растёт быстрее, чем практика их эксплуатации. Если вы выбираете стек для прода — не верьте README и звездам на GitHub. Ищите людей, которые уже гоняют это в проде, и спрашивайте про failure modes, а не про фичи.

Источник: Hacker News - Newest: ""AI" "LLM""