Коротко
Разработчик формата BDoc столкнулся с недоступностью Gemini в ряде регионов из-за ограничений Google. Чтобы использовать контекстное окно в 1 миллион токенов, он написал собственный прокси-сервер на Java.
Разработчик, работающий над альтернативным форматом документов BDoc, нуждался в нейросети с большим контекстным окном. Выбор пал на Gemini от Google, который поддерживает до одного миллиона токенов, что критично для обработки длинных документов.
Главная сложность заключалась в том, что Google блокирует запросы из определенных регионов. Это делает прямое подключение к API Gemini невозможным для пользователей из этих территорий.
Проанализировав варианты, автор решил написать собственную программу на Java под названием ai-proxy. Это прокси-сервер, который позволяет нейросетям обходить географические ограничения и корректно взаимодействовать с API.
Источник: Все статьи подряд / Искусственный интеллект / Хабр