ProcAgent: LLM-ассистент для сборки мебели прямо на Jetson Orin

Облачные мультимодальные ассистенты плохо подходят для бытовых задач: они требуют постоянной видеопередачи, зависят от сети и создают риски для приватности. ProcAgent решает эту проблему, работая целиком на одном устройстве NVIDIA Jetson AGX Orin.

Архитектура построена на принципе «предлагай и проверяй». Система ведёт непрерывное дешёвое восприятие и символический граф задач, а дорогой визуально-языковой анализ вызывает только при неоднозначности или вероятном отклонении пользователя от шагов. Агент на базе LLM обеспечивает реактивные ответы и проактивные подсказки с подтверждением от человека.

На устройстве система отвечает на текстовые запросы примерно за 2 секунды, на запросы с визуальным контекстом — за 8 секунд. В исследовании с участием 10 человек, выполнявших задачи по сборке, ProcAgent получил высокие оценки за понятность, применимость и комфорт в плане приватности.

Главный trade-off очевиден: локальная работа на edge-железе означает компромисс между скоростью и глубиной визуального анализа. Вызов тяжёлых моделей только по требованию экономит ресурсы, но создаёт риск пропустить ошибку в моменты, когда непрерывный лёгкий восприятие её не зафиксирует. Для бытовых сценариев вроде сборки мебели это допустимо, но перенос подхода на более критичные задачи потребует более тонкой настройки триггеров для дорогих проверок.

Источник: cs.AI updates on arXiv.org