Для аудита AI-скиллов одного сравнения кода уже недостаточно

Плагиат в экосистемах LLM-агентов нельзя надёжно искать только сравнением исходного кода. Один и тот же навык можно переиспользовать, сохранив лишь инструкции, фрагменты реализации или саму последовательность действий — и обычный детектор этого не заметит.

SKILLTRACE разбирает навык по трём независимым следам: Expression для авторского текста, Implementation для кода и Operational для рабочей структуры. Последний представляют в виде Skill Operational Graph: он описывает активацию навыка, шаги процедуры и потоки ресурсов между ними.

Здесь есть важный практический ход. LLM используется только один раз — при извлечении операционного следа во время добавления навыка. На этапе аудита система сравнивает уже сохранённые представления детерминированно и показывает, какой именно след подтверждает возможное повторное использование. Это полезнее простого бинарного флага «похоже / не похоже»: проверяющий получает направление для ручного разбора.

На SKILLTRACE-BENCH с 820 изменёнными примерами повторного использования, 100 исходными навыками и 751 отрицательным контролем метод получил AUROC 0,938 и F1 0,898. В отдельной проверке 36 446 навыков система сформировала очереди для дополнительного аудита, которые дополняли результаты проверок на уровне репозиториев.

Но это не готовый автоматический вердикт о плагиате. Результат зависит от того, насколько удачно извлечены три типа следов, а детали ошибок, стоимости обработки и поведения системы на других наборах данных в описании не раскрыты. Поэтому SKILLTRACE выглядит скорее как инструмент сортировки подозрительных случаев и объяснения сигнала, чем как замена экспертной проверке.

Если вы создаёте маркетплейс навыков для агентов, что для вас было бы сильнейшим доказательством повторного использования: совпадение кода, текста инструкций или одинаковая цепочка действий? Источник: cs.AI updates on arXiv.org