Почему автоматизация incident-отчётов через LLM пугает инженеров

Автор блога Surfing Complexity, инженер по надёжности систем Lorin Hochstein, откликнулся на саркастичный пост Reginald Braithwaite о будущем, где incident-отчёты будут писать целиком LLM. Хотя Braithwaite явно иронизировал, Hochstein уверен: такое будущее реально приближается — и оно его тревожит.

Сразу оговорка: сбор данных для отчёта об инциденте — трудоёмкая рутина, и здесь ИИ действительно может помочь, сократив «тойл». Проблема в другом — в разнице между использованием LLM как помощника для подготовки материала и полной передачей ей самого написания текста.

Письмо как способ мышления

Автор ссылается на известную мысль карикатуриста Дика Гиндона: «Письмо — это способ природы показать вам, насколько небрежно вы думаете». Пока человек не попытается сам объяснить произошедшее словами, он не заметит пробелы в собственном понимании.

Эту же идею поддерживает цитата Лесли Лэмпорта: «Если вы думаете, не записывая, вам только кажется, что вы думаете». Именно этот этап — самопроверку через формулирование — LLM полностью исключает из процесса.

Опасность правдоподобных текстов

Когда отчёт генерирует модель, читатель получает текст, который звучит убедительно, но может содержать выдуманные связи между системами или упускать реальные критические взаимодействия. Поскольку никто не проделал тяжёлую работу по синтезу данных, ошибки останутся незамеченными — ведь чем меньше усилий вкладывается в написание, тем меньше их вложат и в проверку.

Hochstein считает, что для incident-отчётов риски выше, чем при использовании ИИ в написании кода или в задачах AI SRE:

• при работе с кодом есть тестирование, которое покажет, работает ли решение;
• в задачах эксплуатации ИИ либо помогает устранить инцидент, либо нет — природа сама расставляет оценки;
• у отчёта же нет такого явного критерия правильности — он может выглядеть убедительно, но быть содержательно неверным.

Симулякры вместо анализа

По мнению автора, поскольку писать отчёты долго и утомительно, соблазн переложить эту работу на ИИ будет огромным. Но модель не станет опрашивать людей, участвовавших в инциденте, — итоговые тексты превратятся в симулякры: формально правильные, но лишённые реального понимания устройства системы.

Hochstein опасается, что вместе с этим сократится и способность команд учиться на собственных ошибках — а вдобавок такие отчёты, вероятно, будут потом ещё и суммироваться ИИ, окончательно замыкая круг поверхностной обработки информации.

Источник: Hacker News - Newest: ""AI" "LLM""