Охрана ответа: как поймать агента на «уже отправил»

Самая неприятная ошибка агента — не падение, а уверенное «отправил», когда ничего не отправлено. Падение видно сразу. Ложный отчёт всплывает через день, когда человек спрашивает «а где?».

Откуда это берётся. Языковая модель обучена писать правдоподобный текст. «Готово, я всё обновил» — очень правдоподобное завершение диалога. Модель не врёт сознательно: она продолжает текст так, как он обычно продолжается. Значит, проверять её надо не промптом «не ври», а фактами.

В Элис финальный текст проходит охрану ответа. Три правила: • прогресс — не финал. «Сейчас посмотрю» — это статус, а не ответ, и ход им не закрывается; • один мягкий толчок. Если модель написала «сейчас сделаю», но инструмент не вызвала, цикл один раз напоминает ей об этом. Ровно один — чтобы не устроить бесконечную перепалку; • проверка перед «сделал». Прежде чем пропустить «отправил / записал / создал», охрана смотрит в журнал: было ли такое действие и чем оно закончилось. Не было — повтор или честный отчёт, а не уверенная ложь.

Почему это вообще возможно. Каждое реальное действие в Элис оставляет событие в журнале. Нет события — это не мнение охраны, это расхождение между словами и фактами. А «успех» с пустым результатом считается отдельным видом провала — молчаливым, и его ловит финальная проверка.

Где было трудно. Модель не пишет машиночитаемое «действие: файл записан». Она пишет «обновил конфиг и всё проверил». Слишком строгая охрана режет нормальные ответы, слишком мягкая пропускает выдумки. Компромисс такой: жёстко сверяем то, что можно сопоставить с журналом побочных действий, и не делаем вид, что проверили остальное. А частичный отчёт — «это сделал, это не получилось» — не ложь, и охрана его не трогает.

Урок: агенту нельзя верить на слово. Но и душить его подозрениями нельзя. Проверяйте утверждения о действиях по фактам — и только их.

Ловили своих агентов на «уже сделал»?

#Элис #ЭлисAI #AIагенты #надёжность

Мой Телеграм