Сто окон «Разрешить?» подряд: как лишняя осторожность сделала агента опаснее

Когда агент сам ходит по сайтам, хочется подстраховаться. Мы ввели подтверждение человеком — в разработке это называют HITL, «человек в контуре»: перед рискованным действием агент показывает окно и ждёт моего «Разрешить». Логика понятная: лучше лишний раз спросить, чем потом разгребать.

Ожидание было такое: окно появится пару раз за сессию, в серьёзных местах.

Реальность. Говорю «зайди в VK и проверь, что вход есть». Окно — на домен VK. Окно — на картинку с соседнего сервера. Окно — на обычный скриншот. Плюс агент зачем-то открывает трансляцию экрана, хотя я просто просил проверить. Через пять минут у меня рефлекс: окно появилось — кликнул. Даже не читая текст.

И вот тут стало страшно. Если завтра агент спросит про оплату или удаление, я кликну тем же движением.

Начал разбираться, откуда столько окон. Причин нашлось три, и все — в обвязке, не в модели: • флаг «требует подтверждения» стоял на десятках обычных инструментов, включая безобидные чтения страницы; • политика браузера по умолчанию требовала подтверждения для каждого незнакомого домена, а современная страница подтягивает картинки и скрипты с десятка сторонних доменов и CDN; • слово «зайди» агент понимал как «покажи мне экран», а не как «проверь, что я авторизован».

Что доработали. Обычные сайты по HTTPS агент открывает без вопросов. Чтение страницы, скриншот, поиск текста стали «чистыми» операциями, которые ничего не меняют и подтверждения не требуют. Окно с подтверждением осталось только для платежей и по-настоящему опасных действий. А «зайди» теперь значит: проверить сессию и сказать, нужен ли вход.

Почему не оставили «на всякий случай»? Потому что подтверждение — как пожарная сигнализация: если она воет от каждого чайника, на настоящий пожар никто не выйдет.

Урок: чем реже вы спрашиваете «Вы уверены?», тем внимательнее вам отвечают.

А у вас в продукте есть окна, которые все жмут не читая?

#Элис #ЭлисAI #факапы