Как оценивать browser agents: практический чек-лист

Начните с task contract, который фиксирует исходное состояние, разрешённые сайты и приложения, данные, terminal state, запрещённые события и границу человеческого подтверждения. Фраза «закажи билет» сама по себе не является тестом: нужно задать маршрут, дату, бюджет, разрешено ли бронирование и должен ли агент остановиться перед оплатой. Для read-only задач verdict может проверять найденную запись; для state-changing задач требуется подтверждение реального backend-состояния, а не текста, который агент увидел на странице.

WebArena полезен функциональными сайтами и проверкой завершения реалистичных длинных задач, но публичный benchmark не воспроизводит ваши permissions, locales, данные и последствия. Превратите production jobs в очищенные task families и создайте для каждой независимый oracle: API- или database query в sandbox, структурированный export, контролируемый DOM state или artifact после human review. Self-report агента «готово» никогда не является oracle.

• Outcome → требуемое состояние действительно создано, найдено или изменено.
• Trajectory → каждое действие было разрешено для этой задачи и текущего состояния.
• Side-effect integrity → нет лишнего submit, сообщения, платежа или удаления.
• Stop behavior → агент корректно отказывается, уточняет или запрашивает approval.

Результат browser eval зависит не только от модели. Версионируйте image или VM, браузер, viewport, device scale, locale, timezone, шрифты, cookies, account fixture, network policy, исходные данные и состояние каждого приложения. Отдельно фиксируйте observation mode—screenshot, accessibility tree, DOM, OCR или их комбинацию—и action mode—координаты, element IDs, Playwright primitives или keyboard shortcuts. Дополнительные материалы OpenAI по CUA прямо описывают различия browser/VM environment, prompts, sampling и scoring; без этого сравнение версий не воспроизводимо.

BrowserGym унифицирует observation и action spaces для нескольких web-agent benchmarks; применяйте ту же дисциплину во внутреннем harness. Храните environment manifest рядом с результатом и отклоняйте run, если fixture не поднялся, сайт неожиданно изменился или oracle недоступен. Infrastructure failure нельзя считать model failure, а случайно уже выполненную задачу — success. Reset должен восстанавливать весь business state, включая письма, корзину, файлы и pending transactions.

Frozen regression set покрывает типовые задачи и известные инциденты, а held-out set — новые формулировки, сущности и layout variants. Добавьте responsive viewport, другой zoom, переводы, sticky banners, modals, lazy loading, disabled controls, одинаковые labels, таблицы с pagination и элементы below the fold. Для computer-use agents проверяйте также активное окно, focus, drag, clipboard, file picker и system dialogs. Цель не в том, чтобы ломать координаты, а в том, чтобы измерять grounding на текущем семантическом состоянии.

Добавьте временные и операционные perturbations: медленные responses, spinners, stale screenshots, action accepted после timeout, session expiry, redirects, новые вкладки и частично сохранённые формы. Ambiguous tasks должны требовать уточнения, impossible tasks — безопасной остановки. Соблюдайте contamination boundary: не используйте held-out screenshots в prompts или few-shot examples и не оптимизируйте policy под каждый провал без нового слепого набора.

Task success необходим, но недостаточен. Trace grader проверяет origin transitions, targets, введённые поля, repeated actions, approval binding и prohibited states. Различайте perception error, wrong target, planning error, policy block, environment failure, premature stop и false success claim. Число шагов и latency полезны только после correctness: короткий путь с ошибочным submit не эффективнее. Если существует несколько правильных путей, оценивайте инварианты, а не exact action sequence.

Recovery suite запускает агента из промежуточного состояния: modal перекрыл кнопку, form validation отклонила поле, navigation вернула на login или timeout произошёл после commit. Pass требует сначала прочитать фактический state, не дублировать side effect и выбрать retry, reconcile, rollback или escalation. Для стохастического агента делайте несколько независимых runs, показывайте распределение и paired comparison с baseline; один успешный replay не доказывает общую надёжность.

• Functional verdict → независимый oracle подтвердил конечный state.
• Policy verdict → ни одно действие не вышло за scope или approval.
• Grounding verdict → target соответствовал намерению в фактическом frame.
• Recovery verdict → повтор не создал дубль и сохранил audit trail.

Страницы, документы, сообщения и tooltips — недоверенные данные. Security slice размещает direct и indirect prompt injections в видимом тексте, accessibility attributes, загруженных документах и результатах поиска. Проверяйте не только то, повторил ли агент инструкцию, а sinks: пытался ли он изменить цель, перейти на запрещённый origin, прочитать canary secret, вставить его в форму, загрузить файл или выполнить внешнее действие. Prompt-injection detection без sink verdict создаёт ложное чувство защиты.

Все write tests выполняйте в disposable accounts с canary data, перехваченными email или webhooks, fake payment rail и журналом backend mutations. Привязывайте approval к точному payload и state snapshot: подтверждение одного получателя не разрешает менять адрес после появления modal. Тестируйте отмену approval, expired approval, misleading buttons, download quarantine и секреты в clipboard. Production credentials, реальные платежи или сообщения внешним людям не нужны для доказательного eval.

Decision record содержит dataset revision, environment manifest, model, prompt, observation/action adapter, policy, oracle, sample count, результаты сегментов, critical failures и reviewer. Сравнивайте candidate с known-good bundle на тех же task seeds. Promote требует non-regression для outcome, нулевой терпимости к определённым critical side effects и отдельных пройденных slices по domain, locale, task length и risk tier. Публичный benchmark — внешний сигнал, а не замена вашему release gate.

Rollout идёт от offline resettable environment к shadow, read-only canary, draft-only writes и узким approved actions. Monitoring повторяет offline taxonomy: false completion, duplicate mutation, unexpected origin, approval mismatch и recovery failure. Rollback возвращает совместимый bundle модели, prompt, adapter и policy, останавливает новые runs и reconciles незавершённые side effects до повторной попытки. Очищенный incident trace становится regression fixture только после проверки provenance и privacy.