AI: Ключевые термины
Что такое оценка агентов
Что такое оценка агентов? Как проверять качество и надежность ИИ-агентов
Оценка агентов — это воспроизводимые тесты, которые показывают, может ли ИИ-агент выполнить реальную задачу успешно, надежно и в заданных ограничениях. Там, где это важно, проверяются также инструменты, действия и промежуточные шаги, через которые агент пришел к результату.
Полезный тест включает задачу, явные критерии успеха, один или несколько прогонов, оценщика и результат. Для агентных систем к этому может добавляться трассировка, или траектория, которая показывает, как агент пришел к результату.
Оценка отличается от ручной проверки, когда агента просто пробуют несколько раз. Ручные проверки полезны на этапе прототипа, но стабильной точки отсчета не дают. Воспроизводимые тесты позволяют сравнивать версии, находить регрессии и измерять стабильность во времени.
Что такое оценка агентов
Оценка превращает реальный сценарий в повторяемую проверку. Агент получает задачу в контролируемой или наблюдаемой среде, пытается ее выполнить, а результат оценивают по заранее заданным критериям.
Поведение агента вероятностно. На одной и той же задаче от прогона к прогону могут различаться выбор инструментов, промежуточные шаги и итоговый ответ, поэтому одна удачная попытка мало говорит о надежности.
Иногда достаточно итогового результата. В других случаях важен и путь выполнения: например, тот ли инструмент использовал агент и соблюдено ли требование согласования.
Anthropic описывает оценку агентов через задачи, попытки, оценщиков, транскрипты и результаты, а повторные попытки считает полезными там, где поведение модели меняется от прогона к прогону.
Чем оценка агентов отличается от оценки LLM?
Простая оценка LLM часто выглядит так:
Входные данные → Ответ → Оценка
У агента цепочка может быть гораздо длиннее:
Цель → Контекст → Вызовы инструментов → Действия → Изменения состояния → Результат
Агент может выбрать не тот инструмент, передать неверные параметры, зациклиться, пропустить обязательный шаг, выполнить небезопасное промежуточное действие или прийти к правильному ответу неэффективным путем.
Поэтому, оценивая только итоговый текст, легко пропустить серьезные сбои. Ответ может звучать правильно, даже если система изменила не ту запись.
При оценке агентов часто нужно проверять задачу целиком, а не только финальный ответ: конечное состояние, работу с инструментами, траекторию, ограничения и стабильность при повторных прогонах.
Что должна измерять оценка агентов
Универсального набора метрик нет. Все зависит от задачи и от того, какие сбои для нее критичны.
Успешность выполнения задачи
Первый вопрос: выполнил ли агент саму задачу. Если нужно было создать задачу в Jira, обновить запись или подготовить отчет о релизе, тест должен проверять именно этот результат, а не делать вывод об успехе по уверенному ответу.
Качество результата
Если на выходе отчет, рекомендация или другой текст, полезными критериями будут корректность, полнота, опора на источники и релевантность.
Работа с инструментами
Для агентов, которые пользуются инструментами, можно проверять выбор инструмента, аргументы, успешность вызова и то, правильно ли использованы полученные данные. Microsoft отделяет такие проверки процесса от итоговой оценки на уровне системы.
Траектория
Трассировка показывает лишние шаги, повторные вызовы инструментов, циклы, неправильный порядок действий и плохое восстановление после неудачного действия.
Надежность
Повторные прогоны и похожие кейсы показывают, справляется ли агент стабильно, а не время от времени.
Ограничения и безопасность
Тест может также проверить, что агент соблюдал права доступа, проходил обязательные точки согласования и не совершал запрещенных действий.
Эффективность
Там, где это действительно важно, команды отслеживают еще задержку, повторные попытки, избыточные вызовы инструментов и стоимость.
Оценка результата и оценка траектории
Оценка результата отвечает на вопрос:
Выполнена ли задача так, как нужно?
Например, она проверяет, что создана нужная задача в Jira, отчет содержит требуемую информацию, а процесс дошел до ожидаемого финального состояния.
Оценка траектории отвечает на вопрос:
Допустимыми ли были шаги агента по ходу работы?
Она может проверять, использовал ли агент подходящие инструменты, обошелся ли без лишних повторных вызовов, прошел ли точку согласования и остался ли в положенных границах ресурсов. Не каждой задаче нужна одна строго заданная последовательность. К одному правильному результату могут вести разные допустимые пути, поэтому слишком строгая оценка траектории отбракует и полезное поведение.
На практике тест фокусируется на обязательных действиях, критичных ограничениях, запрещенном поведении и результате, а там, где допустимо несколько путей, оставляет агенту свободу.
Как выставляются оценки
Разным частям задачи нужны разные оценщики.
Детерминированные проверки подходят, когда успех можно проверить точно. Они сверяют ожидаемое значение, подтверждают вызов инструмента, проверяют состояние базы данных или то, прошел ли программный тест.
Оценка по рубрике полезна, когда качество зависит от нескольких заданных критериев, а не от одного точного ответа.
LLM в роли судьи (LLM-as-a-judge) может оценивать открытые характеристики вроде полноты, релевантности или опоры на источники, когда точное сравнение невозможно. Но такие судьи сами вероятностны. Им нужны четкие рубрики и сверка с человеческой оценкой, считать их правыми по умолчанию нельзя.
Оценка человеком по-прежнему нужна для неоднозначных случаев и случаев с высокими ставками, а также для калибровки автоматических оценщиков.
В одном тесте можно сочетать несколько оценщиков. Оценщик должен соответствовать той части задачи, которую он проверяет. Anthropic тоже различает оценщиков на основе кода, на основе модели и людей, и у каждого вида свои сильные стороны и ограничения.
Офлайн- и онлайн-оценка агентов
Офлайн-оценка запускается на заранее подготовленных задачах до развертывания или перед выпуском новой версии. Она нужна для регрессионного тестирования, сравнения моделей и промптов, проверки изменений в инструментах и решения о том, держит ли релиз ожидаемую планку качества.
Онлайн-оценка работает с трассировками из продакшена. Она помогает находить типы сбоев, которых не было в исходном наборе, и показывает, как агент ведет себя на реальных входных данных.
Оба вида должны усиливать друг друга. Сбой в продакшене становится новым тестовым кейсом, команда исправляет проблему, а кейс остается в офлайн-наборе как регрессионный тест. Так реальные сбои превращаются в материал, который пригодится при проверке будущих релизов.
Полезный цикл выглядит так:
Сбой в продакшене → новый тестовый кейс → исправление → регрессионный тест
LangSmith, например, поддерживает оценку и на офлайн-наборах данных, и на трассировках из продакшена.
Как собрать полезный набор тестов
Начать можно с малого. До развертывания набору необязательно быть большим бенчмарком.
- Выберите реальную задачу, которую агент должен выполнять.
- Определите, что считается успешным выполнением.
- Добавьте типичные штатные кейсы.
- Добавьте важные граничные случаи и известные типы сбоев.
- Решите, какие измерения важны: результат, инструменты, ограничения и, где уместно, эффективность.
- Подберите оценщиков под эти измерения.
- Делайте несколько прогонов, если поведение меняется от запуска к запуску.
- Добавляйте реальные сбои из продакшена по мере их появления.
Небольшой репрезентативный набор, привязанный к реальному использованию, обычно информативнее большой синтетической коллекции, слабо связанной с продакшеном.
Набор должен развиваться: новые инструменты, модели, процессы и поведение в продакшене выявляют новые типы сбоев.
Пример: оценка агента для управления проектами
Допустим, агент получает такую задачу:
Определи, что ставит релиз под угрозу, и подготовь отчет для стейкхолдеров.
Он может использовать Jira, Git, Slack и заметки со встреч. Слабый тест спросит только, правдоподобно ли звучит отчет.
Хороший тест проверит, что верно назван блокер, источники актуальны, веха выбрана правильно, нет неподтвержденных утверждений, присутствуют обязательные разделы отчета и соблюдены права в проекте. При повторных прогонах надежность должна оставаться приемлемой. Если агент может выполнять действия, тест должен проверить и итоговое состояние. Обновил ли он нужную запись? Запросил ли согласование, когда действие этого требовало?
Здесь проходит главное различие: качество ответа не равно качеству работы агента в целом.
Та же логика применима, когда вы оцениваете ИИ-инструмент перед покупкой. Проверяйте его на реальных задачах, с явными критериями успеха, релевантными сбойными кейсами и доказательствами, а не полагайтесь только на списки функций и постановочные демо.
Мы собрали такие сравнения для популярных ИИ-инструментов в одном месте:
Оценка агентов и смежные понятия
Оценка агентов и оценка LLM. Оценка LLM часто сосредоточена на ответе или поведении модели. Оценка агентов может охватывать выполнение задачи целиком: инструменты, действия, изменения состояния и результат.
Оценка агентов и бенчмарки. Бенчмарк представляет собой стандартизированный общий тест. Оценка агента обычно привязана к конкретному сценарию и его критериям успеха.
Оценка агентов и тестирование. Тестирование является более широким понятием из разработки ПО. Оценка особенно полезна для вероятностного поведения, которое не всегда удается проверить простым бинарным утверждением. Агентам в продакшене часто нужны и обычные тесты, и оценка.
Оценка агентов и наблюдаемость. Наблюдаемость отвечает на вопрос, что произошло. Оценка отвечает на вопрос, было ли это достаточно хорошо.
Главное по теме
- Оценка агентов состоит из воспроизводимых тестов на реальных задачах, а не из нескольких ручных попыток.
- Качество финального ответа отражает только часть работы агента: важны также результаты, работа с инструментами, траектория, ограничения и надежность.
- Оценка результата проверяет, правильно ли завершилась задача, а оценка траектории проверяет, был ли путь допустимым.
- Полезная оценка сочетает детерминированные проверки, оценку моделью и оценку человеком там, где каждая из них уместна.
- Офлайн-оценка и оценка в продакшене лучше всего работают как цикл, в котором реальные сбои становятся будущими регрессионными кейсами.
FAQ
Что такое оценка агентов?
Чем оценка агентов отличается от оценки LLM?
Что должна измерять оценка агента?
Что такое оценка траектории?
Что такое LLM-as-a-judge?
Сколько тестовых кейсов нужно?
Когда проводить оценку агентов: до или после развертывания?
Чем оценка агентов отличается от наблюдаемости?
Can evals measure tool use?
Можно ли оценивать работу с инструментами?
Последнее обновление: октябрь 2026 г.
