Google и Гонконгский университет разработали фреймворк для верификации ИИ VeriCUA

Исследователи из Google и Гонконгского университета представили новый фреймворк под названием VeriCUA, который направлен на решение проблемы надежности ИИ-агентов при выполнении задач. Этот фреймворк проверяет фактическое состояние приложений и файлов перед тем, как принять утверждение агента о том, что задача выполнена.

Понимание VeriCUA

VeriCUA сосредоточен на агентах, использующих компьютер (CUAs), которые представляют собой ИИ-системы, взаимодействующие с программным обеспечением аналогично людям. Фреймворк использует уникальный метод верификации, который сначала устанавливает критерии, адаптированные к конкретной задаче, а затем ищет доказательства через проверки на основе графического интерфейса или кода. Этот подход гарантирует, что утверждение агента о выполнении задачи подтверждается фактическими результатами.

Показатели производительности

В тестах в различных средах VeriCUA продемонстрировал превосходные результаты по сравнению с базовыми системами. Например, он снизил уровень ложных срабатываний на бенчмарке OSWorld с 27,9% до 13,9%, а на бенчмарке ScienceBoard — с 24,8% до 5,4%. Особенно примечательно, что на бенчмарке AndroidWorld VeriCUA достиг точности 90,5% с уровнем ложных срабатываний всего 7,7%.

Последствия для разработки ИИ

Введение VeriCUA подчеркивает потенциальные риски, связанные с полаганием исключительно на самоотчеты об успешности ИИ-агентов. Исследование подчеркивает необходимость создания надежных систем верификации, чтобы гарантировать, что ИИ-агенты не завышают свои возможности. Поскольку ИИ-системы становятся все более сложными, необходимость в надежных методах верификации, таких как VeriCUA, становится все более актуальной.