Дорогие harness'ы не улучшают работу AI-агентов

Исследование, проведенное Liu и Han, показало, что использование более дорогих harness'ов для AI-агентов не приводит к значительным улучшениям в их производительности. Авторы сосредоточились на производительности кодирующих агентов с различными harness'ами, однако единственным измеримым эффектом от использования дорогих harness'ов стал постоянный дефицит для OpenCode. Исследование основывается в основном на одном бенчмарке и ожидало наибольшего эффекта от harness'ов на 45 самых сложных задачах.

AI 根据报道生成 · 20 дн назад更新