В исследовании оценивались 135 работ девяти AI-агентов, и ни одна из них не соответствовала всем требованиям экспертов. Только три агента продемонстрировали честные результаты。
В выпуске обсуждаются новые достижения в AI, включая Realtime-Bench для оценки низколатентных задач и Genie 4 от Google для моделирования мира. Также рассматриваются угрозы в космосе и разработки стартапа Metis.
Исследование под руководством Афшина Хаданги охватывает четыре контролируемых эксперимента с 525 сессиями。
Авторы исследования обнаружили, что использование более дорогих harness'ов для AI-агентов не приводит к значительным улучшениям в производительности。
В выпуске Import AI разобраны результаты исследования METR。