В выпуске обсуждаются новые достижения в AI, включая Realtime-Bench для оценки низколатентных задач и Genie 4 от Google для моделирования мира. Также рассматриваются угрозы в космосе и разработки стартапа Metis.
Авторы исследования обнаружили, что использование более дорогих harness'ов для AI-агентов не приводит к значительным улучшениям в производительности。
Модель Qwen3.8-27B продемонстрировала 23.57% точности при сложении положительных целых чисел и выражении результатов словами на английском языке в условиях отсутствия рассуждений. В тестах с 5,070 случаями без рассуждений и 169 случаями с умеренными рассуждениями точность снизилась с 97.04% для одно- и трехзначных чисел до 6.44% для десяти- и тринадцатизначных.
Microsoft и Hugging Face совместно опубликовали ThinkingBox — бенчмарк для оценки AI-агентов。
Почему это важно: Microsoft и Hugging Face представили ThinkingBox, оценивающий AI-агентов по реальному изменению состояния базы данных, а не по количеству вызовов инструментов.
Jack Clark разбирает DiG-bench для оценки креативности ИИ, симулятор рекурсивного самосовершенствования от Paradigm Research。