Введение StateBench для оценки отслеживания состояния
先了解这件事
Исследователи представили StateBench, новый бенчмарк для оценки способности языковых моделей отслеживать изменения состояния в длинных документах. Он включает четыре уровня сложности, что позволяет моделям выполнять все более сложные операции обновления состояния. В ходе тестирования модели Gated DeltaNet и гибридные архитектуры показали лучшие результаты по сравнению с традиционными трансформерами в задачах отслеживания состояния.
AI 根据报道生成 · 10 дн назад更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face BlogГлавноеStateBench: тестирование языковых моделей на отслеживание изменений состояния в длинных документах
Исследователи представили StateBench, бенчмарк для оценки способности языковых моделей отслеживать изменения состояния в длинных документах. Он включает четыре уровня сложности и показывает, что модели Gated DeltaNet и гибридные архитектуры превосходят трансформеры в задачах отслеживания состояния.