NaiveAI обещает 2100 токенов в секунду
NaiveAI представила модель Naive-N0.5-Flash, способную генерировать до 2100 токенов в секунду。
Почему это важно: Описание условий доступа помогает оценить влияние функции на рабочие процессы.
Типы материалов
Бенчмарки последние события
Результаты тестов моделей, споры о методиках и изменения рейтингов.
6 важных материаловЗа 30 дней: 2Всего собрано: 28
Обновлено
Материалы по теме Бенчмарки
Latent SpaceГлавноеОценка AI7777
Hugging Face BlogГлавноеОценка AI8585 ALTK-Evolve: Как обученная память возглавила таблицу τ²-bench в задачах обслуживания клиентов без обновления модели
ALTK-Evolve использует GPT-4.1 для достижения 67.5% Pass^4 на τ²-bench, превосходя другие модели в обслуживании клиентов. Метод основан на обученной памяти。
Почему это важно: Исследование показывает, как использование обученной памяти может значительно повысить эффективность AI-агентов в задачах обслуживания клиентов.
Latent SpaceГлавноеОценка AI8080 Anthropic выпустила Claude Haiku 5.5, который лучше GPT-6 Luna
Anthropic представила Claude Haiku 5.5, который сопоставим по цене с GPT-6 Luna и предлагает улучшенные возможности, включая контроль усилий и 1M контекст.
Почему это важно: Описание условий доступа помогает оценить влияние функции на рабочие процессы.
Hugging Face BlogГлавноеОценка AI8787 Microsoft и Hugging Face выпустили ThinkingBox для оценки надежности AI-агентов
Microsoft и Hugging Face совместно опубликовали ThinkingBox — бенчмарк для оценки AI-агентов。
Почему это важно: Microsoft и Hugging Face представили ThinkingBox, оценивающий AI-агентов по реальному изменению состояния базы данных, а не по количеству вызовов инструментов.
Latent SpaceГлавноеОценка AI9292 Gemini 4 Argon и GPT-6.1 Sol: независимые тесты, цены и новые функции
Google DeepMind представила Gemini 4 Argon с лимитом вывода до 1 млн токенов и ценой $2/$10 за миллион токенов。
Почему это важно: Материал объединяет независимые оценки Gemini 4 Argon и GPT-6.1 Sol, позволяя сравнить их производительность, стоимость и возможности в реальных задачах.
Hugging Face BlogГлавноеОценка AI6868 Hugging Face запустил Open TTS Leaderboard для оценки текстового синтеза
Hugging Face представил Open TTS Leaderboard — платформу для масштабной оценки открытых многоязычных моделей синтеза речи и клонирования голоса. В отличие от традиционных рейтинговых арен。
Почему это важно: Представлены объективные метрики и инструменты для сравнения моделей, что ускоряет оценку их производительности.