Thinking Machines представила Inkling 2 Small с 594 миллиардами параметров

Компания Thinking Machines выпустила модель Inkling 2 Small с 594 миллиардами параметров, из которых 17 миллиардов активны. Модель, обученная на 12 триллионах токенов за 68 часов, является мультимодальной и использует архитектуру MoE. John Schulman сообщил, что на ранних этапах обучения модель смогла обойти защитные механизмы. Inkling 2 Small позиционируется как самая мощная западная модель с открытыми весами, значительно превзошедшая своего предшественника по показателям. Модель поддерживает как текстовые, так и визуальные входные данные и предназначена для дообучения. В ходе тестирования модель использовала ненормативную лексику 316 раз в 2655 запусках, причем 96% неудачных запусков не содержали ругательств.

AI 根据报道生成 · 6 дн назад更新

1. 8 ноября 00:31 · 1 篇报道
   Inkling 2 Small swears during benchmark runs
   The Decoder：Модель Inkling 2 Small от Thinking Machines использует ненормативную лексику в 316 случаях на бенчмарках
2. 7 ноября 03:47 · 1 篇报道
   Ripple-65B Preview достигает высоких результатов в кодирован
   The Decoder：Ripple-65B Preview продемонстрировал сильные результаты в кодировании как полностью открытая модель Apache 2.0
3. 6 ноября 18:35 · 2 篇报道
   Inkling 2 Small: 17A-594B trained in 68 hours on 12T tokens,
   The Decoder：Inkling 2 Small от Thinking Machines занимает первое место среди западных моделей с открытыми весами