HOPE: Высокоуровневая обрезка экспертов в языковых моделях Mixture-of-Experts
Авторы представили метод HOPE для обрезки экспертов в моделях Mixture-of-Experts。
Почему это важно: Метод HOPE предлагает улучшенный подход к обрезке экспертов в моделях Mixture-of-Experts, что может значительно повысить эффективность использования памяти.