Технологии
Оптимизация инференса, память, стоимость, serving-архитектура и выбор инфраструктуры.
17 важных материаловЗа 30 дней: 7Всего собрано: 25
Разработчики создали сервер без сервера Model Context Protocol (MCP) на Amazon ECS с использованием AWS Fargate。
Почему это важно: Описание архитектуры и возможностей системы помогает понять, как упростить доступ к данным для AI-агентов.
В статье описывается процесс настройки приложения ChatGPT с использованием Amazon Bedrock в AWS GovCloud (США)。
Почему это важно: Материал предоставляет пошаговое руководство по настройке приложения ChatGPT с использованием Amazon Bedrock в AWS GovCloud, что важно для организаций с высокими требованиями к безопасности.
NVIDIA представила модель Nemotron 3.5 Super VL с 120B параметрами。
Почему это важно: Описание архитектуры и применения модели помогает понять её возможности и влияние на рабочие процессы.
NVIDIA расширила платформу Cosmos новыми инструментами для обучения и оценки мировых моделей。
Почему это важно: Описание новых инструментов и возможностей помогает понять, как ускорить разработку физических AI-систем.
Josh Longenecker описал процесс обучения модели Qwen3 на AWS Trainium с использованием torchtitan, включая три метода настройки и необходимые версии компонентов.
Почему это важно: Материал предоставляет подробное руководство по обучению модели Qwen3 на AWS Trainium, что полезно для разработчиков, работающих с AI.
Google Cloud и NVIDIA анонсировали общую доступность экземпляров A5X, которые обеспечивают интегрированную платформу для обучения。
Почему это важно: Описание интеграции технологий помогает понять возможности масштабирования и применения в реальных задачах.
Hugging Face добавил поддержку TorchTPU, что позволяет использовать TPU как нативное устройство для PyTorch. Теперь модели Transformers и Diffusers могут работать на TPU без дополнительных настроек, что упрощает процесс разработки.
Почему это важно: Описание новых возможностей для работы с TPU в Hugging Face упрощает интеграцию и использование моделей.
Amazon Bedrock предоставляет доступ к моделям OpenAI GPT-6 Sol, Luna и Astra через глобальный кросс-региональный вывод в пяти регионах Азии. В статье описаны условия доступа。
Почему это важно: Описание конфигурации и управления доступом к моделям GPT-6 через Amazon Bedrock полезно для разработчиков.
В статье описывается, как развернуть одну большую языковую модель на двух GPU-узлах в Amazon EKS с использованием многонодовых контейнеров Ray LLM Deep Learning. Подробно рассматриваются этапы настройки и преимущества разделения фаз предзагрузки и декодирования.
Почему это важно: Материал описывает процесс развертывания многонодовой инференции, что может быть полезно для оптимизации работы с большими языковыми моделями.
В статье описывается процесс развертывания моделей принятия решений с использованием llama.cpp на Amazon SageMaker AI。
Почему это важно: Материал предоставляет пошаговое руководство по развертыванию моделей принятия решений на AWS, что полезно для разработчиков, работающих с AI.
Платформа HackerRank вывела в общее доступ AI-агент Chakra, который проводит собеседования и оценивает не только результат。
Почему это важно: Описывает переход от оценки результата к анализу процесса работы с ИИ, что меняет подход к найму разработчиков.
AWS представила Amazon Bedrock AgentCore Evaluations — управляемую функцию для оценки производительности AI-агентов на этапах разработки и в продакшене. Инструмент позволяет измерять не только качество ответов, но и выбор инструментов, соблюдение бизнес-ограничений и прозрачность принятия решений с помощью встроенных и кастомных оценщиков.
Почему это важно: Описана структура встроенных и пользовательских метрик для оценки точности и объяснимости мультиагентных систем в Amazon Bedrock AgentCore.
OpenAI представила режим GPT-6 Astra Ultrafast для API и пользователей ChatGPT Work и Codex. Запуск на NVIDIA Blackwell обеспечивает генерацию токенов в 8 раз быстрее стандартного режима Astra, что сокращает циклы редактирования и отладки кода AI-агентами.
Почему это важно: NVIDIA описывает технические детали ускорения GPT-6 Astra Ultrafast на Blackwell, что помогает оценить влияние на скорость работы AI-агентов.
На конференции CoreWeave Fully Connected компания анонсировала доступность систем NVIDIA Vera Rubin NVL72 и первого CPU для AI-агентов Vera на своей облачной платформе. Тесты показывают увеличение пропускной способности токенов в 4,8 раза по сравнению с GB200 и ускорение запуска песочниц в более чем 3 раза. Также представлена платформа CoreWeave Forge для непрерывного улучшения моделей и агентов.
Почему это важно: NVIDIA и CoreWeave представили инфраструктуру для агентов, включая CPU Vera и платформу Forge, с конкретными метриками производительности.
Разработчики GitHub Copilot app переработали интерфейс просмотра пул-реквестов。
Почему это важно: Описаны технические решения для рендеринга огромных пул-реквестов, что помогает оценить влияние на рабочие процессы.
Исследователи Microsoft показали, что перенос инференса с бортовых GPU на edge или облачные серверы улучшает успешность задач。
Почему это важно: Microsoft добавляет в Physical AI Toolchain функцию выгрузки инференса на edge или cloud GPU, что повышает точность роботов и экономит заряд батареи.
Исследователи из Berkeley AI Research и IBM Research адаптировали фреймворк K-Search для MLX。
Почему это важно: Исследование демонстрирует перенос экспертизы CUDA в MLX через AI-агент, обеспечивая ускорение до 20 раз на Apple Silicon.