ASUS анонсировала UGen300 USB AI Accelerator, компактное внешнее устройство, предназначенное для добавления аппаратного ускорения машинного обучения и генеративных возможностей inference к существующим системам через USB-соединение.

UGen300 построен на базе процессора Hailo Hailo-10H, который, по оценкам ASUS, обеспечивает до 40 TOPS (INT4) производительности inference. Ускоритель интегрирует 8 ГБ памяти LPDDR4, что позволяет моделям работать локально на устройстве, не потребляя память хост-системы или ресурсы процессора.

В отличие от традиционных карт расширения PCIe, UGen300 подключается через USB-C, используя интерфейс USB 3.1 Gen 2, рассчитанный на скорость до 10 Гбит/с. ASUS заявляет, что это обеспечивает plug-and-play развертывание на различных хост-платформах, включая системы x86 и Arm, работающие под управлением Linux, Windows или Android, без необходимости использования внутренних слотов расширения.

Устройство ориентировано на edge inference workloads, а не на обучение, поддерживая широкий спектр vision и генеративных моделей. ASUS подчеркивает совместимость с такими типами моделей, как LLMs, vision-language models (VLMs), модели распознавания речи, такие как Whisper, и обычные сети компьютерного зрения.

ASUS анонсировала UGen300 USB AI Accelerator, но пока не раскрыла информацию о цене и доступности.

[ ссылка скрыта ] ( регистрация | вход )