🔴 16× AMD MI50 32GB: 10 t/s (генерация) и 2k t/s (обработка промптов) с Deepseek v3.2 (vllm-gfx906) by ai-infos | 👍 454 Бенчмарк: 16× AMD MI50 32GB запускает Deepseek v3.2 (vllm-gfx906) в AWQ 4‑bit, демонстрируя ~10 t/s при генерации и ~2000 t/s при обработке входных токенов на контексте до 69 000 токенов. Решение показывает экономичную альтернативу CPU‑ориентированным сборкам с использованием тензорного параллелизма и высокой пропускной способности памяти (~16 TB/s); энергопотребление — 550 W в простое и до 2400 W в пике инференса. В планах открытый тестовый стенд на 32× MI50 для Kimi K2 Thinking — цель снизить стоимость локальной инфраструктуры для LLM/AGI‑сценариев. Reddit →