Qwen3.8 в llama.cpp: как получить 75 токенов в секунду на двух RTX 3090
Плотная 27-миллиардная Qwen3.8 на двух RTX 3090 изначально выдавала в llama.cpp около 32 токенов в секунду. После настройки MTP, тензорного параллелизма и других флагов запуска результат вырос до 75 токенов в секунду.
Автор разбирает несколько узких мест, которые возникают при запуске модели на двух видеокартах. Для каждого флага показаны назначение, строка запуска, прирост производительности и ограничения, заметные в логе.
В материале также приведён готовый docker run и набор из трёх проверок, которые стоит выполнять после изменения параметров. Это позволяет последовательно проверить настройки, а не оценивать скорость только по одному замеру.
Если запускаете крупную модель Qwen локально на двух RTX 3090, не стоит считать базовые 32 токена в секунду пределом. Сначала проверьте параметры MTP и тензорного параллелизма в llama.cpp: часть производительности можно получить настройкой запуска, не меняя модель и видеокарты.
Черновик этой заметки подготовила нейросеть по ленте первоисточника. Мы помечаем такие материалы честно — факты и цифры сверяйте по ссылке на источник выше. Как мы работаем с данными.