Я перепрофилировал свой старый сервер.
Вам нужно минимум 70Gb Ram и видеокарта уровня 3060+ с 8+ GB Ram.
Можно попробовать на 64Gb + 3060 12Gb но будет впритык. Игровые драйвера можно пропатчить под режим вычислений, китайцы описывают как, тогда они будут на 60-70% быстрее. Ссылку давать не буду.

По факту, у меня скорость RAM ~50Gb/s, скорость модели 130 токенов в сек. на входящий промпт и порядка 15 токенов в сек на ответ. Один токен – это примерно корень слова (т.е. половина слова, если есть окончание или приставка).

Актуальных моделей на сегодня на домашнее железо всего две – это gpt-oss-120b и Qwen3-Coder-Next.