一台安静的内存驻留型问答机。7B 量化模型常驻双通道 DDR5,来问就答,24 核 32 线程的并行加 5.3GHz 的短时爆发,单条请求的体感不错。它最怕排队——连续几个长上下文请求进来,就会一路滑向低频。
放卧室当不吵不热的 AI 伴读合适,放团队当共享推理后端就错了:VNNI 与 36MB L3 都救不了持续满载。先数数自己一小时发几次问再下单——这个数字会替你做决定。