整了块N块,终于可以用可接受的速度在本地跑AI了。跑8-12B参数Q4量化的大模型,无论是Ollama、Qwen、mistral,内容生成速度已经略微超过正常信息接收的速度了;做文本分析RAG需要稍等一下,速度也可以接受;翻译也不在话下。lmstudio的服务后台跑起来,前端的agent准备好,本地智能助理搞定。