测试本地AI系统,研究了一堆资料之后,最终选择Ollama和LMstudio做候选。其中Ollama的优势在Linux服务器上,类似docker的玩法,适合团队;LMstudio用起来更像个前端应用软件,Win和Mac的图形界面上都能很直观的安装用起来,适合个人使用。

软件开源免费,用起来有门槛,但不高。软件准备好后,电脑硬件就成了大问题。一般的电脑基本上啥也不是,没个Inter12代i7(AMD5代R7)以上的CPU,和nVidia的RTX4060(AMD的RX7600)以上的GPU。基本做不了什么正事,卡到海枯石烂、地老天烂。

不过一般用途,也真没必要自己整什么AI服务器,使用AI服务商的在线服务也都够了。除非有保密需要(如处理涉密文档商业文件)和隐私需求(比如涉及自己和他们隐私,或者想整些不和谐的玩法),或者想弄个用专业资料库训练出个行业应用的大模弄出来,自己提供服务。新的风口。