AI专家咨询系统架设的一般流程与注意事项++
基本操作
- 明确应用场景和功能:确认相关需求和预期目标,AI系统提供的主要功能,以及需要订制开发的程度和预算
- 系统选型:确认采用的AI框架和工具,包括后端大模型、前端应用系统、硬件及系统环境
- 准备软硬件环境:租/买服务器,确认硬件达到标准,安装操作系统和软件环境,配置优化
- 部署AI服务:配置好AI系统的前端应用,后端选择本地大模型或者AI服务商的API接入
- 建立知识库:搜索整理相关专业资料,数据清洗、标注后传入矢量数据库,让AI系统做RAG预处理
- 专家Agent定制:设计专家机器人,包括提示词工程、工作流设计、功能插件接入、资料库接入
- 系统集成与内测:AI服务在内部进行多轮测试,包括功能测试、体验测试和压力测试,调优
- 系统发布和公测:如果是内部使用,可以直接上线,边用边测;如果对外提供服务,先小范围公测,逐步优化。
高级操作
- 专家模型训练:如果需要AI系统更加智能,达到专家系统的标准,需要在上线之前对大模型进行预训练(微调),不同于前面的前端专家agent定制,这个是后端的大模型的定制。技术难度和成本都要高许多。
- 功能定制和界面优化:用开源的AI应用模块,可以实现提供AI专家系统的核心功能和基础应用,不用深度定制,可以达到基本要求。但如果需要更有针对性和高级的功能,以及更有个性化的操作界面,需要对前端UI进行设计定制,和对后端的系统代码进行二次开发。同样技术难度和成本会高出许多。
注意事项
- 满足基本的AI智能对话,有较为成熟的开源技术和产品支持,并不需要太高的技术门槛,主要需要对业务场景和AI技术比较熟悉;如果需要高级应用、和更大范围的服务,二次开发和测试会有较高要求;
- 机构内部应用基本和个人专业用途类似,比较好实现,成本也比较可控;对外服务的话,会复杂许多。可以分阶段实施;
- AI应用需要较高的算力,前期用AI服务商提供的api接入相对比较可靠,如果到了一定的体量,可以再考虑自建大模型用的服务器
- AI系统现阶段还是个黑盒子,生成的内容不能保证完全合规,尤其是社会治理方面,如果对外,可能需要一定的审查性工作
- 相比技术性实现,专家系统的知识库和相关材料的准备和预处理,需要的时间、业务和成本才是大头,需要做好准备