AI专家咨询系统架设的一般流程与注意事项++

基本操作

  1. 明确应用场景和功能:确认相关需求和预期目标AI系统提供的主要功能,以及需要订制开发的程度和预算
  2. 系统选型:确认采用的AI框架和工具,包括后端大模型、前端应用系统、硬件及系统环境
  3. 准备软硬件环境:租/买服务器,确认硬件达到标准,安装操作系统软件环境,配置优化
  4. 部署AI服务:配置好AI系统的前端应用,后端选择本地大模型或者AI服务商的API接入
  5. 建立知识库:搜索整理相关专业资料数据清洗、标注后传入矢量数据库,让AI系统做RAG预处理
  6. 专家Agent定制设计专家机器,包括提示词工程工作设计功能插件接入、资料库接入
  7. 系统集成与内测AI服务在内部进行多轮测试,包括功能测试、体验测试和压力测试,调优
  8. 系统发布和公测:如果是内部使用,可以直接上线,边用边测;如果对外提供服务,先小范围公测,逐步优化。

高级操作

注意事项

  1. 满足基本的AI智能对话,有较为成熟的开源技术和产品支持,并不需要太高的技术门槛,主要需要对业务场景和AI技术比较熟悉;如果需要高级应用、和更大范围的服务,二次开发和测试会有较高要求;
  2. 机构内部应用基本和个专业用途类似,比较好实现,成本也比较可控;对外服务的话,会复杂许多。可以分阶段实施;
  3. AI应用需要较高的算力,前期用AI服务商提供的api接入相对比较可靠,如果到了一定的体量,可以再考虑自建大模型用的服务器
  4. AI系统现阶段还是个黑盒子,生成的内容不能保证完全合规,尤其是社会治理方面,如果对外,可能需要一定的审查性工作
  5. 相比技术性实现,专家系统知识库和相关材料的准备和预处理,需要的时间、业务和成本才是大头,需要做好准备