需求分析
知识库这几乎是AI的入门级需求。人性化对话,精准回复问题。同时,大语言模型来做背后支撑。
- 企业级的客服、助手类商业需求。
这里的步骤有时是预先操作的,比如上传,向量化之类。
下面是更清晰的知识库的构建:
- 个人使用的,对有限集知识库的需要,即对话式的知识查询
如果是为了个人的知识梳理和研究需要,那么此类推荐豆包的方案:
只要你有账号和机器配置过关,那就黑盒使用AI。不用代理和配置。
具体就按提示步步操作吧,并非本文主要讲述,有兴趣可以自行深入尝试。
再细致来分析一下,有些公司的知识库要求是离线的,安全不泄密的,那就有许多开源的AI方案。
方案一:ollama+RAGflow
实验环境
WSL,docker desktop,
参考链接:
本地离线模型管理
ollama是本地管理各模型的,部署在容器或者本机中,这样更方便些。想增删模型和操作文件夹一样。但通过科学上网很难下载到安装包。linux的安装也是龟速的:
当下了qwen3后,本地可以开始流式对话。
使用ollama图形界面下载的模型离线保存在如下地址:
~/.ollama/models/manifests/registry.ollama.ai/library/
知识库管理
RAGFlow安装,容器式部署。和dify一样,下载源码,cd docker文件夹,然后就是docker-compose 一敲。
下面建立知识库,再建立对话聊天,配置知识库和大模型。
注意需要至少两类模型,一个是chat,一个是embedding(嵌入模型)。前者对话,后者把知识序列化接入大模型。
#登录到容器内测试连通性,可以通过hosts来支持指向。
curl http://host.docker.internal:11434/
方案二:dify的方案
以上两个方案都可以是满足了轻量级场景的。即简单的知识库,而非海量的,持续性维护的知识库。而RAGflow是主攻一隅吧。由浅入深,下面这个方案就对技术实操有较高要求了。同时,他能提供的扩展能力也是较强的。
举例来说,dify强大的就像是很长的插排,不限于一个AI的器。生态健全。dify是激活各大模型的神器。
实验环境
阿里云ECS,docker2
发布的效果
团队成员管理
注意,第一个注册是管理员,也是所有者。后面想加入成员,可以通过在系统中键入用户名,再生成邀请链接。然后,把链接发给用户。
方案三:火山引擎的产品化方案
不用懂太多的AI生态和模型功能。只要开通,申请,上传,优化,交费就行。当然,可以预付费。当然问题是知识库的保密级别要注意。
参考指导
https://www.volcengine.com/docs/82379/1261883
coze实现
技术细节更加黑盒化,但上传文档时较慢。
扣子的:https://www.cloudwego.io/zh/docs/eino/
上手实验暂时略过。