AI知识库应用篇

需求分析

知识库这几乎是AI的入门级需求。人性化对话,精准回复问题。同时,大语言模型来做背后支撑。

  • 企业级的客服、助手类商业需求。

这里的步骤有时是预先操作的,比如上传,向量化之类。

下面是更清晰的知识库的构建:

  • 个人使用的,对有限集知识库的需要,即对话式的知识查询

如果是为了个人的知识梳理和研究需要,那么此类推荐豆包的方案

只要你有账号和机器配置过关,那就黑盒使用AI。不用代理和配置。

具体就按提示步步操作吧,并非本文主要讲述,有兴趣可以自行深入尝试。

再细致来分析一下,有些公司的知识库要求是离线的,安全不泄密的,那就有许多开源的AI方案。

方案一:ollama+RAGflow

实验环境

WSL,docker desktop,

参考链接:

https://www.toutiao.com/video/7507592357345378852/?from_scene=video&log_from=40bbce258aa96_1748488530670

本地离线模型管理

ollama是本地管理各模型的,部署在容器或者本机中,这样更方便些。想增删模型和操作文件夹一样。但通过科学上网很难下载到安装包。linux的安装也是龟速的:

当下了qwen3后,本地可以开始流式对话。

使用ollama图形界面下载的模型离线保存在如下地址:

~/.ollama/models/manifests/registry.ollama.ai/library/

知识库管理

RAGFlow安装,容器式部署。和dify一样,下载源码,cd docker文件夹,然后就是docker-compose 一敲。

下面建立知识库,再建立对话聊天,配置知识库和大模型。

注意需要至少两类模型,一个是chat,一个是embedding(嵌入模型)。前者对话,后者把知识序列化接入大模型。

#登录到容器内测试连通性,可以通过hosts来支持指向。
curl http://host.docker.internal:11434/

方案二:dify的方案

以上两个方案都可以是满足了轻量级场景的。即简单的知识库,而非海量的,持续性维护的知识库。而RAGflow是主攻一隅吧。由浅入深,下面这个方案就对技术实操有较高要求了。同时,他能提供的扩展能力也是较强的。

举例来说,dify强大的就像是很长的插排,不限于一个AI的器。生态健全。dify是激活各大模型的神器。

实验环境

阿里云ECS,docker2

发布的效果

团队成员管理

注意,第一个注册是管理员,也是所有者。后面想加入成员,可以通过在系统中键入用户名,再生成邀请链接。然后,把链接发给用户。

方案三:火山引擎的产品化方案

不用懂太多的AI生态和模型功能。只要开通,申请,上传,优化,交费就行。当然,可以预付费。当然问题是知识库的保密级别要注意。

参考指导

https://www.volcengine.com/docs/82379/1261883

coze实现

技术细节更加黑盒化,但上传文档时较慢。

扣子的:https://www.cloudwego.io/zh/docs/eino/

上手实验暂时略过。

悟语宝善

如果说儒家教你的是谨慎,那么道家教你的是豁达。跳出当下的时空看万古。人生的确没有啥意义。又弱,又小,被自然,天地,日月左右。所以,道德经说:

反者道之动,弱者,道之用。

然后,明白的人就没有喜怒哀乐了,知道常中无常,破相亦是无相。你几乎不能真正拥有什么?

苏轼的《前赤壁赋》:

寄蜉蝣于天地,渺沧海之一粟。哀吾生之须臾,羡长江之无穷。挟飞仙以遨游,抱明月而长终。知不可乎骤得,托遗响于悲风。

六亲之情分,也只是十几年的相处之缘而已。彼此放过,欣赏,珍惜。只要有一瞬之美好,如轻风,明月,便已足够。

天地不仁,以万物为刍狗。

但又不用忧郁。所有的因果和禅机又是为每个人量身订做的。不偏不倚。

但又有些区别,就是

天道无亲,常与善人。

并非世俗意义上的 “善有善报”,而是强调:合乎道的行为会自然带来和谐的结果。

知足乃足,常足不殆。

“鹪鹩巢于深林,不过一枝;偃鼠饮河,不过满腹”(《庄子・逍遥游》)

一切自正,自宾,自化。

以dify的名义展示AI的肌肉

无论把dify解释成define+modify还是do it for you。
对于coder.AI+来说,却总算有装在自己“兜子”里的AI“超市”了。
好处是,上传的知识库或需要保密的资源是物理隔离了,因为是资源保存在本地服务器的。离线和实时调用千万模型皆可以。
在一切成熟后,再进入商业化,落地AI产品也不晚矣。
just take the spoon。

名词术语介绍

LLM—大语言模型
RAG—增强检索
workflow—流水线
AIGC—AI生成内容
NIG—自然语言生成
coze—火山引擎(头条旗下)的AI工厂
dify—开源的AI工厂

探索AI,鹏联实验室

如果有小伙伴想加入实验室,留言或私信,告诉你的邮箱,我发邀请链接给你。(入口如下:)

欢迎加盟


欢迎阅读AI知识库搭建文章

病中札记-人生感悟

近日得闲,读到些好文章。有人说,一个人在世间的取得的财富并不与智商和能力有必然关系。

而从取得成功的角度来看,应该是能力小于业力,业力小于愿力。

这段话能治愈我,给我高维的认知。所以,当你一直在追求能力,追求“术器”的极限,来获得自己的事业安全感时。

你应该是很苦恼的。因为,你的一技之长,也正在成为你的牵绊。虽然你乐在其中,那也是天命范围的局限性。

  • 能力是基础

    • 能力是指个人在知识、技能、体力、智力等方面所具备的素质和水平,是实现目标、完成任务的实际本领。它是一个人在现实世界中立足和发展的重要基础,也是影响业力和愿力发挥作用的重要因素。

    • 例如,一个拥有卓越绘画能力的人,能够通过画笔将内心的想法和情感转化为具体的艺术作品,从而在艺术领域创造出一定的业力,同时也更有可能凭借其能力实现举办画展等愿望,将愿力转化为现实。

  • 业力是结果

    • 业力是指个人过去的行为、言语和思想所产生的后果和影响力,它涵盖了个人在生活中所积累的善恶、因果等因素。业力既受到能力的影响,同时也会对愿力的实现产生作用。

    • 比如,一个人如果在过去一直凭借自己的能力努力工作、积极帮助他人,积累了良好的业力,那么在他想要实现某个愿望时,可能会因为过去积累的人脉、声誉等因素而获得更多的支持和机会,有助于愿力的达成。相反,如果一个人过去造下了很多恶业,可能会在实现愿望的过程中遇到各种阻碍。英文中有一个词tough,就是指坚持、难缠,不认输、坚持,逆商,匪气……。可能对业力的本质解释的更好。

  • 愿力是动力

    • 愿力是指个人内心深处的愿望、志向和决心,它是推动一个人行动的内在动力。愿力能够激发个人发挥自身能力,去创造业力。同时,愿力也会受到业力的影响,过去的业力可能会塑造一个人的价值观和愿望。

    • 例如,一个人看到社会上存在一些不公平现象,内心产生了改变这种状况的强烈愿力,于是他凭借自己的能力努力学习法律知识,投身公益事业,通过实际行动积累善业。而在这个过程中,他过去所积累的业力,比如曾经帮助过的人可能会在他遇到困难时给予帮助,支持他继续践行自己的愿力。

能力、业力、愿力相互影响、相互作用,共同构成了一个人在生活中的成长和发展轨迹。能力是实现愿力和积累业力的手段,业力是能力和愿力作用的结果,而愿力则是驱动能力发挥和业力形成的内在动力。

不用非要成为各方面都很强的“六边形战士”了,而是要充分去找到自己原始的欲望,也就是初心,念力。唐僧就是愿力强于能力的“偏科生”,却能修成正果。领导着一群能力伙伴。所以,当每个人回首自己的生涯,是否,给自己太多的借口和安逸。朋友们,你是这样吗?

让我们一起改变吧。

数字AI时代的思考

开车比不过智驾,翻译弄不过AI,写诗没有机器学习有才情,下棋也是alphaGO的手下败将。

我们不得不重新思考教育,现在孩子们要学什么,选什么专业,如何才能与AI共同进步!

请关注夜空老师,点赞收藏。

否则,狼真的来了,苦学N年后,我们也仅只是更加肥的鱼肉和绵羊,任AI宰割。被AI轻松碾压。

我们不要输在起跑线上,所以,选对学习路线最重要了。

比如说,你是家长,孩子初中。

但孩子是在打基础的阶段,碰到现在AI猛于虎也的时代。这可能是就那句老话讲的。

每个时代都有每个时代的苦难。

庆幸自己需要背单词考四级,憋小作文,以及几乎没有人用过,但只知道AI是人工智能。

在那时,努力和高考有纯正比关系的时候,人们是不浮躁的。

所以,如何在当前各种智能体中,淡泊,宁静呢?

当大家陶醉于上高速睡觉,自驾开车时。当人们提笔忘字。曾经的口语很烂但也能自信去沟通,直到所有的对话都由AI准确传达。人类到底是在进化还是在退化呢?石器时代是进化毫无异议,AI时代却有些茫然。

但历史是最完美的,AI的爆发期正在当下。

很多小伙伴们,感觉AI就像是万花筒,又像工具小超市。用户感觉AI无所不能,图像处理,文本生成……啥都有,但又好像自己怎么用都不太理想。即使你已经体验上手了某些工具,可仍然感觉像盲人摸象,不得精髓。

再比如,你是一个自媒体人,产品经理。又应该在众多智能体中如何选择。

插入小广告,欢迎大家品尝,扫码下单。

#小程序://远方好物/ESwQKnGuyLgevZm

君子在任何社会都是性价比最高的方案

厚德载物,就是你在人世间,你的能力和德行需要高于你所收到的酬谢。否则,灾祸将至,那些,德不配位的,结果是灭身。所以,一定要让君臣都能薅到你的羊毛,甚至是毛毯。而你要释然,不要恃才,不要争论和抱怨。因为,不是以德报怨,还能以何报怨呢?所以,君子是最先被拿捏的一类人。固穷着,清高着,理想着。但何尝这不是一种反拿捏。威武不能屈,富贵不能移……一个群体君子少了,就没了精神,就像没了氧气的温室效应。所以,小人以为搞倒了君子是胜利了,短视了。但却不知,当蝗虫数量远远大于益虫之时,就是灾难了。
君子是任何社会群体里性价比最高的方案,是社会的“益虫”。这便是一种“反拿捏”。但有时事与愿违。许多掌权者“内用黄老,外示儒术”,自以为可以保证自己的群体里,51%的君子势力,就像区块链技术中不能让伪造的数据入链,就是要保证高于51的算力。但boss们仍然需要小人。所以,他就必须有时要装糊涂。

基于花生壳与电信宽带搭建maixcam的远程监控应用

准备工作

电信宽带的超级账户应该知道吧,一般在路由器的背面上找。登陆网址和账户密码。

花生壳应该去注册一个吧,可以使用免费版本,两条映射,1G/月流量。

maixcam如果没有,你可以用树莓派(有视频头),不然怎么是远程监控呀。

技术原理

    我们的maixcam有许多预装的app。我们开机即用,比如,rtsp和http。但都是往本地推流的。所以,只要把本地映射到公网,就是可以通过流播放器或者网页浏览器来远程查看监控。由于maixcam开发板不是正式的web服务器,所以,性能会打折扣,但这不影响原型的后面改造。你可以再rtmp来推流给另一台nginx服务器的。然后,可以支持更流畅,更多的视频流客户端了。

技术选型

    我们要映射,也就是常说的内网穿透。那么三种方式。

    A,找电信开通网关的公网访问。这块我咨询过营业厅了。需要宽带套餐在399的。才只是开通公网IP,还不是固定的IP。否决了。

    B,ngrok这个工具的思路是由内而外。我在树莓派上安装过arm版本,有些麻烦,尤其是运维。很多命令你可能几个月就不记得了。所以,我们还是要“拿来主义”,让专业人做好专业的事。否决。事实上A方案如果不是贵,其实是最合适的。因为,宽带是基础网络。曾经花生壳也是部署在要穿透到外的设备上的。但现在,花生壳只在网关级了。

    C,好啦,电信网络明显是想扶持一下,这个更成熟的花生壳。所以,在网关配置DDNS中就给出了关联账号。所以,我们有理由相信,两者的配合会更加稳定。

大家一定要分清楚,想暴露内网哪个机器的哪个接口,所谓的端口映射是电信提供的,域名和公网的访问通是花生壳提供的。所以,事实上,如果不用maixcam来做监控,你也以在前者的配合下,用此通道玩一些其它的物联网实验。

配置过程

    主要是花生壳端,电信网关端。防止隐私泄露,我已经把关键部分马赛克了。

  • 花生壳的注册和映射关系配置

  • 电信宽带路由器的DDNS配置图三。

  • 电信宽带路由器上的端口映射配置

这块当你配置映射后,主机名称可能会被调整,到时在图三中再保存一下就行。

小结

四大配置完毕后,我们可以在公网上远程使用内网那台192.168.1.108上的ssh和rtsp的服务了,甚至是http服务。

这意味着什么?这意味着,如果你使用的是maixcam设备,并且把rtsp服务的app设置成自动启动。那么,你一旦设备上电,便可以通过公网来看到2ccd***.vicp.fun域名上的监控视频流。

支持播放这一类的工具就多了,如VLC等流媒体工具,安卓平台有mx player工具。