chagumu's blog
chagumu@blog:~
 ██████╗██╗  ██╗███████╗███╗   ██╗
██╔════╝██║  ██║██╔════╝████╗  ██║
██║     ███████║█████╗  ██╔██╗ ██║
██║     ██══██║██╔══╝  ██║╚██╗██║
╚██████╗██║  ██║███████╗██║ ████║
 ╚═════╝╚═╝  ╚═╝╚══════╝╚═╝  ╚═══╝
SYS_MONITOR
uptime00:00:00
00:00:00
CPU.LOAD0%
MEM.USAGE0%
NET.SIGNAL0%
AI Agent 开发的工业化道路:Harness 架构深度解析
1. 引言:从提示词工程到系统工程的范式转移 在 AI Agent 迈向生产环境的过程中,开发者往往会陷入“提示词迷思”,试图通过无限堆砌 Prompt 来覆盖业务边界。然而,由于大模型本质上的概率性,纯粹的提示词工程在面对长链条任务、复杂工具调用和状态一致性要求时,往往表现出极高的脆弱性。 作为架构师,我们必须清醒地认识到:Agent 的落地不仅仅是算法的博弈,更是严谨的系统工程。要实现从原型到工业级应用的飞跃,必须建立一套能够约束不确定性的“稳固支架”。这就是 Harness 架构 的核心哲学: “Harness 并非业务逻辑本身,而是保障流程稳健、可验证的工业底座。其核心思想是:Agent 的每一次犯错都不应被视为偶然的失败,而应转化为对环境架构的持续修复与沉淀。” 将状态作为一等公民,利用传统高并发后端架构的 ACID 特性或最终一致性模式来治理模型输出,是 Agent 工业化的必经之路。 2. Harness 架构的六大支柱:构建稳健的 Agent 环境 Harness 架构通过六个维度为 Agent 提供标准化的运行边界。当系统失效时,架构师应定位至特定的支架进行硬性加固, ...
多模态AI完全指南
前面已经掌握了RAG和微调,那多模态就是技术栈的自然延伸。简单来说,多模态就是让模型能够理解和处理多种类型的数据——文本、图像、音频、视频等,并且能在这些模态之间建立联系。这不是简单地把不同模型拼在一起,而是要让模型真正理解"一张猫的图片"和"cat"这个词描述的是同一个概念。 编辑 核心概念与架构设计 多模态模型的关键在于如何将不同模态的数据映射到同一个语义空间。最经典的架构是双塔模型(Dual Encoder),比如CLIP就是这个思路的代表作。 它用一个图像编码器(通常是Vision Transformer)和一个文本编码器(通常是Transformer)分别处理图像和文本,然后通过对比学习让相关的图文对在嵌入空间中距离更近。训练目标很直接:一个batch里如果有N对图文数据,那每张图片应该和它对应的文字最相似,和其他N-1个文字都不相似。这种方法的优势是可扩展性强,你可以独立地对图像或文本做检索,但缺点是图文之间没有深度交互。 另一种架构是融合编码器(Fusion Encoder),比如VisualBERT或LXMERT。这类模型会让图像 ...
微调——顾名思义
很多人看AI教程、逛技术社区,都会撞见两个词:预训练、微调。 预训练还好理解,就是给模型从零上学知识。但微调,很多人越看越懵:到底是大修?小改?还是重新训练一遍?要不要很贵的显卡?普通人能不能碰? 就四个字:顾名思义,看懂微调。 1. 拆字理解 微调,拆开就是两个字:微小 + 调整。 翻译成人话就一句:不推翻重来,只小修小补,把现成的大模型改得更贴合自己用。 我们先对比两件事,一秒分清边界: 预训练:从零开始,喂全网海量数据,花几十万算力成本,把模型从“啥也不懂”教成“全能通用学霸”,只有大厂能做。 微调:拿已经练好的现成学霸模型,只用少量专属资料,轻轻调整模型底层参数,不颠覆原有能力,只补齐专属本事,个人、小团队、家用显卡全都能做。 核心记住:微调,不是重做,是打磨。就像工匠手里的细磨抛光,底子不变,质感翻倍。 2. 比作我们-大学生 不用冰冷的技术概念,用职场场景一比,所有人都能秒懂。 通用大模型 = 刚毕业的优质应届生 三观正、基础扎实、学习能力强,懂常识、会沟通、能应对各类基础工作。但短板很明显:不懂你们公司业务流程、不懂行业专属话术、不懂内部办公规范、不懂你的专属工作习惯。直 ...
从 LLM 到 RAG 再到 Agent:技术演进路径
一、核心逻辑:为什么需要从 LLM 过渡到 RAG? LLM 的本质是基于海量预训练数据学习语言规律,其生成能力依赖于训练数据的覆盖范围,但这种 “闭卷考试” 式的模式存在两大核心痛点,也是 RAG 技术诞生的根本动因。 1. LLM 的核心痛点 知识时效性缺失:预训练数据有固定截止时间,无法获取实时信息(如最新政策、行业动态、实时业务数据)。例如,企业想通过 LLM 查询 2024 年最新的产品迭代文档,单纯依赖 LLM 无法获取超出训练范围的内容。 幻觉问题难以根除:LLM 会基于统计规律生成看似合理但与事实不符的内容,且无法自主识别错误。比如在技术问答场景中,可能会编造不存在的 API 参数或代码逻辑,导致业务出错。 私有知识无法融入:企业内部的业务手册、技术文档、客户案例等私有数据,无法通过微调 LLM 高效融入(微调成本高、周期长),导致 LLM 无法贴合具体业务场景。 2. RAG 的核心价值 RAG(Retrieval-Augmented Generation,检索增强生成)的核心思路是开卷考试:在生成回答前,先从外部知识库中检索与用户问题相关的真实信息,再将检索结果 ...
LLM的另一个硬伤:知识过时
不管是用ChatGPT写报告,用国产大模型做行业咨询,还是自己部署模型做项目,你大概率会碰到这样的场景:问模型一个近期的热点事件,它一脸“茫然”,说“我的知识截止到XXX年”;让它推荐行业最新工具,它给的都是已经淘汰的旧版本;甚至问一个简单的事实性问题,比如“最新的行业政策是什么”,它给出的答案早就过时失效了。 很多人会疑惑:明明是“智能”模型,怎么连最新的信息都不知道?其实,LLM的知识过时,不是模型“笨”,而是它的“知识储备方式”天生有局限。今天,咱们就用最通俗的话,把LLM知识过时的来龙去脉讲清楚,再分享目前工业界和学术界最实用的解决方案,不管你是开发者、产品经理,还是普通使用者,都能看懂、能用得上。 一、先搞懂:什么是LLM的“知识过时”? 其实一句话就能说透:LLM的知识,都是“预训练阶段”学来的,相当于它在训练截止日期前,把海量数据“死记硬背”进了自己的参数里。训练结束后,它的参数就固定了,再也不会主动去“学新东西”——而现实世界一直在变,新事件、新数据、新技术、新政策不断涌现,久而久之,模型里的“旧知识”就跟不上现实的“新变化”,这就是知识过时。 举几个最直观的例子,一看 ...
LLM的“小bug”:聊聊幻觉是什么,以及如何有效规避免
不管是日常使用ChatGPT、文心一言,还是接触各类开源LLM,你大概率都遇到过这样的情况:模型一本正经地给你讲一个知识点、报一组数据、提一个引用,说得头头是道、逻辑通顺,可你事后查证才发现,这些内容全是假的——不存在的人名、捏造的论文、虚构的统计数据,甚至是编出来的历史事件。这,就是LLM的幻觉。 今天,我们就用通俗的语言,聊聊LLM的幻觉:它到底是什么、为什么会出现,以及我们该如何减少它的出现,避免被模型“忽悠”。 一、LLM的幻觉,到底是什么? 很多人会把幻觉当成LLM的“错误回答”,但其实两者有本质区别。错误回答,是模型“知道但记混了”,比如把2+3算成6;而幻觉,是模型“根本不知道,却编得跟真的一样”。 核心真相的是:LLM的本质,从来不是“回忆知识”,而是“预测下一个词”。它没有真实世界的记忆,也不会判断“真假”,它唯一的目标,就是根据上文的语境,生成最通顺、最符合语言规律的下一个词,进而组成一整段连贯的内容。 简单说,LLM擅长“编得很真”,但不擅长“保证是真”。 举几个常见的幻觉场景,你一定不陌生: \1. 编造学术信息:比如你问它某领域的核心论文,它会随口说出一篇不存 ...
RAG中的Indexing全解析
一、Indexing 到底是什么? Indexing = 给你的知识库做 “超级目录” 你有一堆文档: PDF Word 网页 笔记 表格 书籍 不能直接理解文字 不能快速查找 把 “杂乱无章的文字” → 变成 “计算机能快速检索的结构化向量数据” 它是 RAG 的前置基建,没有 Indexing,就没有检索,就没有准确回答。 二、Indexing 的完整 5 步流程(标准 RAG 架构) 所有 RAG 系统的 Indexing 都遵循这 5 步,一步都不能少: 1. 文档加载(Load) 作用:把非结构化文件 → 纯文本 2. 文本清洗(Clean) 去掉没用的东西: 多余空格、换行 水印、页眉页脚 乱码、符号 表格乱码 作用:让向量更纯净,避免噪声影响语义 3. 文本分块(Chunk) 太长 → 向量无法完整表达语义 太长 → 检索不精准 太长 → 大模型读不完 切分规则(最关键): 按段落 按句子 按固定长度 按语义(最推荐) 保留重叠(避免语义切断) Chunk 质量 = 检索效果 = RAG 回答效果 4. 文本向量化(Embedding) 就是你刚才问的 ...
langchain中的chain到底是什么
一、Chain 是什么 Chain 是 LangChain 中组件串联执行的核心机制,它将多个独立组件(提示词模板、模型、工具等)按顺序连接,前一个组件的输出自动作为下一个组件的输入,实现复杂任务的流水线化处理。 二、核心特性 链式语法:通过 | 符号快速拼接组件,写法简洁直观 1chain = chat_prompt_template | model # 提示词模板 → 模型 接口约束:参与成链的组件必须是 Runnable 接口的子类(如提示词模板、模型、嵌入模型等) 对象类型:最终形成的链是 RunnableSerializable 对象,本身也实现了 Runnable 接口,可继续参与链式拼接 执行触发:通过 invoke()(一次性执行)或 stream()(流式执行)触发整个链条运行 三、执行流程 输入:传入字典格式参数(如 {"history": "历史对话", "input": "用户问题"}) 组件 1:提示词模板:将输入参数填充到模板中,生成 Prompt ...
Haspmap扩容原理剖析
一、为什么需要扩容? HashMap 底层是一个 数组 + 链表/红黑树 的结构。数组长度是固定的,随着元素不断插入,哈希冲突概率增大,链表越来越长,查询效率从 O(1) 退化为 O(n)。 为了维持高效的查询性能,HashMap 在元素数量达到一定阈值后会自动进行扩容(resize)。 二、核心参数 参数 默认值 说明 DEFAULT_INITIAL_CAPACITY 16 初始容量,必须是 2 的幂 DEFAULT_LOAD_FACTOR 0.75f 负载因子 MAXIMUM_CAPACITY 2^30 最大容量 threshold capacity × loadFactor 扩容阈值 扩容触发条件: 1当前元素数量(size)> threshold(容量 × 负载因子) 默认情况下:16 × 0.75 = 12,即插入第 13 个元素时触发扩容。 三、扩容策略:容量翻倍 编辑 每次扩容,新数组容量 = 旧容量 × 2。 123// JDK 8 源码(resize 方法节选)int newCap = oldCap << 1; / ...
大模型学习基础概念
一、核心原理 1. Transformer架构解析 为什么使用Transformer架构 并行处理能力:相比RNN/LSTM,Transformer可以并行处理整个序列,大幅提升训练效率 长距离依赖捕获:通过自注意力机制,能够有效捕捉长距离的语义关系 可扩展性强:架构设计使其能够轻松扩展到数十亿、数千亿参数规模 什么是Transformer架构 Transformer是一种基于自注意力机制(Self-Attention)的深度学习架构,由Google在2017年提出。其核心特点包括: 编码器-解码器结构:分别负责理解输入和生成输出 多头注意力机制:从多个角度并行计算注意力权重 位置编码:为序列中的每个位置添加位置信息 前馈神经网络:对每个位置的表示进行非线性变换 2. 大模型运行原理探索 大模型如何理解和表示单词 大模型处理单元 — Token Token是大模型处理文本的基本单位 一个Token可能是: 一个完整的词(如"apple") 一个词的一部分(如"running" → “run” + “ning”) 一个字符或标 ...
MCP的理解
(Model Context Protocol) 简单比喻:MCP就像是给AI装了一套"插件系统" 想象一下,Claude本身就像一个很聪明的大脑,但它被"困"在一个对话框里。MCP就是让Claude能够"伸出手"去操作外部工具的协议。 具体来说: Claude原本只能聊天,不能直接访问你的文件、数据库、API等 有了MCP,你可以给Claude连接各种"服务器"(MCP servers) 比如连接GitHub的MCP服务器后,Claude就能帮你查看代码、创建issue 连接Google Drive后,Claude就能读取、搜索你的文档 连接数据库后,Claude就能查询、分析数据 技术角度:这是Anthropic开发的一个标准化协议,让AI模型能够安全地调用外部工具和数据源。 技术文档:https://juejin.cn/post/7604037348607082534?share_token=2684000a-90a2-44c4-9bdb-22930deaab35 主流支持 MCP 的软件 Cla ...
avatar
🐟认真摸鱼中
chagumu's blog
我并不想说
学习路线
最新文章
小站资讯
文章数目 :
11
本站总字数 :
2.2w
本站访客数 :
本站总访问量 :
最后更新时间 :
空降评论复制本文地址
昼夜切换美化设置切换全屏打印页面