1. 从零到一为什么我们需要一个“个人LLM Wiki”如果你最近也在关注AI领域尤其是大语言模型LLM的动态那你大概率绕不开一个名字Andrej Karpathy。这位前特斯拉AI总监、OpenAI创始成员如今更像是一位独立的研究者和布道者。他离开大厂后的一系列动作无论是创办AI教育平台还是发布极具洞见的个人项目都吸引着全球开发者的目光。最近一个关于“Karpathy个人LLM Wiki”的讨论在社区里悄然兴起很多人都在好奇这位大神是如何管理他那海量的LLM知识、代码片段和前沿思考的。这引出了一个更深层、更普遍的问题在LLM技术日新月异、信息爆炸的今天我们每个从业者如何构建一个属于自己的、高效且可用的知识体系这绝不仅仅是收藏几个GitHub仓库或者保存一堆浏览器书签那么简单。一个真正的“个人LLM Wiki”应该是一个活的、可检索、可连接、能辅助思考甚至能直接调用工具的知识中枢。它不仅仅是笔记更是你大脑的“第二硬盘”和“协处理器”。我花了相当长的时间尝试复现和梳理这种工作流的精髓。我发现核心不在于用了多么酷炫的工具而在于一套将信息“输入-处理-内化-输出”的闭环方法论。Karpathy的实践之所以有价值是因为它完美地契合了LLM领域学习与研发的特点高度碎片化、快速迭代、理论与实践深度结合。接下来我将结合我自己的实践拆解构建这样一个个人LLM Wiki的完整路径从工具选型、信息架构到具体的笔记方法和自动化工作流希望能给你提供一个可直接“抄作业”的实战指南。2. 基石之选为什么是Obsidian而不是Notion或飞书构建数字花园第一步是选择土壤。市面上笔记工具繁多Notion、飞书、语雀等协作文档功能强大为何在构建深度个人知识库时许多资深开发者包括推测中的Karpathy更倾向于Obsidian这类本地、基于Markdown的工具这背后是理念的差异。2.1 核心诉求所有权、可移植性与网络化思考对于LLM这类技术性、前沿性内容我们的核心诉求有三点绝对的数据所有权你的笔记、你的思考、你积累的代码片段必须完全掌握在自己手中存储在本地磁盘不依赖于任何云服务的存续。你不会希望某天因为服务商策略变更或倒闭导致多年的积累访问受限。极致的可移植性和未来可读性Markdown是纯文本是数字世界的“通用语”。十年后你依然可以用任何文本编辑器打开它。而Notion等工具导出的数据格式复杂难以无缝迁移到其他平台。双向链接与知识图谱这是Obsidian的杀手锏。LLM的知识点天然是网状连接的。比如“Transformer架构”这个笔记会链接到“注意力机制”、“位置编码”、“BERT”、“GPT”。当你阅读“MoE混合专家模型”时又可以反向链接回“Transformer”。这种非线性的连接方式能极大地激发联想帮助你发现知识间的隐性关联这正是深度学习和研究中最需要的“灵感时刻”。2.2 Obsidian的独特优势插件生态与本地AI集成Obsidian的另一个强大之处在于其丰富的插件生态。对于LLM Wiki构建者以下几个插件几乎是必装的Dataview 将你的笔记变成可查询的数据库。你可以用简单的查询语句自动生成一个表格列出所有标签为“#论文精读”的笔记并按创建日期排序。或者列出所有包含“PyTorch调试技巧”的笔记。这让静态笔记变成了动态知识库。Templater 创建模板自动化笔记创建流程。例如创建一个“论文阅读”模板自动生成包含标题、作者、链接、摘要、核心方法、我的思考、相关链接等固定结构的笔记极大提升输入效率。Excalidraw 在笔记中直接绘制技术架构图、流程图。对于理解LLM模型结构、算法流程手绘草图比千言万语更有效。Local REST API 各类AI插件 这是将LLM能力融入工作流的关键。你可以通过插件调用本地的Ollama运行本地模型如Llama 3、Qwen2.5或通过API调用云端模型如GPT-4、Claude实现诸如自动总结网页内容并生成笔记草稿、对一段复杂代码进行解释、基于现有笔记内容回答你的疑问、甚至辅助进行头脑风暴。注意选择Obsidian意味着你需要接受一定的学习曲线尤其是插件的配置。但这份投入是值得的因为它赋予了你塑造工具的完全自由而不是被工具预设的格式所限制。2.3 备选方案简析Logseq 与Obsidian理念类似但更侧重于“大纲笔记”和“块引用”对于喜欢以 bullet points 进行思考的人可能更友好。其插件生态也在快速发展。Heptabase 视觉化白板与卡片笔记的结合非常适合进行视觉化思考和研究项目规划但相对封闭可定制性不如Obsidian。传统Wiki工具如MediaWiki 过于重型适合团队不适合个人快速迭代和碎片化记录。我的选择是Obsidian因为它完美平衡了力量、灵活性和未来可靠性。接下来所有实践都将基于Obsidian展开。3. 架构你的知识宇宙LLM Wiki的文件夹与标签体系选好了工具接下来要设计仓库的结构。一个混乱的文件夹会迅速让你的Wiki变成垃圾场。我的原则是文件夹用于粗粒度的内容类型划分标签用于细粒度的主题、属性和状态管理。3.1 文件夹结构设计我的Vault仓库根目录下通常有这样几个核心文件夹My-LLM-Wiki/ ├── 00-Inbox/ # 收集箱所有临时、未处理的内容都丢这里 ├── 01-Areas/ # 领域区存放持续关注的核心领域 │ ├── 大语言模型基础/ │ ├── 模型微调与对齐/ │ ├── 推理与部署优化/ │ ├── AI Agent与RAG/ │ └── 硬件与算力/ ├── 02-Resources/ # 资源库存放收集的原始材料 │ ├── Papers/ │ ├── BlogPosts/ │ ├── GitHub_Repos/ │ └── Tutorials/ ├── 03-Projects/ # 项目区每个具体实验或项目一个子文件夹 ├── 04-Notes/ # 永久笔记经过消化、重写后的高质量笔记 ├── 05-Templates/ # 模板库 └── 06-Attachments/ # 附件图片、PDF等00-Inbox 这是你的“收件箱”。任何临时想法、剪藏的文章、会议记录都先扔到这里。每天或每周需要定期清空它将内容加工后移动到相应区域。01-Areas 这是你知识体系的支柱。每个文件夹代表一个你长期投入的领域。里面的笔记是经过深度加工、相互链接的“永久笔记”。04-Notes 这是经过“费曼学习法”处理后的产出。当你阅读完一篇论文或一篇博客不是简单地复制粘贴而是合上资料用自己的话重新阐述核心概念、方法、优缺点并思考它与已有知识的联系。这个文件夹里的笔记质量最高。3.2 标签系统的力量文件夹是静态的树状结构标签是动态的网状连接。我会为笔记打上多种维度的标签主题标签#Transformer,#Attention,#LoRA,#KV_Cache,#Speculative_Decoding类型标签#论文精读,#代码分析,#问题排查,#灵感碎片,#会议笔记状态标签#待处理,#进行中,#已完成,#需要复习项目关联标签#Project-智能客服优化,#Experiment-长上下文测试例如一篇关于“FlashAttention”的笔记它的路径可能在01-Areas/推理与部署优化/同时拥有标签#Attention,#GPU优化,#论文精读,#已完成。这样我既可以通过文件夹浏览某个领域的全貌也可以通过标签#GPU优化横跨所有领域找到相关的优化技术。3.3 核心MOC内容地图笔记这是构建知识网络的核心技巧。MOC 是一个“索引页”或“目录页”它本身不包含太多具体知识而是通过链接组织起一个主题下的所有相关笔记。例如我创建一个名为MOC - 大语言模型推理优化.md的笔记。里面内容可能是# 大语言模型推理优化 ## 核心问题 - [[降低延迟]] - [[提高吞吐量]] - [[节省显存]] ## 关键技术 ### 注意力优化 - [[FlashAttention]] - 核心算法减少HBM访问 - [[FlashAttention-2]] - 进一步优化支持更长的上下文 - [[PagedAttention]] (vLLM) - 高效的内存管理用于KV Cache ### 解码策略 - [[投机采样]] - 使用小模型预测大模型验证 - [[Lookahead Decoding]] - 并行解码多个token ### 系统与工程 - [[模型量化]] - INT8/INT4降低存储与计算需求 - [[模型剪枝]] - 移除冗余参数 - [[连续批处理]] - 动态合并请求提高GPU利用率 ## 我的项目与实践 - [[Project - 部署Qwen2.5-7B-Instruct]] - 实践了vLLM和量化 - [[Experiment - 投机采样效果对比]]这个MOC笔记就像一个控制中心点击任何一个链接就能跳转到详细的笔记。随着学习的深入这个地图会不断扩展和细化最终形成你个人知识的“星辰大海”。4. 工作流实战从信息碎片到知识晶体有了架构关键在于日常的工作流。我的流程可以概括为“收集-处理-创作-复习”的循环。4.1 收集无处不在的输入浏览器剪藏 使用 Omnivore 或 Readwise Reader。看到好的技术博客、论文解读一键保存。它们会自动同步到你的 Inbox并抓取纯净文本。论文PDF 使用 Zotero 管理论文库并通过Zotero Better Notes插件或mdnotes插件将论文元数据和高亮笔记自动导出为Markdown文件到Obsidian的Inbox。代码片段 在VS Code中写代码时遇到有价值的调试技巧、优化写法直接用社区插件如Obsidian URI或自定义脚本将选中的代码连同注释发送到Obsidian。灵感闪现 在手机Obsidian App上快速记录。我常用语音输入转文字捕捉瞬间的想法。4.2 处理每日清空Inbox这是最关键的一步防止Inbox堆积。每天固定时间如午休后处理Inbox中的内容。快速浏览 判断每条信息的价值。初步加工对于文章/论文 重命名文件用核心关键词命名如“2024-04-10 FlashAttention-2 原理详解”。使用模板快速填充元数据来源、作者、标签。快速阅读用高亮或注释标出核心段落。对于代码片段 添加描述性标题和上下文说明解释这段代码解决了什么问题关键参数是什么。对于灵感碎片 将其扩展成更完整的句子并思考它可以链接到哪个已有的Area或Note。移动与链接 将加工后的笔记从00-Inbox/移动到对应的01-Areas/或04-Notes/文件夹。立即创建反向链接打开相关的MOC笔记或已有笔记在适当位置添加指向这条新笔记的链接。这一步是激活知识网络的关键。4.3 创作费曼笔记法对于重要的学习材料如一篇经典论文、一个核心开源项目我会专门安排时间进行深度创作生成04-Notes/下的永久笔记。关闭所有资料 在充分阅读和理解后合上论文、关闭浏览器标签。新建笔记 尝试用自己的语言从一个空白页面开始回答以下几个问题这个工作核心要解决什么问题背景与动机它提出了什么方法最关键的一两个创新点是什么核心方法这个方法是如何工作的原理简述可以画图它的效果如何有什么优点和局限性实验与评价它和我知道的XXX技术有什么联系和区别知识连接对照与修正 写完后重新打开原始资料对照检查是否有理解错误或遗漏的关键点进行修正和补充。嵌入代码与图表 如果涉及算法把核心代码片段自己重写过的不是复制粘贴用代码块嵌入。如果涉及流程用 Excalidraw 画一个简图。广泛链接 将这篇新笔记链接到所有相关的MOC和其他永久笔记中。这个过程极其耗费脑力但也是学习效果最好的方式。产出的一篇篇永久笔记就是你知识体系的坚实砖瓦。4.4 自动化增强让AI成为你的研究助理Obsidian的插件生态允许你引入LLM能力大幅提升效率。智能摘要 配置Text Generator或Copilot插件。选中一篇长文的核心部分运行命令“/summarize”让AI生成要点摘要作为你加工笔记的起点。概念解释 阅读时遇到不熟悉的技术术语选中后让AI用简单的语言解释并将解释记录在笔记的侧边栏或底部。问答与头脑风暴 针对一个复杂问题如“如何为我的推荐系统设计一个排序模型”你可以创建一个笔记里面列出已知条件、约束和目标。然后使用像Smart Connections这样的插件它可以基于你整个知识库的内容让AI进行回答答案会引用你库中相关的笔记这相当于让你的个人Wiki“活”了过来。代码分析与生成 将一段复杂的PyTorch训练代码粘贴进笔记让AI分析其逻辑、指出潜在的性能瓶颈或bug甚至根据你的要求生成功能相似的、更优化的代码片段。心得AI辅助的边界很重要。它最适合做信息提取、初步归纳和启发思考。但最终的判断、深度理解和知识体系的缝合必须由你自己完成。切勿让AI替你思考。5. 专题深潜以“LLM推理加速”为例构建知识子网让我们以一个具体的领域——“LLM推理加速”为例看看这个Wiki体系如何运作。这是当前工程实践的热点涉及算法、硬件、系统多个层面。5.1 建立领域MOC首先在01-Areas/推理与部署优化/下创建MOC - LLM推理加速.md。这个地图的框架如前文所述会包含核心问题、技术分类等。5.2 收集与创建核心笔记随着阅读和实践你会创建一系列详细笔记[[KV Cache 原理与内存瓶颈分析]] 详细解释自回归解码中KV Cache的作用推导其内存占用公式(batch_size * seq_len * num_layers * 2 * hidden_size * dtype_size)并讨论它如何成为吞吐量的主要瓶颈。[[vLLM 核心源码剖析PagedAttention与Block管理]] 这不是简单的介绍而是你通过阅读vLLM源码可能结合官方论文后自己绘出的内存管理流程图解释内存“碎片化”问题以及vLLM如何像操作系统管理内存一样通过“分页”机制高效利用显存。[[投机采样实战使用Medusa加速本地模型]] 一篇完整的实践笔记。记录了你如何配置环境、下载Medusa头、加载基础模型如Llama 3、编写推理脚本、对比启用投机采样前后的生成速度Tokens/sec和输出质量。包括你遇到的坑比如模型输出token id对不上和解决方案。[[FlashAttention-2 前向与反向传播推导]] 一篇硬核的算法笔记。你用自己的理解结合论文和博客重新推导了FA2的Tiling算法解释了如何通过减少HBM高带宽内存访问次数来实现加速并对比了与普通Attention的复杂度差异。5.3 建立连接与洞察当你这些笔记足够多时连接就产生了。你可能会在[[KV Cache 原理与内存瓶颈分析]]笔记中写道“vLLM的PagedAttention正是为了解决KV Cache引起的内存碎片化问题而设计的。与之对比另一种思路是直接压缩KV Cache如StreamingLLM提出的‘保留注意力池’方法它通过保留关键的初始token和最近的token来维持注意力而不是全部缓存。详见 [[StreamingLLM 论文笔记]]。”在[[投机采样实战]]笔记的结尾你可能会思考“实验发现投机采样对小模型草案模型的质量非常敏感。如果草案模型太弱拒绝率会很高反而拖慢速度。这引出了一个新问题如何训练或选择一个好的草案模型这与知识蒸馏和模型对齐技术有关。可以探索 [[LLM蒸馏技术概览]] 中的方法。”5.4 产出与实践这个知识子网最终会直接指导你的项目。当你要优化一个线上服务的推理延迟时你不会无从下手。你会打开你的MOC地图首先检查服务负载是高吞吐场景还是低延迟场景这决定优化方向。查看模型大小如果模型很大首先考虑[[模型量化]]使用GPTQ或AWQ进行INT4量化能直接减少显存和加速。查看请求特征如果请求长度差异大启用[[连续批处理]]。如果使用自研模型可以考虑在训练后附加[[Medusa头]]以实现投机采样。部署时优先选择集成了[[vLLM]]或[[TGI]]的推理框架。你的Wiki从一个学习工具变成了一个决策支持系统。6. 避坑指南构建个人Wiki过程中的常见陷阱在实践这套方法的过程中我踩过不少坑这里分享出来希望能帮你绕过去。6.1 陷阱一过度分类陷入“文件夹焦虑”刚开始总想设计一个完美无缺、涵盖一切的文件树结果花了大量时间在纠结“这篇笔记该放在A文件夹还是B子文件夹”严重拖慢记录速度。对策 遵循“宽进严出”原则。Inbox就是你的缓冲池。初期文件夹结构可以非常粗放如Papers/,Projects/,Notes/。随着内容增多自然会发现分类需求再进行重构。标签比文件夹更灵活多用标签进行多维度的标记。6.2 陷阱二只收藏不加工这是最致命的陷阱。把网页链接、PDF一股脑地丢进Inbox或资源库然后就再也没打开过。这只是在做“数字仓鼠”知识并没有内化。对策 强制执行“处理”环节。哪怕每天只花15分钟处理一条信息用自己的话写下一两句总结并打上一个标签建立一条链接。量变引起质变的关键在于“处理”而不在于“收集”的数量。6.3 陷阱三追求形式美观忽视内容密度花费大量时间调整笔记的CSS样式、寻找完美的图标或者执着于让每个笔记都格式统一、篇幅相当。对策 记住Wiki的核心是知识的连接与提取效率。形式为内容服务。一个用纯文本写满真知灼见的笔记远胜过一个花里胡哨但内容空洞的笔记。Obsidian的默认主题和排版已经足够清晰。6.4 陷阱四忽略复习与回顾笔记写完就封存没有定期回顾连接的网络会逐渐被遗忘。对策 利用Obsidian的“随机笔记”功能或“日记”功能每天打开时随机回顾一篇旧笔记。或者当你写一篇新笔记时强迫自己至少链接到3篇旧笔记。项目驱动是最好的复习方式当你在实际项目中遇到问题回Wiki寻找答案时相关笔记会被再次激活和强化。6.5 陷阱五过度依赖AI丧失思考主权让AI总结一切、解释一切甚至让AI帮你写永久笔记的初稿。这会导致你停留在信息的表层无法形成深刻、个人化的理解。对策 明确AI的定位是“助理”和“催化剂”。用它来克服启动困难如写摘要、查漏补缺如解释术语、拓展思路如头脑风暴。但核心的“理解-重构-连接”过程必须由你自己完成。你的思考痕迹包括困惑、错误的尝试才是笔记中最有价值的部分。构建一个像Karpathy那样的个人LLM Wiki并非一蹴而就。它更像是一个伴随你职业生涯成长的“数字孪生大脑”。工具Obsidian和方法论MOC、双向链接、费曼笔记只是骨架真正赋予它生命和价值的是你持续不断的、高质量的思考与记录。今天就开始从创建第一个笔记建立第一条链接开始。几年后这个属于你自己的、互联互通的知识宇宙将成为你在AI浪潮中最重要的导航仪和动力源。