FastGPT | 20 - 文档解析、文本切块与训练队列
开篇问题上一篇我们拆了文件导入和数据源接入:本地文件、链接、文本、图片、API 数据集 - 创建 Collection - 保存来源字段 - 进入后续处理链路这一篇继续往后追:Collection 创建之后,FastGPT 如何把文件或网页内容变成可检索的 Data?更具体一点:为什么文件解析要异步化?parse 队列如何读取不同 Collection 来源?rawText 如何被切成 chunks?chunk、QA、图片、自动索引模式有什么差异?训练队列到底是不是 BullMQ?训练失败时应该看哪些字段和 API?这一篇的重点是:文档解析、文本切块、训练队列。向量库适配、向量插入细节和检索召回,会放到后面两篇继续拆。先给结论FastGPT 的知识库训练链路可以拆成三段:parse 阶段 读取 Collection 来源