这类项目最值得先看的不是功能列表而是能不能在普通开发者的机器上把“罪名识别”、“刑期预测”和“司法解释生成”这三个看似专业的任务用一套清晰、可复现的流程跑通。很多人一看到“刑法大模型”、“RAG”、“LoRA”这些词就觉得门槛高其实核心是把问题拆解先用RAG检索增强生成解决“法条知识从哪里来”的问题再用LoRA低秩适配微调解决“模型如何理解法律语境”的问题最后用Qwen这样的开源大模型作为基座把整个流程串起来。我建议先从最小可运行的样例开始而不是一上来就处理复杂的案例。这篇文章会按实际落地的顺序带你走一遍从环境搭建、数据准备、RAG知识库构建、LoRA微调到最终推理的完整流程。过程中我会穿插我自己调试时遇到的典型问题和排查思路比如显存不够怎么办、检索结果不相关怎么调、微调后效果反而下降怎么分析。如果你手头有一台带GPU的机器哪怕是消费级显卡或者有足够的云GPU算力跟着步骤走应该能把整个项目跑起来。1. 先理清项目目标不是造一个“法官”而是构建一个法律信息处理工具在开始敲代码之前必须明确我们到底在做什么。这个项目的核心是利用大模型技术对法律文本进行结构化信息提取和辅助生成它不能、也不应该替代法律专业人士的判断。它的价值在于处理大量文本时的效率辅助。1.1 三个核心任务拆解罪名识别给定一段案情描述文本模型需要识别出其中可能涉及的刑法罪名。例如输入“张三偷了李四的手机又用刀威胁王五交出钱包”输出应该是“盗窃罪、抢劫罪”。这本质上是一个文本分类或序列标注任务但用生成式模型以“问答”或“续写”的形式完成。刑期预测在识别出罪名的基础上结合案情中的一些关键情节如数额、手段、后果等预测一个可能的刑罚范围。例如“盗窃数额较大且是累犯”输出可能是“处三年以下有期徒刑、拘役或者管制并处罚金”。请注意这里的预测是基于公开判决文书数据学习到的统计规律给出的是参考范围绝非精确判决。这是项目中最具挑战性也最需谨慎处理的部分。司法解释生成针对某个罪名或法律概念生成一段解释性文字。例如输入“什么是正当防卫”模型能生成结合了刑法法条和典型判例要点的解释。这完全依赖RAG系统检索到的优质法律知识库内容。1.2 技术栈选择为什么是Qwen RAG LoRAQwen通义千问选择它作为基座模型是因为它在中文理解和生成上表现均衡并且有从1.8B到72B不同规模的版本方便根据硬件条件选择。对于这个项目Qwen-7B或Qwen-14B版本是性价比和效果比较折中的起点。更大的模型如32B、72B效果更好但对显存要求极高。RAG检索增强生成这是解决模型“知识陈旧”和“胡言乱语”的关键。我们不会把所有法律条文和案例都塞进模型参数里也塞不下而是建立一个外部的法律知识库向量数据库。当用户提问时系统先去知识库里检索最相关的法条和案例片段然后把“问题检索到的上下文”一起交给大模型生成答案。这样答案的准确性就有了依据。LoRALow-Rank Adaptation全参数微调一个大模型需要巨大的计算资源。LoRA通过只训练大模型注意力机制中注入的少量低秩矩阵来适配特定任务如法律文本理解能极大减少训练参数量和显存占用通常只需原模型0.1%-1%的参数在消费级显卡如RTX 3090/4090上就能完成。这个组合的核心思路是用RAG提供准确、最新的法律知识用LoRA让Qwen更擅长理解法律领域的提问方式和表达逻辑。2. 环境准备与数据收集避开第一个大坑很多项目卡在第一步不是因为代码复杂而是环境依赖没装对或者数据格式乱七八糟。2.1 硬件与基础软件环境操作系统Linux (Ubuntu 20.04/22.04) 或 Windows WSL2。原生Windows可能会在部分深度学习库的编译上遇到问题WSL2是更稳妥的选择。GPU至少8GB显存。这是运行Qwen-7B模型进行推理的底线。如果要进行LoRA微调建议有16GB或以上显存如RTX 3090/4080/4090。如果没有GPU纯CPU推理速度会非常慢且无法进行微调。Python版本3.8-3.10。推荐使用conda或venv创建独立的虚拟环境。CUDA版本需要与你的PyTorch版本匹配。例如PyTorch 2.0 通常对应CUDA 11.7或11.8。使用nvidia-smi命令查看驱动支持的CUDA最高版本。2.2 关键Python库安装在你的项目虚拟环境中安装以下核心库。建议使用国内镜像源加速。# 创建并激活虚拟环境 (以conda为例) conda create -n law_llm python3.10 conda activate law_llm # 安装PyTorch (请根据你的CUDA版本去PyTorch官网选择对应命令) # 例如CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装Transformer相关库 pip install transformers accelerate peft # peft包含了LoRA pip install datasets # 用于数据处理 # 安装RAG相关库这里以LangChain和Chroma向量数据库为例 pip install langchain langchain-community pip install chromadb pypdf sentence-transformers # 向量库、PDF解析、文本嵌入模型 # 安装Qwen官方库如果需要 pip install qwen-ai注意transformers和peft的版本兼容性很重要。如果遇到奇怪错误先检查版本。一个比较稳定的组合是transformers4.36.0,peft0.7.0。2.3 法律数据从哪里来如何清洗这是项目的基石。数据质量直接决定RAG和微调的效果。知识库数据用于RAG来源《中华人民共和国刑法》及修正案全文、最高人民法院/最高人民检察院发布的权威司法解释、指导性案例的裁判要旨部分。这些可以从“中国法院网”、“北大法宝”等权威网站获取文本。严禁使用来源不明、观点偏激或非官方的“法律解读”文章。格式整理成纯文本.txt或Markdown文件。每个文件代表一个独立的知识单元例如“刑法第二百六十四条【盗窃罪】.txt”内容就是该法条全文。指导性案例可以整理成“指导案例XX号关于XXX的认定.md”。清洗去除无关的网页标签、广告、页眉页脚。确保文本连贯没有乱码。可以将长文档按章节或自然段进行切分每个片段不宜过长如300-800字方便后续向量化检索。微调训练数据用于LoRA任务我们需要为“罪名识别”和“刑期预测”任务构造问答对。构造思路罪名识别从公开的裁判文书网如“中国裁判文书网”中抽取“本院认为”部分之前的“经审理查明”段落作为input将文书中认定的罪名作为output。可以人工构造或使用规则初步提取后清洗。刑期预测这是一个更敏感的任务。可以从文书中抽取“被告人XXX犯XX罪判处……”作为output而input则需要包含罪名、数额、情节自首、累犯等等关键信息。强烈建议此部分数据仅用于研究验证并明确其局限性。数据格式通常整理成JSONL文件每一行是一个JSON对象。// 罪名识别示例 {instruction: 请根据以下案情描述识别涉及的刑法罪名。, input: 2023年5月被告人王某在公交车上趁乘客李某不备用镊子夹取其口袋内现金人民币1500元。, output: 盗窃罪} // 刑期预测示例 (简化仅作格式参考) {instruction: 请根据以下案情情节预测可能的刑罚范围。, input: 罪名盗窃罪。数额较大2000元。情节累犯。, output: 处三年以下有期徒刑并处罚金。}数据量对于LoRA微调每个任务有几千条高质量的数据通常就能看到明显效果提升。3. 构建RAG法律知识库让模型“有法可依”RAG系统是项目的“外部大脑”。它的构建分为三步加载文本、切成片段、转化为向量存入数据库。3.1 文档加载与文本分割使用LangChain提供的文档加载器和文本分割器。from langchain.document_loaders import DirectoryLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 1. 加载所有法律文本文件 loader DirectoryLoader(./law_data/, glob**/*.txt, loader_clsTextLoader) documents loader.load() print(f加载了 {len(documents)} 个文档) # 2. 分割文本 text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 每个片段的最大字符数 chunk_overlap50, # 片段间的重叠字符避免割裂上下文 separators[\n\n, \n, 。, , , , ] # 按此优先级分割 ) split_docs text_splitter.split_documents(documents) print(f分割为 {len(split_docs)} 个文本片段)关键参数chunk_size需要权衡。太小则检索到的片段信息不完整太大则可能包含无关信息干扰模型。对于法条500-800比较合适对于案例描述可以适当放大到800-1200。3.2 向量化与存储我们需要一个嵌入模型Embedding Model将文本变成向量然后存入向量数据库。from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma # 使用开源的中文嵌入模型例如 BAAI/bge-small-zh它在中文语义相似度上表现很好 embedding_model HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh, model_kwargs{device: cuda}, # 如果有GPU encode_kwargs{normalize_embeddings: True} # 归一化提升检索效果 ) # 3. 创建向量数据库并持久化 vectorstore Chroma.from_documents( documentssplit_docs, embeddingembedding_model, persist_directory./chroma_law_db # 指定持久化目录 ) vectorstore.persist() # 保存到磁盘 print(向量知识库已构建并保存至 ./chroma_law_db)第一次运行会下载嵌入模型并计算所有片段的向量可能需要一些时间。之后加载就很快了。3.3 检索测试构建好后写个简单的函数测试检索效果。# 重新加载已构建的向量库 vectorstore Chroma( persist_directory./chroma_law_db, embedding_functionembedding_model ) # 进行相似性检索 query 盗窃罪数额较大的标准是什么 retrieved_docs vectorstore.similarity_search(query, k3) # 检索最相似的3个片段 print(f问题{query}) for i, doc in enumerate(retrieved_docs): print(f\n--- 检索结果 {i1} ---) print(doc.page_content[:300]) # 打印前300字符如果检索结果能准确返回《刑法》关于盗窃罪数额认定的条文或相关司法解释说明知识库构建成功。如果结果不相关可能需要调整文本分割策略或尝试其他嵌入模型如BAAI/bge-large-zh。4. LoRA微调Qwen模型让它更懂“法律语言”现在我们要让Qwen模型在法律任务上表现更好。全量微调不现实我们用LoRA。4.1 准备微调数据与模型假设我们已经准备好了用于“罪名识别”的JSONL格式训练数据crime_identification_train.jsonl。from datasets import load_dataset from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer from peft import LoraConfig, TaskType, get_peft_model import torch # 1. 加载数据集 dataset load_dataset(json, data_files{train: crime_identification_train.jsonl}) # 通常需要将数据整理成 text 字段格式为instruction input output def format_func(example): example[text] f{example[instruction]}\n{example[input]}\n答案{example[output]} return example dataset dataset.map(format_func) # 2. 加载Qwen模型和分词器 model_name Qwen/Qwen-7B-Chat # 以7B聊天版为例也可以使用Base版 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.float16, # 使用半精度减少显存占用 device_mapauto # 自动分配模型层到GPU/CPU ) tokenizer.pad_token tokenizer.eos_token # 设置填充token # 3. 对数据集进行tokenization def tokenize_func(example): return tokenizer(example[text], truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_func, batchedTrue)4.2 配置LoRA参数并包装模型# 4. 配置LoRA lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果语言模型任务 r8, # LoRA的秩越小参数量越少通常8,16,32 lora_alpha32, # 缩放参数 lora_dropout0.1, # Dropout率防止过拟合 target_modules[q_proj, k_proj, v_proj, o_proj], # 针对Transformer的注意力模块 biasnone ) # 用LoRA包装原模型 model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可训练参数量应该只占原模型的很小一部分4.3 配置训练参数并开始微调# 5. 配置训练参数 training_args TrainingArguments( output_dir./output_qwen_lora, per_device_train_batch_size2, # 根据你的GPU显存调整7B模型在24G显存上可能只能设1或2 gradient_accumulation_steps4, # 梯度累积模拟更大的batch size num_train_epochs3, # 训练轮数 logging_steps10, save_steps200, learning_rate2e-4, # LoRA学习率通常可以设得比全量微调大一点 fp16True, # 使用混合精度训练节省显存 remove_unused_columnsFalse, ) # 6. 创建Trainer并开始训练 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset[train], data_collatorlambda data: {input_ids: torch.stack([d[input_ids] for d in data]), attention_mask: torch.stack([d[attention_mask] for d in data]), labels: torch.stack([d[input_ids] for d in data])}, # 因果LM的标签就是输入本身 ) trainer.train()训练完成后LoRA的权重会保存在./output_qwen_lora目录下例如adapter_model.bin。原Qwen的权重不会被修改。4.4 加载微调后的模型进行推理from peft import PeftModel # 加载基础模型 base_model AutoModelForCausalLM.from_pretrained( Qwen/Qwen-7B-Chat, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ) # 加载LoRA权重并合并到基础模型上 model PeftModel.from_pretrained(base_model, ./output_qwen_lora) model model.merge_and_unload() # 将LoRA权重合并进原模型便于后续推理 # 也可以不合并使用 PeftModel 直接推理但合并后推理速度更快。 tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen-7B-Chat, trust_remote_codeTrue) # 准备输入 prompt 请根据以下案情描述识别涉及的刑法罪名。\n案情张三在公共场所扒窃他人钱包价值500元。\n答案 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成 with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens50, do_sampleTrue, temperature0.7) result tokenizer.decode(outputs[0], skip_special_tokensTrue) print(result)预期输出应该能正确识别出“盗窃罪”。如果效果不理想需要检查训练数据质量、训练轮数、学习率等参数。5. 整合RAG与微调模型构建完整问答流程这是最后一步将前面两个模块串联起来形成一个完整的系统用户提问 - RAG检索相关知识 - 将“知识问题”组合成提示词 - 交给微调后的Qwen生成答案。5.1 构建提示词模板一个好的提示词Prompt是成功的关键。它需要清晰指示模型扮演的角色、任务规则并提供检索到的上下文。def build_law_prompt(query, retrieved_context): prompt_template f你是一个专业的法律AI助手请严格根据提供的法律依据来回答问题。如果依据中没有明确答案请回答“根据现有法律依据无法直接回答此问题”。 【相关法律依据】 {retrieved_context} 【用户问题】 {query} 【回答】 return prompt_template5.2 实现整合推理函数class LawQAWithRAG: def __init__(self, vectorstore_path, model, tokenizer): self.vectorstore Chroma( persist_directoryvectorstore_path, embedding_functionHuggingFaceEmbeddings(model_nameBAAI/bge-small-zh) ) self.model model self.tokenizer tokenizer self.model.eval() # 设置为评估模式 def retrieve(self, query, k3): 检索相关法律条文 docs self.vectorstore.similarity_search(query, kk) context \n\n.join([doc.page_content for doc in docs]) return context def generate_answer(self, query, max_length512): 检索增强生成 # 1. 检索 context self.retrieve(query) # 2. 构建提示词 prompt build_law_prompt(query, context) # 3. 生成 inputs self.tokenizer(prompt, return_tensorspt).to(self.model.device) with torch.no_grad(): outputs self.model.generate( **inputs, max_new_tokensmax_length, do_sampleTrue, temperature0.3, # 温度调低让生成更确定、更少随机性 top_p0.9, repetition_penalty1.1 ) answer self.tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return answer, context # 返回答案和用于追溯的上下文 # 初始化 law_qa LawQAWithRAG( vectorstore_path./chroma_law_db, modelmodel, # 这里传入合并了LoRA权重的模型 tokenizertokenizer ) # 测试 question 抢劫罪和抢夺罪的主要区别是什么 answer, used_context law_qa.generate_answer(question) print(f问题{question}) print(f参考依据前500字符{used_context[:500]}...) print(f生成答案{answer})5.3 针对三个任务的特殊处理上面的流程是通用问答。对于三个具体任务可以在提示词上做文章罪名识别在提示词中明确指令“请只列出罪名用中文顿号分隔”。刑期预测在提示词中强调“请基于以下情节和法律规定给出可能的刑罚范围参考并说明主要考虑因素”。必须在答案前加上显著免责声明如“以下分析仅为基于公开信息的模型推断不构成法律意见具体量刑由司法机关依法确定。”司法解释生成这就是标准的RAG问答模型基于检索到的法条和案例进行解释性生成。6. 调试与优化从“能跑”到“好用”项目能跑起来只是第一步要让其稳定、可靠还需要解决一系列实际问题。6.1 常见问题与排查清单显存不足CUDA Out Of Memory推理时换用更小的模型如Qwen-1.8B或使用量化版本如GPTQ, AWQ。使用model.half()和torch.cuda.empty_cache()。训练时减小per_device_train_batch_size增大gradient_accumulation_steps。使用gradient_checkpointing。考虑使用QLoRA4位量化LoRA这是目前消费级显卡微调大模型的利器。检索结果不相关检查文本分割chunk_size是否合适法条被切碎了吗更换嵌入模型尝试BAAI/bge-large-zh或moka-ai/m3e-base。优化查询对用户问题query进行关键词提取或重写再用于检索。尝试混合检索结合基于关键词的BM25检索和向量检索提升召回率。模型生成答案质量差提示词工程这是最有效的调优点。明确角色、任务、格式要求。提供少量示例Few-Shot。检查训练数据微调数据是否干净指令格式是否与推理时的提示词一致调整生成参数降低temperature如0.1-0.3让输出更确定调整top_p和repetition_penalty。RAG上下文可能太长如果检索到的上下文太长超过了模型的上下文窗口会导致模型“看不到”全部信息。可以尝试只取最相关的1-2个片段或者使用“Map-Reduce”等策略对长上下文进行摘要。速度太慢推理使用vLLM、TGIText Generation Inference等高性能推理框架。检索确保向量数据库在内存中或使用高效索引如Chroma的持久化加载本身就很快。硬件升级GPU或使用多GPU/分布式推理。6.2 进阶优化方向RAG重排Rerank在向量检索出Top K个结果后使用一个更精细的交叉编码器模型如BAAI/bge-reranker对结果进行重排序将最相关的结果排到最前面再送给大模型。Agentic RAG让系统具备“思考”能力。例如先让模型判断问题类型是问法条、问案例还是问区别再决定检索策略或者根据初步答案发起新一轮检索来验证或补充信息。评估体系如何衡量系统好坏可以构建一个测试集用准确率、召回率评估罪名识别用生成答案与标准答案的相似度如Rouge-L, BERTScore评估解释生成。对于刑期预测切忌使用绝对准确率可以评估其给出的范围是否涵盖了真实刑期。6.3 关于部署与生产化的思考如果只是实验用Jupyter Notebook或Python脚本就够了。但如果想提供稳定服务需要考虑API服务化使用FastAPI将模型和RAG系统封装成HTTP API。异步处理对于批量任务使用Celery等任务队列。缓存对常见问题的检索结果和生成答案进行缓存提升响应速度。日志与监控记录每一次问答的query、context、answer用于后续分析和模型迭代。安全与合规这是法律类应用的生命线。必须设置严格的输入过滤防止恶意提问输出必须包含免责声明所有生成内容应有记录可审计。这个项目从技术上看是RAG和LoRA这两个当前最热门大模型应用技术的典型结合案例。从落地角度看它清晰地展示了如何将一个复杂的领域问题法律咨询拆解为可工程化实现的技术模块。我个人的建议是不要追求一步到位做出完美产品而是先把“数据准备-RAG构建-模型微调-管道串联”这个最小闭环跑通理解每一个环节的输入输出和瓶颈在哪里。之后无论是优化检索效果、提升生成质量还是完善系统架构你都有了可以着手调试的具体靶点。