Text Generation Web UI 使用指南本地大模型对话、OpenAI 兼容 API 与 LoRA 微调【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenText Generation Web UITextGen是一个开源的本地大模型桌面/网页应用把模型文件放进指定目录浏览器打开就能对话、看图片、调用工具还能以 OpenAI/Anthropic 兼容的 API 形式接进你的现有代码。全程 100% 离线不上传任何数据。三种启动方式怎么选按你想多快用上和想玩多深两个维度仓库提供了三档安装路径都在 README.md 里有详细说明。方案适合谁代价便携版只想跑 GGUF 模型做对话从 Releases 下载解压双击textgen即可venv 手动装想装进浏览器 Web UI、自己掌控环境Python 3.9装一遍依赖完整安装要用 ExLlamaV3/Transformers 后端、训练、图像生成、扩展约 10GB 磁盘会下载 PyTorch大多数用户的推荐路径是完整安装克隆仓库后运行对应系统的脚本start_linux.sh/start_windows.bat/start_macos.sh脚本内部用 Miniforge 建好 Conda 环境按提示选一下 GPU 厂商NVIDIA/AMD/CPU就完成。装好后浏览器打开http://127.0.0.1:7860。克隆命令git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui后续不用记一堆启动参数把--api、--listen这类命令行参数写进 user_data/CMD_FLAGS.txt之后每次运行启动脚本都会自动带上。想升级时运行update_wizard_系列脚本即可。放一个模型进去它自己就能识别使用的第一步不是配置而是放模型。从 Hugging Face 下载一个 GGUF 文件丢进 user_data/models/ 目录UI 会自动检测出来Model 标签页里直接选、直接加载。多文件模型16 位 Transformers 模型、EXL3则放在user_data/models的子文件夹里这类格式需要完整安装便携版不支持。加载时最常调的三个参数gpu_layers多少层放到 GPU显存不够就调低-1表示自动ctx_size上下文长度越大占显存越多装不下就调小cache_typeKV 缓存量化fp16/q8_0/q4_0牺牲少量质量换显存。进入对话界面后最关键是理解Mode字段它决定对话提示词怎么拼装instruct指令模型类 ChatGPT 用法按模型自带的 Jinja2 模板自动格式化chat-instruct/chat和自定义角色对话角色定义是 user_data/characters/ 下的 YAML 文件参考现成的 Example.yaml 改几行即可自定义性格与开场白。调出你想要的回复参数、预设与扩展Parameters 标签页里参数很多新手只需要抓住主线temperature控制随机性0 确定输出top_p/top_k控制候选范围repetition_penalty之类控制重复。更省事的做法是用预设——内置的 Creative、Top-P、Deterministic 等组合存放在 user_data/presets/直接加载、微调后另存即可。如果连续几次 Regenerate 都出不来好结果预设栏的随机按钮能生成一套可解释的随机参数帮你跳出循环。在这个基础上仓库内置的扩展覆盖了几个高频需求都在 extensions/ 目录用--extensions参数按名字加载silero_tts / coqui_tts把回复直接读出来文字转语音whisper_stt用麦克风说话输入superboogav2RAG 知识库支持 PDF/DOCX/PPTX让模型基于你的文档回答send_pictures聊天里发图片给模型看。另外聊天侧栏还内置了网络搜索开关开启后模型回复前可以先搜网页适合需要时效信息的问答。把它变成 OpenAI 兼容的本地 API这是很多人不知道的一等功能加一个--api参数服务就在 5000 端口暴露 Chat、Completions、Messages 端点支持 SSE 流式和工具调用tool calling可以直接替代 OpenAI/Anthropic 的端点接到现有代码里。python server.py --portable --api --auto-launch端点文档在http://127.0.0.1:5000/docs自动生成官方 OpenAI 文档里的示例请求基本原样可用。常用配套参数--listen监听局域网让同一网络的设备能调用--api-port 1234改端口默认 5000--api-key yourkey加 API 密钥鉴权暴露到网络时建议必加。实现细节见 modules/api/ 目录。工具调用则依赖模型本身支持Qwen、Mistral、GPT-OSS 等每个工具就是一个.py文件放在 user_data/tools/ 里。进阶LoRA 微调与 Docker 部署想给模型注入自己的风格或知识用 Training 标签页训练 LoRA 即可流程在 docs/05 - Training Tab.md用 Transformers 加载器载入基础模型注意 LoRA 与模型架构绑定在哪个模型上训就只能用在哪个模型上→ 选数据集支持 OpenAI messages 格式样例在 user_data/training/datasets/→ 点 Start LoRA 训练 → 完成后回 Model 标签页加载测试。训练中断也能从 checkpoint 断点续跑。生产环境部署推荐 Docker仓库 docker/ 目录按硬件分了 nvidia/amd/intel/cpu 四套把对应目录的 Dockerfile 和 docker-compose.yml 软链到根目录、配好.env里的TORCH_CUDA_ARCH_LIST然后docker compose up --build即可详见 docs/09 - Docker.md。建议的下一步先挑一个 8B 以下的 GGUF 模型跑通对话然后打开 Parameters 页面试着在预设基础上把top_p调到 0.9 左右感受差异跑顺之后再开--api把一个现有调用 OpenAI 的项目的 base_url 指到127.0.0.1:5000看看哪些功能本地就能无缝接上。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Text Generation Web UI 使用指南：本地大模型对话、OpenAI 兼容 API 与 LoRA 微调
Text Generation Web UI 使用指南本地大模型对话、OpenAI 兼容 API 与 LoRA 微调【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenText Generation Web UITextGen是一个开源的本地大模型桌面/网页应用把模型文件放进指定目录浏览器打开就能对话、看图片、调用工具还能以 OpenAI/Anthropic 兼容的 API 形式接进你的现有代码。全程 100% 离线不上传任何数据。三种启动方式怎么选按你想多快用上和想玩多深两个维度仓库提供了三档安装路径都在 README.md 里有详细说明。方案适合谁代价便携版只想跑 GGUF 模型做对话从 Releases 下载解压双击textgen即可venv 手动装想装进浏览器 Web UI、自己掌控环境Python 3.9装一遍依赖完整安装要用 ExLlamaV3/Transformers 后端、训练、图像生成、扩展约 10GB 磁盘会下载 PyTorch大多数用户的推荐路径是完整安装克隆仓库后运行对应系统的脚本start_linux.sh/start_windows.bat/start_macos.sh脚本内部用 Miniforge 建好 Conda 环境按提示选一下 GPU 厂商NVIDIA/AMD/CPU就完成。装好后浏览器打开http://127.0.0.1:7860。克隆命令git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui后续不用记一堆启动参数把--api、--listen这类命令行参数写进 user_data/CMD_FLAGS.txt之后每次运行启动脚本都会自动带上。想升级时运行update_wizard_系列脚本即可。放一个模型进去它自己就能识别使用的第一步不是配置而是放模型。从 Hugging Face 下载一个 GGUF 文件丢进 user_data/models/ 目录UI 会自动检测出来Model 标签页里直接选、直接加载。多文件模型16 位 Transformers 模型、EXL3则放在user_data/models的子文件夹里这类格式需要完整安装便携版不支持。加载时最常调的三个参数gpu_layers多少层放到 GPU显存不够就调低-1表示自动ctx_size上下文长度越大占显存越多装不下就调小cache_typeKV 缓存量化fp16/q8_0/q4_0牺牲少量质量换显存。进入对话界面后最关键是理解Mode字段它决定对话提示词怎么拼装instruct指令模型类 ChatGPT 用法按模型自带的 Jinja2 模板自动格式化chat-instruct/chat和自定义角色对话角色定义是 user_data/characters/ 下的 YAML 文件参考现成的 Example.yaml 改几行即可自定义性格与开场白。调出你想要的回复参数、预设与扩展Parameters 标签页里参数很多新手只需要抓住主线temperature控制随机性0 确定输出top_p/top_k控制候选范围repetition_penalty之类控制重复。更省事的做法是用预设——内置的 Creative、Top-P、Deterministic 等组合存放在 user_data/presets/直接加载、微调后另存即可。如果连续几次 Regenerate 都出不来好结果预设栏的随机按钮能生成一套可解释的随机参数帮你跳出循环。在这个基础上仓库内置的扩展覆盖了几个高频需求都在 extensions/ 目录用--extensions参数按名字加载silero_tts / coqui_tts把回复直接读出来文字转语音whisper_stt用麦克风说话输入superboogav2RAG 知识库支持 PDF/DOCX/PPTX让模型基于你的文档回答send_pictures聊天里发图片给模型看。另外聊天侧栏还内置了网络搜索开关开启后模型回复前可以先搜网页适合需要时效信息的问答。把它变成 OpenAI 兼容的本地 API这是很多人不知道的一等功能加一个--api参数服务就在 5000 端口暴露 Chat、Completions、Messages 端点支持 SSE 流式和工具调用tool calling可以直接替代 OpenAI/Anthropic 的端点接到现有代码里。python server.py --portable --api --auto-launch端点文档在http://127.0.0.1:5000/docs自动生成官方 OpenAI 文档里的示例请求基本原样可用。常用配套参数--listen监听局域网让同一网络的设备能调用--api-port 1234改端口默认 5000--api-key yourkey加 API 密钥鉴权暴露到网络时建议必加。实现细节见 modules/api/ 目录。工具调用则依赖模型本身支持Qwen、Mistral、GPT-OSS 等每个工具就是一个.py文件放在 user_data/tools/ 里。进阶LoRA 微调与 Docker 部署想给模型注入自己的风格或知识用 Training 标签页训练 LoRA 即可流程在 docs/05 - Training Tab.md用 Transformers 加载器载入基础模型注意 LoRA 与模型架构绑定在哪个模型上训就只能用在哪个模型上→ 选数据集支持 OpenAI messages 格式样例在 user_data/training/datasets/→ 点 Start LoRA 训练 → 完成后回 Model 标签页加载测试。训练中断也能从 checkpoint 断点续跑。生产环境部署推荐 Docker仓库 docker/ 目录按硬件分了 nvidia/amd/intel/cpu 四套把对应目录的 Dockerfile 和 docker-compose.yml 软链到根目录、配好.env里的TORCH_CUDA_ARCH_LIST然后docker compose up --build即可详见 docs/09 - Docker.md。建议的下一步先挑一个 8B 以下的 GGUF 模型跑通对话然后打开 Parameters 页面试着在预设基础上把top_p调到 0.9 左右感受差异跑顺之后再开--api把一个现有调用 OpenAI 的项目的 base_url 指到127.0.0.1:5000看看哪些功能本地就能无缝接上。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考