text-generation-webui教程本地大模型对话应用从安装到第一次对话【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui是做什么的text-generation-webui是一个开源的本地大模型对话应用你把自己的模型下载放到机器上就能在浏览器界面里和它聊天同时它还对外提供一个兼容OpenAI的API。说白了它面向两类人——想在自己电脑上跑AI助手的人以及想把本地模型接进已有程序里做二次开发的人。所有对话数据都留在本机没有遥测。 从安装到第一次运行第一步获取代码git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui第二步进入项目目录运行启动脚本./start_linux.sh # Windows用start_windows.batmacOS用start_macos.sh第一次运行会提示选择GPU厂商NVIDIA、AMD或CPU等脚本会自己用Miniforge把整套依赖装进installer_files/目录全程不需要你手动敲pip。之后每次启动直接再跑一遍同样的脚本就行。第三步打开界面终端提示服务就绪后在浏览器打开http://127.0.0.1:7860会看到Chat、Default、Parameters、Model、Training等一排页签这就是第一个可用的界面。另外两种安装方式一句话带过手动建conda环境再pip install -r requirements/full/requirements.txt可以解锁Transformers、ExLlamaV3等更多后端以及LoRA训练但要下载约10GB依赖还有docker/目录下按硬件分好的Docker文件。只是想聊天跑通的话脚本这条路最短。️ 第一次对话加载模型、发消息、换角色加载第一个模型最省心的模型格式是GGUF。用内置的下载工具拉一个python download-model.py organization/model-name文件会直接放进user_data/models/界面自动识别你也可以从Hugging Face网站手动下载GGUF文件后丢进这个目录。然后在Model页签的下拉框里选中模型点Load加载器会自动选llama.cpp不需要手动指定。发出第一条消息切到Chat页签先选对话模式instruct适合Qwen、Llama这类指令模型chat和chat-instruct是给角色扮演的。模型加载完输入用两句话介绍一下你自己发送回复会逐字流式出现。聊到一半想改前面某句话直接点击那条消息编辑再重新生成就行对话可以在这条消息处分叉不用整段删掉重来。换一个角色角色配置就是user_data/characters/目录下的YAML文件。项目自带两个默认角色其中Example是一个戴眼镜的动漫工程师人设想自己造一个复制一份YAML改三个字段就行name是角色名greeting是开场白context写性格设定比如你是一个耐心讲技术细节的工程师。在Chat页签的角色下拉框里选中它对话就会从你写的greeting开始。让它更顺手3条按硬件来的建议如果你的显卡显存在8GB及以下挑4bit量化的GGUF文件并在Model页签把ctx_size调成2048或4096。上下文长度会预先分配KV缓存显存不够时它通常是第一个该降的参数。如果你是纯CPU运行启动脚本里选CPU选项llama.cpp后端比Transformers在CPU上快得多参数方面建议把temperature稍微调低一点或者直接用Parameters页签的预设菜单加载一个社区投票过的预设比手调十几个参数稳。如果想让回复更长或更短不要去碰一大堆采样参数把Generation区域的max_new_tokens调大并勾上auto_max_new_tokens模型会一直生成到上下文上限省得反复点Continue。⚠️ 容易卡住的地方模型不在下拉列表里现象文件放进去了Model页签下拉框里还是空的。原因是路径不对或文件放进了错误的目录。解法确认文件确实在user_data/models/里然后点一下下拉框旁的刷新按钮再试。加载失败报显存不足现象点Load后进程卡住或报out of memory。原因是模型量化位宽偏高或ctx_size设得太大。解法换更低量化的文件Q4_K_M一般比较均衡或把ctx_size和gpu_layers往下调。第一次启动脚本报依赖错误现象刚clone完就跑start_linux.sh终端报缺包或命令找不到。原因是首次运行要等脚本把环境装完这个过程会花几分钟到十几分钟。解法让第一次安装完整跑完中途断了就重跑同一个脚本它会接着装。这个本地大模型工具适合谁适合想在自己电脑上跑对话、看图片、接工具调用并且在意数据不出本地的人哪怕只有CPU跑通了也能动用只是响应慢一些。如果你只是想用一个即开即用的在线聊天产品这个项目不太合适因为下载模型、挑参数这些步骤省不掉。客观说一句界面不算特别精致但功能覆盖得比较全从聊天到API到训练都留了入口。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 text-generation-webui教程：本地大模型对话应用从安装到第一次对话
text-generation-webui教程本地大模型对话应用从安装到第一次对话【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui是做什么的text-generation-webui是一个开源的本地大模型对话应用你把自己的模型下载放到机器上就能在浏览器界面里和它聊天同时它还对外提供一个兼容OpenAI的API。说白了它面向两类人——想在自己电脑上跑AI助手的人以及想把本地模型接进已有程序里做二次开发的人。所有对话数据都留在本机没有遥测。 从安装到第一次运行第一步获取代码git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui第二步进入项目目录运行启动脚本./start_linux.sh # Windows用start_windows.batmacOS用start_macos.sh第一次运行会提示选择GPU厂商NVIDIA、AMD或CPU等脚本会自己用Miniforge把整套依赖装进installer_files/目录全程不需要你手动敲pip。之后每次启动直接再跑一遍同样的脚本就行。第三步打开界面终端提示服务就绪后在浏览器打开http://127.0.0.1:7860会看到Chat、Default、Parameters、Model、Training等一排页签这就是第一个可用的界面。另外两种安装方式一句话带过手动建conda环境再pip install -r requirements/full/requirements.txt可以解锁Transformers、ExLlamaV3等更多后端以及LoRA训练但要下载约10GB依赖还有docker/目录下按硬件分好的Docker文件。只是想聊天跑通的话脚本这条路最短。️ 第一次对话加载模型、发消息、换角色加载第一个模型最省心的模型格式是GGUF。用内置的下载工具拉一个python download-model.py organization/model-name文件会直接放进user_data/models/界面自动识别你也可以从Hugging Face网站手动下载GGUF文件后丢进这个目录。然后在Model页签的下拉框里选中模型点Load加载器会自动选llama.cpp不需要手动指定。发出第一条消息切到Chat页签先选对话模式instruct适合Qwen、Llama这类指令模型chat和chat-instruct是给角色扮演的。模型加载完输入用两句话介绍一下你自己发送回复会逐字流式出现。聊到一半想改前面某句话直接点击那条消息编辑再重新生成就行对话可以在这条消息处分叉不用整段删掉重来。换一个角色角色配置就是user_data/characters/目录下的YAML文件。项目自带两个默认角色其中Example是一个戴眼镜的动漫工程师人设想自己造一个复制一份YAML改三个字段就行name是角色名greeting是开场白context写性格设定比如你是一个耐心讲技术细节的工程师。在Chat页签的角色下拉框里选中它对话就会从你写的greeting开始。让它更顺手3条按硬件来的建议如果你的显卡显存在8GB及以下挑4bit量化的GGUF文件并在Model页签把ctx_size调成2048或4096。上下文长度会预先分配KV缓存显存不够时它通常是第一个该降的参数。如果你是纯CPU运行启动脚本里选CPU选项llama.cpp后端比Transformers在CPU上快得多参数方面建议把temperature稍微调低一点或者直接用Parameters页签的预设菜单加载一个社区投票过的预设比手调十几个参数稳。如果想让回复更长或更短不要去碰一大堆采样参数把Generation区域的max_new_tokens调大并勾上auto_max_new_tokens模型会一直生成到上下文上限省得反复点Continue。⚠️ 容易卡住的地方模型不在下拉列表里现象文件放进去了Model页签下拉框里还是空的。原因是路径不对或文件放进了错误的目录。解法确认文件确实在user_data/models/里然后点一下下拉框旁的刷新按钮再试。加载失败报显存不足现象点Load后进程卡住或报out of memory。原因是模型量化位宽偏高或ctx_size设得太大。解法换更低量化的文件Q4_K_M一般比较均衡或把ctx_size和gpu_layers往下调。第一次启动脚本报依赖错误现象刚clone完就跑start_linux.sh终端报缺包或命令找不到。原因是首次运行要等脚本把环境装完这个过程会花几分钟到十几分钟。解法让第一次安装完整跑完中途断了就重跑同一个脚本它会接着装。这个本地大模型工具适合谁适合想在自己电脑上跑对话、看图片、接工具调用并且在意数据不出本地的人哪怕只有CPU跑通了也能动用只是响应慢一些。如果你只是想用一个即开即用的在线聊天产品这个项目不太合适因为下载模型、挑参数这些步骤省不掉。客观说一句界面不算特别精致但功能覆盖得比较全从聊天到API到训练都留了入口。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考