whisper.cpp CUDA加速把跑一整夜的转录压进10分钟的3步配置法【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp两小时的会议录音用CPU转录到天亮还没跑完——这是很多用 whisper.cpp 的人的真实处境。whisper.cpp 是 OpenAI Whisper 语音识别模型的 C/C 实现它的 CUDA 支持能把编码器这类重计算直接丢给 NVIDIA GPU多数卡上编码器耗时能降一个量级同样的音频队列几小时内就能消化完。 先判断你的卡够不够格别急着编译先对号入座。显存是唯一的硬门槛模型越大吃得越多模型显存需求约最低可跑的卡tiny1~2 GBGTX 1650base2~4 GBRTX 3060small4~6 GBRTX 3070 / 4060medium6~8 GBRTX 3080 / 4070large8 GBRTX 3090 / 4090对不上的别硬上要么退回 CPU 编译要么换跨厂商的 Vulkan 方案编译时改成-DGGML_VULKAN1即可说明见 README。 三步跑通拿到代码、开一个开关、下一条命令第一步拿代码和模型git clone https://gitcode.com/GitHub_Trending/wh/whisper.cpp cd whisper.cpp ./models/download-ggml-model.sh base.en第二步编译时打开唯一的 CUDA 开关其余选项都保持默认cmake -B build -DGGML_CUDA1 cmake --build build -j --config Release第三步用仓库自带的 jfk.wav 验证./build/bin/whisper-cli -m models/ggml-base.en.bin -f samples/jfk.wav启动日志里会打印实际启用的后端看到 cuda 就说明模型权重已经落在显存里。CUDA 内核的实现在 ggml/src/ggml-cuda/一般用不到知道在哪就行。 提速清单量化、调参、省显存量化把模型压小显存和读取带宽一起省。Q5_0 通常是不掉精度的答案./build/bin/quantize models/ggml-base.en.bin models/ggml-base.en-q5_0.bin q5_0量化级别体积/显存减少精度代价Q4_0约 75%轻微Q5_0约 60%基本无感Q8_0约 25%可忽略调参-t 4调 CPU 侧线程长音频加-ml 16限制生成长度防止解码跑飞。省显存显存吃紧时按顺序退——换 base 或量化版模型 → 把长音频切开分批喂 → 最后再考虑更小的模型。工具源码在 examples/quantize/。✅ 验证与上线确认加速真的生效跑一次基准工具量化前后各测一遍看编码器耗时掉了多少./build/bin/whisper-bench -m models/ggml-base.en.bin -t 4这个工具只跑编码器部分、计时干净是判断GPU 到底有没有干活的最直接依据实现见 examples/bench/。要批量对比多组配置用 scripts/bench.py 会更方便。上线两句话容器化就用带 CUDA Toolkit 的官方基础镜像构建命令和上面完全一样多卡机器用CUDA_VISIBLE_DEVICES0指定用哪张卡避免模型被调度到没显存的那张。 三个最常卡住人的问题各一行解决现象编译时报 CUDA not found。解决先装好 CUDA Toolkit 并用nvcc --version确认再重跑-DGGML_CUDA1的编译。现象推理报 CUDA out of memory。解决先nvidia-smi看显存被谁占了然后换量化版或更小的模型重跑。现象结果很快但怀疑其实还在 CPU 上跑。解决看启动日志的后端打印并用watch -n 1 nvidia-smi盯推理期间的 GPU 占用率占用不动就是没上卡。今晚就能做完的事把仓库克隆下来用-DGGML_CUDA1编译一遍跑samples/jfk.wav再用 whisper-bench 记下你这张卡的编码器耗时。数字出来值不值得上 GPU、下一步换哪个模型就都有答案了。【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 whisper.cpp CUDA加速：把跑一整夜的转录压进10分钟的3步配置法
whisper.cpp CUDA加速把跑一整夜的转录压进10分钟的3步配置法【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp两小时的会议录音用CPU转录到天亮还没跑完——这是很多用 whisper.cpp 的人的真实处境。whisper.cpp 是 OpenAI Whisper 语音识别模型的 C/C 实现它的 CUDA 支持能把编码器这类重计算直接丢给 NVIDIA GPU多数卡上编码器耗时能降一个量级同样的音频队列几小时内就能消化完。 先判断你的卡够不够格别急着编译先对号入座。显存是唯一的硬门槛模型越大吃得越多模型显存需求约最低可跑的卡tiny1~2 GBGTX 1650base2~4 GBRTX 3060small4~6 GBRTX 3070 / 4060medium6~8 GBRTX 3080 / 4070large8 GBRTX 3090 / 4090对不上的别硬上要么退回 CPU 编译要么换跨厂商的 Vulkan 方案编译时改成-DGGML_VULKAN1即可说明见 README。 三步跑通拿到代码、开一个开关、下一条命令第一步拿代码和模型git clone https://gitcode.com/GitHub_Trending/wh/whisper.cpp cd whisper.cpp ./models/download-ggml-model.sh base.en第二步编译时打开唯一的 CUDA 开关其余选项都保持默认cmake -B build -DGGML_CUDA1 cmake --build build -j --config Release第三步用仓库自带的 jfk.wav 验证./build/bin/whisper-cli -m models/ggml-base.en.bin -f samples/jfk.wav启动日志里会打印实际启用的后端看到 cuda 就说明模型权重已经落在显存里。CUDA 内核的实现在 ggml/src/ggml-cuda/一般用不到知道在哪就行。 提速清单量化、调参、省显存量化把模型压小显存和读取带宽一起省。Q5_0 通常是不掉精度的答案./build/bin/quantize models/ggml-base.en.bin models/ggml-base.en-q5_0.bin q5_0量化级别体积/显存减少精度代价Q4_0约 75%轻微Q5_0约 60%基本无感Q8_0约 25%可忽略调参-t 4调 CPU 侧线程长音频加-ml 16限制生成长度防止解码跑飞。省显存显存吃紧时按顺序退——换 base 或量化版模型 → 把长音频切开分批喂 → 最后再考虑更小的模型。工具源码在 examples/quantize/。✅ 验证与上线确认加速真的生效跑一次基准工具量化前后各测一遍看编码器耗时掉了多少./build/bin/whisper-bench -m models/ggml-base.en.bin -t 4这个工具只跑编码器部分、计时干净是判断GPU 到底有没有干活的最直接依据实现见 examples/bench/。要批量对比多组配置用 scripts/bench.py 会更方便。上线两句话容器化就用带 CUDA Toolkit 的官方基础镜像构建命令和上面完全一样多卡机器用CUDA_VISIBLE_DEVICES0指定用哪张卡避免模型被调度到没显存的那张。 三个最常卡住人的问题各一行解决现象编译时报 CUDA not found。解决先装好 CUDA Toolkit 并用nvcc --version确认再重跑-DGGML_CUDA1的编译。现象推理报 CUDA out of memory。解决先nvidia-smi看显存被谁占了然后换量化版或更小的模型重跑。现象结果很快但怀疑其实还在 CPU 上跑。解决看启动日志的后端打印并用watch -n 1 nvidia-smi盯推理期间的 GPU 占用率占用不动就是没上卡。今晚就能做完的事把仓库克隆下来用-DGGML_CUDA1编译一遍跑samples/jfk.wav再用 whisper-bench 记下你这张卡的编码器耗时。数字出来值不值得上 GPU、下一步换哪个模型就都有答案了。【免费下载链接】whisper.cppPort of OpenAIs Whisper model in C/C项目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考