文章目录llmfit一条命令找出你的硬件能跑哪个大模型1、这玩意儿是干嘛的2、支持什么硬件3、怎么用4、评分逻辑5、社区排行榜6、硬件模拟7、适合谁llmfit一条命令找出你的硬件能跑哪个大模型llmfit 在 GitHub 上已经拿到 28,655 Star 了。这是一个 Rust 写的终端工具专门干一件事——检测你的硬件配置然后从几百个模型里筛出哪些能在你的机器上跑得好。1、这玩意儿是干嘛的本地跑大模型的人都碰到过这个问题下了个模型加载时发现显存不够或者跑起来慢得没法用。llmfit 解决的就是这个。它读取你的 CPU、内存、显卡信息然后对每个模型做多维度打分——质量、速度、内存适配、上下文长度最后告诉你哪些模型能跑哪些跑得最好。2、支持什么硬件显卡方面覆盖比较全NVIDIA通过 nvidia-smi 探测支持多卡聚合显存AMD通过 rocm-smi 探测Intel Arc独显走 sysfs核显走 lspciApple Silicon统一内存架构VRAM 等于系统内存昇腾 NPU通过 npu-smi 探测模型数据库里有几百个模型数据从 HuggingFace API 拉取编译时直接嵌入二进制文件。内存需求按参数量和量化等级计算从 Q8_0 到 Q2_K 逐级尝试找到质量最高且能塞进你显存的那个。MoE 架构的模型也有专门处理。比如 Mixtral 8x7B 总参数 46.7B但每个 token 只激活约 12.9B实际显存需求从 23.9GB 降到 6.6GB 左右。3、怎么用安装方式多样各平台都有# Windowsscoopinstallllmfit# macOS / LinuxbrewinstallAlexsJones/llmfit/llmfit# Pythonuv toolinstall-Ullmfit# Dockerdockerrun ghcr.io/alexsjones/llmfit直接运行llmfit启动交互式 TUI 界面。顶栏显示你的硬件信息主体是模型列表按综合得分排序。每行能看到分数、预估速度、推荐量化方案、内存占用和适用场景。也支持纯命令行模式# 查看硬件信息llmfit system# 只看完美适配的模型取前5个llmfit fit--perfect-n5# 按用途筛选推荐llmfit recommend--json--use-case coding--limit34、评分逻辑每个模型在四个维度上打分每项 0-100维度衡量内容Quality参数量、模型家族口碑、量化惩罚、任务匹配度Speed基于后端、参数量和量化等级估算的 tokens/secFit内存利用率最佳区间可用内存的 50-80%Context上下文窗口能力与目标场景的匹配程度四个维度加权合成总分。权重按用途不同而变化Chat 场景 Speed 权重 0.35Reasoning 场景 Quality 权重 0.55。速度估算基于显存带宽公式(bandwidth_GB_s / model_size_GB) x efficiency_factor。内置约 80 张显卡的带宽查表覆盖 NVIDIA、AMD 和 Apple Silicon。5、社区排行榜按b打开社区排行榜。数据来自 localmaxxing.com展示的是真实用户在同款硬件上的实测数据——实际 tokens/sec、首 token 延迟、峰值显存占用。这个功能的价值在于用实测数据弥补理论估算的偏差。内置 27 个硬件预设从 RTX 5090 到 Apple M1 都有覆盖。6、硬件模拟按S打开硬件模拟弹窗可以手动覆盖内存、显存和核心数看不同配置下哪些模型能跑。适合买卡之前做评估或者想看看升级后能多跑什么模型。还提供 Plan 模式按p反向操作选一个模型工具会告诉你需要什么硬件才能跑起来。7、适合谁想在本地跑大模型但不确定自己硬件能撑什么的人准备买显卡想提前评估不同型号能跑哪些模型的开发者在做多模型部署、需要为不同节点选配模型的场景项目地址AlexsJones/llmfit己硬件能撑什么的人准备买显卡想提前评估不同型号能跑哪些模型的开发者在做多模型部署、需要为不同节点选配模型的场景项目地址AlexsJones/llmfit