如果你最近在纠结“笔记本上跑本地大模型到底要不要死磕独显”那么这个对比测试的思路可以直接抄作业。这次我们来看一个非常实际的选题同一套本地 LLM分别放在搭载 RTX 5070 独显的笔记本和只有 iGPU 核显的笔记本上运行最终差异会落在哪些地方。先说结论方向这类对比测试关注的不只是“谁跑得快”而是“这个模型能不能跑起来”“显存够不够”“交互响应是否可用”“批量任务能不能扛住”。RTX 5070 笔记本的优势在于独立显存和 CUDA 加速iGPU 笔记本则依赖共享内存和 CPU 协同计算两者的部署方式、模型选择、Ollama/llama.cpp 这类推理工具的参数配置都会不一样。这篇文章不会讲空泛的 AI 概念而是围绕“模型选型、环境准备、启动方式、功能验证、API 调用、性能观察、问题排查”给出一套完整的本地 LLM 对比测试流程。无论你手里是 RTX 5070 独显本还是只有 iGPU 的轻薄本都可以照着这套方法评估自己的设备到底能玩多大模型、能跑到什么程度。1. 核心能力速览在正式开始之前先把两种设备的定位和测试重点列出来。因为不同笔记本的硬件配置差异很大下面的表格以“常见本地部署经验”为基础具体数值必须按你手上的机器实测确认。能力项RTX 5070 笔记本iGPU 核显笔记本核心加速单元NVIDIA 独显支持 CUDA核显依赖共享内存CPU 参与计算显存来源独立显存容量看厂商配置从系统内存划分受 BIOS 和系统限制适合模型规模从常见部署经验看更适合 7B 到 14B 量化模型更稳妥的是 1.5B 到 3B 量化模型再大需要看内存和 CPU支持精度FP16 / BF16 / INT8 / INT4 等取决于推理工具低精度量化更友好FP16 在大模型上压力较大启动方式Ollama / llama.cpp / LM Studio 等命令行或 GUI同样支持 Ollama / llama.cpp但需要关注 CPU 指令集API 能力支持/api/generate、/api/chat这类本地接口支持同样的接口但并发能力弱批量任务可以脚本循环调用适合一次测多组 prompt能跑但需要控制并发和上下文长度主要门槛显存容量、驱动版本、CUDA 环境内存大小、CPU 性能、散热、共享内存占用适合场景本地开发、Agent 原型、代码辅助、RAG 测试轻量对话、文本分类、小模型验证、出差临时用注意这张表里的“适合模型规模”不是绝对标准。你在 8GB 显存的 RTX 5070 笔记本上跑 14B 量化模型和你在 32GB 内存的 iGPU 笔记本上跑 7B 量化模型完全可能得到不同的结论。这也是为什么对比测试不能只看跑分要结合自己的实际硬件和使用场景来判断。2. 适用场景与使用边界2.1 适合谁这套对比流程最适合三类人。第一类是打算入手 RTX 5070 笔记本、但不确定本地大模型提升到底明不明显的人。通过同一模型的测试你可以量化独显在推理速度、上下文处理、并发能力上的优势。第二类是只有 iGPU 轻薄本、又想在离线环境跑 LLM 的人。核显本并不是不能跑模型关键在于选对模型大小、量化和推理方式。第三类是开发者。你在做 LLM Agent、RAG、本地知识库这类项目时经常需要把模型接入自动化流程这时候接口能力、批量任务、脚本调用的稳定性比单次生成速度更重要。2.2 使用边界这个对比测试有明确的边界不是所有 LLM 都适合在 iGPU 上跑。大参数模型即使能加载也可能慢到不可用。独显显存是硬约束。RTX 5070 笔记本如果显存只有 8GB就不要强行加载未量化的 14B 模型。iGPU 共享系统内存后会影响整机性能。你边跑模型边开浏览器、IDE卡顿是正常现象。涉及隐私数据时优先选本地部署。但本地部署不代表可以随意使用模型权重和训练数据需要遵守模型的 License。涉及人脸、声音、版权素材等生成类内容时必须先确认授权不能在未经许可的情况下处理他人信息。3. 本地部署环境准备对比测试涉及硬件差异环境准备要分别对待。3.1 RTX 5070 笔记本环境准备RTX 5070 笔记本建议按以下清单检查操作系统Windows 11 或 Linux推荐 Windows 11 做首次测试。显卡驱动安装 NVIDIA 最新驱动Windows 下打开nvidia-smi确认驱动能识别 GPU。CUDA 环境Ollama 自带 CUDA 运行时通常不需要手动安装完整版 CUDA Toolkit如果自己用 llama.cpp 编译再根据项目说明安装对应版本。推理工具Ollama、llama.cpp、LM Studio 三选一。新手建议先用 Ollama。Python如果后续要写 API 调用和批量脚本装 Python 3.10 及以上。磁盘空间模型文件至少预留 20GB 以上。7B 量化模型通常 4GB 到 6GB14B 量化模型可能超过 8GB。端口Ollama 默认监听127.0.0.1:11434注意不要和其他服务冲突。检查 NVIDIA 驱动的命令nvidia-smi如果能看到类似下面的输出说明独显驱动正常----------------------------------------------------------------------------- | NVIDIA-SMI 560.xx.xx Driver Version: 560.xx.xx CUDA Version: 12.x | |---------------------------------------------------------------------------3.2 iGPU 核显笔记本环境准备iGPU 笔记本环境准备更依赖系统资源操作系统Windows 11 或 Linux 均可建议先看推理工具对 CPU 指令集的要求。内存至少 16GB如果跑 7B 量化模型更稳妥的是 32GB。共享显存部分笔记本 BIOS 可以调整核显共享显存大小但现代 Windows 下很多推理工具会动态使用系统内存不一定受固定共享显存限制。CPU需要支持 AVX2部分工具还要求 AVX512 或 AMX。老旧的 CPU 可能导致模型无法加载。推理工具同样推荐 Ollama因为它会自动选择适合 CPU 的优化方式。磁盘空间同上根据模型大小预留空间。检查 CPU 指令集在 Windows PowerShell 里执行Get-CimInstance Win32_Processor | Select-Object Name, Description也可以直接用 CPU-Z 这类工具查看是否支持 AVX2。这个信息决定了你能不能跑新版 llama.cpp。3.3 模型文件准备对比测试建议固定一个模型和量化版本不要在两台设备上用不同量化版本否则对比没有意义。推荐模型小模型qwen2.5:3b或llama3.2:3b适合 iGPU 笔记本先跑通流程。中模型qwen2.5:7b-instruct-q4_K_M适合 RTX 5070 笔记本的首次压力测试。拉取模型的命令ollama pull qwen2.5:7b-instruct-q4_K_M如果你在 iGPU 笔记本上测试先拉小模型ollama pull qwen2.5:3b模型下载需要稳定的网络环境下载过程中断后可以重新执行相同命令Ollama 支持断点续传。4. 安装部署与启动方式4.1 安装 OllamaOllama 是目前本地跑 LLM 最省事的工具之一。Windows 和 macOS 都有安装包Linux 可以用脚本安装。Windows 安装后默认启动本地服务终端执行ollama serve如果没有输出错误服务会在11434端口监听。4.2 启动本地模型拉取模型后运行模型ollama run qwen2.5:7b-instruct-q4_K_M进入交互模式后输入你好测试基础对话。退出交互模式输入/bye。4.3 使用 llama.cpp 作为备选方案如果需要更高自由度的性能观察可以编译 llama.cpp。这里给出一套通用流程git clone https://github.com/ggml-org/llama.cpp cd llama.cpp mkdir build cd build cmake .. -DGGML_CUDAON cmake --build . --config Release这个命令里-DGGML_CUDAON是给 NVIDIA 独显用的。如果你在 iGPU 笔记本上编译直接用 CPU 版本去掉这个参数即可。实际编译前需要根据你的显卡驱动版本和 CMake 环境调整参数。4.4 通过 LM Studio 快速启动不想敲命令的话LM Studio 是另一个选择。它提供图形界面可以直接选择模型文件并启动本地服务。启动后同样会暴露一个 OpenAI 兼容接口适合不太熟悉命令行的用户。4.5 验证服务是否启动无论使用哪种工具验证服务是否正常可以访问curl http://127.0.0.1:11434/api/version返回 JSON 说明服务正常{ version: 0.x.x }5. 功能测试与效果验证对比测试的目的不是跑一次生成就结束而是围绕几个关键维度做系统验证。5.1 测试一基础中文对话测试目的确认模型在两种硬件上都能正常加载和输出。输入你好请用一句话介绍你自己。操作步骤在 RTX 5070 笔记本上执行ollama run。输入上面的提示词观察首次回复速度。在 iGPU 笔记本上执行同样操作。记录从输入到首字输出的时间。预期结果两台设备都能产生合理回复RTX 5070 首字延迟明显更低。判断标准只要模型开始流式输出文字就说明加载成功。如果长时间没有输出需要检查模型是否真正完全加载到内存或显存。5.2 测试二代码生成与结构化输出测试目的验证模型在实用任务上的生成质量和速度。输入请写一个 Python 函数读取目录下所有 JSON 文件并返回合并后的字典列表。操作步骤在两种设备上分别执行。观察生成代码是否完整、缩进是否正确。对比生成 200 个 token 所需时间。预期结果RTX 5070 笔记本生成速度更快但 iGPU 笔记本只要模型选择合适也能完成代码生成。判断标准代码能够直接复制运行、没有截断说明任务成功。如果输出到一半停止优先排查上下文窗口是否设置过小。5.3 测试三长文本摘要测试目的观察长上下文的处理能力。输入一段 2000 字左右的文章要求模型输出摘要。操作步骤在 RTX 5070 笔记本上使用默认上下文长度测试。在 iGPU 笔记本上使用相同上下文长度测试。记录是否出现显存不足或内存溢出。预期结果RTX 5070 笔记本处理更流畅iGPU 笔记本如果内存不足可能加载阶段就失败。判断标准模型能输出摘要且内容相关说明长文本链路正常。如果 iGPU 笔记本失败可能原因包括共享内存不足、上下文长度设置过大、模型量化精度偏低导致幻觉增多。5.4 测试四连续多轮对话测试目的验证多轮对话状态管理能力。操作步骤先问“11 等于几”。再问“刚才的结果再加 3 呢”。观察模型是否能正确引用前文结果。预期结果两种设备都能完成多轮对话但 iGPU 笔记本在轮次增加后会越来越慢因为历史 token 全部参与计算。判断标准第二问能答出 5说明对话状态正常。如果答错可能上下文丢失也可能是模型本身能力限制。5.5 测试五批量短文本分类测试目的模拟实际批量调用场景。输入10 条中文短文本例如“这个电影真好看”“快递一直没送到”“客服态度很好”等。操作步骤编写循环脚本逐条调用/api/generate。设置请求间隔为 1 秒避免瞬时并发压垮服务。统计完成时间和成功率。预期结果RTX 5070 笔记本可以在几分钟内完成iGPU 笔记本耗时更长但小模型也能完成。判断标准10 条请求全部返回结果为成功。如果中间超时需要调整超时时间和批处理数量。6. 接口 API 与批量任务6.1 OpenAI 兼容接口调用Ollama 的接口兼容 OpenAI Chat Completions 格式但具体路径和请求体需要以本机版本为准。通用的调用方式如下curl http://127.0.0.1:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b-instruct-q4_K_M, messages: [ {role: user, content: 中国有多少个省份} ], stream: false }如果返回 JSON 中包含choices字段说明接口调用成功。6.2 Python 脚本调用接口批量任务建议用 Python 脚本。下面是一个通用模板可以直接拷贝修改import requests import json import time url http://127.0.0.1:11434/v1/chat/completions prompts [ 请用一句话介绍杭州。, 请用一句话介绍成都。, 请用一句话介绍西安。, ] headers {Content-Type: application/json} results [] for idx, prompt in enumerate(prompts, start1): payload { model: qwen2.5:7b-instruct-q4_K_M, messages: [{role: user, content: prompt}], stream: False } try: response requests.post(url, jsonpayload, timeout120) response.raise_for_status() data response.json() content data[choices][0][message][content] results.append({index: idx, prompt: prompt, response: content}) print(f[{idx}] 成功: {content[:30]}...) except Exception as e: results.append({index: idx, prompt: prompt, error: str(e)}) print(f[{idx}] 失败: {e}) # 控制请求频率避免一次性压垮服务 time.sleep(1) with open(batch_results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(批量任务完成结果已保存到 batch_results.json)这个脚本适合在 RTX 5070 笔记本和 iGPU 笔记本上运行只需要把model字段改成你实际拉取的模型名称。批量任务的关键是保存日志和结果不要覆盖上一次的输出。6.3 批量任务中的参数控制批量任务不是并发越高越好。核显本上并发一高内存和 CPU 会直接吃满。建议初始并发数设为 1成功后再递增。每个请求单独设置超时时间避免某个长文本请求阻塞整个队列。对失败请求做重试重试次数建议 2 到 3 次间隔 5 秒以上。输出结果统一保存为 JSON Lines 格式方便后续统计。7. 资源占用与性能观察这是整个对比测试最关键的部分。不看资源占用只看“能跑不能跑”很难判断设备差异。7.1 如何观察显存和内存占用RTX 5070 笔记本上在生成过程中打开终端执行nvidia-smi关注Memory-Usage一栏可以看到模型加载后占用了多少显存。生成过程中显存占用会波动这是正常现象。如果显示CUDA out of memory说明模型太大或上下文太长。iGPU 笔记本上打开 Windows 任务管理器找到“性能”标签页查看“GPU 0”的“专用 GPU 内存”和“共享 GPU 内存”。共享内存来自系统 RAM占用过高会影响整机响应。也可以用ollama ps查看当前加载的模型占用了多少内存。7.2 CPU 推理和 GPU 推理的差异RTX 5070 笔记本走的是 GPU 推理模型层和计算层都跑在 CUDA 核心上CPU 主要负责任务调度和输入处理。它的优势是显存带宽高、并行计算能力强生成速度更快CPU 占用相对低。iGPU 笔记本的实际算力很大程度取决于 CPU 和内存带宽。核显本身能参与计算但模型权重需要在系统内存和核显之间传递内存带宽会成为瓶颈。跑 7B 模型时CPU 占用通常会拉满内存带宽也接近饱和这是正常现象。7.3 不同参数对性能的影响上下文长度上下文越长需要参与计算的 token 越多生成速度越慢。iGPU 笔记本建议从 2048 开始测试RTX 5070 笔记本可以尝试 4096 或 8192。Batch SizeOllama 通常自动管理但自定义推理工具中增大 batch 可以提高吞吐量同时增加显存或内存占用。量化精度FP16/BF16 精度高但资源占用大INT8/INT4 量化可以降低资源需求但可能在复杂推理任务上出现质量下降。RTX 5070 对 FP16 的兼容性没有问题iGPU 笔记本建议优先选 INT4 或 INT8 量化版本。流式输出流式输出首字延迟更低但总时间可能更不稳定。批量任务建议关闭流式输出避免解析复杂化。7.4 如何降低资源占用如果 iGPU 笔记本跑大模型太慢或内存不足换更小的模型例如从 7B 降到 3B。使用更低的量化精度例如q4_K_M换成q3_K_S。缩短上下文长度不要一上来就开 8192。关闭浏览器、IDE 等占用内存的软件。在 BIOS 中如果允许给核显分配更大的共享显存。RTX 5070 笔记本如果显存不足优先降低模型量化精度其次减少并发请求数。8. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动检查服务日志执行ollama ps更换端口或重启服务nvidia-smi不显示 NVIDIA GPU驱动没装好或驱动版本过旧打开设备管理器查看显卡状态更新 NVIDIA 驱动拉取模型时一直卡住网络不稳定或镜像问题观察下载进度和日志重新执行拉取命令必要时配置镜像源模型加载后立即报显存不足模型太大或上下文太长查看 nvidia-smi 显存占用换更小模型或降低 context 长度iGPU 笔记本生成速度极慢内存带宽不足或 CPU 指令集不支持查看任务管理器 CPU 和内存占用换小模型关闭其他程序API 调用超时模型未加载完成或服务过载检查服务日志先手动运行一次模型增加请求超时时间降低并发多轮对话突然丢失上下文上下文窗口被截断查看输出是否出现截断标记增大上下文长度或重新提问批量任务中途卡住请求队列堆积或内存涨满查看服务日志和系统资源占用降低并发增加请求间隔和重试输出质量不稳定量化精度过低或模型能力不足对同一 prompt 做多次测试换成更高精度版本或换更合适的模型核显模式下整机卡顿共享内存被模型大量占用打开任务管理器查看内存占用率缩小模型或退出其他大型软件遇到问题先看日志不要凭猜。Ollama 服务启动时的终端窗口会打印日常日志哪个环节报错基本一目了然。9. 最佳实践与使用建议9.1 第一次先小参数测试无论你是 RTX 5070 笔记本还是 iGPU 笔记本第一次跑模型都应该用小模型、低上下文、短输入。先确认整条链路是通的再逐步加大参数。这样能把“模型太大”“显存不足”“驱动有问题”这类问题分离开。9.2 记录一套稳定的对比基线对比测试做完之后建议把以下信息记录到表格里设备型号和 CPU。显卡型号和显存容量。系统内存容量。推理工具和版本。模型名称、量化格式。上下文长度。单轮生成速度。批量任务耗时。资源占用峰值。下次想换模型或调整参数时直接和这个基线对比能快速判断改动是变好还是变差。9.3 模型、输入、输出分目录管理本地部署项目最容易乱的点就是文件到处放。建议统一规划目录结构llm-test/ models/ # 模型文件和工具脚本 inputs/ # 批量测试输入文本 outputs/ # 生成结果和日志 scripts/ # 测试和批量调用脚本模型文件如果由 Ollama 管理也可以不单独放但脚本和结果一定要分目录。9.4 接口服务限制访问范围Ollama 默认监听127.0.0.1只允许本机访问。如果你要通过局域网调用服务需要修改环境变量OLLAMA_HOST但这会暴露服务范围。建议只在可信内网启用并在生产环境前置 API 网关做鉴权。不要直接把本地模型服务暴露到公网。9.5 涉及隐私和版权数据的合规提醒本地部署 LLM 时输入数据可能包含个人隐私、商业信息或版权内容。部署前要确认模型权重是否允许用于你的场景。输入数据是否经过脱敏处理。如果模型用于生成人脸、声音、数字人等内容使用的素材是否获得授权。生成结果对外发布前是否经过人工复核。这些边界问题不是小事。本地部署解决了“数据不出本机”的技术问题但合规和授权问题仍然需要自己把控。9.6 从单模型走向 Agent 与 RAG当两种设备上的单模型测试都稳定后可以继续往两个方向扩展。第一个方向是 LLM Agent。Ollama 的接口已经支持工具调用相关的消息格式可以把本地模型接到自动化脚本里让模型根据任务目标决定调用哪些工具。RTX 5070 笔记本在 Agent 多轮调度上体验更好。第二个方向是 RAG。你可以先本地准备一个小型知识库接入llm向量检索流程先做文档切分和 Embedding再用本地模型回答检索到的内容。整个链路完全离线部署时需要考虑召回质量和生成质量两个环节。如果同时还在玩 ComfyUI 这类图像生成工具注意显存分配不要一边跑大语言模型一边生成高清图像否则很容易触发显存不足。10. 总结与下一步这个对比测试最值得尝试的点是把“硬件参数”和“实际使用体验”拉到一起看。RTX 5070 笔记本和 iGPU 笔记本都能跑本地 LLM但适合的模型规模、启动体验、接口响应和批量任务能力差异非常大。最先应该验证的是“同一模型能否在两种设备上正常加载”。如果连加载都过不去后面的速度和接口测试没有意义。最容易踩的坑是模型选得太大尤其是 iGPU 笔记本一上来就跑 7B 模型很可能直接内存溢出或慢到难以接受。后续可以继续扩展的方向包括不同量化精度对生成质量的影响、Agent 工具调用链路、RAG 本地知识库、更长上下文的窗口测试以及通过脚本生成一份性能对比报告。建议先保存好这篇对比测试的执行步骤下次换设备或换模型时直接复用这套流程。