5分钟快速上手Nemotron-3-Embed-1B-NVFP4从安装到第一个检索应用【免费下载链接】Nemotron-3-Embed-1B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-1B-NVFP4想要快速构建高效的文本检索应用吗NVIDIA的Nemotron-3-Embed-1B-NVFP4正是您需要的解决方案这个强大的多语言文本嵌入模型能够在短短几分钟内帮您搭建起专业的语义搜索系统。无论您是AI新手还是经验丰富的开发者这篇指南将带您从零开始5分钟内完成安装并创建您的第一个检索应用什么是Nemotron-3-Embed-1B-NVFP4Nemotron-3-Embed-1B-NVFP4是NVIDIA推出的高效文本嵌入模型专门为检索增强生成RAG和多语言语义搜索设计。这个模型基于Ministral-3-3B架构经过NVFP4量化优化在保持高精度的同时大幅提升了推理速度。核心功能亮点✅ 支持34种语言的多语言文本嵌入✅ 2048维高精度嵌入向量✅ 最高支持32,768个tokens的长文本处理✅ 专为vLLM推理引擎优化✅ 开箱即用的商业许可环境准备与安装系统要求在开始之前请确保您的系统满足以下要求Python 3.8或更高版本NVIDIA GPU支持Ampere、Blackwell、Hopper或Lovelace架构Linux操作系统足够的GPU内存快速安装步骤克隆项目仓库首先获取项目代码git clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-1B-NVFP4 cd Nemotron-3-Embed-1B-NVFP4安装依赖包使用pip安装必要的Python包pip install --upgrade vllm0.25.0 openai requests numpy注意vLLM 0.25.0是经过测试的推荐版本确保兼容性和稳定性。您的第一个检索应用本地推理示例创建一个简单的Python脚本体验Nemotron-3-Embed-1B-NVFP4的强大功能import numpy as np from vllm import LLM # 配置模型参数 MODEL_ID nvidia/Nemotron-3-Embed-1B-NVFP4 MAX_MODEL_LEN 4096 MAX_BATCHED_TOKENS 4096 # 准备查询和文档 QUERIES [ 如何学习Python编程, 什么是机器学习, 深度学习有哪些应用 ] DOCUMENTS [ Python是一种高级编程语言适合初学者学习。, 机器学习是人工智能的一个分支让计算机从数据中学习。, 深度学习在图像识别、自然语言处理等领域有广泛应用。 ] def main(): # 初始化模型 llm LLM( modelMODEL_ID, max_model_lenMAX_MODEL_LEN, max_num_batched_tokensMAX_BATCHED_TOKENS, max_cudagraph_capture_sizeMAX_BATCHED_TOKENS, ) # 格式化输入文本 texts [query: query for query in QUERIES] [ passage: doc for doc in DOCUMENTS ] # 生成嵌入向量 outputs llm.embed(texts, use_tqdmFalse) embeddings np.array( [output.outputs.embedding for output in outputs], dtypenp.float32, ) # 计算相似度 query_embeddings embeddings[: len(QUERIES)] document_embeddings embeddings[len(QUERIES) :] scores query_embeddings document_embeddings.T # 输出结果 print(语义相似度矩阵) print(f{:8} .join(f文档[{i}] for i in range(scores.shape[1]))) for query_index, row in enumerate(scores): print(f查询[{query_index}] .join(f{score:7.4f} for score in row)) if __name__ __main__: main()运行结果解析运行上述代码您将看到类似以下的输出语义相似度矩阵 文档[0] 文档[1] 文档[2] 查询[0] 0.8521 0.0234 0.0012 查询[1] 0.0312 0.7689 0.0456 查询[2] 0.0056 0.0421 0.8123结果解读对角线上的数值最高表示查询与对应文档最相关数值范围在-1到1之间越接近1表示相似度越高您可以基于这些分数构建智能检索系统模型服务化部署启动vLLM服务想要将模型部署为API服务只需一行命令MODEL_IDnvidia/Nemotron-3-Embed-1B-NVFP4 MAX_MODEL_LEN4096 MAX_BATCHED_TOKENS4096 vllm serve $MODEL_ID \ --max-model-len $MAX_MODEL_LEN \ --max-num-batched-tokens $MAX_BATCHED_TOKENS \ --max-cudagraph-capture-size $MAX_BATCHED_TOKENS客户端调用示例服务启动后您可以通过HTTP API调用模型import numpy as np import requests MODEL nvidia/Nemotron-3-Embed-1B-NVFP4 URL http://localhost:8000/v2/embed def embed(input_type: str, texts: list[str]) - np.ndarray: response requests.post( URL, json{ model: MODEL, input_type: input_type, texts: texts, embedding_types: [float], truncate: END, }, timeout120, ) response.raise_for_status() return np.array(response.json()[embeddings][float], dtypenp.float32) # 使用示例 queries [今天的天气怎么样] documents [今天天气晴朗温度25度。] query_embeddings embed(query, queries) document_embeddings embed(document, documents) similarity query_embeddings document_embeddings.T print(f相似度{similarity[0][0]:.4f})高级配置技巧CUDA图大小优化为了获得最佳性能您可以根据实际需求调整CUDA图大小# 针对长文本优化最高32,768 tokens MODEL_IDnvidia/Nemotron-3-Embed-1B-NVFP4 MAX_BATCHED_TOKENS32768 vllm serve $MODEL_ID \ --max-num-batched-tokens $MAX_BATCHED_TOKENS \ --cudagraph-capture-sizes \ 1 2 4 8 16 24 32 40 48 56 64 72 80 88 96 104 112 120 128 \ 136 144 152 160 168 176 184 192 200 208 216 224 232 240 248 256 \ 384 512 768 1024 1536 2048 3072 4096 6144 8192 12288 16384 \ 24576 32768多语言支持Nemotron-3-Embed-1B-NVFP4原生支持34种语言包括英语、中文、日语、韩语法语、德语、西班牙语、意大利语阿拉伯语、俄语、印地语等您可以直接使用各种语言的文本进行检索无需额外配置实际应用场景1. 文档检索系统构建智能文档搜索引擎快速找到相关文档内容。2. 问答机器人为您的聊天机器人添加知识库检索能力提供更准确的答案。3. 内容推荐基于语义相似度为用户推荐相关内容。4. 多语言搜索构建支持多种语言的统一搜索系统。性能优化建议批量处理同时处理多个查询以提高吞吐量适当截断对于长文本合理设置max_model_lenGPU选择根据需求选择合适的NVIDIA GPU型号内存优化调整max_num_batched_tokens平衡性能与内存使用常见问题解答Q: 模型支持的最大文本长度是多少A: 模型最大支持32,768个tokens但建议根据实际需求设置合适的max_model_len。Q: 如何处理中文文本A: 模型原生支持中文直接输入中文文本即可无需特殊处理。Q: 需要多少GPU内存A: 建议使用至少16GB显存的GPU以获得良好性能。Q: 如何评估检索质量A: 可以使用RTEBRetrieval Embedding Benchmark等标准基准进行评估。下一步学习掌握了基本用法后您可以探索config.json中的模型配置参数查看config_sentence_transformers.json了解Sentence Transformers兼容配置研究tokenizer_config.json了解分词器设置参考官方文档深入理解模型架构和优化技巧总结Nemotron-3-Embed-1B-NVFP4为开发者和企业提供了一个强大而高效的文本嵌入解决方案。通过这篇快速上手指南您已经学会了✅ 环境配置与安装 ✅ 本地推理与API服务部署✅ 多语言文本检索应用开发 ✅ 性能优化技巧现在就开始使用Nemotron-3-Embed-1B-NVFP4为您的应用添加智能检索能力吧如果您在开发过程中遇到任何问题欢迎查阅项目文档或参与社区讨论。记住成功的AI应用不仅需要强大的模型更需要巧妙的工程实现。Nemotron-3-Embed-1B-NVFP4为您提供了坚实的基础剩下的就是您的创意和实现了提示开始您的第一个项目时建议从小规模开始逐步扩展到更复杂的应用场景。祝您开发顺利【免费下载链接】Nemotron-3-Embed-1B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-1B-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考