作者来自 Elastic Elastic DevRel teamElastic DevRel 团队向你问好在本期新闻通讯中我们将介绍jina-embeddings-v5-omni、最新的博客和视频以及即将举行的活动。有哪些新内容Elastic 于 2025 年底收购了 Jina AIjina-embeddings-v5-omni现已在Elastic Inference Service上提供包括 small 和 nano 两个变体。该模型可在一个共享的嵌入空间中处理文本、图像、音频和视频因此你可以使用一个索引和一次查询跨所有媒体类型进行查询。一个索引即可搜索你今天无法搜索的一切你一定遇到过这样的情况某些内容确实存在于某个地方比如 PDF 附件、会议录音或者 120 个都叫 “每周利益相关者演示” 的文件之一但你的搜索引擎只能处理文本因此无法找到它。如今构建多模态搜索意味着必须接受以下两种折中方案之一。第一种是为每种模态使用单独的嵌入模型和索引然后在查询时以某种方式对结果进行排序和合并。第二种是使用一个大型多模态模型但这类模型通常拥有 70 多亿个参数运行缓慢且成本高昂而且最先进的模型通常是闭源权重因此你无法在本地运行它们也无法查看其内部内容。jina-embeddings-v5-omni采用了另一条路径一个紧凑的模型家族将四种模态全部映射到同一个向量空间因此文本查询可以直接检索相关的视频帧、音频片段或扫描文档而无需进行跨索引合并。跨模态搜索的实际应用文本查询 “cat” 在 《Breakfast at Tiffanys》 预告片的 28 个场景嵌入上的排序结果。猫出现的场景排在第一位。为了演示视频搜索Elastic 团队使用了 1961 年电影 《Breakfast at Tiffanys》 的预告片158 秒利用pyscenedetect将其拆分为 28 个场景并使用jina-embeddings-v5-omni-small将每个场景嵌入到同一个 Elasticsearch 索引中。使用单词 “cat” 进行查询时包含猫的场景被返回为排名第一的结果。查询 “kiss” 时则只返回接吻场景。整个过程完全基于纯文本无需任何视频专用处理流水线。同样的原理可以扩展到所有模态音频 → 图像向模型说出 “meow”会生成一个嵌入并从数据集中检索出猫的图片因为音频和图像共享同一个向量空间。图像 → 文档上传一张发票照片无需任何 OCR 或文本提取步骤即可在文档集合中找到匹配的发票。多模态查询一张汽车草图结合文本 “white”会检索出白色汽车的图片两种模态会融合为同一个查询向量。文本 → 音乐流派一个关于音乐流派的文本描述会返回匹配的音频片段这对于媒体库编目非常有用。在用于视频内部片段检索的 Charades-STA 基准测试中v5-omni-small的得分为55.57。ByteDance 的Seed 1.6一个闭源权重模型的得分为 29.3。论文指出片段检索即在较长视频中找到正确片段正是omni模型表现尤为出色的领域。基准测试50 亿参数以下表现最好的开源权重模型Charades-STA视频片段检索。v5-omni-small在不足 20v5-omni-small在四项标准基准测试中进行了测试用于文本的 MMTEB、用于图像的 MIEB、用于视频的 MMEB以及用于音频的 MAEB。它在这四项基准上的平均得分为53.93是所有参数少于 50 亿的开源权重模型中得分最高的。在视觉文档检索ViDoRe 基准中v5-omni-small使用不足 10 亿个激活参数其得分优于一个领先的 30 亿参数模型并接近一个 70 亿参数模型而后者的规模几乎是它的 8 倍。对于纯文本查询它继承了完整的jina-embeddings-v5-text基线而该模型本身已经在 MMTEB 上领先于同等规模的模型因此它也是所有同级别omni模型中文本性能最强的模型。Elasticsearch 集成向后兼容且存储高效由于v5-omni的文本骨干与v5-text完全没有改变因此该模型生成的文本嵌入按位完全一致。如果你已经基于jina-embeddings-v5-text构建了一个文本索引那么你可以直接向其中添加图像、音频和视频而无需重建索引也无需重新嵌入任何已有文档。v5-omni还继承了 Elasticsearch 的两项主要存储优化更优二进制量化Better Binary QuantizationBBQ对向量进行二值化实现93% 的存储空间减少同时准确率损失不到 3%。有关配置细节请参阅BBQ 文档。Matryoshka 表示学习嵌入可以截断到最少仅 32 个维度。不同模态对截断的敏感程度不同视频比文本或图像更敏感因此在选择维度预算之前请查看相应的权衡图表。将嵌入截断到 256 个维度并同时应用二进制量化可以显著减少索引占用空间同时保留大部分检索质量。在Elastic Inference Service上jina-embeddings-v5-omni-small和jina-embeddings-v5-omni-nano的推理端点和 Kibana 连接器都会自动创建无需任何手动配置。 Elastic 文档还介绍了如何通过 Hugging Face 进行本地部署。这两个模型也可通过Jina API和Hugging FaceCC-BY-NC-4.0获取。完整的技术文章包括架构细节和基准测试结果分析发布在 Elasticsearch Labs 博客和 arXiv 上的 GELATO 论文中。原始视频讲解可在B 站上观看。博客、视频和有趣的链接积分优惠通过 AWS Marketplace 或 Microsoft Marketplace 订阅 Elastic Cloud即可获得价值 1,000 美元的积分。持久化 agent 内存加入 Jeff Vestal了解如何使用 Elasticsearch 在 Claude Code 中为 AI agent 提供跨会话持久化内存。向量搜索Jeffrey Rengifo 分享了六个在 Elasticsearch 上构建 AI 搜索应用的向量搜索技巧。OGX 与 Elasticsearch跟随 Enrico Zimuel 学习如何将 Elasticsearch 配置为 OGX 向量存储、导入 PDF并构建一个 Python RAG agent。网络拓扑与 Connor Pierce 一起探索 Kibana 的 Network Topology 插件它提供了一个可直接部署的 Logstash 流水线、结构化模式以及拓扑视图。StreamsEdward Lewis 演示了如何在 Elastic Streams 中结合保留策略和数据层级配置降采样并提供实时预览和验证。安全Jamie Hynds 和 Mia LaVada 介绍了 Elastic Security 如何摄取 Google Threat Intelligence。Jamie Hynds 和 Sumana Mannem 演示了如何在 Elastic Security 中监控 Claude 活动。查看以下视频《你的 AI 编码 agent 变笨了而你却没有注意到》作者JP Hwang《用 12 个层级讲解搜索算法 BM25、向量、RAG 等》作者Jon Avezbaki《Elasticsearch 的全新默认嵌入模型详解》作者JD Armada精选社区博客《使用 Elastic Stack 轻松实现 TLS 证书监控》作者Raihan Iqbal《在 Elasticsearch 之上实现虚拟文件系统》作者Leonie Monigatti加入你所在地区的 Elastic User Group 分会获取即将举行活动的最新消息你也可以在 meetup.com 上找到我们。如果你有兴趣在 meetup 上进行分享请发送电子邮件至 meetupselastic.co。本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。任何当前尚不可用的特性或功能都可能无法按时交付甚至可能不会交付。在本文中我们可能使用或提及了第三方生成式 AI 工具这些工具归其各自所有者所有并由其运营。Elastic 对这些第三方工具没有任何控制权也不对其内容、运行或使用承担任何责任对于因你使用这些工具而产生的任何损失或损害Elastic 亦不承担任何责任。在使用 AI 工具处理个人信息、敏感信息或机密信息时请务必谨慎。你提交的任何数据都可能被用于 AI 训练或其他用途。你提供的信息无法保证会被安全或保密地保存。在使用任何生成式 AI 工具之前你应熟悉其隐私政策和使用条款。Elastic、Elasticsearch 及其相关标识是 elasticsearch B.V. 在美国及其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。原文DevRel newsletter — June 2026 | Elastic Blog