7MB 嵌入模型 Ternlight:无需 API,CPU 毫秒级完成文本嵌入
【导语Ternlight 作为一款仅 7MB 大小的嵌入模型无需调用 API能在 CPU 上运行可在毫秒级完成文本嵌入。它还能在浏览器中运行以单个 npm 包形式发布使用便捷。】7MB 模型轻量部署毫秒级嵌入Ternlight 模型极为轻量仅 7MB 大小甚至还有 5MB 的迷你版本。它无需调用 API简单部署后就能在毫秒级完成文本嵌入处理速度约为 5 毫秒且无需连接服务器仅依赖 CPU 运行无需 GPU。三行代码轻松实现语义搜索Ternlight 以单个 npm 包的形式发布无需下载模型也无需搭建服务器。通过三行代码就能实现语义搜索如使用类似 similar(easy weeknight dinner ideas, recipes, { topK: 3 }); 的代码能在约 5 毫秒内得到排名匹配结果且零网络请求。浏览器搜索5MB 版本支持 React 文档查询可以在浏览器中使用 Ternlight 搜索 React 的文档由 5MB 的 ternlight/mini 版本提供支持。用户输入问题后就能在 CPU 上运行搜索且首次加载后可缓存实现零网络请求。编辑观点Ternlight 轻量便捷的特性使其在文本嵌入领域具有较大优势无需依赖复杂的服务器和 API降低了使用门槛有望在更多场景得到应用。