用 Sentence Transformers 训练和微
来自 Hugging Face · 期号 2026-08-26
摘要
Sentence Transformers v6.0 新增了第四种模型类型 MultiVectorEncoder，用于 ColBERT 风格的延迟交互检索。 传统稠密嵌入把整段文本压缩成一个向量，多向量模型则每个 token 保留一个小向量，查询时用 MaxSim 算子让每个查询 token 找到文档中最匹配的 token 再求和。这种 token 级匹配保留了单向量必须平均掉的细粒度信号，检索效果通常更强，代价是索引更大。 这篇博客展示了如何在自己的数据上微调多向量模型，使其超过通用检索器，也讲了如何从零训练。作者用单张 RTX 3090 花了 14.5 小时微调出一个模型，在医学检索评测上超过了所有能找到的通用检索模型——包括稠密、稀疏、词法、多向量四种类型。 本文是使用详解，附了完整代码示例。