bge-m3获取的sparse向量的维度是跟句子分词后的长度是对应的

[you567]

您好，我发现bge-m3获取的sparse向量的维度是跟句子分词后的长度是对应的（我理解sparse向量类似于词袋模型 ，维度应该是vocab的维度），这就是说不同的句子sparse的维度是不同的?

[zhengbuqian]

是的。

bge-m3获取的sparse向量的维度是跟句子分词后的长度是对应的

这句话里的“维度”我们一般不称为向量的维度，而是稀疏向量中非零值的数量。一般我们说的向量维度是下标的范围。

举一个例子：假设句子"a b c"被分词为['a', 'b', 'c']，然后bge-m3将这句话编码成的稀疏向量是{'a': 0.1, 'b': 0.2, 'c': 0.3}，将token根据vocab映射为数字后假设是{1000: 0.1, 2000: 0.2, 3000: 0.3}。此时分词后的长度和向量的非零值数量为3，而这条向量的维度我们认为是3001（最大的下标加1。）

不同的句子sparse的维度是不同的？

可以这么假设。不过当然可以构造出具有相同维度的句子。

• {'a': 0.1, 'b': 0.2, 'c': 0.3} -> {1000: 0.1, 2000: 0.2, 3000: 0.3}: 非零值数量为3，维度为3001
• {'a': 0.1, 'b': 0.2, 'd': 0.3} -> {1000: 0.1, 2000: 0.2, 2500: 0.3}: 非零值数量为3，维度为2501
• {'a': 0.1, 'c': 0.3} -> {1000: 0.1, 3000: 0.3}: 非零值数量为2，维度为3001

在milvus中，创建一个包含稀疏向量列的collection时不需要指定维度，因此上述的三条向量（以及任何维度在uint32范围内的稀疏向量）都可以被插入到同一个collection的同一个稀疏向量列中，即使它们的维度/非零值数量都各有不同。

[you567]

奥奥，好的，非常感谢！那使用sparse向量进行检索的话是否需要将句子中的停用词和标点等无用标识去掉，以提高检索的准确性啊？

[zhengbuqian]

这个是根据你所使用的生成sparse向量的模型算法相关。传统基于统计的BM25等方法需要手动去除停用词和标点，但是像BGE-M3和SPLADE这种基于机器学习的模型应该是不用的，它们自己在内部会处理

[you567]

奥奥，非常感谢！
最近又发现了几个问题，可否帮忙看下啊？
目前的需求是对相似文章的段落做内容召回，将bge-m3输出的sparse+稠密向量导入milvus使用混合检索以及基于倒数排序融合(RRF)：
1.检索结果中的distance此时等同于分数吗，就是distance越大，相似度越高？
2.需对召回结果设置一个阈值，这个阈值的话该怎样设置（distance比较低且都比较接近）？
3.返回的top3中，distance似乎都不高，而且很奇怪的是（1）top1和top2的内容不同，但distance相同，
（2）top2和top3的内容相同，但distance不同。
4.rerank的无监督版本的微调，是否可以参照embeding的策略 “标题-正文” ？