simbert在自己的语料上 fineturn以后维度是768，怎样变成300维度？

[TestNLP]

默认是768维度，直接在后面加一层Dense(300)是否可行？这样之前基于2000W问答对训练的结果会受影响吗？

[TestNLP]

直接在后面加一层Dense(300)感觉需要修改bert4keras的源代码了

[bojone]

可以用PCA降维，参考：https://kexue.fm/archives/8069

[TestNLP]

可以用PCA降维，参考：https://kexue.fm/archives/8069

好的，我后续试一下这个PCA降维度。
我目前做了一个实验，就是上面截图那样，下载了bert4keras源码，然后新增了一个Dense层，强制把维度修改为300了，然后我在自己的语料上fineturn了一下，计算cos相似度，对同一个句子对，前后对比发现整体cos值变高了

[TestNLP]

可以用PCA降维，参考：https://kexue.fm/archives/8069

好的，我后续试一下这个PCA降维度。
我目前做了一个实验，就是上面截图那样，下载了bert4keras源码，然后新增了一个Dense层，强制把维度修改为300了，然后我在自己的语料上fineturn了一下，计算cos相似度，对同一个句子对，前后对比发现整体cos值变高了

是所有的句子对，测试的结果都是cos值比之前变高了

[DaiJitao]

co

cos需要输入句子1和句子2的向量吧？才能计算余弦相似度。不明白的地方在于，句子1的向量是直接通过simbert获取的吗？句子2的向量也是通过simbert获取的吗？请问句子1和句子2的向量是如何获取的？

[localoca5]

TestNLP 是不是因为finetune数据集的cosines普遍比较高？可能是分布不均衡导致的