说明:变色龙
此存储库包含与“ MSMarco变色龙:使用极度顽固的查询挑战MSMarco排行榜”相关的数据集。
在这项工作中,我们发现,尽管排名者在最近几年目睹了性能的提升,但仍然有大量的查询无法通过任何最新的神经排名者来解决。 由于它们的困难,我们称这些查询为固执查询。 这意味着无论神经排序器如何,这些查询都不会看到任何性能改进,并且排序器报告的总体性能提高是由于另一个选定查询子集的改进而引起的。神经等级的稳定和一致的表现。
此外,我们在表1中包含6980个查询的MSMARCO小型开发集上展示
<weixin_42133680> 上传 | 大小:8mb