ACM 国际信息检索研究与发展会议 SIGIR 2018 近日于美国密歇根州 Ann Arbor 举行。昨日，大会公布了最佳论文等奖项，来自马德里自治大学（Universidad Autónoma de Madrid）的学者 Rocio Cañamares 和 Pablo Castells 的论文《Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems》获得了最佳论文奖，微软与马萨诸塞大学阿姆赫斯特分校合作论文《Cross-Domain Regularization for Neural Ranking Models Using Adversarial Learning》获得最佳短论文奖。本文将对最佳论文进行简要介绍。

引言

使用 IR 方法论和指标用于推荐系统的评估在近年来发展迅速，已成为该领域中的常用实践方法，其将理解推荐看成排序任务 [14]。然而 IR 指标已被发现在推荐受欢迎条目（即很多人知道、喜欢、评分或交互的条目 [4,21,35]）的奖励算法中有很强的偏见。同时，当前最佳的推荐算法也被发现在推荐多数人喜欢的条目时存在显而易见的偏见 [21]。人们可能自然地对常用的实验设置和最佳算法真实输出的可靠性提出质疑。

这个问题在 IR 方法论并没有得到特别的关注，因为流行度偏见在传统的搜索和 IR 任务中并没有出现，或者没有以如此奇怪的方式出现。推荐系统评估的常用数据集的流行度偏见非常强，即使是纯粹的和简单的流行度排序，相比当前最佳个性化算法 [14]，也可能达到次优但不可忽视的推荐准确率。并且，实际上在高评分稀疏性条件下，其差距不一定是微不足道的。因此近期的研究开始着手解决这个问题，目前主要聚焦于证实和测量流行度偏见，并将其移除 [4,21,34,35]。但一个基础的问题仍然未得到回答：流行度偏见真的是必须要避免的吗？如果推荐流行的条目恰好是正确的，那么评估指标和推荐算法不是应该正好支持它们吗？

对产品的主要评价确实对人们而言是很有用的信息，这是一种简单、公平而有用的人类决策大部分时候默认的标准。并且我们实际上经常接受这个标准，例如，在缺乏足够证据来做出个人选择的时候，或作为从零开始的减少决策精力损耗的引导，或作为社会学习机制 [3]。从应用的角度上看，基于很多选择的推荐在很多情形中都是可接受的 [16]，并只需要最少的开发技巧和维护成本。它确实是一个使用广泛的方法，很多应用以热门排行榜、最热卖排行榜、平均用户评分等的形式展示它。甚至在充分训练的个性化推荐系统中，热卖产品列表对于新用户而言仍然能提供很好的帮助。

多数人品味的有效性实际上有其统计意义：很多人喜欢的条目（根据观察到的用户活动）很有可能被很多（测试集中的）其他人所喜欢 [19]。然而，从实验的角度上看，如果观察结果有些微偏见，并且该偏见在训练数据和测试数据中一致，则推荐中的多数人偏见可能只是准确地猜测实验者的数据中隐含的用户偏好，而不是真正满足用户口味的产品。此外，多数人信号可能被来自真实用户赞赏的趋势所干扰 [5,29]。近期的研究表明多数人构造涉及某种程度的可能性，凭此不同的输出都有可能成为最流行的产品 [31]。此外，人们知道公众动态经常受到外部、内部信息以及偏见因素的影响 [26,27,29]，例如大众媒体 [7]、市场营销、意见管理 [6]、算法偏见 [28]，或社会整合 [13]。

因此问题是非常开放的，即流行度到底是不是真正高效的实现准确推荐的要素，它的效用在什么样的程度以及什么样的情况下有效，以及