Reddit排名算法如何工作

Reddit排名算法如何工作
本文是如何黑客新闻排名算法工作的续作，研究Reddit的新闻和评论排名系统如何工作。

Reddit的算法非常容易理解和实现，稍后我会作进一步讲解。

本文的第一部分侧重于新闻排名，第二部分侧重于评论排名。

Reddit的评论排名算法很有意思，提出这个想法的家伙是xkcd的作者——兰德尔芒罗。

深入理解新闻排名算法
Reddit是用Python 编写的开源系统，整站代码可以自由获得（代码在这里）。

他们的排序算法使用Pyrex（一种用来编写Python C扩展的语言）实现。

之所以用Pyrex 是出于效率的考虑，我已经把他们的Pyrex实现重写成纯Python，这样更易于阅读。

热度排名（默认新闻排名算法）是这样实现的：
# Rewritten code from /r2/r2/lib/db/_sorts.pyx
from datetime import datetime, timedelta
from math import log
epoch = datetime(1970, 1, 1)
def epoch_seconds(date):
"""Returns the number of seconds from the epoch to date."""
td = date - epoch
return td.days * 86400 + td.seconds + (float(td.microseconds) / 1000000)
def score(ups, downs):
return ups - downs
def hot(ups, downs, date):
"""The hot formula. Should match the equivalent function in postgres."""
s = score(ups, downs)
order = log(max(abs(s), 1), 10)
sign = 1 if s > 0 else -1 if s < 0 else 0
seconds = epoch_seconds(date) - 1134028003
return round(order + sign * seconds / 45000, 7)
热度排名算法的数学描述看起来像这样（我从SEOmoz的摘来的，但我怀疑他们是那本书的作者）：
提交时间的影响
新闻排名中的提交时间可作如下考虑：
●提交时间对排名有很大的影响，新提交的新闻排在前面
●评分不会随着时间的推移而下降，但新的新闻会得到比旧新闻更高的分数。

这种方法和Hacker News不同，Hacker News的评分会随着时间的推移而下降。

“顶”和“踩”的次数相同、提交时间不同的评分情况，如图所示：
对数标度
Reddit的热度排名使用对数函数，前面的投票比后面的投票有更高的权重。

大概像这样：
前10个“顶”和接下来100个“顶”拥有一样的权重，而这100个“顶”又和接下来1000个“顶”有相同的权重，依此类推……
不使用对数标度法的情形会是这样：
“踩”的影响
Reddit是有“踩”的几个网站之一。

正如代码中所描述的，一条新闻的“评分”定义为：“顶数” - “踩数”
用图来表示：
这对“顶”和“踩”都很多的新闻影响很大，因为它们会排在评论往“顶”一边倒的新闻后面。

这可以解释为什么kittens（以及其他争议性不大的新闻）排名如此之高：）
Reddit 新闻排名总结
●提交时间是一个非常重要的参数，一般较新的新闻会比旧新闻的排名更高
●前10个”顶“相当于接下来的100个顶。

例如，有10个”顶“的新闻和有50个“顶”的新闻排名差不多。

●有争议（“顶”和”踩“数目相当）的新闻，得到的评分比“顶”数占优势的新闻较低。

Reddit的评论排名如何进行
Reddit最好的排名算法是xkcd 的兰德尔芒罗提出来的。

关于此事，他写了一篇精彩的博客：reddit新的评论排名系统
此文用非常好懂的方式解释了排名算法，值得一读。

摘要如下：
●使用热度算法来给评论排名并不明智，因为它似乎严重偏向早期发表的评论
●在评论系统中，您想把最有价值的评论排在前面，而不管它的提交时间
●早在1927年，Edwin B.Wilson 就提出了名为“威尔逊评分区间”的解决方案，威尔逊的评分区间可理解成“置信度排名”
●置信度排名法把投票数作为一个假定的全民投票统计样本——类似民意调查。

《如何不使用平均分进行排序》详细描述了置信度排名，强烈推荐阅读！
深入理解评论排名
Rreddit 的置信度排名算法实现在_sorts.pyx中，我把它的Pyrex 实现用纯Python 重写了一遍，同时删除了缓存相关的优化：
#Rewritten code from /r2/r2/lib/db/_sorts.pyx
from math import sqrt
def _confidence(ups, downs):
n = ups + downs
if n == 0:
return 0
z = 1.0 #1.0 = 85%, 1.6 = 95%
phat = float(ups) / n
return sqrt(phat+z*z/(2*n)-z*((phat*(1-phat)+z*z/(4*n))/n))/(1+z*z/n)
def confidence(ups, downs):
if ups + downs == 0:
return 0
else:
return _confidence(ups, downs)
置信度排名使用威尔逊评分区间，其数学描述为：
上述公式中的参数定义如下：
●P 为观测到的表示赞同的分数
●n 为评分总数
●Z a/2为标准正态分布的(1-a/2) 分位数
总结如下：
置信度排名法把投票数作为一个假定的全民投票统计样本
置信度排名法假定一条评论有85% 的置信度
票数越多，%85的置信度评分越接近于实际评分
威尔逊区间具有判断数较小，极端概率较低的特点
关于置信度排名如何给评论打分，兰德尔在他的博客中举了一个很好的例子：
如果评论有一个“顶”，没有“踩”，“顶”的比率为100％。

由于评分数据太少了，系统把它排在接近尾部的位置。

但如果它有10个“顶”，只有1个“踩”，系统可能有足够的信心把它排在有40个“顶”、20个“踩”的评论前面——因为等它有40个“顶”的时候，“踩”的数目很可能不到20。

最妙的是，如果系统弄错了（有15％的概率），它会很快得到更多的数据，因为数据较少的评论排在很靠前的位置。

提交时间的影响：压根没有！
置信度排序的牛逼之处在于，提交时间无关紧要（一点都不像热度排序或Hacker News的排名算法）。

评论根据置信度和数据抽样来评分——得票越多，该评论的评分越精确。

图例
让我们从图表的角度看看它是如何给评论排名的。

我们可以用Randall的例子：
正如你所见，置信度排名不关心评论的得票数，而是关心赞同的票数在总票数中的比例以及样本的大小（即总票数）。

排名以外的应用
埃文米勒注意到威尔逊的评分区间还有排名之外的应用。

他列举了三个例子：
●检测垃圾邮件/滥用行为：谁看到该项目并标记为垃圾邮件的用户占多大比例？
●生成“推荐”列表：看到这个项目并标记为“不错”的用户占多大比例？
●生成“最受欢迎”列表：看到这个页面并点击“收藏”的用户占多大比例？
要使用它，你只需要两样东西：
●评分（采样）总数
●“顶”的数目
鉴于此法如此强大而简单，大量网站都用它来对内容进行排名。

这包括市值上亿的公司，如，它把平均分定义为（赞同数）/（总评分数）。