RTB广告技术修炼之-流量漫游

RTB⼴告技术修炼之-流量漫游
1. 背景及⽬标
本⽂是Real Time Bidding技术系列⽂章的第⼀篇，旨在通过⼀个⼴告请求漫游RTB系统的各个模块，从⽽揭⽰各模块需要解决的问题、⾯临的挑战。

作为系列⽂章的第⼀篇，本⽂的⽬的是从整体介绍RTB系统，各模块细节会在后续⽂章中深⼊阐述。

2. RTB流量漫游
图1
⼀个典型的RTB系统框架如图1所⽰，其中涉及的主要⾓⾊包括：普通⽤户(User), 流量媒体平台(Supply Side Platform，SSP), ⼴告交易市场
(Ad Exchange，ADX), 需求⽅平台(Demand Side Platform，DSP), ⼴告主(Advertiser)。

当⽤户访问某个SSP时，SSP会决定是否将此流量通过ADX交易，⼀旦决定通过ADX交易，ADX⾸先会访问数据管理平台(Data Management
Platform, DMP)提取⽤户ID等相关信息并构造Bid Request。

接着ADX会发起询价流程，将这个Bid Request发给各个DSP。

DSP收到询价请求以后
，解析Bid Requrst，⽣成context feature, 并根据媒体信息检索相应的在投ad campaigns⽣成ad feature, 然后根据解析出的⽤户ID去DSP⾃建的DMP
⽣成user features，最终⽣成由(user, context, ad) 三元组组成的feature，它是后续模块⼯作的基础性数据。

上述过程就是图1 DSP框架中的Feature
mapping模块的主要功能。

在⽣成了feature以后，DSP就会基于此数据做出价决策。

这⼀过程主要由Impression Evaluation及Bid Calculation两个在线计算模块完成，⽽这
两个模块依赖精⼼设计的三个离线模块：
1.CTR/CVR Model：在给定的feature下，预估⼴告的转化概率
2.Budget Pacing：控制预算消耗的速率，可能会决定对于这个请求是否出价
3.Bid Policy：基于⼴告的转化概率及pacing，评估此次请求的价值
Bid Calculation模块计算出DSP对此次请求的最终出价，返回给ADX。

ADX将各DSP出价返回给SSP。

在各DSP出价的基础上，SSP内部会通过Reserve Price(保留价)模块及Auction Mechanism模块决定是否曝光⼴
告、曝光哪⼀个⼴告以及如何向赢得这次竞拍的⼴告主计费。

3. CTR/CVR预估
⼴告业务中的CTR/CVR预估技术⾸先是在商业搜索业务中发展起来的。

现在可以追溯到的最早的CTR预估相关的论⽂，由yahoo发表于2006年,
其研究⽬标就是通过对⽤户的搜索点击⾏为建模，以提⾼⼴告的CTR，进⽽提⾼商业收⼊。

CTR/CVR模型在在线⼴告技术领域是最核⼼的模块。

⼀⽅⾯，在以CPX计费时，提⾼CTR/CVR可以直接提升商业收⼊；另⼀⽅⾯，对CTR/CVR
建模也可以提⾼⽤户体验。

因此⼴告排序及出价都是以pCTR/pCVR为依据。

同时这⼀模块的设计与实现⼜⾯临诸多挑战，以下仅举若⼲做简要说明：
l 复杂模型的挑战：当前CTR/CVR预估技术的发展⽅向是利⽤DNN的学习能⼒，提炼出⾼阶⾮线性特征，提⾼模型的泛化能⼒。

然⽽⼴告业务中
的数据⼤部分是⾼维离散特征，由于离散特征的数据规模通常都在亿级，直接将这种形式的数据输⼊到DNN会导致模型参数规模的极具膨胀。

虽
然⽬前有⼀些基于embeding的技术能够缓解这⼀问题，但本质上还是缺乏统⼀的⽅法论。

另外，诸如DNN的复杂⾮线性模型的收敛性是⼀个考验，
不同的业务(数据)有各⾃的特点，没有⼀招鲜吃遍天的模型。

从基于DNN的CTR/CVR技术演进路线来看，各家模型设计的tricks都有⼀定的合理性，
但真正应⽤到业务上的有效性存在考验。

最后，复杂模型的有效性严重依赖数据规模，⽽海量数据的处理和训练⼜对业务团队的⼯程能⼒提出了挑
战。

l 冷启动问题：机器学习是⼀门数据科学。

只有在数据充⾜的情况下，基于机器学习⽅法论建⽴的模型才能发挥效果。

然⽽在新⼴告或者新商品上
线之初，我们总会⾯临数据不⾜也即冷启动问题。

yahoo和linkedin都使⽤了层次化的建模⽅式，利⽤层次化的信息对原始预估值进⾏平滑，来缓解
冷启动问题。

l 位置偏差：在⼴告领域有⼀个很常见的现象，简单来说就是同⼀个⼴告，在页⾯头部投放的效果会⽐页⾯底部好很多。

这种现象称之为位置偏差，
在建模的时候如果不重视这⼀问题，之前在优质⼴告位投放的⼴告其预估点击率会严重⾼估，反之亦然。

除了⼴告位位置偏差以外，类似的⾮定向
因素对点击率有较⼤影响的特征还有⼴告位尺⼨、⼴告位类型(门户⾸页、内容页等)、创意类型等。

l 校准：由于⼴告的点击(转化)与曝光数据的⽐例常常在1%-0.1%之间，因⽽正例和负例样本严重不均衡。

这种不均衡会使得模型预估产⽣系统性的
低估。

对DSP来说，这⼀低估会导致出价率和竞得率偏低，最终导致买量能⼒不符预期。

为了解决这⼀问题，需要对模型作校准。

l ⼯程挑战：CTR/CVR预估现在动辄百亿级的训练样本/参数规模，模型训练依赖⾼可⽤的分布式计算系统，因此诸如parameter server 之类的分布式
机器学习系统应运⽽⽣。

然⽽在⾯对海量数据时，这类系统的⼯程设计与开发依然⾯对严峻挑战：⼤规模离散特征ID化⽆论从机器资源还是时间维度
看都是难以为继的；分布式系统规模越⼤，在存储、通信、数据同步、容错⽅⾯的挑战也越⼤。

为了捕捉⽤户的实时⾏为，需要计算和存储动态特征，
同时需要实时更新模型，这对系统的实时计算能⼒提出了很⾼的要求。

4. Bid Policy
Bid Policy(出价策略)，简⽽⾔之就是对于⼀个给定的ad request，如何计算bid。

效果⼴告的⼴告主⼀般来说希望在⼀个⽬标成本下，能够最⼤化消耗(最
⼤化转化量级)。

Bid Policy直接影响了这个KPI的达成，⼀⽅⾯，bid在很⼤程度上决定了⼴告是否能曝光(转化量级)，另⼀⽅⾯，它决定了流量采买成本，
影响ROI。

⼴告主的⽬标可以简要形式化为：
其中bid是出价，rCPA是真实成本，eCPA是预期成本。

Bid Policy⾯临的主要挑战有：
市场价估计：由于⼴告主对量级有要求，所以很多出价策略会预估市场价。

RTB是⼀个⾮完全信息环境下的博弈问题。

市场价预估的挑战来源于竞争DSP
的数量、数据、模型、 策略、预算都是未知的，这使得市场价会随着时间、环境的变化剧烈波动，直接预估⾯临诸多不确定性。

Bid Landscape: ⼴告主在成本和效果之间的权衡，是出价策略的重要组成部分。

Bid Landscape的⽬标是为⼴告主提供⼀个出价和效果之间的分布概览，
⼀⽅⾯，通过该分布概览，提⾼⼴告主的权衡效率；另⼀⽅⾯，Bid Landscape可以为oCPX之类的⾃动优化出价策略提供依据。

相对市场价预估，Bid Lan
-dscape由于需要预估出价和可竞得量级的关系，所以问题更加复杂。

Sample Selection Bias：特定DSP不可能竞得媒体的所有流量，所以它只能⽤⼀个⼦空间的数据训练模型，⽽预估阶段却是对该媒体的全部流量做预估，
这就会导致过拟合。

由于各DSP的数据、特征，模型，出价策略可能存在很⼤差别，因⽽市场价分布很可能是⾮线性的，这就对DSP的出价策略设计提出了很⼤挑战；
5. Budget Pacing
Budget Pacing(预算平滑)主要是为了满⾜⼴告主需求⽽提出的。

⼀⽅⾯⼴告主通常希望预算消耗更平滑；另⼀⽅⾯在预算⼀定的情况下，通过将⼴告投放时
间拉长，可以让⼴告持续产⽣影响，使得⼴告触达更多样化的⼈群。

举个简单的例⼦，年轻⼈⼀般⽩天⼯作繁忙，上⽹时间很有限，晚上22点以后才是上⽹⾼峰。

如果某款针对年轻⽤户的⼴告10点上线，在没有平滑机制的情况下，可能20点就消耗完，那么此⼴告就⽆法充分触达主要⽬标⽤户。

从⽬标维度来看，预算平滑可以分为traffic based和kpi based；前⼀种⽅式主要是控制投放计划竞拍的次数，后⼀种⽬标是让投放计划触达性价⽐更⾼流量。

从实现⽅式来看可以分为：probabilistic throttling及bid modification。

前⼀种⽅式基于⼀个指标，⽐如pCTR/pCVR，来决定是否参与竞价；后⼀种⽅式是通过
控制bid⼤⼩来控制pacing。

由于⼀⽅⾯，前⼀种⽅式能够将budget pacing从bid optimization任务中解耦出来独⽴优化，另⼀⽅⾯，后⾯⼀种实现⽅式依赖于对竞
价胜率的预估，⽽竞价胜率曲线通常是不平滑的，预估难度⽐较⼤，因此⼤多数pacing⽅案选择probabilistic throttling。

Budget pacing的挑战在于，在预算平滑的过程中如何最⼤化投放效果，即在市场环境存在剧烈波动的情况下，预算如何合理的分配给每个时间⽚甚⾄每个ad
request, 以最⼤化⼴告主的收益。

6. oCPX
⼴告主除了通过DSP投放⼴告以外，还有⼀种渠道是直接在媒体端投放⼴告。

投放环节计算需要⼴告主设置org_price即转化成本，然后媒体端会基于此价格出
价。

假设⼴告以CPC计费，⼀般的出价计算⽅式为：
bid price = org_price * pCTR
其中org_price是⼴告主能够接受的最⼤转化成本，由⼴告主设置。

pCTR是模型的预估CTR。

在org_price固定的情况下，pCTR通常是度量流量质量的唯⼀要素，这种出价⽅式没有考虑⼴告主的成本即org_price。

对⼴告主来说，除了实际转化量的需求，
还有转化成本的约束，理想的情况是能够买到性价⽐较⾼的流量。

另外，如何设置⼀个合理的org_price，也是⼴告主需要解决的问题，运营⼈员⼀般会根据经验先
设置⼀个贴底价，然后根据投放情况逐步向上调，但是这种尝试是耗时耗⼒的低效⼯作。

oCPX是⼀种为⼴告主服务的、⾃动化的出价策略。

它发源于facebook的社交展⽰⼴告平台。

⽬前是SSP端⽐较常见的策略，可以认为是⼀种有利于⼴告⽣态
建设的技术。

既然⼴告主设计底价有⼀定的难度，那么以媒体端的数据及技术积累，完全有能⼒为⼴告主优化这⼀流程，⽤⾃动优化算法代⼴告主出价。

oCPC机制下的出价
计算⽅式为：
bid_price = f(pCTR, pCVR, org_price)
其中org_price、pCTR含义同上，pCVR是模型的预估CVR。

oCPC出价⽅式的主要特点是，可以根据流量的价值动态调整org_price, 也就是能够做到：⾼质流量出⾼价，低质流量出低价。

这为⼴告主提供了更强的挑量能⼒
，从平台的⾓度来看，流量的分配效率就越⾼，填充率会有相应提升，进⽽eCPM会得到提升。

由于⼴告主的挑量更准，所以对⽤户展⽰的⼴告也会更符合⽤户的兴趣
，⽤户体验也会存在相应的提升。

但⼴告毕竟是⼴告主、流量平台及⽤户三⽅博弈的产物，在oCPX机制下，如何平衡⼴告主及流量平台的收益是⼀个挑战。

7. Auction Mechanism
在线媒体通常⼴告位是有限的，⽐如搜索⼴告页⾯⼀般只有三块⼴告位，分别位于页⾯北区(上部)、东区(右部)及南区(下部)，还有诸如信息流之类的⼴告，⼀般是
在数条内容中间插⼊⼴告。

所以⼀个⼴告位的展⽰机会通常会有多个⼴告主竞争。

既然有竞争，那么媒体平台可以通过拍卖的⽅式售卖流量，从⽽让媒体平台获取更⾼
的收益。

说到拍卖，⼈们往往会认为是出价最⾼者得到被拍卖商品，并向竞得者收取与其出价相当的费⽤。

这其实是所谓的第⼀价格密封拍卖。

这⼀拍卖机制不稳定，DSP
可能频繁试探市场价格，进⽽导致交易剧烈波动，SSP收益受损。

那么是否存在⼀种竞价机制，能够使得⼴告主按照每个流量的真实价值出价(truth-telling)，这样既能保证⾃⾝的收益，也能保障平台的收益。

事实上这⼀竞价机制是
存在的，也就是⼴义第⼆⾼价(GSP)。

在GSP机制下，出价最⾼的⼴告主仍然赢得这次展⽰机会，但是只需⽀付等值于出价第⼆⾼的⼴告主出价的费⽤。

这⼀机制下⼴告
主就没有动⼒调低出价去降低成本了，整个竞价环境于是达到了⼀种称之为“纳什均衡”的稳定状态。

即每个⼴告主都通过出价得到了最符合⾃⼰利益的位置，整个系统也
就随之稳定下来
GSP是最常见的定价策略，也是单位置拍卖时的最优定价策略，但它并不是多位置拍卖时的最优定价策略，但由于其定价逻辑简洁、效果也不错，因⽽应⽤⼴泛；还
有⼀种VCG(Vickrey-Clarke-Groves)定价策略,可以认为GSP是VCG策略在单位置上的特例。

VCG策略的基本思想是：对于赢得了某个位置的⼴告主，其所付出的成本应
该等于他占据这个位置给其他市场参与者带来价值的损失。

拍卖机制是博弈论的研究范畴，更多研究成本可以参考附录⽂献。

8. Reserve Price
在RTB环境中，SSP在特定⼴告位的收益是和各DSP对其竞争的激烈程度正相关的，竞争越激烈，在该⼴告位上SSP收益越⾼。

但由于⼴告位置及投放时间点的影响
，某些冷门⼴告位,⽐如页⾯底部⼴告位，可能⽆法得到⼴告主的充分竞争，导致以很低的价格成交，这样SSP的收益就会受损。

为了解决这⼀问题，SSP制定了成交底价
，也叫市场保留价(market reserve price),并规定只有DSP出价⾼于底价才有参与竞价的机会。

底价并不是设置越⾼越好。

如果底价设置太⾼，可能导致填充率下降，同样影响收益。

⽐如有dsp1出价b1, dsp2出价b2, 底价为r，如果c>b1>b2，则dsp1,dsp2由于出价低于底价，导致⽆法参与竞价，该曝光可能⽆⼴告展⽰，SSP收益受损，这是最糟糕
的情况; 如果b1<c<b2，则SSP可以赚取的额外收益为c-b2，这是最优情况; 如果c<b1<b2, 则SSP收益为b1，这是⼀般情况。

虽然从单次竞拍来看，此时并未产⽣额外收益
，但由于保留价的存在，各DSP的出价分布可能会被抬⾼.
理想的底价设计策略是预估⼴告位的市场价分布。

由于各DSP的出价和其私有的⽤户数据、投放预算及投放计划有关，因⽽这个⼴告位的市场价格分布呈⾼度⾮线性，
难以准确预估。

不过相对于从DSP端预估市场价，SSP在这个问题上有⼀个数据上的优势。

由于各DSP最后的报价会汇总到SSP，因此SSP可以根据这⼀数据来预估市场价
分布，因⽽相对DSP来说，可以得到⼀个更靠谱的结果。

9. 转化归因
在互联⽹⼴告领域，⼴告主为了利⽤好⼴告预算，需要优化⼴告投放的各个环节，找到更有效的⼴告投放链路。

因此他们需要对⼴告转化做归因分析。

⽬前常见的归因
模型是”Last Touch Attribution(LTA)”, 也就是⼴告主将转化归因为“最终点击/下载…”的链路/渠道，这⼀归因模型的优点是简单易⾏、容易理解。

但这⼀模型忽视了⼴告投放过
程中的持续影响，也就是说，转化很可能是⼴告投放持续影响叠加的结果，所以不应该将贡献全部归功于最后⼀次曝光。

相对于”Last Touch”，更合理的归因模型是如图3所⽰的”Multi-Touch Attribution(MTA)”, 他将转化按照⼀定的⽐例分配给转化链路上的各关键节点，这样可以更全⾯的
考察⼴告转化过程。

但MTA归因模型较为复杂，实施起来有⼀定的难度，这是其应⽤较少的原因。

“Last Touch Attribution”和”Multi-Touch Attribution”各有优缺点，但⼀个良好的归因模型可以通过于三个要素来评估：
公平性：⼀个良好的归因模型应该能根据各路径节点上转化的可能性作出相应的归因。

数据驱动：良好的归因模型应该基于历史⼴告计划数据，推断出归因结果。

可解释性：良好的归因模型不论是从统计指标还是从业务直觉上来看输出的结果都应该是可理解并被接受的。

10. 反作弊
互联⽹⼴告业务是⼀个涉及上千亿美元的市场，每年都会有⼤量资⾦因为⼴告作弊⽽消耗。

据统计，2015年全美有46亿美元的开销花费在⽆效流量上，⽽当年全美的
⼴告⽀出为596亿美元。

因此⼴告技术从业⼈员应该对这个领域有基本认识，对于常见作弊⼿段能迅速辨别并及时防范。

互联⽹⼴告涉及媒体、⼴告主及⽤户三⽅博弈，⼀般来说有作弊动机的主要是媒体、⼴告主的竞争对⼿。

媒体作为流量的卖家，通过伪造的展⽰、点击就可以攫取⼤量
收益，其作弊动机最强。

另外，⼴告主的竞争对⼿也可以通过技术⼿段消耗该⼴告主的预算，降低其⼴告效果，从⽽达到⾮正常竞争的⽬的。

⼴告的计费⽅式主要是CPM、CPC、CPA/CPS这三种⽅式，所以作弊策略都是围绕如何伪造上述⾏为展开。

反作弊本质上是⼀种计算机安全领域的对抗技术，由于作弊者的⼿法繁多、技术更新很快，因⽽相应的反作弊⽅案也需要推陈出新。