深入互联网广告中的出价模式上中下完整版
来源: 申探社
一 导读
互联网广告中的出价模式发展经历了许多变迁。从一开始的CPM,到CPC出价模式,随着Facebook的oCPX (如oCPM/oCPC) 成为了网红,之后的双出价,激活且付费,Facebook的AEO及VO等等新一代的出价模式也层出不穷。本系列文章会介绍并使用一个较为通用的 “ 四点三率两控制一加强” 分析框架,对各个出价模式进行解析。相信大家阅读完本系列文章后,会对当前最流行的出价模式建立较为全面的理解。
本系列文章分上中下三篇,上篇会先简单介绍CPM/CPC/CPA等基础出价模式的具体商业逻辑,随后会介绍“ 四点三率两控制一加强”中的“四点三率”并引出oCPX。中篇会介绍“ 四点三率两控制一加强” 中的“两控制一加强”并分析oCPX,激活且付费,AEO/VO等智能出价模式。下篇主要分析在联盟广告和RTB广告中各方利益关系与在大媒体投放平台中的差异。
本系列文章中也会探讨以下几个问题:
(1) 从CPM到CPC,媒体平台和广告主的博弈关系发生了怎么样的变化?
(2) 什么情况下可以使用CPA出价模型?
(3) 为什么有时候广告主反而希望降低点击率?
(4) 在oCPX出价模式中,广告主是否应该回传真实的行为数据?
(5) 为什么国内的很多oCPX出价模式会有超成本赔付机制?
(6) 为什么国内的媒体平台,对oCPX出价模式的超成本赔付,要求广告积累的行为数(例如激活数)达到一定的数量才开始赔付?
(7) 为什么某条自有流量要从oCPC模式转为oCPM?
(8) 双出价是怎么样一种出价方式?
(9) 为什么需要有智能出价产品?
(10) 为什么某条自有流量只有oCPM而某山甲仍旧保留oCPC模式可以选择?
(11) DSP盈利模式有几种?每种模式下三方的利益关系发什么了什么变化?
二 大媒体广告平台
Facebook,谷歌等大媒体通常自己建立广告投放平台,对自有流量进行变现。这时候媒体同时又是投放平台,本文中简称“媒体平台”。
1. 基础知识
一条互联网广告通常会经过以下的几个过程,以信息流为例,当用户打开APP时,有时会浏览到一条广告(广告展现, 缩写为m),用户可能会点击这条广告下方的“查看详情”(广告点击, 缩写为c),在详情页面中,用户可能会继续点击“马上下载”(广告下载,缩写为i),之后通过app store或者安卓应用商店下载这个游戏,并打开(激活, 缩写为a),玩了一段时间后,可能会花钱买道具(付费,缩写为p),以及后续可能还有更深度的用户行为。
CPM广告(Cost Per Mille), 是按照广告展现的次数来收费,因为每次展现的费用数字很小,所以大家约定乘以1000,即千次广告展现的费用。如果广告主A的一条广告CPM出价为每千次10元,广告主B的一条广告CPM出价为每千次12元,那么媒体平台就根据CPM出价进行排序,取第一名的广告(即广告主B的广告)进行展现(为了表述清晰,假设该广告位只出一条广告,后面的讨论也基于这个设定)。(附:CPM里的m其实是千次的意思,但是后续发展的CPC,CPA等模式里的c(点击)和a(行为)都是一种行为的类型,所以后来大家后来也习惯用m来表示展现。)
CPC广告(Cost Per Click), 是按照广告被点击的次数来收费,因为单个点击的费用通常已经足够大,不用乘以1000了。如果广告主A的一条广告CPC出价为0.3元,广告主B的一条广告CPC出价为0.4元,这个时候媒体平台并不是直接出CPC出价更高的广告主B的广告,因为两个广告的点击率可能并不相同。这个时候媒体平台通常会用点击率预估模型,预估每个广告分别的点击率(CTR),即从m到c的概率p(m->c),再用
eCPM=CTR CPC 1000
(需要乘以1000是因为CPM是1000次展现的价格)
分别计算得到两条广告的eCPM (estimated CPM)。假设广告主A的点击率CTR_A预估为0.03,广告主B的广告CTR_B为0.02,那么计算得到
eCPM_A = 0.03 *0.3 * 1000 = 9元
eCPM_B = 0.02 *0.4 * 1000 = 8元
再根据eCPM排序,出最高的广告主A的广告。
值得注意的是,虽然排序按eCPM排,但不是按照eCPM来计费的,还是按照CPC来计费。也就是说,如果这条广告被用户点击了,媒体平台会收广告主0.3元。如果没有被用户点击,媒体平台不收广告主钱。
行为价格换算公式:
从m->c->i->a->p的过程中,每个行为A的价格,等于后续行为B的价格乘以行为A到行为B的比率。例如
CPM=p(m->c) *CPC * 1000
(唯独CPM要多乘以1000)
CPC=p(c->a) *CPA
这个是做广告算法最经常用到的公式之一,可以将不同行为的价格进行换算,后面也会经常用到,请熟知。
2. “四点三率两控制一加强”里的“四点”
竞价点: 其实不管是CPM,CPC还是后续的CPA,OCPM,oCPC,双出价等所有出价模式,绝大多数媒体平台最终都是根据换算公式,将出价换算成eCPM,再对eCPM排序后,选择eCPM最高的广告进行展现。这样媒体每个展现机会的收益可以很直接地被度量,也能最大化自身的利益。在本文中,我们讨论的“竞价点”都在m(展现)。
计费点: 即媒体平台最后是按什么的个数来收广告主的钱。例如CPM中,是按照展现次数来收费,那么计费点就是m。而在CPC广告中,虽然按照eCPM排序来决定出哪个广告,但是对于出的广告,是按照点击次数来收费,这时计费点是c。
出价点: 即广告主在媒体平台的投放后台里填写的是什么价格。在CPM和CPC广告中,出价点和计费点是在同一个行为,CPM的出价点也是m,填写的是千次展现价格, 而CPC广告出价点是c,填写的是每个点击的价格。而在oCPX中,出价点和计费点是分离的。
考核点: 在广告投放中,广告主真正想要出价的可能不是展现或者点击,甚至也不是下载和付费,想要的是LTV(Life Time Value),即这个用户在使用广告主产品的生命周期内给广告主带来的所有价值。在完美的世界里,广告主可以为每1元的LTV出价,例如出价0.8元。那么广告主的ROI就是1/0.8=1.25>1,广告主就可以躺着数钱了。可惜LTV通常很难核算出来,也很难量化,例如用户即使不付费买道具,也可能发挥陪玩玩家的价值。所以广告主在投放的时候,通常会找一个在链路中更前置的更好量化的指标来考核投放优化师的工作。例如考核一个付费用户的成本,或者七日ROI之类的,我们把这个点叫做考核点。后面的分析中,我们假设考核点为付费(缩写为p),实际中可以是别的点,但是不影响我们讨论的结论。
如图所示,在CPM出价模式下,竞价点/计费点/出价点都是m,考核点假设在p。而对于CPC出价模式,竞价点在m,计费点/出价点在c,考核点假设在p。
对应着四个点的,就是三个比率,p(竞价点->计费点), p(计费点->出价点), p(出价点->考核点)。
CPM/CPC以及本文后续所讨论的所有出价模式,其中很大的区别就在于这四个关键点在不同位置。我们只要把这四个关键点和他们之间的三个比率对于三方的利益影响分析清楚了,那么就能推广到所有的出价模式。接下来,我们逐步引出每个比率以及分析对三方利益的影响。
另外,用户(网民)其实也是一个参与的角色,但各媒体对用户的诉求(用户体验)考虑的程度不一样,考虑的方法也不尽相同,所以在本文的讨论中,只讨论媒体,平台,广告主三方的博弈。
3. “三率”之p(出价点->考核点)
我们看看在CPM和CPC下广告主是如何设定出价点的出价的?
CPM出价模式: 假设我们在推广一款游戏,通过核算得到一个付费用户的获取成本在80元以下,就能有钱赚。也就是说,广告主(或者投放优化师)内心有个隐含的付费用户出价(即隐含CPP=80元),后续简称为付费出价。那么广告主会根据之前的投放数据,估计一个从p(m->p)的概率,假设估计点击率CTR p(m->c)大概0.03,p(c->i)大概0.1,p(i->a)大概0.4,p(a->p)大概0.1,那么整个p(m->p)就是0.03 0.1 0.4*0.1=0.00012,所以有
cpm = p(m->p)* 隐含付费出价 *1000
cpm = 0.00012 *80 * 1000 = 9.6元
所以广告主的CPM出价就设为9.6元。
有些投过广告的读者可能会说了,“我投放的时候可从来没这么算过”。对,实际操作中,广告主并不都是显式地这么干,他们通常是先设置一个经验CPM,然后看报表的付费用户成本,付费成本高于80,就调低价格;如果低于80,就调高价格。最后实际上达成的效果,和上面描述的是一个意思:
即在广告主的出价中,会隐式地包含一个用固定值预估的p(出价点->考核点),在CPM中为p(m->p),从而将考核点的出价(付费出价),换算得到出价点的出价(即CPM出价)。
CPC出价模式: 也是类似的,广告主的CPC出价中,会隐式地包含一个用固定值预估的p(出价点->考核点),在CPC中为p(c->p),从而将考核点的出价(付费出价),换算得到出价点的出价(即CPC出价)
我们发现在CPM和CPC中(其实对于其他出价模式也一样适用),都会设计到p(出价点->考核点)这个比率,即出价点(CPM的m, CPC的c) 到考核点(p) 这一段的比率。接下来我们看看这个比率的真实值的高低,和预估值的准确度,分别对博弈双方(即媒体平台和广告主)都有什么利益影响。先放结论,再一个一个分析。
p(出价点->考核点) 比率真实值高低对媒体和广告主的影响
提高p(出价点->考核点)这一段比率的真实值,对于求量的广告主,在同样付费用户成本下可以换算得到更高的出价点的价格。例如CPM模式中的CPM价格(因为cpm = p(m->p)* 付费出价 *1000)。从而赢得更多的原本不能赢得的展现机会,拿到更多的量,因此媒体平台的收入也会增加。而对于预算有限不求量的广告主,保持出价点的出价不变的情况下,获得更多的付费用户,ROI提升。
所以在提高p(出价点->考核点)的真实值上,媒体平台和广告主是完全利益相同的,例如CPM模式下媒体平台会通过优化广告位位置,从而提高点击率来提升p(出价点->考核点)。因为利益一致,广告主在方面可以信任媒体平台提供的建议和工具。
p(出价点->考核点) 比率预估值准确度对媒体和广告主的影响
对于任何一个用户,广告主都是显式或者隐式地用固定的一个值(虽然会调整,但是同一时刻对于不同流量是固定的)来预估p(出价点->考核点),从而把付费出价转化成出价点出价。显然事实上每个用户的这个比率是不一样的。因此这个预估值有时候会偏高,造成出价点出价过高,广告主ROI下降,对于媒体平台来说,收入增加;有时候偏低,造成竞价点的CPM值偏低,竞价不利,不能获得足够的量,对于媒体平台来说,收入下降。
由广告主用固定值预估的p(出价点->考核点)偏高偏低都会让广告主自身利益受损,因此广告主有动力通过调整出价来调整这个预估值,提高准确度。
4. “三率”之p(竞价点->计费点)
对于CPC来说,和CPM不一样的地方在于计费点和出价点都在c了,而竞价点一直在m。因此,会有一个p(竞价点->计费点)的率。接下我们探讨这个比率真实值的高低,和预估值的准确度,对博弈双方(即媒体平台和广告主)都有什么利益影响。先放结论,再一个一个分析。
p(竞价点->计费点)比率真实值高低对媒体和广告主的影响
提高从竞价点(m)到计费点(例如在CPC出价模式中是c)这段的真实值,对于求量的广告主,在同样的付费点出价上,可以换算得到更高的CPM。(例如在CPC出价模式中,CPM=CTR CPC 1000),赢得更多的原本不能赢得的展现机会,拿到更多的量。因为CPM提高了,媒体也获得了更多的收入。
但是,对于不求量的广告主,不一定是这样了。不求量的广告主在本文中的是指,在获得一定的量之后,不再追求继续扩大采买量的广告主。这时候有的朋友可能会问,只要实际付费用户成本小于根据用户LTV估算出来的可以接受的最高付费用户成本,广告主应该是量越大越好才对,这样总的利润会更高。为什么会有不求量的广告主呢?
比较典型的有两类广告主,他们对量的需求到了一定程度就不再增加了:
一类是小代理或者CP自己。通过广告投出去的钱不能在短时间内收回的,需要一个周期,例如重度游戏可能需要几个月,休闲游戏可能需要几周。对于资金实力不够的小代理公司或者自己投广告的CP自己,即使ROI在大于1的情况下,预算也是有限制的。
二类是服务能力有限的广告主。当采买的量大了之后,自己的服务能力更不上。不过在互联网行业,因为增加服务能力的边际成本很低,通常这种情况较为少见。
为什么有时候广告主反而希望降低点击率?
那么对于不求量的广告主,为什么提高p(竞价点->计费点)的真实值,对他们没有好处呢?一个很容易想到的原因是广告是按照计费点处行为的个数来计费的,例如计费点在点击c处,没有点击是不收广告主钱的。广告平台从100个展现里带来2个点击还是从10个展现里带来2个点击,对于广告主来说都是花一样多的钱带来一样多的点击,点击率的提高并没有直接给广告主带来好处。而且在有些情况下,p(竞价点->计费点)的比率越低,反而对不求量广告主来说更好。我们来看一个非广告行业的案例就更清楚了—电信诈骗。
类比问题:为什么有些诈骗短信的内容那么拙劣?
某电信诈骗公司先广撒网群发诈骗短信,如果有上钩的,回复短信或者电话联系,再通过专员的一整套话术,进行诈骗。群发短信的成本很低,基本上可以忽略,类比CPC模式下的展示m;而通过专员沟通进一步诈骗则需要占用专员的时间和精力,类比CPC模式下的点击c,是需要付出成本的。而诈骗公司的人力是有限的,需要专员“服务”的人的量必须是有限的,多了电话打不过来。因此在这个类比下,诈骗公司就是不求量的广告主。
如果诈骗短信太有欺骗性,“点击率”很高,一些其实不太容易上当的人一时没反应过来也给专员打电话做咨询,在专员有限的人力下,比如一天接1000个电话,最后能“转化”的用户是比较少的。而如果短信像图中这么拙劣,“点击率”很低,那么只有非常容易上当的人才会给专员打电话,那么专员同样是接1000个电话,能“转化”的用户机会比较多。
回到互联网广告行业,类似地,在一些情况下,p(竞价点->计费点)是和p(计费点->考核点)是负相关的。这就是为什么对于不求量的广告主,提高p(竞价点->计费点)对他们来说,不一定有好处甚至可能有坏处的原因。作为媒体平台,因为互联网的边际服务成本很低,求量的广告主一般占多数,所以影响一般不是很大。
p(竞价点->计费点)比率预估值准确度对媒体和广告主的影响
和CPM不一样,从m到c这一段,也就是p(竞价点->计费点)这一段的预估,是由媒体平台通过机器学习来预估的。每一个用户每一个广告在不同的上下文(context)的预估值通常都是不一样的。
如果对某一条广告的预估值偏高,那么该广告在竞价点的CPM会比较高(因为CPM=p(竞价点->计费点)* p(计费点->出价点)* 出价点的出价),抢占了其他广告的展现机会,但是实际发生的计费数又少,广告平台的收入就降低了。对于广告主来说,计费数少计费也会成比例少,最终ROI没有明显变化。
如果对某一条广告的预估值偏低,那么该广告在竞价点的CPM会比较低,竞价队列里不是最优的广告会排到更前面,导致广告平台的收入也降低。对于广告主来说,拿到的量就少了。
所以我们看到,媒体平台对于p(竞价点->计费点)的预估越准确,收入越高。对于广告主来说,主要就是影响拿量的多少,相对来说,影响较小。
从CPM到CPC,媒体平台和广告主的博弈关系发生了什么变化?
从CPM到CPC对广告主的影响
如果考核点在c以及c之后,从CPM到CPC,广告主的利益得到了很大的保证。原来广告主用固定值预估p(m->c),会非常不准,而且不管偏高还是偏低,都会广告主的ROI或者量有负面影响。而在CPC中,p(m->c)属于竞价点->计费点这一段。这个值(点击率)由掌握用户特征和label(即c)的媒体平台用机器学习模型预估,会比广告主用固定值预估准得多,而且如果预估偏高,广告主的ROI也不会受到明显影响。所以广告主用CPC比CPM几乎只有好处没有坏处。
对于某些只考核m不考核c的品牌广告主,考核点就在m,上述分析都不适用了,这类广告主不会使用也没有必要使用CPC。
在CPM到CPC对媒体平台的影响
如果广告主考核点在c以及c之后,从CPM到CPC,对媒体来说也是利大于弊的。CPM中p(m->c)是由广告主用一个固定值来预估所有广告的p(m->c),假设广告主预估非常准,即用所有广告的均值来当做这个固定值。那么会有近一半的广告高估,一半的低估。在一段时间之后,广告主会发现预估偏低的很多竞价失败,而偏高的容易竞价成功。所以在看报表时,投放出去的广告的平均成本是要明显高于出价的。这个时候广告主要达到目标成本,就必须要降低这个用来预估的固定值(也就是降低出价点的出价),导致大部分的预估都是偏低的,也就是媒体平台的收入主要是降低的。而在CPC模式的实际投放数据表明,虽然媒体平台承担了p(m->c)预估不准的带来的后果(因为不管偏高还是偏低,都由媒体平台买单),但是因为预估准太多了,损失比在CPM中由于广告主预估值明显偏低带来的媒体平台收入下降带来的损失更小。所以综合来看,媒体平台在CPC模式下收入也是增加的。
另外,比率真实值部分,CPC模式下,预算有限的广告主,在是否提升m->c这一段比例的诉求,利益和媒体平台不一致了。还好这一部分影响相对比较小,实际投放中,CPC对于媒体平台来说还是明显利大于弊。
什么情况下可以使用CPA模型?
CPC的成功,让人不禁思考一个问题,是否可以如法炮制,把计费点和出价点移动到a,这也就是CPA的模式。
如果a行为的数据,也是媒体平台能完全控制完整收集的,那么没有问题,CPA模式也是成立的。例如媒体平台是淘宝,广告主推广自己在淘宝的产品,那么淘宝可以完全掌控a的行为,那么做CPA(甚至CPS)是可以的。
如果a行为的数据,是由广告主收集的,再由广告主自己回传给媒体平台,那么把计费点移动到a就会有问题。比如广告主出价是80块一个a行为,那么广告主就有动力一直不回传a行为的数据,或者克扣部分a行为的数据给媒体平台,从而让媒体平台少收了广告主的钱。
所以我们可以得到一个准则:
付费点通常不能超过媒体平台完全控制的行为点,不能到达由广告主收集的行为点。
5. “ 三率”之p(计费点->出价点)
按上面的分析,如果a行为由广告主负责收集,那么我们就不能直接按CPA出价和计费,p(c->a)这一段的预估还是只能由广告主用固定值来预估,根据上面的分析,对于广告主和媒体平台都是不利的。 p(c->a)这个比率预估的特征数据(用户特征和广告特征)在媒体平台手里,但是label是在广告主手里。所以如果要预估p(c->a),必须有一方让步把数据给另外一方。
通常媒体平台比各个广告主具有更好的数据分析能力,广告主把label数据给了媒体平台(下面会分析为什么广告主有动力这么做),由媒体平台进行p(c->a)来预估。这时候FB创新的oCPX就出现了,它把出价点和计费点分离了,计费点在m(或c)而出价点在a。
我们可以这么来理解oCPX:oCPX=计费点和出价点分离+连续竞价下的智能出价控制
即广告主把行为数据主动给媒体平台,由媒体平台免费为广告主提供把出价点价格转化成计费点价格的出价转换服务(通过预估p(c->a)的方式)。另外媒体平台提供在连续竞价下的智能出价控制服务。 连续竞价下的智能出价控制服务后面会详细讨论。
p(计费点->出价点) 比率真实值高低对媒体和广告主的影响
p(计费点->出价点)越高,根据广告主出价点的出价换算到计费点出价再换算到竞价点的CPM出价也会越高,广告平台收入提升。对于求量广告主来说,这个比率越高,换算的CPM出价也越高,越容易拿到量。对于不求量的广告主,保持付费点出价不变的情况下,获得更多的出价点行为,ROI得到提升。
我们可以发现在提高 p(计费点->出价点)比率的真实值上,媒体平台和广告主的利益也是一致的。
p(计费点->出价点) 比率预估值准确度对媒体和广告主的影响
对于由媒体平台用模型预估的预估值,如果偏高的话,广告主在计费点的出价就会偏高,导致ROI下降。如果偏低的话,导致换算到竞价点的CPM偏低,拿不到量。对于媒体平台来说,预估值偏高,会换算得到更高的计费点出价和竞价点CPM出价,收入增加。而预估偏低的话,从出价点换算得到的CPM就比较低了,广告队列竞争激烈程度不够,媒体平台收入下降。
这里我们会发现一个问题,由媒体平台预估的p(计费点->出价点)在预估偏高时,媒体平台自己是受益的,而对广告主不利的。媒体平台短期有动力高估这个比率,这个问题怎么解决呢?我们会在下一篇文章里详细说明。
至此,大媒体平台中四个关键点直接的三个比率对博弈双方的影响都已经完整分析过了。各种各样的基础以及智能出价模式,其中很大的区别就在于这四个关键点在不同位置。理解这些出价模式的关键之一,是把这四个关键点和他们之间的三个比率对于三方的利益影响分析清楚。
6. “两控制”:连续竞价下的智能出价控制
上面关于“四点三率”的讨论,都是基于单独看待每一次竞价而言的分析。在最常用的GSP竞价机制下,对于单次竞价,广告主只需要出自己能接受的最高价格就是利益最大化的。比如说广告主核算后发现最高可以承受800块1个付费用户,按照激活到付费的历史经验大约是0.1,那么激活出价就应该填写80元。
但因为投放是一个连续的多次拍卖行为,一方面广告主给出的价格是多次竞价的平均价格,前期拍卖的结果会对广告主后续能接受的最高价格有影响(例如前期买便宜了,后面出价可以出高点)。另一方面,有的广告主也有预算限制。因为这两个原因,所以有必要根据过去拍卖的结果,对每次的出价进行调整。每个原因对应一种控制。
连续竞价下的成本控制: 仍旧假设广告主激活出价为80元,如果早期通过投放购买到的100个激活只花了每个50元,那么其实可以在后面的出价出得更高一些,只要最后综合的成本不超过80元就可以,提高出价还可以买到更多的量。同理,如果之前投放的平均成本到达了120元,那么就需要限制出价,让最后的综合平均成本降到80元左右。oCPX通常就意味着媒体平台对出价点的出价进行连续竞价下的成本控制,让最后的平均成本接近广告主设定的值。
连续竞价下的预算控制: 这种控制是针对广告主有单日或者周预算限制的情况。例如一天的预算为1万元,并且在上午就已经花掉了5000元。那么在后面的竞价里,就应该降低出价,防止预算太早花完。如果过早花完预算,那么晚些时候一些很便宜的流量就没有预算进行购买了,没有最小化平均成本。在有限预算下要降低每个行为的平均成本(例如激活的平均成本),就必须让预算以合理的节奏花掉。不是说绝对的平均花费(每个小时花1/24),而是让花费和流量的分布差不多一致(例如晚上流量高的时候多买点)。想做得更好的话,可以在流量更便宜的时候多买一些,贵的时候少买一些。这就是体现技术实力的地方了。值得注意的是,在有些出价产品中,当设置了预算控制时,广告主无需在投放后台填写出价点的出价,而是完全由媒体平台根据预算来设定和调整。
这两个就是我们“四点三率两控制一加强”中的两控制。
现在基本上所有媒体平台的出价模式,只要带上“智能出价”(smart bidding)类似字眼的,就意味着至少有这两个控制中的一个。值得一吹的是,2014年笔者在一家创业公司做国内第一家移动DSP平台的时候,做了出价点和计费点分离,也创新地用PID控制实现了这两个智能出价控制功能,在出价产品上领先很多大公司(虽然这些产品没有被多少人用到过…)
值得注意的一点是,在oCPC这个名字里,是看不出出价点在哪里的。因此不能唯一确认一个出价模式。在本文中,我们可以约定在最后加一个出价点的字母来唯一标示一个出价模式。例如oCPC-A, oCPM-I等等。不过为什么媒体平台都没有这么命名呢?因为媒体平台其实没有办法保证广告主回传的是a还是别的什么行为。假设媒体平台想用oCPC-A模式,但是广告主其实可以回传不是a而是付费p, 同时在出价里填上一个付费的出价就可以了(原本应该填一个激活的出价)。这个时候oCPC-A就变为oCPC-P了。
在oCPX出价模式中,广告主是否应该回传真实的行为数据?
按照上面的讨论,出价点的行为数据是广告主自己回传的,广告主可以有几种方式不按照媒体平台要求的回传所有的出价点数据,我们依次来讨论下对广告主是否有利。
(1) 广告主只回传部分出价点的数据, 例如只回传50%
这种情况下,对于该广告主的p(计费点->出价点) 预估会偏小接近1半,导致广告主的出价偏低,拿不到量。要拿到一样的量,就得把出价提升为原来的2倍。这样一抵消,在计费点的出价是不变的,媒体的收入并没有降低,反倒是因为少了一半样本,p(计费点->出价点)的预估变得更不准了,损害了广告主自己的ROI。国内是由广告主自己归因,有些广告主以为归因媒体平台的时候尽量保守,对自己会有好处,其实是不对的。
(2) 广告主回传更深度(或者更浅)的数据而不是出价点的数据,例如回传付费数据(或者下载),而不是原来约定的激活数据
这种情况下,广告主如果在出价里也填入的是付费出价(或者下载),那么对于这个广告主而言,oCPC-A就变成了oCPC-P或者oCPC-I。遗憾的是,如果其他大部分广告主还是回传的激活数,那么因为媒体平台在训练p(计费点->出价点)模型的时候,并不是只用该广告主自己的数据,而是也受到其他广告主数据的影响,那么这样做会因为训练目标的类型不一致,让这个广告主的p(计费点->出价点)的预估准确度受到负面影响,对广告主投放不利。
所以在oCPX出价中,广告主按照约定,完整回传约定的行为数据,其实是对自身最有利的行为。
为什么国内的很多oCPX会有超成本赔付机制?
这个问题要从CPC vs oCPC的比较,我们用“四点三率”来对照他们的差异。
对比CPC和oCPC, 我们只发现一个区别,就是谁来预估p(c->a)的区别。但是这也会带来一个很不一样的地方,就是在CPC中,p(c->a)由广告主预估,预估得偏高或者偏低广告主利益都受损。但是在oCPC中,p(c->a)由媒体平台预估,如果预估偏高,媒体平台的收入是增加的,偏低则媒体平台收入下降。那么理论上媒体平台就有动机在短期内故意预估偏高(不会长期偏高是因为广告ROI下降后,会减少投放,最终损害媒体平台利益),这也是(上)篇末尾抛出的问题。
因此在国内如某音,某手等广告平台在oCPC(或者oCPM,原理一样)都会有超成本赔付机制来自我制约,弥补这个机制上的问题。例如广告主用激活出价,80元一个转化,如果因为媒体平台故意短期内预估偏高,导致广告主激活成本超过80元,媒体平台都会进行赔付。而在国外,FB和Google的广告产品并没有这个赔付,笔者个人认为是因为国外的信任机制比较好,广告主相信大的媒体平台会考虑更长远的利益,即使偶尔会有超成本,但是也相信是技术上的原因,是投放成本的一部分。而国内因为历史原因,比较难建立这样的信任机制,所以需要媒体平台自缚双手,以示清白。
为什么国内的媒体平台,对oCPX的超成本赔付,要求广告积累的行为数(例如激活数)达到一定的数量才开始赔付?
某音的oCPM赔付要求该广告单元积累10个行为数(例如激活数),某手也是类似的要求。为什么不能只要超成本就赔付呢?
有两个原因:
第一个原因是如果没有行为数(以下以激活数为例)门槛,那么广告主有可能会隐藏激活数不上报,最后要求媒体平台进行全额赔付(因为一个激活都没有)。虽然因为广告主不上报激活数,媒体的模型会将这个广告单元的预估得越来越低,最终为0,也就是媒体平台给这个广告主的量越来越少,最终完全不给量。但是在早期,广告主仍旧能获得不少点击或者激活(但是没上报给媒体平台)。如果媒体平台不设置激活数门槛而全额赔付,就会一直被广告主薅羊毛。而一旦设置了激活数门槛,相当于广告主至少需要支付激活出价*激活数门槛的费用。因此只要媒体平台做完全停止给广告主量的时候,成本小于上述的广告主最小支付成本,那么媒体平台的利益就不会受到损伤。
第二个原因是因为模型学习需要一定数量的样本,在没有积累到足够的激活数之前,模型预估偏高偏低都是很难避免的,这并不是媒体平台刻意为之的行为,不应该由媒体平台来单方面承担这部分成本。
为什么某条自有流量要从oCPC模式转为oCPM?
某条自有流量的售卖,一开始是oCPC模式,后来转为了只有oCPM。
我们用“四点三率”的差异来看看oCPC vs oCPM有什么区别?
我们可以看到,从oCPC到oCPM,有两点变化:
- 第一个变化,在比率绝对值上,不求量广告主原来有动机不提高p(竞价点->计费点)的比率,在oCPM模式下两方动机一致了,是一个改进。
- 第二个变化,原来在oCPC模式下,原来媒体平台不管预估偏高偏低都会收入下降,但是在oCPM下,有动机预估偏高了,而且会损害广告主ROI,但是通过赔付机制可以弥补这个问题。
所以综合来看,从oCPC过度到oCPM对广告主没有什么利益损伤,对媒体平台来说,可以避免不求量广告主主动降低p(竞价点->计费点)的问题(虽然这个问题在充分竞争的流量上影响很小)。这可能是某条从oCPC转向oCPM的其中一个原因。
另外,某条的产品很多,有文字广告,图片广告,视频广告,所以转化链条也很多样,有的按点击收费,有的按播放3秒收费,有的按播放完收费,如果统一用m计费也有利于统一管理。但是FB和Google的广告产品还是可以让广告主自行选择oCPM还是oCPC,这两者的差异其实并不太大。
双出价是怎么样一种出价方式?
如图,以激活付费双出价为例,该出价模式有两个不同的出价点,广告主把这两个行为数据都给媒体平台,让媒体平台提供免费的出价转化服务。最终转化到计费点的时候,也会有两个计费点价格。这两个价格是有冲突的,得从这两个价格合并得到一个最终的价格。具体实现就看各家媒体自己的设计了。
不过可以确定的是,各家媒体平台都会力求保证激活和付费的成本都不超过设定的激活和付费出价。那么这种方式和单按付费出价并保付费成本(例如某条的“激活且付费”出价模式)有什么区别呢?我们来分析一下。
- 如果一批流量,激活成本达标,付费成本也达标,那么这批流量双出价和单付费出价都能拿到。
- 如果一批流量,激活成本达标,付费成本不达标。那么这批流量双出价和单付费出价都拿不到。
- 如果一批流量,激活成本不达标,付费成本也不达标,那么这批流量双出价和单付费出价都拿不到。
- 如果一批流量,激活成本不达标,付费成本达标,那么这批流量双出价拿不到,而单付费出价能拿到。
所以激活付费双出价和单付费出价的差异就在于是否要“激活成本不达标,付费成本达标”这部分流量。
广告主更在意的是付费成本,“激活成本不达标,付费成本达标”这部分流量广告主是需要的,那么为什么还需要有双出价?笔者认为,原因在于前期付费数据较少,付费成本在收敛到付费出价之前,会经历较大的波动,某个时刻甚至会远超付费出价,导致学习期失败或广告主受不了自己关停。 而双出价,通过放弃了“激活成本不达标,付费成本达标”这部分流量(实际上是放弃了“激活成本不达标”的所有流量,因为早期无法把“激活成本不达标,付费成本达标”的流量从“激活成本不达标,付费成本也不达标”的流量中区分开来,只好一股脑全放弃了), 来达到降低前期付费成本波动的效果,最后可能学习得更稳,成功率更高,全时间段的综合成本更低。
但是到了后期,付费数据已经积累够多,有能力把“激活成本不达标,付费成本达标”的流量和“激活成本不达标,付费成本也不达标”的流量区分开了。那么再放弃“激活成本不达标,付费成本达标”的流量就会限制广告主能买到的量了。 因此对于已经积累到较多付费数据,和前期付费成本波动较小的广告,可能用单付费出价是更合适的选择。
7. “一加强”
“四点三率两控制”都讨论完了,就剩下一个“一加强”。我们以Facebook的一个产品为例来介绍。
在Facebook应用推广的投放设置页面,我们可以看到计费点可以选择为impression,出价点可以选择为转化(例如可以是激活a), 还可以选择针对某个应用内事件优化(Optimiaztion for Ad Delivery App Events),这个优化可以是激活后的某个行为,例如付费p。那么投放系统会在oCPM-A的基础上,尽量优化获得更高的付费数。我们姑且把这个命名为oCPM-A-enhancedP模式。
这么一来就在出价点和考核点之间加了一个新的点,加强点。假设出价点在a, 激活点在p。那么问题来了,为什么媒体平台不直接让广告主在更后端的加强点p出价,然后通过预估p(a->p)和其他几个率,把加强点p的价格换算成eCPM? 如果是这样,就相当于出价点在p, 没有加强点的情况。为什么不这么做呢?
回顾一下前面的内容,出价点与计费点分离且更靠近链路后端能带来更好的效果,前提是媒体平台对p(计费点->出价点)要比广告主隐含地用固定值预估的p(计费点->出价点)要更准才行。但有时候,因为数据较少或者其他原因,对于p(a->p)这个比率,媒体平台用数据预估的比率,比广告主隐含地用固定值预估的值更加不准确。那么这一段就不能放到计费点->出价点了。这也就是为什么不能把出价点后移到加强点的原因。
但是媒体平台的数据也不能浪费了,可以用来对广告主隐含地用固定值预估的值进行加强(enhance),即:
p_adj(出价点->加强点) = p_广告主预估(出价点->加强点) * adj(x) —(式1)
其中x为广告的特征向量。
直观理解,媒体平台根据数据,判断该广告的p(出价点->加强点)较一般广告高,就把出价再调高一些,如果p(出价点->加强点)较一般广告低一些,就把出价再调低一些。这个价格的再次调整通常会有个范围,例如某条的“自动优化”在公开文档上写明是控制在-30%到+30%之间,即adj(x)的范围在0.7到1.3之间。只要p_adj(出价点->加强点)的准确率大于p_广告主预估(出价点->加强点),那么添加这个加强点就有收益。
媒体平台是无法直接获得p_广告主预估(出价点->加强点)这个值的,因为这个值是隐含到出价里的。不过还好也没有必要,我们把针对加强点调整后的ecpm记为ecpm_adj,则有
ecpm_adj= p(竞价点->出价点)*p_adj(出价点->加强点)*加强点出价
将(式1)和
加强点出价=出价点出价/ p_广告主预估(出价点->加强点)
代入上面ecpm_adj的式子,则有
ecpm_adj= p(竞价点->出价点)* p_广告主预估(出价点->加强点)
*adj(x) *(出价点出价/ p_广告主预估(出价点->加强点))
约去后有
ecpm_adj= p(竞价点->出价点)*adj(x)*出价点出价
用这个值作为竞价点排序的ecpm就可以了。
从这里我们也知道为什么(式1)中是把adj(x)简单地乘到p_广告主预估(出价点->加强点)上了,因为如果是更复杂的函数,上面的推导就不一定成立了。
除了Facebook,Google的enhanced CPC从文档描述上看也是这类产品,另外某条的“自动优化”功能也是将付费作为了加强点的产品。
8.“四点三率两控制一加强”总结**
经过分析会发现,绝大多数出价模式都由“四点三率两控制一加强”这几个部分组成,当遇到一个新的出价策略,我们可以将他们按这几个部分的不同进行拆分,方便理解。我们通过分析几个市面上主流公司的出价模式,来进行总结。因为考核点对于每个广告主来说不一样,和投放平台关系不大,没有列出。(下表信息均来源于公开的各投放平台后台或者帮助文档中)
表中,app events可以是下载,安装,激活,付费等各种app事件但不能是回收金额。Facebook的计费点中的v表示视频观看完10s或者看完。另外在Facebook的产品中,当app events选择不同行为时,计费点,加强点的选择是有限制的,不是都可以选择。Google计费点的m/c这个并没有实锤,是我猜测的。腾讯用oCPA来表示出价点在a,计费点在m或c的出价模式,命名方式不一样,和其他公司的模式容易混淆起来,注意区分。
另外,表中所有有预算控制的出价模式,广告主都无需在投放后台填写出价点的出价,而是完全由媒体平台根据预算来设定和调整。在尽量花完预算的同时,最小化出价点的成本。
在各家的产品中,每个模式还可以配搭几种不同的消耗速度,例如某条有(均衡投放、优先跑量、优先低成本),每家的具体策略不一样,我猜测是在成本控制和预算控制的具体实现上,匹配了不同的pacing策略和参数。Facebook,Google也有两档的消耗速度可以选(standard和accelerated),快手有两档(标准投放,均衡投放),腾讯两档(标准投放,加速投放),百度有三档(标准,匀速,加速)。
表中回收金额表示某段时间内(例如一周)通过内购或广告的形式产生的广告主收入。当出价点为回收金额时,表示每回收1元钱,所需要出的价格,也就是ROI出价。例如广告主可以对一周内的1元回收金额出价为0.4元,则对应的ROI目标就是0.4。Facebook中的ROI优化产品就是大家了解的VO(value optimization), 根据成本/预算控制的区别,对应两个出价模式:Value optimisation with min. ROAS和highest value。优化app events的产品就是AEO(appevents optimization),根据成本/预算控制的区别,对应两个出价模式:lowest cost(其实还有一个target cost,控制上稍微有些不一样)和cost cap。
三. 广告联盟
在大媒体平台中,媒体和平台是在同一个利益共同体。大媒体平台的内部我们可以认为分为大媒体广告位,流量聚合和投放平台三块。
但不是所有的媒体都有技术能力来做投放平台,也不是所有媒体都有销售能力来对接众多广告主,这些小媒体需要共享一套广告投放平台,也就是广告联盟。广告联盟的投放平台上也可以实现前面介绍的各种出价模式,“四点三率两控制一加强”同样适用。
从图中我们可以看到,广告联盟平台与大媒体平台最大的差异在于,媒体从与投放平台及流量聚合的利益共同体中分离出来了,媒体和投放平台之间的利益不再完全绑定,那么会因此带来什么变化呢?我们来看看“三率”表中发生了什么变化。
在表中,我们把广告联盟简称为“平台”。所有与大媒体平台对应的表有差异的地方都用黄框圈了出来。因为联盟按一定比例给媒体进行分成,所以媒体和平台的利益基本是一致的(虽然在分成比例上双方要根据自己的筹码博弈),所以上表其实和大媒体平台中的表基本一致,主要是“媒体平台”变成了“媒体&平台”,另外p(竞价点->计费点)和p(计费点->出价点)都原来是由“媒体平台”预估,现在变成了由“平台”预估。因为联盟平台没有了大媒体里用户的所有行为数据(用户的广告行为数据和非广告行为数据),只有众多小媒体中用户的广告行为数据(没有了非广告行为数据),能否比大媒体的投放系统预估得更准就要看这两种数据哪个更加有信息量了。
那这么说媒体和平台在联盟模式下利益没有冲突?也不是的。
为什么某条自有流量只有oCPM而某山甲仍旧保留oCPC模式可以选择?
在某量平台上,选择投放到某条自由流量时,只能选择oCPM模式。但是选择投放到某山甲(某条的广告联盟)时,可以选择oCPM或者oCPC。为什么不干脆统一一下,只保留oCPM呢?
联盟模式下,有一个不一样的地方在于,p(计费点->出价点)偏高时,是由平台进行赔付广告主的,因为看到是广告主多次竞价后的总体成本(例如激活成本)是否超过广告主出价的成本,所以平台无法把赔付归因到具体的媒体。另外平台要考虑长期收益,更没有动力将p(计费点->出价点)预估偏高。但是单个媒体不用赔付,也可以不考虑长期收益,就有动力主动让平台对p(计费点->出价点)的预估偏高,例如在oCPM模式中,通过增加大量的虚假展现,平台的模型一时没有反应过来,就会短期对该媒体的p(计费点->出价点)预估偏高。(长期模型会学习到这个媒体的p(计费点->出价点)偏低,从而降低出价)。而赔付又不一定会归因到这个媒体,就会导致该媒体因为虚假展现带来了很多作弊收益。
但是如果在oCPC下,媒体能控制的m->c变为了p(竞价点->计费点),该比率预估偏高偏低都会影响单个媒体的收入,因此单个媒体就不会有动机制造虚假展现了。遗憾的是,从c->出价点,媒体仍然能通过制造虚假点击(比制造虚假展现困难一些),来达到使p(计费点->出价点)偏高的效果,从而获得作弊收益。所以如我们能观测到的那样,联盟上的流量质量会稍差一些。
四. RTB广告
前面说到广告联盟是将媒体从与投放平台及流量聚合的整体利益共同体中分离出来了,那么RTB模式就是将投放平台从与流量聚合的利益共同体中分离出来,使得投放平台更多地和广告主的利益结合在一起。具体的利益结合方式主要有三种,对应DSP的三种盈利模式:套利模式,服务费模式,消耗分成模式。后面会一一介绍。
这样做的出发点是为了让广告主有更好的选择。打个比方,以前所有的食材(媒体流量)只供给给一家餐厅,要吃饭只能去这一家餐厅吃(一个投放平台),服务地再不好也得忍。现在食材同时供给给好多家餐厅(多个DSP),可以选择服务地最好的餐厅吃,餐厅因为有竞争,也会更加站在消费者的角度,为消费者考虑。如果觉得餐厅都不合自己的口味,还可以买回厨房自己做着吃(广告主自营DSP)。
DSP之所以叫Demand Side Platform,就是以为它是更站在需求方这一边的平台,更加代表需求方(广告主)的利益,也让部分广告主更加放心把自己的数据上传并用于投放。
DSP盈利模式有几种?每种模式下三方的利益关系发什么了什么变化?
DSP的盈利模式大概有三种:
1. 套利模式
广告主和DSP签订某个行为数的购买价格,例如每个点击1元钱。然后由DSP通过ADX采买流量,DSP会通过技术手段将每个点击控制在例如0.8元钱,这时候DSP就可以赚0.2元的差价。DSP的技术越强,相同的量的情况下,就可以以更低的成本从ADX里购买到点击,例如降低到0.6元,那么就可以获得更高的利润。
因为激活或者其它更深度的行为数据通常由广告主收集,DSP并不能防止广告主隐瞒激活。所以通常广告主和DSP约定的结算行为和大媒体平台里的计费点类似,需要在DSP能完全控制的范围之内。
广告主和DSP以点击数或者展现结算,但是也可以实现和大媒体平台类似的oCPX模式,即广告主在DSP平台上也可以按激活或者付费来出价。例如广告主和DSP以一个点击1元钱结算,但是同时对每个激活出价60元。和之前介绍的oCPX一样,DSP会根据预估的p(c->a)将激活出价转换到点击出价,再根据p(m->c)转化到eCPM。同时通过成本控制,将点击成本控制在比如说0.8元,那么DSP就可以每个点击赚0.2元,这也为什么叫套利的原因。DSP对点击率预估地越准,就可以用越低的成本买到同样质量的点击,从而盈利也越高。另外,也需要将广告主的激活成本控制在60元以下。笔者14年在国内首家移动DSP设计竞价策略时,就是采用这个模式,广告主按CPA出价,DSP用技术手段保证点击成本低于和广告主的结算成本保证利润空间。
在套利模式下,因为DSP的获益方式和原来联盟以及大媒体都不一样了,因此,“三率”的表格也发生了改变。在这个表格里,我们将DSP称之为平台,ADX及聚合的媒体流量称之为媒体。
和联盟不一样的只在p(竞价点->计费点)预估偏高这一项。因为DSP从竞价点到计费点的预估如果偏高了,媒体的收入是提高了(因为出价偏高了),但是因为广告主和DSP是按计费点的数目结算,所以并不影响ROI,这部分损失由平台(也就是DSP)承担了。
2. 广告主自营DSP/服务费模式
有些行业的广告主,比如电商广告主(如某东某宁),因为用户数据的价值太大,导致他们不能把自己的详情页到达或者用户购买商品等广告主端收集的数据回传给平台(不管是大媒体广告,联盟或者DSP)。所以他们不能用oCPX等产品,但是他们又不甘心只用CPC来购买流量,这样后链路完全没有优化。这个时候,自营DSP就是一种相对适合他们的解决方案。
还有些DSP采用固定服务费的方式,即广告主交一笔钱,DSP就专心为广告主服务,DSP的利润和任何行为数都没有直接关系。这种方式从利益关系的角度非常接近广告主自建DSP的模式,只是和其他模式一样不一定能用上广告主所有的私有数据。
因为不管是广告主自营DSP还是DSP收取固定服务费的方式,广告主和平台的利益都完全一致了,也就没有了平台和广告主之分,所以上表中,直接用“广告主”代表了双方的共同利益。
另外因为广告主和平台不存在计费行为,因此4个关键点中的计费点消失了,关键比率也从3个变成了2个。
因为p(计费点->出价点)也就是p(竞价点->出价点)由广告主自己用模型预估,所以效果的好坏和广告主自己拥有的数据有非常直接的关系。所以这个模式只适合自己拥有丰富数据的广告主(例如自己同时也是大媒体的广告主,例如某东,某条),后面会详细分析。
3. 消耗分成模式
还有的DSP采取消耗分成的模式,即帮广告主花了多少预算,按一个约定的比例分成。
因为广告主和平台之间不存在按行为数计费的行为,因此同样地,4个关键点中的计费点消失了,关键比率也从3个变成了2个。
在消耗分成模式下,DSP的收入和广告主的消耗成正比,也就是和媒体的收入成正比,让DSP的利益反而和媒体绑定了。不过这种模式仍然存在是因为这张表分析的只是短期的利益关系,长期而言,如果广告主ROI下降,就会终止和DSP的合作,换其他的DSP。而DSP作为比联盟更需要代表广告主的角色,不太会做短期伤害广告主利益的事情。
五. RTA
前面介绍广告主自营DSP的时候说到,有些广告主因为自身用户数据的价值太大,导致他们不能把自己的详情页到达或者用户购买商品等广告主端收集的数据回传给平台(不管是大媒体平台,联盟或者DSP),所以他们建立了自营DSP,这样就可以放心地将自己的数据用来训练模型了。
那么在大媒体平台或者联盟买量的广告主,是不是也可以不回传数据给平台,而是像广告主自营DSP那样自己来搭建投放系统呢。答案是肯定的。这种方式在某条和某手都叫RTA广告。可以认为在RTB模式下的广告主自营DSP也是一种特殊的RTA广告。下图展示了在大媒体平台,联盟,和RTB下(也就是自营DSP)的RTA广告示意图。
图中,橙色部分都是投放系统的一部分,都会用模型来预估各种比率。我们能看到在大媒体平台和联盟中,投放系统被拆成了两部分,一部分在大媒体或者联盟平台中,一部分在广告主自己的RTA投放系统里。那么不难理解, 如果大媒体平台或者联盟能完全收集到的行为是点击的话,那么p(m->c)是由大媒体或者联盟平台的投放系统来预估,而p(c->出价点)是由广告主自己的RTA投放系统来预估。
这个切分不是按计费点来切分的,所以有时候大媒体或者联盟平台预估的是p(竞价点->计费点)(如oCPC),有时候也可能是p(计费点->出价点)(如oCPM)的一部分,而广告主RTA系统预估的都是p(计费点->出价点)的全部或者一部分。
这样对于广告主来说,就有六个广告模式了(3个普通的,加3个RTA),这六个模式哪个投放效果更好呢?模型和算法的实现就看各家的技术功底了,我们来看看从数据源上,这六个模式有什么本质差异。
上表中,假设大媒体平台或者联盟能完全收集到的行为是点击,那么就有两个模型需要预估,一个是p(m->c)一个是p(c->出价点)。每个模型的数据来源又分为了特征和label。只有特征数据和label数据都比较好,最后的模型才能预估得更好。另外,蓝色底色表示这个模型由大媒体,联盟或者非自营DSP来预估,橙色底色表示这个模型由广告主自己的RTA投放系统或者自营DSP来预估。另外,上表中所有参与方都可以购买第三方数据,因此表中不再单列第三方数据。
大媒体 vs 联盟: 联盟能拿到的数据局限在用户的广告行为,但是有来自更多媒体的数据,所以如果联盟不够大,媒体数量的优势无法弥补种类的缺失,那么两个模型的预估就会不如大媒体准确。
DSP vs 联盟: 首先ADX只会把局部的请求发送给DSP,所以在特征维度上,DSP只能拿到部分小媒体的用户广告行为。另外,对于p(m->c)模型,DSP�
- 原文作者:知识铺
- 原文链接:https://geek.zshipu.com/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%85%A5%E4%BA%92%E8%81%94%E7%BD%91%E5%B9%BF%E5%91%8A%E4%B8%AD%E7%9A%84%E5%87%BA%E4%BB%B7%E6%A8%A1%E5%BC%8F%E4%B8%8A%E4%B8%AD%E4%B8%8B%E5%AE%8C%E6%95%B4%E7%89%88/
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。
- 免责声明:本页面内容均来源于站内编辑发布,部分信息来源互联网,并不意味着本站赞同其观点或者证实其内容的真实性,如涉及版权等问题,请立即联系客服进行更改或删除,保证您的合法权益。转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。也可以邮件至 sblig@126.com