计算广告

第1章 在线广告综述

广告的定义与目的

根据广告目的不同，广告分为品牌广告（brand awareness） 、直接效果广告（direct response）
在传统广告产品中，大量投送和优化效果广告的能力显然是缺乏的。这是因为，对短期效果的追求要求广告精准地送达目标人群，而这在传统媒体上缺乏有效的技术手段。
互联网广告行业的高速发展主要是由于效果广告市场带来的巨大红利。
广告的根本目的是广告主通过媒体达到低成本的用户接触。
广告的“低成本”是与那些由市场或销售人员完成的劝服活动成本相对而言的，实际上是广告搭了媒体流量和影响力的便车。

在线广告简史

展示广告（display advertising）在出奇阶段的售卖模式，称为合约广告（agreement-based advertising），即采用合同约定的方式确定某一广告位在某一时间段为某特定广告主所独占，并且根据双方的要求，确定广告创意和投放策略。
互联网广告运营者们经过探索，很快就发现了在线广告不同于传统媒体广告的本质特点：我们可以对不同的受众呈现不同的广告创意！
媒体找到了一条能使广告位报价继续提高的思路。

泛广告商业产品

团购本质上是一种按照效果付费的泛广告产品，其特殊性在于广告主除了付推广费用外，还向用户让利以获得转化。

第2章 计算广告基础

可衡量的效果以及相应的计算优化是在线广告区别于线下广告的主要特点。

第3章 计算广告产品概览

商业产品的设计原则

商业产品指的是面向商业客户而非一般用户的产品，其中最典型的代表就是互联网广告产品。
商业产品一般都有一个明确的商业目标，而商业产品的使用者选用一款产品的动力也是为了优化这个商业目标。
商业产品的任何一项功能改进，只要能带来其对应商业目标的提升机会，即使在使用流程上引入一些不便，也是可以接受的。
在商业产品运营过程中有一些需要注意的关键点。 1）相对于产品功能，要特别关注产品中的策略部分。 2）要特别关注数据，让运营和产品优化形成闭环。

第4章 合约广告

流量塑形

从商业产品的要求来看，要系统化、高效率地达到流量塑形的目标，需要用户产品与广告产品的需求情况打通，然后按照一定的准则，在不伤害用户体验的情形下，尽可能提高商业变现的效率。

第5章 搜索与竞价广告

对比合约广告可知，竞价交易模式的本质是将量的约束从交易过程中去除，仅仅采用“价高者得”的简单决策方案来投放每一次广告。竞价顺应了定向广告向精细化发展的趋势要求，也为大量无法用合约售卖的剩余流量找到了可能的变现渠道，使得大量中小广告主参与在线广告的可能性和积极性大大增强，也使得在线广告的商业环境与传统广告产生了本质区别。
对应于竞价广告的产生，需求方的产品和技术也在发生变化。其中关键的变化有两点：一是由面向广告位采买变成面向人群的跨网络采买；二是帮助广告主在竞价环境中完成量的保证，这一点是竞价市场不再直接保证的。能达到这些需求方目的的产品我们叫作媒体采买平台。

搜索广告产品形态

搜索广告是以上下文查询词为粒度进行受众定向，并按照竞价方式售卖和CPC结算的广告产品。
搜索广告创意的展示区域一般来说分为北（north）、东（east）、南（south）三个部分。
搜索广告最基本的形式是与自然检索结果一致的文字链，一般会加底色和角上的“推广”“推广链接”“Ads”等字样，以区别于自然结果，这样做的目的是让那些对广告没有兴趣的人尽量少减少误点击，从而降低广告主的无效消费和提升用户体验。

搜索广告产品策略

搜索广告的整个决策过程可以分为查询扩展、检索、排序、放置、定价等几个阶段。
1、查询扩展
常见的几种匹配方式如下。 （1）精确匹配（2）短语匹配（3）广泛匹配（4）否定匹配
广告放置：当广告候选完成排序以后，需要分别确定北区和东区的广告条数，这个环节称为广告放置（ad placement）。确定一条广告能否进入北区要考虑两个关键因素：一是该广告相关性是否足够；二是该广告的RPM是否足够。前者是为了确保用户体验，后者是为了高效地利用展示位置。北区还会设定一个广告条数的上限。根据整体NFP的约束和收入的目标，我们可以很容易通过数据模拟的方法确定相关性和RPM的最优阈值。
有一部分用户总是会跳过广告，直接从自然结果开始浏览；但也有一部分用户或者对广告不太分辨、或者对其接受程度高，会将广告与自然结果一样看待，因此产生大量点击。很显然，对前一类用户，应该降低北区广告条数，这样在不显著减少收入的情况下可以换来更好的用户体验；而对后一类用户，应该在有符合条件的广告时，尽可能用足北区的位置。
产品案例：
【Google AdWords】
Overture发明CPC售卖方式的时候广告的投放方式很简单，只是以广告主的出价排序，出价最高的广告赢得曝光的机会。Google 发现了此模式的缺陷：出价最高的广告赢得了很多曝光，但如果没人点击，平台还是没有收入。因此，Google将策略改变为在投放过程中预估每条广告的点击率，然后按点击率和出价的乘积对广告排序，这也就形成了现在竞价广告普遍采用的根据eCPM决策的逻辑。
在引入点击率来表达相关性后，在 CPC模式下形成了一个对广告主、用户、平台都有利的生态。
在引入点击率来表达相关性后，在 CPC模式下形成了一个对广告主、用户、平台都有利的生态。在此生态下，广告主可以通过选择关键字来定向目标受众，并通过改善广告创意提高点击率的方式降低出价。Google通过给用户投放点击率高和出价高的广告提高收益。因为给用户每次投放都是点击率高的“个性化”广告，所以用户在使用搜索引擎时看到了更多相关付费信息，降低了广告对用户的干扰。
【淘宝直通车】
广告只出现在页面的东区和南区。
淘宝直通车的前身是雅虎直通车，卖家可以在雅虎搜索和雅虎网站上投放广告，2008年改名为淘宝直通车。

定价问题

围绕位置拍卖最重要的机制设计是所谓的定价（Pricing）问题，它探讨的是在一次位置拍卖中给定各参与者的出价以及他们的期望收益，如何对最后获得某个位置的广告主收取合适的费用。 讨论定价问题乍听起来有些多余，有人会说按照广告主自己的出价收取不就可以了吗？为了解释研究此问题的动机，我们先来看看下面的例子：假设有某个单位置（S=1）的广告机会在竞拍，开始有两个广告主参与，甲出价1元，乙出价2元，当然乙赢得了此次竞价，如果按照其出价来收费，市场就向他收取2元的费用。在广告市场里，这一拍卖机会还会重复出现（对应于不断产生的展示），因此广告主可以也存在调整出价的机会，假设乙在发现自己 2元钱能拿到流量以后，自然就会想到，是不是可以调低出价，用更低的成本拿到流量？乙将一直不断尝试，直到把出价调低到1.01元，发现继续调低就拿不到位置了。于是系统稳定在甲出价 1 元，乙出价 1.01 元。此时假设又有一个广告主丙加入竞争，并希望赢下此广告位，那么以此类推，他在不断调整后将会出价 1.02元，市场的收入也就是 1.02元。我们有可能通过调整定价策略来影响系统的总收益吗？答案是肯定的。比如我们在甲出1元，乙出 2 元参与竞价时，并不对获胜的乙收 2 元，而是收取其下一名即甲的出价 1 元，那么甲就没有动力调低其出价了。那么当丙加入时，就需要出价2元以上才可以赢得竞价，市场的收入也就变成了 2元（不论丙出价多少，我们都按其下一位即乙的出价来收费）。这个简单的例子告诉我们，在广告这样的参与者可以针对同一个标的物不断调整出价的拍卖环境中，通过聪明的定价策略完全可能为整个市场创造更高的收益和更好的市场稳定性。
从整个市场的角度来看，我们重点需要研究的是市场处于稳定状态下的收益和其他特性。而所谓稳定，指的是整个竞价系统处于纳什均衡（Nash equilibrium）状态，也即每个广告主都通过出价得到了最符合自己利益的位置。

在线广告竞价市场最常见的定价策略是 GSP方案；
在线广告竞价市场最常见的定价策略是 GSP方案；另外有一种 VCG（Vickrey-Clarke-Groves）定价策略，
1.广义第二高价（GSP）
第二高价，指的是在只有一个位置的拍卖中，向赢得该位置的广告主收取其下一位广告主的出价，
在搜索广告这种有多个位置的拍卖过程中，很容易直觉地将第二高价策略推广成下面的策略：对赢得每一个位置的广告主，都按照他下一位的广告位置出价来收取费用，这就是广义第二高价
2.VCG
基本思想是：对于赢得了某个位置的广告主，其所付出的成本应该等于他占据这个位置给其他市场参与者带来的价值损害。

市场保留价

为了控制广告的质量和保持一定的出售单价，竞价广告市场往往要设置一个赢得拍卖位置的最低价格，这一价格我们称为市场保留价（Market Reserve Price，MRP），俗称“起价”或“底价”。
当竞争较充分、广告主深度足够时，MRP可以设置得比较高；反之则应适当降低。
MRP，其基本原理都是根据竞价广告主的eCPM分布，找到一个使得填充率没有明显下降的CPM底价，然后再根据质量度倒算其CPC底价。

价格挤压

在 CPC 结算的广告产品中，eCPM 可以表示成点击率和出价的乘积，即 r=µ·ν=µ·bidCPC。但是在竞价的机制设计中，有时会对此公式做一些微调，把它变成下面的形式： 其中的κ为一个大于0的实数。可以考虑两种极端情况来理解κ的作用：当κ→∞时，相当于只根据点击率来排序而不考虑出价的作用；反之，当κ→0时，则相当于只根据出价来排序。因此，随着κ的增大，相当于我们在挤压出价在整个竞价体系中的作用，因此我们把这个因子叫做价格挤压（squashing）因子。

广告网络

广告网络的产品功能是批量聚合各媒体的剩余流量，按照人群或上下文标签的流量切割方式售卖给广告主。

广告网络产品策略

流程：分为检索、排序、定价等几个阶段。
1.广告检索
广告与搜索面对的文档其实不同，它往往是一个用布尔表达式表达的投放条件，而不是可以简单看成一个词的集合。
2.广告排序
与广告位较规整、点击率较高的搜索广告相比，广告网络中的CTR预测有两方面的困难。首先，点击数据更加稀疏，而且需要同时考虑上下文和用户量方面的信息，这使得各种新广告、新策略的冷启动问题非常突出。如何设计好一个合理可行的冷启动策略，对展示广告网络来说至关重要。其次，广告网络中由于广告位的差别巨大，点击率的变动范围很大，这使得稳健地估计点击率变得相对困难。
实际的广告网络有两种不同的业务方向，水平广告网络； 垂直广告网络。
产品案例：
【Google Display Network】
AdSense是Google进入展示广告领域的第一个广告产品
在AdSense之后，Google又于2008年收购了展示广告领域的巨头DoubleClick。
推出了GDN（Google Display Network）
GDN是世界上最大的展示广告网络，可以到达90%的互联网用户和超过200万的网站。
【淘宝客】
宝客的投放方式是淘宝客网站通过API拿到相关的广告，并自行决定在某个页面或对某种用户展示什么样的商品，这是一种联盟的方式。2012年12月21日，阿里巴巴宣布重启“阿里妈妈”品牌，放弃“淘宝联盟”。

第6章 程序化交易广告

有价值的数据来源

有哪些数据是对精准广告业务有直接贡献的呢？我们可以重点关注下面的几类。
1）用户标识。
2）用户行为。
转化（conversion）、预转化（pre-conversion）、搜索广告点击（sponsored search click）、展示广告点击（ad click）、搜索点击（search click）、搜索（search）、分享（share）、页面浏览（page view）、广告浏览（ad view）
按照对效果广告的有效性分类，这些行为可以分为决策行为、主动行为、半主动行为和被动行为。
决策行为主要包括转化和预转化。
例如在电商网站上，转化就对应着最后的下单，而预转化对应下单前的搜索、浏览、比价、加入购物车等多种准备工作。
主动行为主要包括广告点击、搜索和搜索点击。
半主动行为主要包括分享和网页浏览。
被动行为主要是指广告浏览。
3）人口属性。
4）地理位置。
5）社交关系。

广告的根本目的是“低成本地接触潜在用户”。

三方数据划分

广告中用到的用户数据，根据其来源的不同可以分为第一方数据、第二方数据和第三方数据。
第一方和第二方分别是指广告主和广告平台，而不直接参与广告交易的其他数据提供方统称为第三方。
以第一方数据为基础，用好第二方数据和第三方数据，是实时竞价时代重要的方法论。

第7章 移动互联与原生广告

移动广告的特点

移动广告究竟给我们带来了哪些新的机会呢？
（1）情境广告的可能性。
移动设备的特点是一直跟用户在一起，并且从地理位置、生活状态、需求意图等各方面都能对用户有深入的理解。因此，在移动环境下，受众定向完全有可能做到从情境和意图出发，而不是仅仅根据兴趣推送商品。
（2）大量潜在的本地化广告主。广告发展到今天，可以说没有任何主流的渠道可以帮助本地化小商家做推广。电视、路牌这种品牌性媒体自不必说，就是在线广告在PC时代往往也只能定位到城市级别，这样的地域定向对于一个小区的理发店来说显然是粒度太粗了。而在移动环境下，GPS、蜂窝、Wi-Fi等多种精确定位的手段使得基于精确地理位置的本地化广告变得可行。

表现原生VS意图原生
表现上的原生性需要媒体来控制广告展示形式。
意图上的原生性需要媒体明确提供广告需求。
进一步比较搜索广告和社交网络信息流广告，会发现前者的效果要远远好于后者。究其原因，是因为搜索广告的投放决策是基本完全按照内容结果的展示原则进行的，也就是说，我们在以投放内容的方式匹配广告。

第8章 在线广告产品实践

从广告和泛广告变现的角度来看，在互联网市场上主要有三种资产能够变成钱，分别是数据、流量和品牌属性。

第9章 计算广告技术概览

个性化系统与搜索系统的主要差别在于大量的用户特征的使用。由于需要对每一个用户进行刻画，这一过程需要用到大规模的分布式数据处理平台，如 Hadoop；另外，由于个性化特征的效果与其生成的实时性关系很大，为了尽可能实时地利用线上数据，我们还会用到流计算平台来加工短时的个性化特征。将离线的分布式计算平台和在线的流计算平台相结合已经成为这样的系统生成个性化特征的常用方案。

个性化系统框架

个性化系统由四个主体部分构成：用于实时响应请求，完成决策的在线投放（online serving）引擎；离线的分布式计算（distributed computing）数据处理平台；用于在线实时反馈的流计算（stream computing）平台；连接和转运以上三部分数据流的数据高速公路（data highway）。这几部分互相配合，完成个性化系统的数据挖掘和在线决策任务。
这几部分的协作流程是：在线投放系统的日志接入数据高速公路，再由数据高速公路快速转运到离线数据处理平台和在线流计算平台；离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参数，存放在高速缓存中，供在线投放系统决策时使用；与此相对应，在线流计算平台则负责处理最近一小段时间的数据，得到准实时的用户标签和其他模型参数，也存放在高速缓存中，供在线投放系统决策时使用，这些是对离线处理结果的及时补充和调整。可以看出，整个系统形成了一个闭环的决策流程，而这个闭环在搭建完成后，基本依靠机器的运算来运转，人的作用只是进行策略上的调整和控制。

广告投放引擎

广告投放引擎主要有以下几个模块。
1）广告投放机（ad server）
2）广告检索（ad retrieval）
3）广告排序（ad ranking）
4）收益管理（yield management）
5）广告请求接口
6）定制化用户划分（customized audience segmentation）

离线数据处理

离线数据处理有两个输出目标：一是统计日志得到报表、dashboard 等，供决策人进行决策时作为参考；二是利用数据挖掘、机器学习技术进行受众定向、点击率预估、分配策略规划等，为在线的机器决策提供支持。
离线数据处理有下面几个主要模块。
1）用户会话日志生成。
2）行为定向（behaviorial targeting）。
3）上下文定向（contextual targeting）。
4）点击率建模（click modeling）。
5）分配规划（planning）。
6）商业智能（business intelligence，BI）系统。
7）广告管理系统。这部分是广告操作者，即客户执行（Account Execute，

在线数据处理

在线数据处理主要包括以下模块。
（1）在线反作弊（anti-spam）。
（2）计费（billing）。
（3）在线行为反馈，包括实时受众定向（real-time targeting）和实时点击反馈（realtime click feedback）等部分。
（4）实时索引（real-time indexing）。

第10章 基础知识准备

信息检索（Information Retrieval，IR）、最优化（Optimization）和机器学习（Machine Learning，ML）。

信息检索
搜索引擎信息检索的基本方法有倒排索引和向量空间模型。
倒排索引最基本的操作有两项：一是向索引中加入一个新文档，二是给定一个由多个关键词组成的查询时，返回对应的文档集合。
向量空间模型（Vector Space Model， VSM） 的核心有两点：文档的表示方法和相似度计算方法。

最优化
讨论的是在给定一个数学上明确表达的优化目标后，如何用系统性的方法和思路找到该目标的最优解。

机器学习
研究的是用数据或先验知识优化计算机算法的效果。

第12章 受众定向核心技术

受众定向技术是对广告（a）、用户（u）、上下文（c）这三个维度提取有意义的特征（这些特征也称为标签）的过程。
上下文定向需要对广告所在的页面进行分析，
行为定向是根据用户历史上的网络访问行为对用户打标签的过程。