广告预算分桶系统

版权所有，

0. 序言

2021年底的杭州疫情让许多人的返乡足迹充满了变数，作为被隔离的一员时常在想：我们的抗疫路线科学吗？世界范围内把主要国家按抗疫路线可以分为两波：一波是中国，一波是外国。哪条路线更成功在全量两年多的测试中已经一目了然----中国用较小的代价保持了最小的感染率。但是全量前，有科学的方法可以做实验吗？

一直以来，广告的同学都面临着类似的问题：有约束条件下如何更多、更快、更好、更准的做实验。他们在和自然搜索、自然推荐同学共用普通的AB实验平台，是否能满足所有需要呢，实验结果准确吗？

0.1 AB实验平台的特性

目前主流的实验分流平台都有以下特性：

1.一层之内流量分很多份，支持切分任意比例的流量的做层内的分流实验（如图Layer_1实验）

2.将流量分层，每一层可以拿到所有流量做并行的分层实验，且不同层之间可以保证流量正交（如图Layer_2实验）

3.多层实验之间（实现方式如相同的hash函数来使流量命中相同的桶号）的分层间的联合实验（如图Layer_3和Layer_4实验）

4.支持uv、pv等各种切流方式

图1 实验平台实验配置示意图

图2 实验平台流量正交示意图

0.2 广告实验的问题

但在使用的过程中，广告这种有预算约束的场景遇到了一些新的问题：

1、召回、排序类涨RPM的效果实验效果和全量不一致。

2、Pacing等调整预算分配的实验难以进行，直接AB实验是负向的。

3、数据自动化

对一个好用的广告高效AB实验机制的期待便应运而生，我们也开始了持续的探索。

1. 广告AB实验1.0时代--预算分桶

图4 预算和流量被均分，流量A/B对应消耗计划预算A/B部分

1.1 新的问题

然而随着业务形态发展，我们又面临了很多新的问题：

1.实验周期长：预算分桶几天才能做一个，项目较多的时候实验可能会排到两周以后

2.xxxx

3.xxxx

4.xxxx

基于这些问题，我们开始了探索预算分桶的新方式，期待能够更好、更多、更快、更准的进行实验。

1.2 并行的预算分桶

1.2.1 方案一：（分流实验）按场景分预算--流量&预算任意比例切分

典型的不同场景or流量可能有不同的逻辑，实验只对某一个场景生效，需要验证实验全量对该场景的影响。

图5 不同场景分配不同预算，将场景预算分成A、B两份进行实验

1.2.2 方案二：（分流实验）所有流量&预算切分为固定多份

图6 各计划预算、各场景流量均分为4份，流量和预算之间一一对应

1.2.3 方案三：（分层实验）分层预算分桶实验

图7 流量、预算进行分层，每一层分A/B组，每一层支持一个实验

2. 广告AB实验2.0--分层预算分桶

2.1 用哪一种并行方案

2.2 分层预算分桶的实现方案(以下内容暂时省略)

2.2.1 实验上线

2.2.2 线上逻辑

2.2.3 预算维度

3. 遇到的问题

3.1 对用户出价&CPC的影响

3.1.1 对用户出价的影响

3.1.2 对CPC的影响

3.1.3 非完全预算分桶：不校验分桶余额&分桶超投扣费

3.1.4 对实验结果影响

3.2 实验之间的相互作用

4. 效果&展望

4.1 效果监控

4.2 使用经验

4.3 future