Review :“Real Time Bid Optimization with Smooth Budget Delivery in Online

Advertising”

JUJU

1. Introduction 2. Background and Related Work

1. Problem Setup 3. Online Bid Optimization

1. Smooth Delivery of Budget 2. Selection of High Quality Ad Requests - Flat CPM Campaigns 3. Selection of High Quality Ad Requests - Dynamic CPM Campaigns 4. Estimation of CTR and AR (CVR)

4. Practical Issue 1. Cold Start Problem 2. Prevention of Overspending

5. Experimental Results 1. Comparison of Pacing Strategies 2. Evaluation of Real Campaign Performance

6. Conclusions

Agenda

1. Introduction• RTBにおける最適化プロセス

“予算スケジュール内の予算制約下において、Campaignのパフォーマンスの最大化を図る”こと

• パフォーマンスの計測指標 • CPCとCPAの最小化 • CTRとAR(CVR)の最大化

• 予算配信制約の平滑化 • 設定時間より前に、興味のあるimpの一部以上を購入しないようにする • スケジュール途中に予算が尽きることや、過剰な購入を防ぐ

• 本研究における提案・検討 • 各Campaignのための平滑な配信制約を満足させる間の

パフォーマンスMetricsを最適化するためのオンラインアプローチを提案 • 平滑化配信制約を課すための未来の消費率を繰り返し推定ためにコントロール・フィードバック・ループを検討

2. Background and Related Work 1. Problem Setup

time slot 毎の予算の課題

goal 指標と制約条件

獲得した価値

入札回数

広告主のコスト

time slot 毎の予算

time slot t で消費された予算

eCPMの上限値

“ε-δ論法”

3. Online Bid Optimization 1. Smooth Delivery of Budget

消費予算

time slot 毎の投資率の更新

time slot t の広告リクエスト総数

次のtime slot t+1のad request数とwinning rateの予測値

Feed Back Control を可能にする

time slot t で消費された予算

time slot t の1期先の予算の算出

予算が一様配分の場合 予算が一様配分ではない場合

L(t)がtによって異なる場合

L(t)が各tで一様な場合

time slot t の時間的な長さ（sec） Click or CVの予測確率

日予算の残額 time slotの長さの比click or conversion確率が

高いCampaignに多くの予算を割く

＊ このロジックだけでは、click or conversion確率がゼロのCampaignには予算が割かれないため、2つの戦略を両方扱う

*

3. Online Bid Optimization 2. Selection of High Quality Ad Requests - Flat CPM Campaigns

goal：

現在のslotのpacing rate を考慮し、投資すべきリクエストを選択すること

固定された入札価格 ＝

time slot 毎の c_i の統計量を算出するために使用データの日数の平均値

過去の実績データから算出

（参考）

膨大なad request量から、Click or CVし易いad requestを選択する必要性

CTR, CVRに基づいたtime slot tにおけるad requestの分布

CTR, CVRを基準としたフィルターで考慮し、選択する

q_t(s)が過去の実績データから算出されるため、正確なデータとは言い難い

対策として、τ(t)に信頼区間を設ける

time slot t における閾値

1.96(95% confidence interval)

• τ(t)に信頼区間（閾値）

過去の実績データから統計量を計算するためのデータ日数

Ad request 採択上限 Ad request 採択下限

信頼区間を元にbid priceを算出

µ(t) + ��⌧ (t)p

dµ(t)� �

�⌧ (t)pd

τ(t)はガウス分布を仮定

τ(t)が信頼区間内であれば、pacing_rate(t)の確率で入札

＊　信頼区間の閾値計算式以下の数式を用いて、τ(t)を計算

＊ “ t -1 ” という過去のtime slotを用いて算出

3. Online Bid Optimization 3. Selection of High Quality Ad Requests - Dynamic CPM Campaigns

1. bid price c* の算出

2. base bid priceの算出

ui = AR ⇥ G

base bid price 予測値 (CVR) 目標とするCPA

3. pacing_rate(t)によって入札価格を調整

固定された入札価格 ＝

time slot 毎の c_i の統計量を算出するために使用データの日数の平均値

CPA Campaignにフォーカス

pacing rate(t)は、biddingの頻度をコントロールする

ci = ✓⇤ui ✓ =cici

bidprice ci = ui

ci = ⇢⇤ui

(1)　Safe region : pacing rate(t) <= β1

ヒストグラムθの下位1～2％ 落札価格

データを蓄積し、ヒストグラムを作成

(2)　Critical region : β1 <= pacing rate(t) <= β2

(3)　Danger region : β2 <= pacing rate(t) 1. リクエストをリジェクトしすぎている

2. 入札価格が低すぎる

ターゲティングの制約が厳しすぎる

以下の式を適用

入札価格の上限

3. 適切な入札価格で入札するため、pacing_rate(t)を3領域に分けて、入札

入札価格

3. Online Bid Optimization 4. Estimation of CTR and AR (CVR)

4. Practical Issue 1. Cold Start Problem

✴ 解決策 • 類似したCampaignデータを使用

4. Practical Issue 2. Prevention of Overspending

✴ 予算枯渇の防止策 • 各time slotの予算を超えた場合は次のtime slotまで入札を中止

理想値との乖離（予算の一様配分を理想とした場合）

dailyの誤差は約1%

x : time slot

y : t

otal

bud

get s

pend

5. Experimental Results 1. Comparison of Pacing Strategies

the ideal uniform spend and the actual spend using our uniform pacing strategy の場合

x : time slot

y : t

otal

bud

get s

pend

x : time slot

y : relative performance in term of 1/eCPA

dailyの誤差は約2.3%

理想の投資配分

理想値との乖離

（各time slotで予算が異なる場合）

the ideal spend and the actual spend using performance based pacing strategy の場合

5. Experimental Results 2. Evaluation of Real Campaign Performance

the entire bid optimization framework

1. Flat CPM campaign • CTRの最大化

2. Dynamic CPM campaign • CPC, CPAの最小化

• Compare with baseline model (in Flat CPM campaign)Baseline modelとは、time slot tにおけるpacing rateに基づくCTR(t)の閾値から算出する 簡単な適応フィードバック制御アルゴリズムである。

平均で123%のパフォーマンス改善が見られる

• Detail of Evaluation

• 異なる広告主カテゴリーからランダムに選択した7つのFlat CPM campaignを使用 • それら7つのcampaignを扱い、提案するアプローチと既存のアプローチを評価 • 各Methodは、1週間稼働させた後、2週間分のデータを利用して比較

• Compare with baseline model (in Dynamic CPM campaign)Baseline modelとは、pacing rateを一様に調整した既存のモデル

• Detail of Evaluation

• 異なる広告主カテゴリーからランダムに選択したDynamic CPM campaignを

目標設定毎に配置（CPC/CPA）し、評価 • 提案するアプローチと既存のアプローチのLiftを評価

平均してCPCは19.02%、CPAは30.87%のパフォーマンス改善が見られる

6. Conclusion• リアルタイムでの予算配分の最適化手法を提案 • “配信効果の改善”と”予算配分の平滑化”の両方を達成 • million of ad request per secondものデータ量をハンドル可能 • 予算のunderpacingやoverpacingを考慮したアルゴリズムを考案 • 今後は、もっと処理できるデータ量を増やす