Off-policy evaluation (OPE) attempts to predict the performance of counterfactual policies using log data from a different policy. We extend its applicability by developing an OPE method for a class of both full support and deficient support logging policies in contextual-bandit settings. This class includes deterministic bandit (such as Upper Confidence Bound) as well as deterministic decision-making based on supervised and unsupervised learning. We prove that our method's prediction converges in probability to the true performance of a counterfactual policy as the sample size increases. We validate our method with experiments on partly and entirely deterministic logging policies. Finally, we apply it to evaluate coupon targeting policies by a major online platform and show how to improve the existing policy.
公共政策からビジネスまで、アルゴリズムを利用した意思決定が広がっている。その際に重要なのが、過去に使用された方策(意思決定アルゴリズム)が蓄積したデータを用いて、過去に使われたことのない新しい方策の性能を予測することだ。「方策外評価」などと呼ばれるこの予測によって、データに基づいて意思決定・資源配分アルゴリズム・メカニズムを設計していくことが可能になる。本論文では、従来の手法では分析することの難しかった、より広いクラスの方策が生成したデータに適用可能な方策外評価手法を開発する。そして、提案手法をフリマアプリ・メルカリにおけるクーポン割当方策の評価に適用し、既存の方策を改善する方法を示す。