大多数忠诚度计划公布的留存数字不可能是真的。他们把已注册的会员和其他所有人放在一起比较，发现会员的购买频次更高，就把这个差距称作"计划的效果"。它几乎从来都不是。会加入忠诚度计划的客户，本来就打算回来买：你筛选出了忠诚，而不是创造了忠诚，报表衡量的正是这层筛选。
本文讲的是如何判断一个忠诚度计划是否真的改变了购买行为：哪些指标值得花力气、哪种对照组能让数字站得住脚、哪些陷阱会把它虚高，以及继续测量到什么程度就不再划算。
人人都在报的那个数字，以及它为何误导
标准看板用复购率比较会员与非会员。差距看起来很大，计划看起来很成功。
问题出在自选择。注册是自愿的，因此选择注册的人里，高频买家、本来就喜欢这个品牌的人、以及近期本就打算再买的人占比过高。一个什么都没做的计划同样会呈现这个差距，因为在计划存在之前，这两群人就已经不同了。做过这个比较的公司拿到的是一个数字，不是一个答案。
真正要问的是增量：有多少笔购买是本来不会发生的。这个数字比看板上的小，而它是唯一值得放进预算决策的那一个。
三个值得花力气的指标
固定窗口内的复购率。 比如首单后 90 天内再次购买的客户占比。把窗口定死，永远不要改动：没有说明窗口的复购率可以被拿来证明任何结论，因为窗口拉长永远更好看。
分群留存曲线。 按首次购买的月份把客户分组，然后追踪每一组在第 1、2、3 个月仍在购买的比例。曲线比平均值更难被糊弄：如果计划有效，较新的分群在相同"年龄"上会高于较早的分群。如果所有分群形状一样，你改动的东西并没有触达客户。
固定期限内的单客户收入。 不是客户终身价值——那需要一个生存模型和一堆你多半没验证过的假设。取一个具体期限，比如十二个月，衡量每个获取客户带来的实际收入。它不花哨，可以跨期比较，而且没人能反驳。
对照组就是整个方法
想要一个站得住脚的数字，就把随机抽取的一部分客户排除在计划之外，然后做比较。
选一个比例——订单量可观的企业，百分之五或百分之十就够——随机分配，并把这部分人排除在注册引导和奖励沟通之外。然后在两组上衡量同一个指标。差值就是计划的真实效果；与会员对非会员的比较不同，它经得起推敲，因为随机分组消除了毁掉朴素版本的那层自选择。
两点实操提醒。要在客户层面随机，而不是按门店、区域或渠道随机，否则你衡量的是门店而不是计划。另外，让对照组保持不受干扰的时间要长到能看到一个复购周期：如果典型复购间隔是两个月，三周的测试说明不了任何问题。
显而易见的反对意见是：设对照组意味着刻意不奖励一部分客户。确实如此，这就是"知道真相"的代价。它要与另一种选择相权衡——在没有任何证据表明奖励预算改变了什么的情况下，无限期地花下去。
会把结果虚高的陷阱
奖励了客户本来就会下的那一单。 大多数返现或积分计划对每一笔符合条件的订单都付奖励。其中相当大一部分支出流向了根本不需要激励的购买。这不是停掉计划的理由，而是必须知道这个比例的理由：它决定了每一笔增量销售的真实成本。
把注册量当作互动量。 注册量衡量的是注册流程，不是计划本身。客户在收银台被问到时会注册，之后再也不会想起它。
把季节性高峰读成计划效果。 如果计划恰好在你最强的季度之前上线，曲线会自己往上走。请与去年同期比较，或者与对照组比较。
让奖励改变了客单价而不是频次。 有时计划会让客户买同样多的东西，但订单更少、单笔更大。订单数下降，营收持平，看板上摆哪个指标，就会读成失败或成功。两个都要看。
什么时候机制比测量更重要
测量告诉你计划是否有效，不会告诉你它为什么无效。当数字回来是平的，常见原因不是奖励金额，而是时机：奖励在行为发生之后太久才到账，客户无法把两件事联系起来；或者它需要一个几乎没人会走完的领取步骤。
这正是"购买前"的机制与传统返现的不同之处：奖励客户在购买之前完成的动作，并且快速支付，会留给你一个带时间戳的事件去衡量，而不是一笔没人注意的缓慢累积。这个区别以及各自适用的场景，见我们的 social cashback 指南与返现与积分的对比。
什么时候这根本不是该测的东西
如果你还没找到产品市场契合，或者订单量很低，到这里就可以停。衡量留存需要足够多的客户和足够多的复购周期才能把信号从噪声中分离出来；低于这个门槛，你会把随机波动读成战略。一个月几百单的企业做不出有意义的对照组：置信区间会比你能检测到的任何效果都宽。
天然低频的品类同理。如果客户三年才从你这里买一次，杠杆不在忠诚度计划——在口碑推荐和毛利——测量一年也只会得到一条什么都没有的曲线。
还有，如果这个计划存在的理由本就不是复购——收集第一方数据、建立可触达的受众、满足渠道商的要求——那就去衡量那些目标。用一个它从未被设计去推动的留存数字来评判它，会产生假阴性，并毁掉一件有用的事。
周一从哪里开始
定一个窗口和一个指标。切出一个随机对照组。等满一个完整的复购周期。然后比较。其余的一切——等级、游戏化、奖励金额实验——在这个闭环存在之前都为时过早，因为没有它，你分不清改善和巧合。
奖励机制本身如何设计、如何计价、如何支付，见 TikJoy 的 Cashback API。