指标、队列与小样本判断

每个数字都要同时带定义、分母、窗口、来源与版本。 先区分熟人测试、自然内容、投放和未知渠道，再看整体汇总。

最小事件字典

事件	触发定义	必要属性
session_start	可定义的会话开始，不以每次切前台重复记新增	版本、平台、渠道、匿名化标识与时间
first_action	首次规则有效操作	关卡/种子、首次进入时间
level_start/end	开始与终结局面，结束记录完成/失败/主动退出	关卡、尝试号、规则版本、耗时
ad_request/show/close	广告请求、实际展示、关闭分别记	广告位、请求ID、回调状态、奖励发放记录
return	按统一自然日与去重定义计算	初始新增日、观察日、渠道
content_release	一批合格内容进入可用版本	生产工时、合格数、报废数、资产来源

只采集与测试目的相关的字段，结合隐私要求。匿名标识不自动等于完全匿名数据，保存与删除也要有规则。

指标分母

• D1 留存：D0 新增中，在下一个自然日回来的去重人数 / D0 新增人数。时区固定，跨日不足 24 小时的特性需知晓。
• D7 留存：同一新增队列第七个后续自然日回访比例；不是七天累计回访，也不等于 LTV_7 的第七天。
• 有效新增 CAC：归属现金获客支出 / 满足预先定义的有效新增。定义不能随渠道更换。
• 净 ARPDAU：同日、同范围现金净收入 / DAU；总体与队列不可混用。
• 广告完成率：满足完成条件的次数 / 实际展示次数；奖励成功率再单列。
• 内容效率：完整生产和返工工时 / 合格可发布内容数；不能只算初稿数量。

展示是否计费最终与平台收益数据对账，客户端事件只支持流程诊断。奖励不能根据后台估算收入发放。

小样本可以回答什么

5–8 人观察用于发现理解、输入、流程问题。即使全部喜欢，也不能宣称“留存100%”。招募偏差、观察者影响和未成熟窗口都可能存在。

例如自拟测试有 30 人，D1 回来 12 人，点估计是 40%。用 Wilson 95% 区间近似约为 25%–58%，这只是采样不确定性，不覆盖招募偏差；不足以精确区分两个只差几个百分点的版本。

比例区间的复算代码放在模型测试中。正式 A/B 应先定义主指标、最小可接受差异、样本需求与停止规则；低样本阶段优先解决明显问题，避免同时测试多个微小变化。

广告实验先看谁受到伤害

不只看展示收入，同时看拒绝广告后的继续率、关卡退出、奖励失败与回访。广告点击上升，可能只是按钮太像游戏操作或基本权益被锁。

先确保加载失败、提前关闭、重复回调、切后台恢复都符合实际接口语义，再讨论位置和频率。不得把接口调用成功当收益成功。S07 · 官方广告指引

数据异常先排查什么

同一版本的会话/新增去重是否稳定；渠道标签是否丢失；自然日时区是否一致；事件重试是否重复计数；广告位是否串用；内容版本是否变化；留存窗口是否成熟。后台收入、客户端展示与奖励日志之间有差异时先解释差异，不直接改经济模型参数。

结论写成：“在什么人、什么渠道、什么版本、什么窗口观察到什么；有哪些替代解释；下一次改变什么。”记录“未知”优于填一个行业传闻数字。