先查分组用的分母,再决定信不信分组结论。辛普森悖论式的反转,通常不是数据错了,而是各分组的分母构成不同:总体里权重大的分组,在分组视图里被拆成了若干小分母,于是各组的比率方向一致,合并后却被另一组的规模拉反。处理顺序是:固定同一时间窗和同一指标定义,找出每个分组的分母是谁、有多大,再判断反转来自分母规模还是来自分组内比率本身。
把总体数字和分组数字写在同一张纸上,逐列核对三件事:时间范围是否一致、指标定义是否一致、去重规则是否一致。很多所谓反转,其实是总体用了整月、分组用了自然周,或者总体按会话去重、分组按事件去重。如果口径对齐后反转消失,问题在口径;如果口径对齐后反转仍在,才进入分母排查。
判断依据可以看一个简单特征:各分组的比率都朝同一方向变化,但总体朝反方向。这正是分母权重在起作用的信号。若各分组比率方向本身就杂乱,那更可能是分组维度选得不对,或某个分组样本太小。
对每个分组,分别记录分子、分母和分母占比。分母占比是关键:它决定该组在总体里的话语权。假设一个场景,某页面整月总体转化率为 4%,按设备分组后,移动端 3%、桌面端 6%,两个分组都低于或高于某个参照,但总体却落在中间偏另一侧。此时要问:移动端和桌面端各自的分母是多少?如果移动端分母远大于桌面端,总体就会被移动端拉低,即使桌面端比率更高也救不回来。
实际操作:在监控工具里导出分组明细,加上一列“该组分母 ÷ 总分母”。凡是分母占比与你的直觉不符的分组,优先复核它的采集是否完整,比如某个分组是否因为埋点缺失而只统计到一部分流量。
分母不可信时,分组结论也不可信。验证分母要回到原始来源,而不是在同一个工具里反复刷新。可用的证据包括:站内日志的请求条数、服务端记录的会话数、以及第三方估算的流量区间。这三者口径不同,不能直接相等,但可以互相约束。
需要提醒的是,请求量或某项统计归零,并不能单独证明处理正确,它也可能是上游改版、字段改名或权限变更的结果。把这些可能逐一排除后,剩下的解释才值得写进结论。
当多个角色对同一事实理解不同时,不要争论结论,先统一要核对的对象。做法是列一张对照表,每行是一个分组,列出:分母来源、分母数值、分子定义、时间窗、负责人。任何一格填不出来,就说明该结论还不到可以下判断的程度。
一个可执行的动作:选分母差异最大的两个分组,各自回到原始日志抽样核对 100 条记录,看分组归属是否与预期一致。如果抽样发现归属错误,先修分组条件再重算;如果归属正确,则反转是真实的规模效应,应在报告里同时呈现总体和分组两个视角,并注明各自的分母。
分组结论与总体相反时,不必然要二选一。判断标准是决策需要哪个粒度:如果决策针对整体资源分配,用总体并说明被哪个分组主导;如果决策针对具体分组优化,用分组并注明该组分母占比,避免读者误以为它代表整体。
写结论时把分母写进句子里,例如“桌面端转化率较高,但其分母仅占总体的一小部分”,这样读者能自己判断反转是否重要。若分母本身存疑,先标注数据待核,不要用确定的语气下结论。下一步动作取决于分母是否可信:可信则进入分组优化,不可信则先修采集,再重跑同一时间窗的对比。