短剧平台留存增长中的因果分析尝试

短剧平台留存增长中的因果分析尝试老板天天追着产品技术团队要增长要 DAU、留存。但在动手之前需要先想清楚一个问题用户是怎么来的又是怎么留下的在内容平台中一个非常直观的规律是内容决定增长上限产品决定逼近上限的效率。也就是说内容质量决定用户是否愿意留下产品能力决定用户体验是否顺畅、激励机制是否有效如果从产品角度思考在内容短期内不发生变化的情况下如何提升留存目标分析在产品侧优化留存大致可以分为几个层次经验驱动通过经验优化内容排序页面布局活动奖励交互体验指标驱动建立行为指标体系例如首页点击率内容完播率活动参与率页面 PV通过优化行为指标间接带动留存率提升。因果结构分析建立业务 DAG 因果图识别影响留存率的关键节点。实验验证通过AB 实验验证关键节点优化方案的真实因果效果避免把相关性误认为因果。增长弹性计算根据实验结果计算增长路径弹性识别对留存率影响最大的路径。ROI 决策综合考虑增长弹性可提升空间优化成本选择ROI 最高的增长路径进行资源投入。增长方法论我们希望把产品优化问题从经验决策逐步升级为可计算的经营优化问题。整体方法论如下经营变量识别 ↓ 构建业务 DAG ↓ 回归分析识别关键行为变量 ↓ AB 实验验证局部因果关系 ↓ 计算增长路径弹性 ↓ 路径弹性排序 ↓ 结合优化成本与可提升空间计算 ROI ↓ 选择 ROI 最高的增长路径长期来看可以形成两个核心工具增长弹性矩阵各行为指标 - 留存率弹性以及增长响应曲面不同阶段用户规模、内容供给等变化下系统弹性会发生变化。通过持续实验可以逐步建立完整的增长响应模型。数据口径与限制为避免对结果做过度解读这里先说明本文的数据口径观测窗口为改版前后各 30 天本文展示的数据来自部分用户样本样本规模为 2 万 量级核心关注指标为活动参与率、活动用户人均参与次数、APP 7 日留存率同时需要说明本文分析的边界本次活动页改造为全量上线未设置随机实验对照组当前结论以观察性分析和工程近似拆解为主不等同于严格因果识别改版前后结果仍可能受到时间趋势、内容供给、节假日等外部因素影响因此本文更适合作为一次增长分析实践的案例复盘而不是对某个增长杠杆的最终因果定论。构建业务 DAG从增长理论上第一步是识别经营变量并构建业务因果结构。构造出一个“可运营、可干预、可实验”的 DAG只对可干预节点做增长优化。按三类标注【D】可直接干预【M】机制变量干预后继节点【E】外生不可控通过回归数据我们选择了弹性最大的路径进行改造实测尝试验证更接近真实的因果系数进而建立弹性增长矩阵并推动后续经营投入 ROI 矩阵的建立。实验改造活动页改造升级针对当前积分活动页面进行了改造升级目标是提升用户参与率从而带动整体留存率提升。本次改造采用全量上线策略未设置随机 AB 实验组。后续将通过准实验方法如 Difference-in-Differences进行归因分析以尽可能控制时间趋势等外部因素的影响。改版前后数据活动改造前后 30 天的数据对比如下指标改版前改版后说明活动参与率4.90% (95% CI: 4.64%~5.26%)9.62% (95% CI: 9.22%~10.02%)提升 96%活动用户人均参与次数31.73 次21.08 次下降 33.6%说明新参与用户活跃度低于原有核心用户APP 7 日留存率32.62% (95% CI: 32.05%~33.19%)36.58% (95% CI: 35.92%~37.24%)绝对提升 3.96%相对提升 12.1%可以看到活动参与率显著提升新参与用户的活跃度低于原有核心用户整体留存率提升明显活动参与用户留存进一步观察用户行为用户类型7 日留存说明不参与活动用户30%略有变动为简化模型和计算可以忽略参与活动用户71%略有变动为简化模型和计算可以忽略参与活动用户留存率显著更高但注意这并不一定完全是因果关系。活跃用户更容易参与活动自选择偏差存在建立归因模型用户留存率增量 用户活动参与率增量 × (参与活动用户留存率 - 不参与活动用户留存率)这是启发式拆解不是严格因果估计。归因的用户留存率增量(9.62% - 4.9%) × (71% - 30%) 1.9%实际观测到的用户留存率增量36.6% - 32.6% 4.0%需要注意参与活动用户与未参与用户之间可能存在自选择偏差因此71%与30%的留存差异不一定完全是活动带来的因果效果。还有2.1% 4.0% - 1.9%可能由其他方面带来时间趋势变化内容供给变化节假日因素选择偏差理想情况下应通过AB 实验随机对照实验对活动改造进行因果验证。但由于本次改造采用全量上线策略未设置随机对照组因此后续将通过准实验方法如 Difference-in-Differences 或时间序列对比进行归因分析以尽可能控制时间趋势等外部因素的影响。路径弹性计算弹性系数 归因留存增量 / 活动参与率增量弹性系数 1.9% / 4.72% 0.40弹性系数 95% CI 约为0.31 ~ 0.52这里的“弹性”可以理解为一种工程上的近似弹性本质上反映的是活动参与率对留存率的局部边际影响。这个弹性系数在增长实践中表现出较强的增长信号。说明活动参与率可能是一个值得继续验证的重要增长杠杆。总结增长问题本质上不是“做什么活动”而是识别系统中最具弹性的变量。通过以下方法可以把增长问题逐步转化为可计算的经营问题构建业务 DAG ↓ 识别关键行为变量 ↓ 通过实验验证因果关系 ↓ 计算增长弹性 ↓ 结合成本计算 ROI ↓ 优先投入 ROI 最高的增长路径当数据和实验积累到一定程度后可以逐步建立增长弹性矩阵增长响应曲面最终形成一个持续自我优化的增长系统。增长的核心不是“多做事情”而是找到那个真正值得按下的增长开关。