A/B 实验数据分析AI提示词模板

sowang

适用：网页 / APP 功能改版、营销文案、按钮、落地页、短视频素材、定价策略、推送策略等 A/B 测试；支持转化率、点击率、停留时长、留存、客单价等指标；包含显著性检验、效应解读、实验结论、落地建议，规避显著性误区。

模板 1｜标准版 A/B 实验综合分析（实验复盘、评审，推荐首选）

角色：资深数据实验分析师，解读A/B测试实验数据。
任务要求：
1. 梳理实验基础信息：实验假设、对照组A、实验组B、实验周期、流量分配、样本量。
2. 核心指标判定：主指标、次要指标，分别计算两组指标值、相对提升/下降幅度、绝对值差异。
3. 统计显著性检验：判断结果是否统计显著；标注p值、置信区间；区分真实效果 vs 随机波动。
4. 指标分层下钻：按渠道/用户新老/地域等维度拆分，看效果是否存在分层异质性（某一类人群效果好/反向负向）。
5. 副作用评估：查看负向次要指标，评估实验组是否带来隐性负面影响（如短期转化提升、长期留存下滑）。
6. 根因推断：实验组为什么变好/变差，区分【数据事实】和【推测】，推测标记【推测】。
7. 结论判定：全量上线 / 继续扩容观测 / 终止实验 / 重新设计实验。
8. 风险与局限：样本偏差、实验污染、流量泄露、时间效应、指标口径问题。

【实验基础信息】
实验假设：
对照组A：
实验组B：
流量分配：
实验起止时间：
【指标数据粘贴】
主指标：
次要指标：


模板 2｜极简快速解读版（晨会快速看实验结果，250 字以内）

角色：实验分析师，输出A/B测试简短结论简报。
输出结构：
①一句话结论：实验是否显著，主指标变化幅度
②对照组、实验组核心指标对比
③显著性判断
④正向/负向副作用指标
⑤决策建议：上线/继续观测/关停
少统计学术语，面向业务人员。

实验信息：
对照组数据：
实验组数据：



模板 3｜PPT 汇报版（实验评审会，含口播稿）
角色：数据专家，解读A/B实验结果，产出汇报材料。
输出两部分：
1.PPT文案：每页标题+核心结论，包含实验假设、指标对比、显著性结论、分维度结果、风险、决策建议，重点数字加粗。
2.2分钟口播稿，面向产品/业务管理层，通俗解释实验结果，讲清楚能不能全量上线，有什么风险。

实验数据：
实验假设：
汇报对象：产品、业务、管理层



模板 4｜指标分层异质性专项分析（分人群看实验效果）

角色：实验数据分析师，专项分析A/B实验分层异质性。
任务：
1. 按维度（新/老用户、渠道、设备、地域）拆分主指标，查看各组在不同人群的效果差异。
2. 识别：整体显著，但部分子人群反向效果；或者整体不显著，但特定人群有明显收益。
3. 判断：异质性是真实差异，还是子样本量太小导致随机波动。
4. 给出策略：是否全量上线，还是只针对特定人群灰度放量。
5. 风险提示：不要基于小样本子组强行下结论。

实验整体数据：
分层维度明细数据：



模板 5｜实验显著性校验 + 反欺诈排查（数据复核，内审用）

角色：实验复核分析师，校验A/B实验有效性，排查实验污染问题。
任务：
1. 校验样本量、p值、置信区间，复核显著性结论。
2. 排查实验风险：流量污染、分组不均、用户被重复曝光、实验期间外部活动干扰、埋点异常。
3. 检查指标口径：指标定义两组是否保持一致。
4. 检查指标“多重检验问题”：多指标检验导致假阳性风险。
5. 评估结论稳健性：去掉异常日期/渠道后，结论是否依然成立。
6. 列出：哪些结论可靠，哪些结论存疑。

实验数据：
实验周期：
同期外部活动：



模板 6｜多实验 / 多变体（A/B/N 测试）专用模板（多版本对照）

角色：实验分析师，解读A/B/N多变体实验。
任务：
1. 基准对照组A，对比B、C、D多个实验组，所有变体和基准对比。
2. 主指标：各组提升幅度、统计显著性。
3. 横向对比多个变体，找出最优版本。
4. 评估各变体的副作用指标。
5. 区分：哪个变体效果稳定显著，哪些只是随机波动。
6. 决策建议：选择最优版本上线，或迭代下一轮实验。

对照组A数据：
变体B、C、D数据：
实验假设：




A/B 实验配套追问提示词（拿到 AI 结果后继续深挖）

### 追问 1｜计算样本量预估（下一轮实验前置）

基于历史基准转化率，预估下一轮A/B实验所需最小样本量；设定预期最小提升幅度、显著性水平、统计功效，给出预估流量和实验周期。

### 追问 2｜实验复盘，提炼经验

复盘本次A/B实验：假设是否成立，实验设计优点和缺陷，本次学到的经验，下一轮实验的假设方向。

### 追问 3｜多重检验风险排查

本次实验同时观测了多个指标和多个子维度，排查多重检验带来的假阳性风险；判断哪些结论需要谨慎看待。

### 追问 4｜提炼实验监控指标

整理A/B实验上线后需要持续监控的指标清单与告警阈值，用于全量上线后的效果观测。


✅ 固定追加句（粘贴提示词末尾，减少 AI 幻觉）

固定追加：区分统计显著和业务显著；小样本下不轻易下确定性结论；多重对比会增加假阳性；不编造 p 值与置信区间；统计结论不等于业务因果结论。



✅ 整套【数据分析 AI 提示词模板合集】

1. 通用数据报告解读
2. BI 指标看板
3. 财务报表解读
4. 项目投资测算（NPV/IRR）
5. 用户画像数据分析
6. 供应链数据分析
7. 竞品数据分析
8. A/B 实验数据分析