A/B实验方案
实验名称:会议室预订页默认展示空闲时段
负责人:陈静(产品)
数据分析:郑凯
计划时间:10月12日 ~ 10月25日
状态:待上线
一、背景
目前员工进入预订页后,需先选择会议室,再查看该会议室的空闲时段。数据显示,14% 的预订会话在选择时段后放弃,其中 60% 的员工在放弃前切换过 3 次以上会议室。访谈中员工表示,想先知道「几点有空房」,而不是先挑房间。
二、实验假设
如果预订页默认按时间展示所有会议室的空闲时段,那么员工能更快找到可用的房间,预订完成率将从 86% 提升到 90% 以上,因为员工不必逐间切换会议室来比较空闲时间。
三、实验设计
- 对照组 A:现有页面,先选会议室,再选时段。
- 实验组 B:默认展示当天按半小时划分的空闲时段,每个时段下列出可用会议室,点击即可预订。
- 分流方式:按员工账号随机分流,各 50%,同一员工在实验期间始终看到同一版本。
- 实验范围:全部企业版客户的员工端网页和移动端,排除试用企业。
四、实验指标
五、样本量与时长
六、决策规则
- 主要指标显著提升且护栏指标全部达标:全量上线实验组 B。
- 主要指标无显著差异但用时缩短:保留实验组 B 的时段视图作为可切换选项,再做一轮优化。
- 任一护栏指标超出阈值:立即暂停实验,排查原因后再决定是否重启。
- 实验期间不提前查看显著性结果,满 14 天后由郑凯出具分析结论。
七、风险与准备
- 会议室较多的企业时段列表可能过长:时段下最多展示 5 间会议室,其余折叠。
- 员工对新界面不熟悉:实验组首次进入时显示一句提示,说明可以先选时间。
- 刘洋在 10月10日前完成分流开关和埋点开发,郑凯在上线前一天验证数据上报。