超级文档
A/B实验方案
登录
免费注册 / 登录

A/B实验方案

实验名称:会议室预订页默认展示空闲时段
负责人:陈静(产品)
数据分析:郑凯
计划时间:10月12日 ~ 10月25日
状态:待上线

一、背景

目前员工进入预订页后,需先选择会议室,再查看该会议室的空闲时段。数据显示,14% 的预订会话在选择时段后放弃,其中 60% 的员工在放弃前切换过 3 次以上会议室。访谈中员工表示,想先知道「几点有空房」,而不是先挑房间。

二、实验假设

如果预订页默认按时间展示所有会议室的空闲时段,那么员工能更快找到可用的房间,预订完成率将从 86% 提升到 90% 以上,因为员工不必逐间切换会议室来比较空闲时间。

三、实验设计

  1. 对照组 A:现有页面,先选会议室,再选时段。
  2. 实验组 B:默认展示当天按半小时划分的空闲时段,每个时段下列出可用会议室,点击即可预订。
  3. 分流方式:按员工账号随机分流,各 50%,同一员工在实验期间始终看到同一版本。
  4. 实验范围:全部企业版客户的员工端网页和移动端,排除试用企业。

四、实验指标

五、样本量与时长

六、决策规则

  1. 主要指标显著提升且护栏指标全部达标:全量上线实验组 B。
  2. 主要指标无显著差异但用时缩短:保留实验组 B 的时段视图作为可切换选项,再做一轮优化。
  3. 任一护栏指标超出阈值:立即暂停实验,排查原因后再决定是否重启。
  4. 实验期间不提前查看显著性结果,满 14 天后由郑凯出具分析结论。

七、风险与准备

  1. 会议室较多的企业时段列表可能过长:时段下最多展示 5 间会议室,其余折叠。
  2. 员工对新界面不熟悉:实验组首次进入时显示一句提示,说明可以先选时间。
  3. 刘洋在 10月10日前完成分流开关和埋点开发,郑凯在上线前一天验证数据上报。