Skip to content

Commit

Permalink
up
Browse files Browse the repository at this point in the history
  • Loading branch information
xhqing committed Aug 2, 2023
1 parent 6b04b46 commit cf80a10
Show file tree
Hide file tree
Showing 2 changed files with 36 additions and 10 deletions.
23 changes: 18 additions & 5 deletions docs/post/概率论与数理统计/假设检验.md
Original file line number Diff line number Diff line change
Expand Up @@ -51,6 +51,18 @@ A/B测试的核心就是**假设检验**。A/B测试中的假设检验就是检

## A/B测试代码实践

由于A/B测试都属于双总体(双样本)假设检验,而根据检验指标的不同双总体(双样本)假设检验可以分为三种:双总体(双样本)均值假设检验、双总体(双样本)标准差假设检验和双总体(双样本)比例假设检验。后续分别对这三种情况进行代码实践。

### 双总体(双样本)均值假设检验



### 双总体(双样本)标准差假设检验



### 双总体(双样本)比例假设检验

**案例**:某公司原来的购买转化率是30%左右,现在想通过把其网页上的“购买”按钮加大一倍,使购买转化率提升到33%以上。

可以看到这里的对比指标是购买转化率,因此这里适用双总体(双样本)比例检验。
Expand All @@ -59,7 +71,7 @@ A/B测试的核心就是**假设检验**。A/B测试中的假设检验就是检

**备择假设**:对照组的购买转化率与实验组的购买转化率有显著差异。

### 计算最小样本量
#### 计算最小样本量

假设我想要达到的功效为80%,显著性水平为5%,通过`statsmodels`计算最小样本量的步骤如下:

Expand All @@ -81,7 +93,7 @@ print(round(sample_size))

计算结果是:每组至少需要3762个样本。

### 计算p值
#### 计算p值

假设两种方案各有5000个用户参与测试,原方案有1545个用户完成转化,优化方案有1670个用户完成转化。用`statsmodels`计算p值:

Expand All @@ -96,7 +108,7 @@ print(p_value)

计算出的p值约为:0.007,p<α=0.05,结果是显著的。

### 计算置信区间
#### 计算置信区间

```python
## 代码位置:https://github.com/xhqing/statistics/blob/main/ab_test/confidence_interval.py
Expand Down Expand Up @@ -124,7 +136,7 @@ print((round(lower,2), round(upper,2))

计算得出置信区间是(0.3, 0.34)。

### 实验报告
#### 实验报告

1. 描述统计

Expand All @@ -140,7 +152,7 @@ print((round(lower,2), round(upper,2))

备择假设:实验组的购买转化率p2-对照组的购买转化率p1≠0

检验类型:双总体比例假设检验
检验类型:双总体(双样本)比例假设检验

样本量:对照组5000,实验组5000

Expand Down Expand Up @@ -173,3 +185,4 @@ p值:0.007
对效应量的解释:效应量低于0.2,属于小效应量,虽然实验组的购买转化率与对照组的购买转化率之间的差异具有显著性,但差异不大。

最终结论:实验组的购买转化率与对照组的购买转化率之间有显著差异,虽然差异不大,但达到优化目标。

23 changes: 18 additions & 5 deletions post/概率论与数理统计/假设检验.md
Original file line number Diff line number Diff line change
Expand Up @@ -51,6 +51,18 @@ A/B测试的核心就是**假设检验**。A/B测试中的假设检验就是检

## A/B测试代码实践

由于A/B测试都属于双总体(双样本)假设检验,而根据检验指标的不同双总体(双样本)假设检验可以分为三种:双总体(双样本)均值假设检验、双总体(双样本)标准差假设检验和双总体(双样本)比例假设检验。后续分别对这三种情况进行代码实践。

### 双总体(双样本)均值假设检验



### 双总体(双样本)标准差假设检验



### 双总体(双样本)比例假设检验

**案例**:某公司原来的购买转化率是30%左右,现在想通过把其网页上的“购买”按钮加大一倍,使购买转化率提升到33%以上。

可以看到这里的对比指标是购买转化率,因此这里适用双总体(双样本)比例检验。
Expand All @@ -59,7 +71,7 @@ A/B测试的核心就是**假设检验**。A/B测试中的假设检验就是检

**备择假设**:对照组的购买转化率与实验组的购买转化率有显著差异。

### 计算最小样本量
#### 计算最小样本量

假设我想要达到的功效为80%,显著性水平为5%,通过`statsmodels`计算最小样本量的步骤如下:

Expand All @@ -81,7 +93,7 @@ print(round(sample_size))

计算结果是:每组至少需要3762个样本。

### 计算p值
#### 计算p值

假设两种方案各有5000个用户参与测试,原方案有1545个用户完成转化,优化方案有1670个用户完成转化。用`statsmodels`计算p值:

Expand All @@ -96,7 +108,7 @@ print(p_value)

计算出的p值约为:0.007,p<α=0.05,结果是显著的。

### 计算置信区间
#### 计算置信区间

```python
## 代码位置:https://github.com/xhqing/statistics/blob/main/ab_test/confidence_interval.py
Expand Down Expand Up @@ -124,7 +136,7 @@ print((round(lower,2), round(upper,2))

计算得出置信区间是(0.3, 0.34)。

### 实验报告
#### 实验报告

1. 描述统计

Expand All @@ -140,7 +152,7 @@ print((round(lower,2), round(upper,2))

备择假设:实验组的购买转化率p2-对照组的购买转化率p1≠0

检验类型:双总体比例假设检验
检验类型:双总体(双样本)比例假设检验

样本量:对照组5000,实验组5000

Expand Down Expand Up @@ -173,3 +185,4 @@ p值:0.007
对效应量的解释:效应量低于0.2,属于小效应量,虽然实验组的购买转化率与对照组的购买转化率之间的差异具有显著性,但差异不大。

最终结论:实验组的购买转化率与对照组的购买转化率之间有显著差异,虽然差异不大,但达到优化目标。

0 comments on commit cf80a10

Please sign in to comment.