[2021] Las matemáticas detrás de las pruebas A / B con código de muestra de Python {DH}

Mientras tomaba el curso de pruebas A / B de Google en Udacity, tuve algunas preguntas sobre algunos de los pasos matemáticos que no se cubrieron claramente en el curso. Esto es comprensible ya que el curso debe ser una descripción general condensada y concisa. Para despejar mis dudas, recurrí a otras fuentes en Internet y decidí resumir lo que he aprendido en este artículo.

1. Prepara el experimento.
2. Realice la prueba y registre la tasa de éxito de cada grupo.
3. Dibuje la distribución de la diferencia entre las dos muestras.
4. Calcule la potencia estadística.
5. Evalúe cómo el tamaño de la muestra afecta las pruebas A / B.

Estamos haciendo una prueba A / B en un hipotHEmpresa ética que intenta aumentar el número de usuarios que se registran en una cuenta premium. El objetivo de realizar una prueba A / B es evaluar si un cambio en un sitio web debería …