视频:为什么在HTML5视频播放器开发中使用A/B测试?

以下是她在2016年流媒体西部大会上的演讲摘录, Streamroot的Erica Beavers概述了A/B测试的基本原则, 以及开发HTML5视频播放器的组织如何使用它来生成玩家有效性的数据驱动分析.

阅读这段视频的完整文本:

艾丽卡海狸: A / B测试, 我想大多数人可能都知道, 是否有一种方法可以测试两个版本, 你的产品或功能的A版本和B版本. 它本质上是一种在分析中被数据驱动的方法. 而不是猜测, 实际上，您可以通过在生产中使用这些数字来做出非常明智的决策. 关于A/B测试的伟大之处在于，大多数情况下你使用的是你已经掌握的百家乐软件, 这是你自己的用户数据.

我们今天把这个应用到视频播放器上, 到html5视频播放器, 以及服务质量指标, 但这显然可以用于许多场景. A/B测试并不总是有意义的, 但当你不能在本地进行测试时，就会这样做, 所以当你在处理一个高度分布式或无管理的网络时，它真的无法产生, 在本地复制. 我们将在点对点解决方案中使用A/B算法的示例. 其次, 当你部署一个全新的功能，它将打破你当前的逻辑，看看任何变化来自哪里. 任何时候你都可以使用主观假设或幻数, 我相信你一定遇到过很多这样的事. 我的意思是, 当你们把缓冲时间设置为10秒而不是12秒的时候，你们都这样做了, 你也不知道为什么. 这是一种测试在生产环境中实际工作的方法.

在开始测试之前，您需要记住一些基本原则. 首先是, 当你定义你的参数时, 很明显你会看到一些相对复杂的东西, 尤其是当你在做用户体验方面的事情时. 确保你的成功指标确实是你想要测试的. 您是要查找视频播放时间，还是要查找整个会话时间? 哪个与你的业务更相关? 例如, 要查看重新缓冲事件的数量吗, 或者重新缓冲所花费的总时间, 或者会话期间重新缓冲所花费的实际毫秒数? 确保你所测试的内容能够提供相关信息. 这听起来非常非常明显，但实际上这是一个很多人都会犯的错误. 他们认为他们想要测试一些与他们的商业案例并不相关的东西.

第二个, 继续下去, 是定义变量吗, 理解变量, 确保你的测试不受其他变量的制约，而不是你实际要测试的东西. 当然，也要确保改进到一个指标和一个指标 ... 对于一个指标，不会导致其他关键指标的任何减少.

第三, 显然，您需要确定适当的样本大小和测试时间框架, 取决于您的用例, 取决于你的百家乐软件. 最后，您希望尽可能使用相同的总体. 当您开始测试时，请确保您做得很聪明. 你使用, 如果你在测试视频的服务质量, 您希望使用同一流上的观看者, 它们在同一个区域, 使用同一个ISP, 等等, 等等. 你不希望在测试中引入任何可能导致结果偏差的差异.