如何提高数据运营：糗事百科产品总监李威如何基于数据构建推荐系统

威哥 2022-11-11 19:42:32 985

如何提高数据运营：糗事百科产品总监李威如何基于数据构建推荐系统下图是我们推荐系统刚上线时候的一个例子，数据是用户平均观看时长。蓝色的 0 组是测试组，刚上线时效果要比其他组好很多。但是在第二天、第三天，我们就发现效果在减退，是什么原因导致的呢？实验时长有限，往往反映短期效果，具有短视性。做实验的时间是有限的，你不可能永远都在做这个实验，这就天然的导致了 A/B Test 往往反映的是一个短期效果。比如说刚才那个实验，只做一天，数据增长了，但在长期来看，它可能会慢慢趋于与其他组同样的效果。2）A/B Test 实例

实验即需求本身；需求文档就应该是一份实验方案。

很多同学会觉得做 A/B Test 是一件耗时耗力的事情，但换一个角度想，你在写产品需求文档的时候，写的实质上是一个实验方案，实验和需求本身是无法剥离开来的。实验结果往往需要关注多个指标。真正做 A/B Test 的时候，我们需要关注很多的指标，一些指标增长的同时，另外一些指标可能会下降。

实验需要足够的样本，关注实验的统计显著性。

A/B Test 的样本量如果不够，可能得出的效果就不那么真实了。

实验时长有限，往往反映短期效果，具有短视性。

做实验的时间是有限的，你不可能永远都在做这个实验，这就天然的导致了 A/B Test 往往反映的是一个短期效果。比如说刚才那个实验，只做一天，数据增长了，但在长期来看，它可能会慢慢趋于与其他组同样的效果。

2）A/B Test 实例

下图是我们推荐系统刚上线时候的一个例子，数据是用户平均观看时长。蓝色的 0 组是测试组，刚上线时效果要比其他组好很多。但是在第二天、第三天，我们就发现效果在减退，是什么原因导致的呢？

我们的第一反应很简单，再上线两个组，看是不是会产生同样的效果，于是就上线了 12 组和 10 组。在上线前两天，它们和 0 组一样，数据增长的效果很好，但是到了第三天，效果同样在减退。由于对自身的推荐系统有足够了解，我们推测，用户消耗完了他们偏好的数据，而我们没有补充上足够多的这类数据，就导致效果减退。于是我们做了第三个测试，增大了数据库里数据的量，给用户推荐更多他偏好的内容，数据就增长了，而一旦消耗完，则又减退。通过这样的手段，我们把数据增减的原因分析得很透彻。大家要学会利用好 A/B Test ，同时配合对这个业务的理解，才能做好数据分析。

3）数据分析能力与业务理解能力的关系

最后需要强调的是，数据分析能力是建立在对业务的理解基础之上的，两者息息相关、齐头并进。正如我刚刚说的 A/B Test，如果你对推荐系统本身不够了解，就很难分析出来数据减退的原因是用户偏好的数据量不够。