写这篇文章的契机是有不少同学在我的小红书账号下留言问到:“策略产品应该如何与算法工程师合作?策略产品是不是算法工程师的工具人?”,再结合我对周围想要转行策略产品以及行业内同学进行的调研,会发现大家普遍会存在几个方面的困惑:
-
策略产品岗位与算法工程师在分工上合作流程是什么样子的?
-
在整体流程中,策略产品要怎么做才能充分发挥这个岗位的价值,避免沦落为工具人?
围绕大家普遍存在困惑的问题,这篇文章也将拆分为 2 个部分针对每个问题进行分析回答,涉及到注重实践的环节,也会附上业务实际案例帮助大家构建更具体的实践感知,希望可以帮助解答这个问题。
Part一、策略产品与算法合作的全流程
策略产品经理与算法工程师合作的全流程可以拆分为 8 个阶段,分别是:目标制定、产品前置调研、业务假设抽象、业务假设验证、产品方案设计、需求评审及沟通、模型研究、复盘归因及后续规划设计。

1、目标体系制定
在策略产品经理拿到一个新业务或者是项目时,第一时间一定是制定项目目标体系,因为,目标的设定是否清晰合理会直接影响项目的成败。那应该如何制定呢?这里我们用一个具体案例进行说明,例如,一个策略产品在接收到一个新项目,这个项目是将用户的搜索行为信号引入推荐流中进行曝光进而带动用户推荐消费增长。对于这个项目,策略产品在接手项目后可以告诉合作的算法团队,项目的目标体系设计为:
-
核心结果指标(北极星指标):用户留存率提升(对齐团队/公司产品战略规划核心指标)
- 中间业务指标:因留存是相对滞后且有噪声的指标,因此需制定一些中间指标,通过中间指标提升带动留存变化
- 用户 query 相似内容在 feeds 流曝光占比
- 用户 query 相似内容在 feeds 流用户 uv 渗透
- 用户 query 相似内容曝光后 ctr、单篇内容均消费时长等
- 业务 limit 条件:策略是在 limit 限定边界内寻求最优解的过程,因此,我们需要充分考虑好项目指标在增长的同时需要满足哪些限制,否则会容易出现一些 hack 的手段去提升结果指标,实际对业务无正向增益。
- 用户人均消费数不降低
- 用户人均 app 在屏时长不降低

2、产品前置调研
产品前置调研主要包含:行业竞品调研、数据分析、用户 case 分析等 3 个部分。
-
行业竞品调研:通过行业内竞品分析定位产品与同类产品的差距,支持进行业务决策以及进行产品优化方向的学习借鉴。
-
数据分析:对数字极其敏感,可以从一堆数字中看出哪个数字有问题,这个问题代表了什么情况,需要怎么样去优化。
-
用户 case 分析:通过 case review 评估工作,评估系统(搜推广)链路中设置的规则是否符合预期生效、用户线上的真实体感是什么样的、分用户群实际偏好消费的内容类型是什么。

3、提炼业务假设
利用阶段 2 中行业以及产品自身数据、case 分析的信息我们基本对产品现状、业务问题有相对充分的了解了。当前这一步主要是抽象出对业务目标提升有帮助的业务假设,即对业务问题解决的干预手段。还是用搜索信号引入推荐进行曝光的项目案例来看,这里业务的核心假设为:对有搜索行为用户,将用户搜索 Query 相似内容引入推荐页曝光可以带动用户消费(app 在屏时长、用户人均内容消费数等)、留存提升。

4、业务假设验证
有业务假设之后策略产品就可以直接提需求了吗?答案是:不行哦 。 有了假设,但假设是不是有把握会成立我们还不知道,所以,我们需要通过数据分析、用户 case 的方式进行验证。另外,强调下,是否可以持续提出高成功率的业务假设是衡量一个策略产品的核心标准之一,所以,业务假设是非常必要的,也是保障策略成功率的重要手段。还是继续沿用搜索项目进行举例,我们可以用数据分析、用户 case 评估两种方式进行假设验证:
- 数据分析:在进行数据分析之前我们需要思考我们的业务假设成立是否存在限定条件,这个会影响我们的数据分析思路。还是在当前搜索业务场景内,我们需要考虑,如果用户搜索过 Lisa 疯马秀相关的内容,当用户再次打开 APP 推荐页时,我们当天、一天后、三天后又或者是一周后推荐 Lisa 疯马秀相似内容,效果是否有差别?设想下,我们是产品的使用者主观感受下,答案应该显而易见,效果是会存在差别的。因此,我们在做数据分析时,可以基于用户信号采集周期进行分桶,控制分析同一批用户,气氛周期分析用户后验消费数据表现:
从信号周期分层数据来看,用户 3 天内搜索的 Query 相似内容在推荐页曝光效果优于内容平均消费数据,并且从时间周期上,信号效果具备近大远小的效应,我们针对时间距离的远近做信号函数强化/衰减设计。

- 用户 case 评估:我们通过用户 case 评估的方式抽样评估用户体感、系统投放链路生效性。基于搜索信号相似度召回的内容做随机抽样 Case 评估,站在用户体感评估 Case 体感分档(将 Case 主观体验拆分为 5 个档位,极好、良、中、差、极差)。

5、产品方案设计
在做策略产品方案设计过程中,我们需要对搜推广系统运行原理有一定了解,例如上述过程中我们已经验证了业务假设及验证,如何设计策略方案?
我们通过数据监控及分析,定位到有搜索行为用户在整体推荐系统中,在召回、粗排、精排等环节是否都有搜索 query 相关内容渗透,定位内容主要折损哪个环节,产品可以提案在折损环节进增加召回 or 保量等手段做干预,提升搜索相似内容渗透率,进而提升内容曝光占比,验证搜索相似内容曝光占比提升是否会提升用户消费。
6、需求评审及沟通
需求评审可能涉及多个部门之间的配合,这个环节核心考验产品的沟通能力、跨部门目标对齐能力以及看懂部门间利益博弈以及如何平衡让项目取得进展的能力。
7、模型研究
这个环节重要涉及,数据准备、模型训练、离线验证等环节,主要以算法工程师为主导。

8、项目复盘、归因及后续规划设计
通过对项目实际消费数据后验表现进行分析,拆解项目成功 or 失败的原因.
Part二、策略产品经理在全流程核心需要关注的环节
策略产品在整体投放链路中,核心需要关注的环节是:目标体系设计、合理业务假设&验证、推动力、复盘方法论迭代。
-
目标体系设计:目标设计需要考虑全面及合理性,一个合理的目标体系通常包含:业务北极星指标、limit 限定条件、中间业务指标
- 业务假设提出&验证:
- 业务假设提出核心考验的是策略产品发现问题的能力,同时也极其考验策略产品的学习能力,如参考行业竞品、前沿技术论文、业务数据分析、用户 case 评估等定位当前业务问题
- 业务假设验证,通过数据分析、case 分析等手段验证假设成立的概率
-
推动力:推动力通常有几个关键点:管理领导预期,在领导既要又要时,可以同步方向合理 or 不合理的原因,反馈信息以便进行产品战略目标调整、紧盯项目、解答研发工程师的项目细节问题并判断优先级
- 复盘、方法论迭代:定位项目成功、失败的原因,对平台生态中(平台、用户、创作者、广告主、媒体等)各个角色有更加深入认知,沉淀策略产品经理颗复用的业务方法论
