跳转到主要内容

 

对于企业采取的每一项举措,都有潜在的机会和成本——不做其他事情的成本。但是,你是如何切实确定机会的大小的呢?

机会大小是数据科学家在做出投资决策之前可以用来量化一项计划的潜在影响的一种方法。尽管企业试图优先考虑计划,但他们很少计算来评估机会,而是依靠直觉驱动的决策。虽然这种类型的决策在商业中确实有其地位,但它也有容易被一些微妙的偏见所左右的风险,例如可用信息、确认偏见,或者我们内在的愿望,即将新的决策模式与我们之前的经验相匹配。

在Shopify,我们的数据科学家利用机会大小来帮助我们的产品和业务领导者确保我们将努力投资于最具影响力的举措。这种方法使我们能够在检查和讨论关于我们可以在哪里投入精力的假设时有意识。

以下是我们对机会规模的看法。

如何确定机会规模

机会大小不仅仅是一种数字推理工具,它是企业可以用来就其努力的影响进行原则性对话的框架。

机会规模的一个例子可能看起来像下面的等式:如果我们构建功能X,在DD假设下,我们将在T时间段内获得MM(+/-delta)新的活跃用户。

那么我们如何计算这个方程呢?好吧,首先,尽管确定一项计划的机会大小的时间框架可以与您的计划相关,但我们建议您对影响进行年度评估,以便您可以轻松地在不同的计划之间进行比较。这一点很重要,因为当你的倡议生效时,它会对你的倡议的年度估计影响产生重大影响。

下面是我们为各种情况推荐的几种方法,深入探讨如何确定机会的大小。

定向T恤尺码

当机会确定现有计划的规模时,定向t恤尺寸是最常见的方法,也是任何人(不仅仅是数据科学家)都可以利用一点数据来告知直觉的方法。这种方法基于粗略估计,并依靠主题专家根据他们过去观察到的类似经验和行业标准得出的数字来帮助估计机会规模。这种方法中使用的估计取决于对您的产品或服务以及您的领域(例如,营销、履行等)的了解。通常情况下,假设是广义的,使用平均值或中位数来假设总体转化率,而不是针对手头的计划

例如,假设您的增长营销团队正在尝试更新电子邮件序列(给用户的关于新产品或功能的电子邮件),并希望评估机会的大小。使用定向t恤尺码方法,您可以使用以下数据来确定您的等式:

  • 表现最好的内容的开放率
  • 开放利率的行业平均值

假设你表现最好的内容的开放率为5%,而行业平均水平为10%。基于这些基准,您可以假设机会可以翻倍(从5%增加到10%)。

这种方法提供的速度高于准确性,因此存在嵌入偏见的风险,并且缺乏对所做假设的彻底反思。只有在早期构思或理智检查阶段才应使用定向t恤尺码。增长计划的机会规模应该使用下一种方法:自下而上。

Directional t-shirt sizing should be used for existing initiatives that require lower rigor opportunities.

自下而上使用可比数据

与定向t恤尺码不同,自下而上的方法使用特定可比产品或系统的性能作为基准,并依靠数据科学家的特定技能做出基于数据的决策。自下而上的方法用于确定现有倡议的机会。自下而上的方法依赖于在类似系统上观察到的数据,这意味着它往往比定向t恤尺码具有更高的准确性。以下是使用自下而上方法的一些技巧:

1.了解具有可比性的产品或系统的性能。

要对您当前的产品或系统进行任何增强,您首先需要了解它的性能。您需要识别、观察和了解可比产品或系统的性能,包括其独特受众和流程的具体情况。

例如,假设您的增长营销团队希望将一封新的欢迎电子邮件本地化,发给意大利的潜在用户,每年将有100000条新线索。一个类似的系统可以是团队前一年在法国发送的本地化欢迎电子邮件。确定了可比系统后,您将需要深入研究一些关键问题和性能指标,如:

  • 有多少人收到了这封电子邮件?
  • 观众的选择有什么独特之处吗?
  • 电子邮件的参与率是多少?

序列的转换率是多少?或者换句话说,在那些打开你的欢迎电子邮件的人中,有多少人转化为客户?

假设我们发现,我们目前在意大利的非本地化电子邮件的点击率(CTR)为3%,而我们在法国的本地化电子邮件在一年内的点击率为5%。根据可比系统的指标,您可以确定一个基本指标,并对新计划的执行情况做出假设。

2.要清楚并记录你的假设。

当你思考你的倡议时,要清楚并记录你对其潜在影响的假设以及每个假设背后的原因。使用可比系统的性能指标,您可以生成一个假设的基本指标,以及您的计划将对该指标产生的潜在影响。有了你的基本指标,你会想考虑你的倡议可能产生的积极和消极影响,所以用上限和下限在一定范围内量化你的估计。

回到我们的本地化欢迎电子邮件示例,根据我们可比系统的CTR指标,我们可以假设我们的意大利本地化计划的影响:如果我们向意大利的100000名新潜在客户发送本地化欢迎电子邮件,我们将在一年内获得3%至5%(+/-delta)的CTR。这是基于我们的假设,即本地化内容将比非本地化内容表现更好,正如我们在法国的本地化欢迎电子邮件的性能指标所示。

3.确定您的倡议对企业更广泛目标的影响。

现在,您已经对自己的计划进行了机会规模估计,接下来想到的问题是“这对您的其他业务目标意味着什么?”。为了回答这个问题,你需要估计对你的最高标准的影响。这使您能够用苹果对苹果的视角来比较不同的举措,同时也避免了在进行比较和评估影响时偏向于更大数字的倾向。例如,会话数量的1%变化看起来可能比渠道下游客户数量的3%变化大得多。

回到我们本地化的欢迎电子邮件示例,我们应该问问自己,CTR的增加如何影响我们的活跃用户数量的最高指标?比方说,当我们在法国本地化电子邮件时,我们看到CTR增加了5%,这意味着每年活跃用户增加了3%。因此,如果我们在意大利本地化欢迎电子邮件,我们可能会获得3%的增长,这将意味着每年增加3000名活跃用户。

二阶思维在这里是一笔巨大的财富。考虑潜在的调节剂及其影响是有益的。例如,也许让更多的人点击我们的欢迎电子邮件会降低我们的漏斗性能,因为我们有意向较低的人点击。或者,它可能会提高漏斗的性能,因为人们更倾向于提供服务。潜在影响的范围是什么?我们有什么证据来支持这些范围?从这个想法来看,我们的建议可能会改变:我们可能无法仅仅更改欢迎电子邮件,我们可能还必须更改登录页、受众选择或其他上游或下游方面。

Bottom-up opportunity sizing should be used for existing initiatives that require higher rigor opportunities.Bottom-up opportunity sizing should be used for existing initiatives that require higher rigor opportunities.

自上而下

在确定新计划的机会规模时,应使用自上而下的方法。这种方法更微妙,因为你没有优化现有的东西。使用自上而下的方法,您将从使用一组更大的模糊信息开始,然后尝试根据假设和观察将这些信息缩小到更准确的估计。2.

以下是一些关于如何实现自上而下方法的提示:

1.收集有关您的新计划的信息。

与自下而上的方法不同,您将没有可比较的系统来建立基本度量。相反,尽可能多地从内部或外部来源获取有关新举措的信息。

例如,假设您正在寻找将您的产品或服务扩展到新市场的机会。在这种情况下,您可能希望获得产品研究团队的帮助,以获得有关市场规模、该市场潜在用户数量、竞争对手等的更多信息。

2.要清楚并记录你的假设。

就像自下而上的方法一样,你需要清楚地确定你的估计以及你有什么证据来支持它们。对于新的举措,通常的假设会倾向于比现有举措更乐观,因为我们有偏见地认为我们的举措会产生积极影响。这意味着,作为这个规模确定过程的一部分,您需要严格测试您的假设。测试您的假设的一些方法包括:

  • 利用之前启动的计划的改进范围,让您了解可能发生的事情。
  • 将商业案例提交给高级利益相关者,并对您的案例进行论证。这通常会让你不得不再三考虑你的假设。

你应该在最初的估计中保持保守,以解释你对潜力理解的准确性不足。

看看我们确定新市场机会的例子,我们想记录一些关于以下方面的假设:

  • 市场规模:现有市场的规模与新市场的规模是多少。您可以从外部数据集收集这些信息。在缺乏市场或受众数据的情况下,您也可以根据其他地方类似的受众或地区进行假设。
  • 你认为你可以进入并参与这个市场的速度:这包括假设的新用户的转化率。当引入新的频道或观众时,可以假设转换率与过去的表现相似。您可以使用自下而上方法中确定的技巧。

3.确定您的倡议对企业更广泛目标的影响。

与自下而上的方法一样,您需要评估您的举措对企业更广泛目标的影响。基于上面的例子,我们的举措对活跃用户的假设影响意味着什么?

Top-down opportunity sizing

就在这里!机会规模是一项有价值的投资,可以帮助您对最具影响力的举措表示同意。对于数据科学团队来说,这也是帮助业务领导者确定优先级和指导决策的重要方式。一旦你的计划启动,测试一下你的规模估计值与实际值的接近程度。随着时间的推移,这将帮助您完善您的估计。

下次,当您的企业概述其产品路线图,或者您的团队试图决定是否值得承担某个特定项目时,请使用我们的机会评估基础知识来帮助确定潜在的机会(或缺乏机会)。

无论您身在何处,您的下一次旅程都将从这里开始!如果您对从头开始构建系统以解决现实世界中的问题感兴趣,我们的工程博客会讲述我们遇到的其他挑战。感兴趣的访问我们的数据科学与工程职业页面,了解我们的空缺职位。了解我们是如何招聘来共同设计未来的——一个通过设计实现数字化的未来。

文章链接