跳转到主要内容

评估人工智能投资回报率具有挑战性,但至关重要。IT领导者和行业观察家就如何清楚地了解您的人工智能努力是否有回报提供了见解。

人工智能正在转型,无论是作为一种技术还是如何使用。越来越多的公司将人工智能飞行员带出测试实验室并大规模部署,一些公司因此看到了显著的好处。尽管人工智能存在任何不确定性,但忽视其潜力可能会导致以旧方式开展业务的公司破产。

然而,对于许多组织来说,从人工智能中获取价值可能是难以捉摸的。他们的模型可能无法调整。他们的训练数据集可能不够大。客户可能会有所怀疑。人们还担心偏见、道德和透明度。在人工智能计划准备就绪之前将其投入生产,或在对其结果进行适当审查之前将人工智能战略扩展到初始阶段之外,可能会使公司损失资金,或者更糟糕的是,将其推向对业务不利的方向。

 

那么,您如何知道人工智能项目是否会改变或破坏您的公司?如果没有可靠的投资回报率数据,公司就必须通过确定的方式进行创新。下面我们来看看IT领导者和行业内部人士如何评估人工智能的价值。

成熟与突破性技术

衡量任何计划或技术的业务价值并不总是线性计算。人工智能当然也不例外,特别是当考虑到成熟度和商业潜力时。经过验证和预测的变量-如数据挖掘、成本和培训节约、投资和促进新用途的能力-在可接受的投资回报率方面会影响决策,但对技术的信任度(无论是新技术还是成熟技术)至关重要。

例如,在美国宇航局喷气推进实验室,衡量人工智能项目投资回报率的关键因素是技术成熟度。

美国宇航局喷气推进实验室(NASA JPL)首席技术和创新官克里斯·马特曼(Chris Mattmann)表示,一些人工智能用例处于高度成熟状态。以自动化业务流程为例。

“每个公司都有无聊的东西,我们也有,”他说。“因此,我们自动化了许多事情,如票据处理、搜索、数据挖掘、使用人工智能查看合同和分包合同。”

JPL使用商业上可用的技术,包括DataRobot和Google Cloud。Mattmann说,为了确定某项技术是否值得投资,该组织会考虑它是否会节省成本、时间和资源。“它已经成熟了,所以你应该能够展示这一点。”

对于中等成熟度的技术,JPL将研究该技术是否有能力启用新的用例,以及成本。“例如,我们要去火星,我们有一个用于深空通信的细管,”他说,今天,有足够的带宽每天从火星向地球发送大约200张照片。

“我们发射的那些辉煌的火星探测器有豌豆大小的大脑,”他说。“他们运行的是iPhone 1处理器。我们只将抗辐射的东西放在太空中,我们相信它们能经受住深空环境。我们知道性能良好的芯片是那些较老的芯片,因此我们不会在漫游者上使用高级AI或ML。”

但这架“独创性”直升机原本只是一个技术演示,并不是任务的核心,搭载了高通公司的Snapdragon处理器,这是一种人工智能芯片。“这向我们证明,有可能拥有更新的芯片和更多的人工智能,”他说。

在这里,AI将启用当前不可能的新用例。例如,火星车可以不用每天发送200张图像,而是使用人工智能对图像本身进行分析,并向地球发送一百万条文字说明,例如,在某个特定方向上有一个干涸的湖底。Mattmann说:“我们可以通过文本比现在的图像获得更多的可见性。”。

最后,对于最前沿的实验性人工智能技术,成功的衡量标准是它们是否允许新的科学被完成,以及新的论文被撰写和发表。

“培训和建立模型是有成本的,”他说。

谷歌(Google)和微软(Microsoft)等公司可以随时获取大量培训数据,但在JPL,数据集很难获取,需要博士级专家进行分析和标注。

“在美国宇航局,我们训练新人工智能模型的成本是商业工业的10到20倍,”马特曼说。

在这方面,新技术的出现将使美国宇航局能够创建人工智能模型,而不需要人工标注。例如,生成网络可以用来创建合成训练数据,他说。深假的,但为了科学的利益。

人工智能测量及其影响范围

当无法直接衡量人工智能项目的业务影响时,公司将从相关关键绩效指标(KPI)中挖掘数据。这些代理变量通常与业务目标相关,可以包括客户满意度、上市时间或员工保留率。

大西洋医疗系统就是一个很好的例子,该系统的高级副总裁兼首席信息官苏尼尔·达德拉尼(Sunil Dadlani)表示,在该系统中,患者是每个决策的核心。因此,在许多方面,人工智能的投资回报是通过观察患者护理的改善来衡量的。他说,这些以患者为中心的指标包括缩短住院时间、缩短治疗时间、加快保险资格验证和提前保险授权。

另一个项目涉及使用人工智能支持放射科医生检查扫描。KPI是放射科医生对潜在异常发现的警觉频率。“截至2022年4月,99%的放射科医生报告使用人工智能分析了12000多项研究,”Dadlani说,并补充说,这已经触发了近600次警报。“因此医生可以尽快解决潜在的严重问题。”

在美国第五大会计师事务所RSM,人工智能投资遵循两条紧密相连的路径:一条是生产力和分析师工具,帮助员工更好地工作。公司管理咨询、业务和技术转型团队的合伙人理查德·戴维斯(Richard Davis)表示,另一种是相同或类似的工具,但客户使用。

例如,在与客户合作时,可能会要求RSM从多个系统(会计、销售和营销、人力资源、物流)中提取数据,并将所有数据集中到一个窗格中。戴维斯说,人工智能可以帮助加快这一过程。然后,人工智能可以用来识别工作如何通过这些系统,以及潜在的挑战和障碍可能在哪里。

那么,该公司如何知道其人工智能是否朝着正确的方向发展?

“第一,我们可以非常清楚地衡量工具的使用情况,”戴维斯说,他拒绝提供RSM在人工智能计划或投资回报率方面的投资细节。“随着时间的推移,我们希望看到的是更高效的参与。”

戴维斯说,这种参与度的提高应该会导致生产率的提高。“所以,如果我们过去需要一周的时间去做某件事,我们的目标可能是把它缩短到一天,”他说。

关注商业利益

衡量人工智能的成功也可以是主观的。麻省理工学院(MIT)的人工智能研究科学家尤金尼奥·祖卡雷利(Eugenio Zuccarelli)表示,评估人工智能项目与开发人工智能本身一样是一门艺术,他也是零售业的数据科学家。

Zuccarelli说,尽管如此,能够解释人工智能对商业的影响仍然很重要。“KPI不应该围绕模型本身设置,”他说,“而是基于业务和人员指标,这应该是项目的最终目标。”否则,选择一个看似成功但实际上不会对公司产生有效影响的技术指标就太容易了。

Zuccarelli也曾在宝马和澳大利亚电信担任数据科学职位,他也警告不要孤立地衡量进展。例如,如果一个人工智能项目旨在改善由于其他原因已经在改善的东西,那么需要一个控制组来确定有多少改善实际上是由于人工智能。

弗拉迪斯拉夫·夏皮罗(Vladislav Shapiro)表示,人工智能项目的其他有价值的关键绩效指标可能是,例如,减少虚假警报或自动取消过度特权。夏皮罗在金融服务行业拥有多年经验,是Costity的创始人,Costity是一家专门从事IT安全和身份治理与管理的咨询集团。

在Shapiro最近的一次人工智能安全部署中,误报率降低了三倍,他说,许多以前的人工过程都是自动化的。

“当你向C级管理层展示这些数字时,他们明白,以上所有这些都降低了被违反的风险,并增加了问责和治理,”他说。

逐步衡量成功

全球专业服务公司简柏特(Genpact)首席数字策略师桑杰·斯里瓦斯塔瓦(Sanjay Srivastava)表示,自动化导致成本降低是展示人工智能经济效益的最简单、最清晰的方式。但人工智能也可以促进新的收入流,甚至完全改变公司的商业模式。

例如,有了人工智能,一家飞机发动机制造商发现它可以更好地预测故障和改善物流,从而开始提供发动机作为服务。“对于最终消费者来说,购买飞行里程比购买发动机本身要好,”他说。“这是一种新的商业模式。它改变了公司的运营方式,因为人工智能使之成为可能。”

他说,商业影响也很明显。

因此,为了证明在这段时间内对人工智能的投资是合理的,这个特定的制造商需要这个长期目标,但将其转化为短期项目,以其他方式衡量。

“与其说‘十年后,我们将改变这个行业’,不如说‘第一年,我们将开始考虑我们需要库存的零件,’”他说。“您还没有将行业改变为航空里程飞行。您只是在说,‘我们将需要合适数量的合适零件。’这是一个为期一年的项目,旨在优化您的仓库系统,减少库存投资。”

除了供应链优化之外,其他短期进度指标还包括客户满意度。

“例如,如果飞机在孟买停留了五天,等待一个零件,客户会有这种感觉,”他说。

与战略愿景保持一致

还有一个现实是,在短期内,一些人工智能项目可能会损害底线,但在长期内仍然是重要的和变革性的。例如,推出客户服务聊天机器人的公司可以消除日常任务。Gartner分析师惠特·安德鲁斯(Whit Andrews)说:“但聊天机器人可能是有害的,因为有些人擅长向上销售,并希望与人接触。”。“所以组织可能不希望这样。”

他说,这要追溯到你想成为什么样的公司。“在某个时候,你必须问自己是否是这样一家公司,例如,如果交付出现问题,客户可以打电话询问它在哪里,你与他们接触,然后尝试每月一次向他们销售产品。”

如果该组织致力于人工智能驱动的转型,并以衡量的投资回报率作为支持,并具有以客户为中心的愿景,那么它可能会超越对底线的直接影响,转而关注其他可能更有意义的指标。

安德鲁斯说:“一个更完全自动化的组织可能更成功,因为它增加了市场份额。”。“但你可以开发数据,这样你就可以在与他们更相关的时候联系到他们。如果有什么东西你可以指出并说,逻辑告诉我们,这会让我们的客户更快乐,我们的员工更成功,那么就去追求它。”

本文:https://cioctocdo.com/measuring-business-impact-ai