跳转到主要内容

头条吹捧人工智能技术的快速进步。使用人工智能技术——机器和算法——进行预测、建议或决策,对提高福利和生产率具有巨大潜力。但它也带来了风险,如可能出现不公平或歧视性结果,或现有社会经济差异的持续存在。健康人工智能就是这种紧张关系的一个典型例子。最近发表在《科学》杂志上的研究表明,一种出于良好意图而使用的算法——将医疗干预目标对准病情最严重的患者——最终将资源输送给了更健康的白人人口,而损害了病情更严重的黑人患者。

好消息是,虽然人工智能和机器学习技术的复杂性是新的,但自动化决策并非如此,我们在联邦贸易委员会拥有处理使用数据和算法做出消费者决策所带来的挑战的长期经验。多年来,联邦贸易委员会提出了许多指控违反我们执行的涉及人工智能和自动化决策的法律的案件,并调查了该领域的许多公司。例如,1970年颁布的《公平信用报告法》(FCRA)和1974年颁布的平等信用机会法(ECOA)都涉及自动决策,金融服务公司几十年来一直将这些法律应用于基于机器的信用承销模型。我们还利用《联邦贸易委员会法》授权禁止不公平和欺骗行为,以解决因使用人工智能和自动化决策而造成的消费者伤害。

2016年,联邦贸易委员会发布了一份题为《大数据:包容还是排斥的工具?》的报告?,它建议公司使用大数据分析和机器学习来减少偏差的机会。最近,我们在2018年11月举行了一次听证会,探讨人工智能、算法和预测分析。

联邦贸易委员会的执法行动、研究和指导强调,人工智能工具的使用应透明、可解释、公平和经验性强,同时促进问责制。我们相信,我们的经验以及现有法律可以为公司如何管理人工智能和算法的消费者保护风险提供重要的教训。

透明。

不要在如何使用自动化工具方面欺骗消费者。通常,人工智能在后台运行,与消费者体验有些不同。但是,当使用人工智能工具与客户互动(比如聊天机器人)时,要小心不要误导消费者关于互动的本质。阿什利·麦迪逊(Ashley Madison)的投诉称,这家以通奸为导向的交友网站利用有吸引力的伴侣的虚假“订婚者简介”诱使潜在客户注册交友服务,从而欺骗了消费者。Devumi的投诉称,该公司向想要提升其社交媒体影响力的公司和个人出售假粉丝、假订户和假“赞”。结果呢?如果一家公司使用doppelgängers——无论是假约会资料、假追随者、深度假货还是人工智能聊天机器人——误导消费者,该公司可能会面临联邦贸易委员会的执法行动。

收集敏感数据时要透明。数据集越大,算法就越好,消费者的产品就越好,故事结束了……对吗?没那么快。小心获取数据集的方式。秘密收集音频或视频数据——或任何敏感数据——以提供算法也可能导致联邦贸易委员会采取行动。就在去年,联邦贸易委员会声称,当Facebook告诉消费者可以选择面部识别时,他们误导了消费者——尽管默认情况下该设置是开启的。正如Facebook的案例所示,如何获取数据可能非常重要。

如果您根据第三方供应商的信息做出自动决策,您可能需要向消费者提供“不利行动”通知。根据FCRA,收集消费者信息以自动化有关信贷、就业、保险、住房或类似福利和交易资格的决策的供应商可能是“消费者报告机构”。这会触发您作为该信息用户的职责。具体而言,您必须根据FCRA向消费者提供某些通知。假设你从一家背景调查公司购买了一份报告或分数,该公司使用人工智能工具生成一个分数,预测消费者是否会成为一个好租户。人工智能模型使用了广泛的关于消费者的输入,包括公共记录信息、犯罪记录、信用记录,甚至可能还有关于社交媒体使用、购物历史或公开可用照片和视频的数据。如果您使用该报告或分数作为拒绝某人购买公寓或向其收取更高租金的依据,您必须向该消费者提供不利行动通知。不良行为通知告知消费者他们有权查看关于他们的报告信息并纠正不准确信息。

向消费者解释你的决定。

如果你基于算法决策拒绝消费者有价值的东西,请解释原因。有人可能会说,解释可能影响算法决策的众多因素太难了。但是,在信贷发放领域,公司被要求向消费者披露他们被拒绝信贷的主要原因,仅仅说“你的分数太低”或“你不符合我们的标准”是不够的。“您需要具体说明(例如,“您拖欠了信用义务”或“您的信用证明文件数量不足”)。这意味着您必须知道模型中使用了哪些数据,以及如何使用这些数据进行决策。你必须能够向消费者解释这一点。如果您使用人工智能在任何情况下对消费者做出决策,请考虑如果客户要求,您将如何向客户解释您的决策。

如果您使用算法为消费者分配风险得分,还应披露影响得分的关键因素,按重要性排序。与其他算法决策类似,分数基于无数因素,其中一些因素可能难以向消费者解释。例如,如果信用评分用于拒绝某人的信用,或向其提供不太优惠的条件,法律要求向消费者发出通知,说明评分(其来源、该信用模型下的评分范围),以及至少四个对信用评分产生不利影响的关键因素,根据其对信用评分的影响按重要性顺序列出。

如果您可能基于自动化工具更改交易条款,请务必告知消费者。十多年前,联邦贸易委员会指控次级信贷营销商CompuCredit违反了联邦贸易委员会法案,因为它欺骗性地没有披露它使用行为评分模型来降低消费者的信用限额。例如,如果持卡人使用信用卡预付现金或在某些场所(如酒吧、夜总会和按摩院)付款,他们的信用额度可能会降低。该公司从未告诉消费者,这些购买可以降低他们的信用额度——无论是在他们签约时还是在他们降低信用额度时。这件十年前的事情今天同样重要。如果你打算用一种算法来改变交易条款,告诉消费者。

确保你的决定是公平的。

不要基于受保护的类别进行歧视。漫不经心地使用人工智能可能导致对受保护阶级的歧视。许多联邦平等机会法,如《经济机会法》和1964年《民权法》第七章,可能与此类行为有关。联邦贸易委员会执行《经济信贷法》,该法禁止基于种族、肤色、宗教、民族血统、性别、婚姻状况、年龄或因个人获得公共援助而进行信贷歧视。例如,如果一家公司根据消费者的邮政编码做出信贷决策,导致对特定族裔群体产生“不同的影响”,联邦贸易委员会可以根据《经济合作法》质疑这种做法。通过在使用算法之前和之后定期严格测试算法,确保它不会对受保护的类产生不同的影响,您可以为自己节省很多问题。

关注投入,但也关注结果。当我们在联邦贸易委员会评估算法或其他人工智能工具进行非法歧视时,我们会查看模型的输入——例如模型是否包括基于种族的因素,或这些因素的代理,如人口普查区。但是,不管投入如何,我们都会审查结果。例如,一个模型实际上是否在禁止的基础上进行歧视?表面中立的模型是否会对受保护的类产生非法的不同影响?我们的经济分析着眼于结果,如消费者为信贷支付的价格,以确定模型是否对受保护阶层的人产生不同的影响。如果是这样,我们将审查该公司使用该模型的理由,并考虑一个歧视性较小的替代方案是否会获得相同的结果。使用人工智能和算法工具的公司应考虑是否应参与人工智能结果的自我测试,以管理使用此类模型所固有的消费者保护风险。

为消费者提供访问权限和机会,以纠正用于做出决策的信息。FCRA规范了用于做出消费者决策的数据,如他们是否能找到工作、获得信贷、获得保险或是否能租房。根据FCRA,消费者有权获得关于他们的档案信息,如果他们认为该信息不准确,则有权对该信息提出异议。此外,当信息被用于做出不利于消费者利益的决定时,需要向消费者发出不利行动通知。该通知必须包括用于做出决定的信息来源,并且必须通知消费者其访问权和争议权。如果您使用从其他人获得的数据,甚至直接从消费者获得的数据来做出有关消费者的重要决策,您应考虑向消费者提供该信息的副本,并允许消费者质疑该信息的准确性。

确保您的数据和模型稳健且经验性良好。

如果您向其他人提供有关消费者的数据,以决定消费者获得信贷、就业、保险、住房、政府福利、支票兑现或类似交易的权利,您可能是必须遵守FCRA的消费者报告机构,包括确保数据准确且最新。你可能会想:我们做人工智能,而不是消费者报告,所以FCRA不适用于我们。好吧,再想想。如果您汇编和销售用于或预期用于信贷、就业、保险、住房或其他有关消费者是否有资格享受某些福利和交易的类似决策的消费者信息,您可能确实受到FCRA的约束。这是什么意思?除其他事项外,您有义务实施合理的程序,以确保消费者报告尽可能准确,并向消费者提供自己的信息,以及纠正任何错误的能力。RealPage,Inc.是一家部署软件工具以实时或接近实时地将住房申请者与犯罪记录进行匹配的公司,从中学到了这一点。该公司因未能采取合理措施确保向房东和物业经理提供的信息的准确性而违反FCRA,最终支付了300万美元的罚款。

如果您向其他人提供有关您的客户的数据以用于自动决策,您可能有义务确保数据准确,即使您不是消费者报告机构。根据FCRA,向消费者报告机构提供客户数据的公司被称为“供应商”。他们可能不会提供他们有合理理由相信可能不准确的数据。此外,他们必须制定书面政策和程序,以确保他们提供的数据准确、完整。供应商还必须调查消费者的争议以及消费者报告机构收到的争议。这些要求对于确保人工智能模型中使用的信息尽可能准确和最新非常重要。此外,联邦贸易委员会还对那些向消费者报告机构提供信息但未能保持所需书面政策和程序以确保其报告信息准确的公司提起诉讼,并获得巨额罚款。

确保您的人工智能模型经过验证和重新验证,以确保它们按预期工作,并且不会非法歧视。同样,从消费者贷款世界中获得了更多的经验教训,几十年来,信贷授予人一直在使用数据和算法来自动化信贷承销过程。贷款法鼓励使用“经验性衍生、可证明且在统计上可靠”的人工智能工具。这意味着,除其他外,这些工具基于对样本组的经验性比较得出的数据,或在合理的前一段时间内申请信贷的有信用和无信用申请人的群体;使用公认的统计原则和方法编制和验证;并通过使用适当的统计原则和方法对其进行定期重新验证,并根据需要进行调整,以保持预测能力。

 

让自己对合规、道德、公平和不歧视负责。

在使用算法之前先提问。回顾2016年大数据报告,委员会警告公司,大数据分析可能会导致偏见或对消费者造成其他伤害。为了避免这种结果,算法的任何操作员都应该问四个关键问题:

  • 您的数据集代表性如何?
  • 您的数据模型是否考虑了偏差?
  • 基于大数据的预测准确度如何?
  • 您对大数据的依赖是否会引起道德或公平问题?

保护您的算法免受未经授权的使用。如果您正在开发人工智能以销售给其他企业,请考虑这些工具如何被滥用,以及访问控制和其他技术是否可以防止滥用。例如,就在上个月,联邦贸易委员会举办了一次关于语音克隆技术的研讨会。多亏了机器学习,这些技术使公司能够使用一个人的真实语音的五秒钟剪辑来生成真实的语音。这项技术有望帮助那些失去说话能力的人,但如果落入骗子之手,很容易被滥用。一家引入这种克隆技术的公司正在审查用户,并在自己的服务器上运行该技术,这样它就可以阻止所了解到的任何滥用。

考虑一下你的问责机制。考虑一下你如何让自己承担责任,以及使用独立标准或独立专业知识退后一步评估你的人工智能是否有意义。例如,回到最终歧视黑人患者的算法,好心的员工正试图使用该算法将医疗干预目标对准病情最严重的患者。在外部,独立测试算法的客观观察者是发现问题的人。随着人工智能的使用越来越频繁,此类外部工具和服务越来越多,公司可能会考虑使用它们。

本文:https://cioctocdo.com/ftc-using-artificial-intelligence-and-algorithms