跳转到主要内容

BloombergGPT在财务NLP任务上以显著的优势优于类似规模的开放模型,而不会牺牲通用LLM基准的性能。

纽约-彭博社今天发布了一篇研究论文,详细介绍了BloombergGPTTM的开发,这是一种新的大规模生成人工智能(AI)模型。这种大型语言模型(LLM)专门针对广泛的金融数据进行了训练,以支持金融行业中的一组不同的自然语言处理(NLP)任务。

基于LLM的人工智能(AI)的最新进展已经在许多领域展示了令人兴奋的新应用。然而,金融领域的复杂性和独特的术语保证了一个特定领域的模型。BloombergGPT代表着这项新技术在金融行业的开发和应用迈出了第一步。该模型将帮助彭博社改进现有的金融NLP任务,如情绪分析、命名实体识别、新闻分类和问答等。此外,BloombergGPT将为整理彭博终端上的大量可用数据提供新的机会,以更好地帮助公司的客户,同时将人工智能的全部潜力带入金融领域。

十多年来,彭博社一直是人工智能、机器学习和NLP在金融领域应用的开拓者。如今,彭博社支持一组非常庞大和多样化的NLP任务,这些任务将受益于新的金融意识语言模型。彭博社的研究人员率先采用了一种混合方法,将财务数据与通用数据集相结合,以训练一个在财务基准上取得同类最佳结果的模型,同时在通用LLM基准上保持竞争力。

为了实现这一里程碑,彭博社的ML产品和研究小组与该公司的人工智能工程团队合作,利用该公司现有的数据创建、收集和管理资源,构建了迄今为止最大的特定领域数据集之一。作为一家金融数据公司,彭博社的数据分析师在40年的时间里收集并维护了金融语言文件。该团队从这个庞大的财务数据档案中提取数据,创建了一个由英文财务文件组成的3630亿代币的综合数据集。

该数据通过3450亿个令牌公共数据集进行了扩展,以创建一个包含7000多亿个令牌的大型训练语料库。使用这个训练语料库的一部分,该团队训练了一个500亿参数的仅解码器因果语言模型。由此产生的模型在现有的特定于财务的NLP基准、彭博社的一套内部基准以及流行基准中的广泛类别的通用NLP任务(例如,BIG bench Hard、知识评估、阅读理解和语言任务)上进行了验证。值得注意的是,BloombergGPT模型在财务任务上的表现大大优于现有的类似规模的开放模型,同时在一般NLP基准上的表现仍然相当或更好。

Table 1. How BloombergGPT performs across two broad categories of NLP tasks: finance-specific and general-purpose

彭博社首席技术官Shawn Edwards表示:“由于生成LLM具有吸引力的所有原因——少镜头学习、文本生成、会话系统等——我们认为开发第一个专注于金融领域的LLM具有巨大价值。”。“BloombergGPT将使我们能够处理许多新类型的应用程序,同时它为每个应用程序提供比定制模型高得多的开箱即用性能,并能更快地推向市场。”

彭博社ML产品和研究团队负责人Gideon Mann解释道:“机器学习和NLP模型的质量取决于你输入的数据。”。“得益于彭博社40多年来精心策划的财务文件集,我们能够精心创建一个大型、干净、特定领域的数据集,以训练最适合财务用例的LLM。我们很高兴能够使用BloombergGPT来改进现有的NLP工作流程,同时也能想出新的方法来将该模型投入使用,以取悦我们的客户。”

有关BloombergGPT开发的更多详细信息,请阅读arXiv上的论文:https://arxiv.org/abs/2303.17564.

文章链接