“我们应该与[…]合作。他们在我们70%的销售电话中出现。”这是我们一家公司的新任首席运营官在上任第二周后上周告诉我们的。这件事一直萦绕在我的脑海中，因为仅仅在几年前，如果不花数百个小时听电话录音，她就不可能知道这一点。现在，她可以使用Gong和Clari等CI工具查看每次客户会议的数据，并立即得出结论。随着大型语言模型改变应用程序的格局，它给人一种即将到来的感觉。
大型语言模型（LLM）
自然语言处理（NLP）并不是什么新鲜事，但在过去的五年里，由于深度神经网络的日益强大，它取得了快速的进步。大型语言模型是一类新的网络，经过大量文本的训练，因此能够从头开始理解、总结甚至生成文本。
参数是驱动模型决策的内部变量，类似于大脑中的神经元。模型中使用的参数越多，模型能够达到的复杂度和复杂度就越高。下面的图表使用对数刻度，显示了模型在短短四年内的规模增长有多大，从BERT的2.4亿个参数增长到GPT-3的1750亿个参数。今天，几乎一个月过去了，谷歌本周再次展示了一种新的语言模型。
我的观点是，开源模型将主导LLM领域，而不是专有模型。今年夏天早些时候，LLM研究研讨会BigScience发布了BLOOM模型，这是第一个开源、多语言的大型语言模型，接受了700万美元的公共资助硬件成本的培训。这是在OpenAI专有的GPT-3首次发布大约两年后发生的，GPT-3具有类似的功能。培训费用的一次性性质将继续推动未来车型的公开发布，以获得更广泛、更具成本效益的公共利益。
具有LLM的智能应用程序
设计新的语言模型或制造机器学习硬件的成本非常高，我预计它将继续由包括OpenAI、谷歌、英伟达和其他少数公司在内的少数大型公司主导。然而，我们已经看到了寒武纪初创公司在LLM之上构建应用程序的激增，包括从文案平台到开发工具的一切。
这些改进的语言模型允许应用程序悄悄进入以前不存在的新领域。例如，Jasper、Copy.ai和其他初创公司正在使用LLM仅根据主题指导自动生成营销材料。以前，作家只能获得空白的拉票和基本的研究工具；自动生成副本是一个全新的产品领域。
另一个例子是，GitHub Copilot允许开发者根据基本提示生成应用程序源代码，自6月21日发布以来，它在开发者世界掀起了一场风暴。与我交谈过的许多工程师（甚至是非常资深的工程师）都说，Copilot是一个游戏规则的改变者，如果没有它，他们将永远不会再开发。就在几个月前，机器学习在编写代码的基本行为中还没有发挥任何作用。
LLM的一个应用最近在互联网上掀起了风暴，它是DALL·E2，这是一个由OpenAI创建的模型，可以通过短文本提示创建逼真的图像和艺术。例如，人们可能会用短语提示模型，“一只猴子正在吃香蕉，同时倒挂在漂浮在天空中的核桃树上”，并收到这样的图像。我用一句话提示DALL·E 2，“快乐的员工使用他们的笔记本电脑，沐浴在人工智能驱动的成功光芒中，而他们的团队以印象派的风格为他们加油”，这就是我得到的回报。
然后，我给了DALL·E 2一个短语，“风险投资家为投资组合公司增值，印象派风格”，并收到了以下内容。抛开我的骄傲不谈，我很感激它在完成如此艰巨的任务时尽了最大的努力。
大型语言模型的下一步是什么
机器学习的基础性进步在历史上带来了新的软件应用程序和商业机会。以计算机视觉为例。在20世纪90年代和2000年代初，计算机视觉是一个广受欢迎但往往没有成果的研究领域；早期的算法只能检测边缘、角落和基本形状。
2006年，伊利诺伊大学的计算机科学家李菲菲意识到数据是计算机视觉成功的关键因素，她提出了ImageNet，这是一个注释图像的公共数据库。到2012年，ImageNet包含了数百万张众包图像，一个名为AlexNet的模型使用它实现了图像识别的准确性，打破了所有历史结果。在过去十年里，李飞飞的数据洞察力和ImageNet奠定了基础，使计算机视觉的应用难以置信，包括自动驾驶汽车、面部识别、癌症检测等。
在BCV，我们将大型语言模型视为具有广泛含义的类似基础，我们对B2B软件中的含义感到特别兴奋。当今企业软件的主要形式因素是具有用户界面的数据库。从SAP的早期到今天的Rippleng、Airtable和Carta，已经发生了很大的变化。应用程序已经转移到浏览器，界面设计不再是事后考虑，API可以连接到其他数据库，但数据库模式仍然存在。
LLM使应用程序能够以自然的方式在上下文和表面相关的片段中保存更多的信息和历史。智能应用程序将需要更少的拖放、指向和单击、搜寻和啄击。人们可以想象，简单地问他们的人力资源平台，“我的工程师最近士气如何？”或他们的关系管理软件，“下周我访问纽约时应该会见谁？”新的垂直应用公司将出现，以提供这种智能和直观的模式，我们期待着了解他们。
- 登录 发表评论