代理人工智能、小数据以及在非结构化数据堆栈时代寻找价值。
行业专家表示，2024 年注定是生成式人工智能的标志性年份。操作用例正在浮出水面，技术正在减少进入壁垒，通用人工智能显然即将到来。
那么……有这样的事情发生吗？
嗯，有点像。到 2024 年底，其中一些预测已经变得炙手可热。其余的需要在烤箱中多花一点时间（我正在看你的通用人工智能）。
以下是领先的未来学家和投资者 Tomasz Tunguz 对 2024 年底数据和人工智能的看法，以及我自己的一些预测。
2025 年数据工程趋势即将到来。
人工智能反乌托邦刚刚过去三年，我们就开始看到企业在我们期望的一些领域创造价值，但不是全部。 Tomasz 认为，人工智能的现状可以概括为三类。
1. 预测：AI副驾驶可以完成句子、纠正代码错误等。
2. 搜索：利用数据语料库来回答问题的工具
3.推理：可以完成复杂任务的多步骤工作流程
尽管人工智能副驾驶和搜索在企业组织中取得了一定的成功（尤其是前者），但推理模型似乎仍然落后。据托马斯说，这是有一个明显的原因的。
模型精度。
正如 Tomasz 所解释的那样，当前的模型很难有效地将任务分解为步骤，除非它们以前多次看到过特定的模式。但对于这些模型可能需要执行的大部分工作来说，情况并非如此。
“今天……如果要求大型模型生成 FP&A 图表，它就能做到。但如果存在一些有意义的差异——例如，我们从软件计费转向基于使用的计费——它就会消失。”
所以目前看来，它的人工智能副驾驶和部分准确的搜索结果似乎是胜利的关键。
新工具的好坏取决于支持它的流程。
随着“现代数据堆栈”多年来的不断发展，数据团队有时会发现自己处于一种永久的踢轮胎的状态。他们会过于关注平台的内容，而没有充分关注（可以说更重要的）如何进行。
但随着企业格局越来越接近生产就绪的人工智能，弄清楚如何操作所有这些新工具变得更加紧迫。
让我们考虑一下数据质量的例子。随着数据馈送人工智能在 2024 年成为焦点，数据质量也逐渐成为人们关注的焦点。面对生产就绪型人工智能的真正可能性，企业数据领导者没有时间从数据质量菜单中进行抽样——这里进行一些 dbt 测试，那里进行几个点解决方案。他们现在正面临着创造价值的困境，他们需要值得信赖的解决方案，以便他们今天就可以有效地加入和部署。
当企业数据领导者努力解决近期可用于生产的人工智能的可能性时，他们没有时间从数据质量菜单中进行抽样——这里进行一些 dbt 测试，那里进行几个点解决方案。他们已经开始致力于提供业务价值，并且需要可以立即有效地使用和部署的值得信赖的解决方案。
现实情况是，您可以拥有市场上最复杂的数据质量平台 – 最先进的自动化、最好的副驾驶、最出色的集成 – 但如果您无法让您的组织快速启动和运行，那么您真正拥有的一切是预算中的一个项目，也是桌面上的一个新选项卡。
在接下来的 12 个月中，我预计数据团队将倾向于采用经过验证的端到端解决方案，而不是拼凑工具包，以便优先处理更关键的挑战，例如数据质量所有权、事件管理和长期领域支持。
能够实现这些优先事项的解决方案才是在人工智能领域获胜的解决方案。
与任何数据产品一样，GenAI 的价值有以下两种形式之一：降低成本或创造收入。
在收入方面，您可能有 AI SDRS、丰富机器或推荐之类的东西。根据托马斯的说法，这些工具可以产生大量的销售渠道……但这不会是一个健康的渠道。因此，如果人工智能不能产生收入，它就需要削减成本——在这方面，这项新兴技术肯定已经找到了一些立足点。
“没有多少公司会因此而关闭业务。主要是降低成本。克拉纳削减了三分之二的员工人数。 Microsoft 和 ServiceNow 的工程生产力提高了 50-75%。”
Tomasz 表示，如果满足以下三个标准之一，人工智能用例就会带来降低成本的机会：
- 重复性工作
- 充满挑战的劳动力市场
- 急需招聘
Tomasz 举的一个有效推动新收入的组织的例子是 EvenUp——一家自动处理催款函的交易法律公司。像 EvenUp 这样支持模板化但高度专业化服务的组织可能处于独特的地位，可以看到人工智能当前形式的巨大影响。
与一年前掀起的“人工智能战略”海啸相比，今天的领导者似乎一致在技术上倒退了一步。
“去年有一波浪潮，人们尝试各种软件只是为了看看它。他们的董事会询问他们的人工智能战略。但现在早期的浪潮中出现了大量的流失。”
虽然一些组织根本没有从早期实验中看到价值，但其他组织却在其基础技术的快速发展中苦苦挣扎。 Tomasz 表示，这是投资人工智能公司面临的最大挑战之一。这并不是说这项技术在理论上没有价值，而是组织还没有弄清楚如何在实践中有效地利用它。
Tomasz 认为，下一波采用将与第一波不同，因为领导者将更了解他们需要什么以及在哪里可以找到它。
就像大型演出前的彩排一样，团队知道他们在寻找什么，他们已经解决了法律和采购方面的一些问题——特别是数据丢失和预防——并且他们准备好在合适的机会出现时采取行动本身。
明天的重大挑战？ “我怎样才能更快地找到并出售价值？”
开源与托管的争论是一个古老的故事……嗯，很古老的事情。但当谈到人工智能时，这个问题就变得更加复杂。
在企业层面，这不仅仅是一个控制或互操作性的问题（尽管这肯定会发挥一定作用），而是一个运营成本的问题。
虽然 Tomasz 认为最大的 B2C 公司将使用现成的模型，但他预计 B2B 将趋向于他们自己的专有和开源模型。
“在 B2B 领域，你会看到整体上更小的模型，以及整体上更多的开源。这是因为运行小型开源模型要便宜得多。”
但这并不全是美元和美分。小型号还可以提高性能。与谷歌一样，大型模型旨在服务于各种用例。用户可以有效地向大型模型询问任何问题，因此需要在足够大的数据集上训练该模型才能提供相关响应。水球。中国历史。法式吐司。
不幸的是，模型训练的主题越多，它就越有可能混淆多个概念——随着时间的推移，输出的错误也就越多。
“你可以采用像 llama 2 这样具有 80 亿个参数的东西，用 10,000 个支持票对其进行微调，它的性能会好得多，”Tomasz 说。
更重要的是，ChatGPT 和其他托管解决方案经常在法庭上受到质疑，因为它们的创建者对这些模型训练所用的数据没有合法权利。
在很多情况下，这可能并没有错。
除了成本和性能之外，这可能会对专有模型的长期采用产生影响——特别是在高度监管的行业中——但这种影响的严重程度仍不确定。
当然，专有模型也不会闲置。如果山姆·奥尔特曼对此有什么要说的话，那就不会了。 （如果说推特教会了我们什么的话，萨姆·奥尔特曼肯定有很多话要说。）
专有型号已经在积极降价以推动需求。 ChatGPT 等模型已经将价格降低了大约 50%，并预计在未来 6 个月内再降低 50%。对于希望参与人工智能军备竞赛的 B2C 公司来说，削减成本可能是急需的福音。
在扩展管道生产时，数据团队通常会遇到两个挑战：没有足够技术经验的分析师和没有足够时间的数据工程师。
听起来像是人工智能的一个问题。
当我们研究数据团队如何发展时，我相信有两个主要发展可能会在 2025 年推动工程和分析职责的整合：
- 需求增加——随着企业领导者对数据和人工智能产品的兴趣不断增长，数据团队将需要用更少的资源做更多的事情。为了尽量减少瓶颈，领导者自然会授权以前的专业团队为他们的管道和利益相关者承担更多责任。
- 自动化的改进——新的需求总是推动新的创新。 （在这种情况下，这意味着人工智能支持的管道。）随着技术自然变得更加自动化，工程师将能够用更少的资源做更多的事情，而分析师将有权自己做更多的事情。
理由很简单——随着需求的增加，管道自动化自然会发展以满足需求。随着管道自动化不断发展以满足需求，创建和管理这些管道的障碍将会减少。技能差距将会缩小，增加新价值的能力将会增强。
向自助式人工智能管道管理的转变意味着每个人工作中最痛苦的部分都将被自动化取代——并且他们创造和展示新价值的能力在此过程中得到扩展。听起来是一个美好的未来。
您可能见过蛇吃自己尾巴的图像。如果你仔细观察，它与当代人工智能有着惊人的相似之处。
目前互联网上大约有 21-25 万亿个代币（单词）。如今生产中的人工智能模型已经使用了所有这些。为了让数据继续前进，需要无限大的数据集进行训练。它拥有的数据越多，可用于输出的上下文就越多，并且这些输出就越准确。
那么，当人工智能研究人员用完训练数据时该怎么办？
他们自己做。
随着训练数据变得越来越稀缺，OpenAI 等公司相信合成数据将成为他们未来训练模型的重要组成部分。在过去 24 个月里，整个行业已经发展到服务于这一愿景，其中包括生成合成结构化数据的 Tonic 和为金融和医疗保健等受监管行业创建合规数据的 Gretel 等公司。
但合成数据是长期解决方案吗？可能不会。
合成数据的工作原理是利用模型创建人工数据集，反映人们可能有机地发现的内容（在某些替代现实中，实际存在更多数据），然后使用新数据来训练他们自己的模型。从小范围来看，这实际上很有意义。你知道他们怎么说好事太多……
你可以把它想象成情境性营养不良。就像食物一样，如果新鲜的有机数据源是模型训练最有营养的数据，那么从现有数据集中提取的数据就其本质而言，营养成分一定不如之前的数据丰富。
一点人工调味品是可以的——但如果这种合成训练数据的饮食持续下去而不引入新的草饲数据，那么该模型最终将失败（或者至少，甲床的吸引力明显降低）。
这实际上不是是否的问题，而是何时的问题。
根据托马斯的说法，目前我们距离模型崩溃还有很长的路要走。但随着人工智能研究不断将模型推向功能极限，不难看到人工智能达到其功能平台期的世界——也许迟早会到来。
在生产中利用非结构化数据的想法无论如何都不是什么新鲜事，但在人工智能时代，非结构化数据已经扮演了全新的角色。
根据 IDC 的一份报告，目前只有大约一半的组织非结构化数据正在被分析。
一切都即将改变。
就生成式人工智能而言，企业的成功在很大程度上取决于用于训练、微调和增强它的大量非结构化数据。随着越来越多的组织希望将人工智能应用于企业用例，对非结构化数据以及新兴的“非结构化数据堆栈”的热情也将继续增长。
一些团队甚至正在探索如何使用额外的法学硕士为非结构化数据添加结构，以扩展其在额外培训和分析用例中的有用性。
确定组织内存在哪些非结构化第一方数据，以及如何为利益相关者激活这些数据，对于希望展示其数据平台的业务价值（并希望获得一些额外预算的优先事项）的数据领导者来说，这是一个全新的机会一路上的举措）。
如果说 2024 年是探索非结构化数据的潜力，那么 2025 年将是实现其价值。问题是……哪些工具会浮出水面？
如果你现在在风险投资池塘附近游泳，你可能会经常听到几个术语：“副驾驶”，这是一个奇特的术语，指的是用于完成单个步骤的人工智能（“纠正我可怕的错误”）代码”）和“代理”，这是一个多步骤工作流程，可以收集信息并使用它来执行任务（“写一篇关于我糟糕的代码的博客并将其发布到我的 WordPress”）。
毫无疑问，到 2024 年，我们已经在人工智能副驾驶方面看到了很多成功（只要问问 Github、Snowflake、微软回形针等），但是人工智能代理呢？
虽然“代理人工智能”对客户支持团队造成了严重破坏，但看起来这就是它在短期内注定会发生的事情。虽然这些早期的人工智能代理向前迈出了重要的一步，但这些工作流程的准确性仍然很差。
就上下文而言，75%-90% 的准确率是人工智能的最新水平。大多数AI相当于一个高中生。但如果您的三个步骤的准确度为 75-90%，那么您的最终准确度约为 50%。
我们已经训练大象以比这更高的准确性进行绘画。
大多数人工智能代理远非组织的收入驱动力，如果以当前的性能投入生产，将会产生积极的危害。根据托马斯的说法，我们需要首先解决这个问题。
能够谈论它们很重要，没有人在演示之外取得过任何成功。因为无论硅谷有多少人喜欢谈论人工智能代理，这种谈论都不会转化为性能。
“在与一群人工智能负责人共进晚餐时，我问有多少人对输出的质量感到满意，但没有人举手。获得一致的输出是一个真正的质量挑战。”
每年，蒙特卡罗都会对真实的数据专业人员进行调查，了解他们的数据质量状况。今年，我们把目光转向人工智能的影子，传达的信息很明确。
数据质量风险在不断演变，但数据质量管理却没有。
“我们看到团队大规模构建矢量数据库或嵌入模型。大规模 SQLLite。所有这 1 亿个小型数据库。它们开始在 CDN 层构建来运行所有这些小模型。 iPhone 将具有机器学习模型。我们将看到管道总数激增，但数据量却小得多。”
微调模式将导致组织内数据管道数量的爆炸式增长。但管道扩展得越多，数据质量就变得越困难。
数据质量的提高与管道的数量和复杂性成正比。您拥有的管道越多（并且它们变得越复杂），出现问题的机会就越多，而您及时找到它们的可能性就越小。
+++
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除