准备好让您的聊天更智能、让您的用户更快乐了吗？这是我们在 Manychat 的目标之一，Manychat 是 Instagram、Messenger 和 WhatsApp 的领先聊天营销平台，受到超过 100 万家企业的信赖，并为超过 40 亿次对话提供支持。现在，我们正在集成人工智能完成功能，以推动聊天自动化并提高用户参与度。
持续创新是我们在 Manychat 实现发展的基础。我们建立了一个出色的数据平台，使我们能够以数据驱动的方式设计和完善许多基于人工智能的新功能，例如意图识别（一种高级触发器，可以理解用户消息背后的意图，与传统的关键字触发器不同）文本改进器（通过提供有关语气、语法和措辞的建议来增强消息清晰度和有效性的功能）。
为了实现这些功能，我们正在积极使用具有聊天完成功能的法学硕士。我们从使用 GPT-3.4、GPT-4 和 GPT-4o 的 OpenAI API 和 Azure OpenAI 服务开始。然而，我们有很多理由转而使用 Mixtral 和 Meta LLama 3 等托管开源 LLM，包括需要更高的模型灵活性以及独立于单一供应商的需求。
我们开始考虑自己举办法学硕士的主要原因：
- 业务连续性。尽管 OpenAI LLM 很棒，但它们很容易发生变化。想象一下，您已经调整了 GPT 3 Darwin LLM 的提示，但是突然间，该模型被弃用，您需要快速寻找替代品。借助开源 LLM，您可以冻结版本并忘记这些风险。
- PI保护。即使签署了所有协议，将用户请求发送给其他公司也会带来额外的风险。如果您在内部托管开源 LLM，则您的公司确信其有能力保护、清理、混淆 PI，并在客户发送完全忘记数据的请求时可靠地删除数据。
- 表现。开源法学硕士可以进行微调，以更快地回答某些类型的问题，而不会影响答案的质量。因此，如果一家公司在内部推出法学硕士，它可以显着加快单次通话的延迟。
基于上述三个原因，我们决定尝试使用托管法学硕士来实现上面提到的 Manychat 的意图识别功能。
但我们如何才能在生产中托管法学硕士呢？
作为我们的主要数据存储，我们使用 Snowflake ，这是一个可扩展的、基于云的平台，集成了数据湖和数据仓库。 Snowflake 中有两种用于托管开源 LLM 的选项：
- Snowpark 容器服务提供了一个完全托管的容器，可以轻松且优化地与 Snowflake 中的数据集成，从而使我们能够托管一个使用 GPU 为模型提供服务的简单服务器应用程序。
- Cortex AI 提供开箱即用的开源 LLM，已由 Snowflake 托管和完全管理。
对于我们来说，了解是否可以将这些服务用于我们的人工智能任务非常重要。主要关心的不是模型准确性（现代开源法学硕士在准确性方面与 OpenAI 模型相当），而是性能：Snowpark Container Services 和 Cortex 对我们来说足够快吗？
Snowpark 容器服务的性能结果
我们使用 Flask + Hugging Face 开发了一个简单的模型服务应用程序，并将其部署到 Snowpark Container Services。我们创建了一个用户定义的函数，该函数使用与使用 Cortex 模型相同的 SQL 接口对模型进行评分。
我们使用带有 GPU 的最小计算池：GPU | S（GPU：NVIDIA A10G，24 GB，内存：27 GB）。它的尺寸非常适合使用较小的 LLM（例如 Mistral 7B 和 Meta Llama 3 8B），我们决定使用后者。
在我们的实验中，我们每隔几秒就使用典型的文本输入和 20 个标记来查询模型以完成。目标是估计平均评分时间并检查服务的可靠性。 Snowpark Container Services 上模型的平均评分时间为 3.1 秒，噪声相当大。
Cortex AI 的性能结果
我们使用 Cortex AI 进行了类似的实验。 Cortex 最好的一点是，对于最简单的情况，您只需查询即可使用它：
选择雪花.CORTEX.COMPLETE(
'llama3-8b', '什么是大语言模型？'
）；
就是这样，不需要额外的工作。因此，我们进行了与 Snowpark Container Services 相同的实验。结果很棒：0.2秒。
我们确认，在 Snowflake 中托管开源 LLM 的两种方法都可以完美地提供可接受的响应时间和可靠性。然而，Cortex 的工作速度更快、更优化，而 Snowpark Container Services 提供了更大的灵活性和模型服务优化的潜力。
我们计划如何在生产中使用 Cortex？
这是基本说明（如下）。我们将从主后端隐藏托管 LLM 的所有复杂性。相反，后端将仅调用基于 python 的微服务的 API 端点，然后该微服务将调用来自 Cortex 的模型。
随着我们继续突破人工智能在Manychat应用程序中的可能性界限，我们将探索并记录法学硕士在各种场景中的功能和性能。我们的目标是研究这些法学硕士的更精确的特征，重点关注准确性和其他指标。
免责声明
本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。