Takealot 使用生成式人工智能构建了第一个聊天机器人，使软件工程团队（即不是机器学习团队之一，但仍在机器学习指导下）能够利用大型语言模型 (LLM) 的力量。
开源法学硕士（以及由云提供商托管的法学硕士）的快速增长，使得开发生成式人工智能应用程序比以往任何时候都更加容易。当涉及到包含非结构化数据（例如文本、图像、音频和视频）的用例时，法学硕士的出现极大地改变了格局。以前，收集数据和训练模型是一项复杂的操作。现在，可以将时间花在测试上，并且可以更快地完成最终产品的迭代。
Takealot 聊天机器人根据现有帮助中心文章回答客户问题。这为检索增强生成 (RAG) 提供了完美的用例。本质上，知识库被分成多个块，并为每个块收集嵌入（使用 LLM）。这些存储在矢量数据库中。客户查询聊天机器人，查询的嵌入与矢量数据库中的块相匹配。然后，将块的全文与查询一起作为输入提供给另一个（通常更大、更强大）LLM，后者将答案返回给客户。
据了解，事实上，法学硕士所做的一切都是幻觉。这些幻觉既有有用的，也有无意义的。使用 RAG 是将幻觉引导到有用领域的第一步。还需要创建护栏，以便聊天机器人不会回答其帮助中心知识库之外的问题。我们花费了大量时间来创建这些护栏并确保正确的提示设计。特别是，提供清晰、简洁和简短的提示被证明是一个成功的策略。
在对软件包和开源模型进行了一些反复讨论后，该项目通过 LangChain 进行了巩固，使用 ChromaDB 作为向量数据库，并使用 all-MiniLM-L6-v2 为每个块创建嵌入。 GPT4All 用于利用 Mistral-7B-Instruct 的功能作为最终输出 LLM，这是当时流行的开源模型。该模型可以在开发人员的笔记本电脑上运行，尽管响应时间非常慢（几分钟）。
我们选择在 Vertex AI 的 GPU 上自行托管 Mistral 模型来服务客户流量。单个实例的成本约为 400 美元/月。就在上线日期前几周，Gemini Flash 宣布了，这极大地改变了竞争环境。成本下降到自我托管完全毫无意义的程度。相反，我们选择了 Gemini Flash，在与 Mistral 模型相同的提示下，它更快、更便宜、响应更好。
其基本目标是让软件工程团队能够开发生成式人工智能应用程序，并且取得了成功。
这为 Takealot 的软件工程团队在不久的将来带来了巨大的潜力。生成式 AI 领域（特别是 API）似乎在 Vertex AI 上趋于稳定，使得更容易就使用哪种技术做出长期决策。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除