多智能体将缩短大型语言模型与通用人工智能之间的差距
2024-11-04 17:31
尽管大型语言模型（LLMs）在人工智能应用中广受欢迎，但其在应对复杂性和动态性方面仍有不足。
引入ChatGPT 后，大型语言模型（LLMs）在科技和非科技行业中广泛应用。这一受欢迎程度主要归因于两个因素：
1. LLMs 作为知识宝库：LLMs 在大量互联网数据上训练，并定期更新（如 GPT-3、GPT-3.5、GPT-4、GPT-4o 等）；2. 新兴能力：随着 LLMs 的不断发展，它们展现出小型模型所不具备的能力。这是否意味着我们已经达到了人类水平的智能，即通用人工智能（AGI），Gartner 将 AGI 定义为一种能够理解、学习并在广泛任务和领域中应用知识的人工智能形式。然而，通向 AGI 的道路漫长，其中一个关键障碍是 LLM 训练的自回归特性，即根据过去的序列预测单词。作为人工智能研究的先驱之一，Yann LeCun 指出，由于自回归特性，LLMs 可能会偏离准确的响应。因此，LLMs 存在多个局限性：知识有限：尽管经过大量数据训练，LLMs 缺乏最新的世界知识。推理能力有限：LLMs 的推理能力有限。如 Subbarao Kambhampati 所指出，LLMs 擅长知识检索，但不擅长推理。缺乏动态性：LLMs 是静态的，无法访问实时信息。为了克服LLM 的挑战，需要一种更先进的方法，这就是智能体的关键所在。在过去的二十年中，人工智能领域的智能体概念不断演变，实施方式也随之改变。如今，智能体的讨论主要集中在大型语言模型的背景下。简而言之，智能体就像解决 LLM 挑战的瑞士军刀：它可以帮助我们进行推理，从互联网获取最新信息（解决 LLM 的动态性问题），并能够自主完成任务。以 LLM 为基础，智能体正式由工具、记忆、推理（或规划）和行动组件组成。
智能体的组成部分（图片来源：Lilian Weng）
工具：工具使智能体能够访问外部信息，无论是来自互联网、数据库还是 API，帮助它们收集所需数据。记忆：记忆可以是短期或长期的。智能体使用临时记忆（scratchpad memory）暂时保存来自不同来源的结果，而聊天历史则是长期记忆的一个例子。推理器：推理器使智能体能够系统性地思考，将复杂任务拆解为可管理的子任务，以便有效处理。行动：智能体根据环境和推理执行行动，通过反馈逐步适应和解决任务。ReAct 是一种常见的方法，用于迭代地进行推理和行动。智能体在处理复杂任务方面表现出色，尤其是在角色扮演模式下，充分利用大型语言模型（LLMs）的增强性能。例如，在撰写博客时，一个智能体可能专注于研究，而另一个则负责写作各自处理特定的子目标。这种多智能体方法适用于众多现实问题。角色扮演帮助智能体专注于特定任务，以实现更大的目标，通过清晰定义提示的各个部分（如角色、指令和背景）来减少幻觉现象。由于 LLM 的性能依赖于结构良好的提示，各种框架为此过程进行了规范化。其中一个框架 CrewAI 提供了定义角色扮演的结构化方法，接下来我们将对此进行讨论。以单智能体进行检索增强生成（RAG）为例。这是一种有效的方法，能够利用索引文档的信息，使 LLM 能够处理特定领域的查询。然而，单智能体 RAG 也有其局限性，例如检索性能或文档排名问题。多智能体 RAG 通过使用专门的智能体进行文档理解、检索和排名，克服了这些限制。在多智能体场景中，智能体以不同方式协作，类似于分布式计算模式：顺序、集中、去中心化或共享消息池。像 CrewAI、Autogen 和 langGraph+langChain 等框架使得多智能体方法能够处理复杂问题。在本文中，我使用 CrewAI 作为参考框架来探讨自主工作流管理。大多数工业流程都涉及工作流管理，无论是贷款处理、市场营销活动管理还是 DevOps。为了实现特定目标，需要进行一系列步骤，可能是顺序的也可能是循环的。在传统方法中，每个步骤（例如，贷款申请验证）都需要人工执行繁琐的任务，手动处理每个申请并在进入下一个步骤之前进行验证。每个步骤都需要该领域的专家输入。在使用 CrewAI 的多智能体设置中，每个步骤由一个由多个智能体组成的团队处理。例如，在贷款申请验证中，一个智能体可以通过对驾驶执照等文件进行背景检查来验证用户的身份，而另一个智能体则负责核实用户的财务信息。这引发了一个问题：一个团队（由多个智能体按顺序或层级组成）能否处理所有贷款处理步骤？虽然有可能，但这会使团队复杂化，需要大量临时记忆，并增加目标偏离和幻觉的风险。更有效的方法是将每个贷款处理步骤视为一个独立的团队，将整个工作流视为一个团队节点的图（使用像 langGraph 这样的工具），以顺序或循环方式运作。由于 LLM 仍处于智能发展的早期阶段，完整的工作流管理不能完全自主。在关键阶段需要人类参与以进行最终用户验证。例如，在团队完成贷款申请验证步骤后，必须进行人类监督以验证结果。随着对人工智能的信心逐渐增加，一些步骤可能会变得完全自主。目前，基于人工智能的工作流管理主要起辅助作用，简化繁琐任务并减少整体处理时间。规模：随着智能体数量的增加，协作和管理变得具有挑战性。各种框架提供可扩展的解决方案，例如，Llamaindex 采用事件驱动工作流来管理大规模多智能体。延迟：由于任务是迭代执行的，智能体性能通常会产生延迟，需进行多次 LLM 调用。管理型 LLM（如 GPT-4o）由于隐性保护措施和网络延迟而较慢。自托管的 LLM（使用 GPU 控制）在解决延迟问题时显得尤为重要。性能和幻觉问题：由于 LLM 的概率特性，智能体的性能可能在每次执行中有所不同。采用输出模板技术（例如 JSON 格式）和在提示中提供丰富示例可以帮助减少响应的变异性。通过训练智能体，可以进一步降低幻觉问题。正如 Andrew Ng 所指出的，智能体是人工智能的未来，并将随着 LLM 的发展而不断进化。多智能体系统将在处理多模态数据（文本、图像、视频、音频）和应对日益复杂的任务方面取得进展。尽管通用人工智能和完全自主系统仍在远处，但多智能体将缩短 LLM 与 AGI 之间的当前差距。（VentureBeat）
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
