智能体组件
配备推理、工具使用和多智能体协作能力的组件。
智能体组件微调 LLM 并设置其提示。从 v0.20.0 开始,智能体组件能够独立工作并具有以下能力:
- 基于环境反馈的自主推理,包括反思和调整。
- 使用工具或子智能体完成任务。
场景
当您需要 LLM 协助总结、翻译或控制各种任务时,智能体组件是必不可少的。
配置
模型
点击模型的下拉菜单以显示模型配置窗口。
- 模型:要使用的聊天模型。
- 确保您在模型提供商页面上正确设置了聊天模型。
- 您可以为不同的组件使用不同的模型,以增加灵活性或提高整体性能。
- 自由度:温度、Top P、存在惩罚和频率惩罚设置的快捷方式,表示模型的自由度级别。从即兴、精确到平衡,每个预设配置对应温度、Top P、存在惩罚和频率惩罚的独特组合。
此参数有三个选项:
- 即兴:产生更有创意的响应。
- 精确:(默认)产生更保守的响应。
- 平衡:即兴和精确之间的中间地带。
- 温度:模型输出的随机性级别。
默认值为 0.1。
- 较低的值导致更确定性和可预测的输出。
- 较高的值导致更有创意和多样化的输出。
- 温度为零会对相同的提示产生相同的输出。
- Top P:核采样。
- 通过设置阈值 P 并将采样限制为累积概率超过 P 的标记,来减少生成重复或不自然文本的可能性。
- 默认值为 0.3。
- 存在惩罚:鼓励模型在响应中包含更多样化的标记。
- 较高的存在惩罚值会导致模型更可能生成尚未包含在生成文本中的标记。
- 默认值为 0.4。
- 频率惩罚:阻止模型在生成的文本中过于频繁地重复相同的单词或短语。
- 较高的频率惩罚值会导致模型在使用重复标记时更加保守。
- 默认值为 0.7。
- 最大标记数:
注意
- 不必为所有组件使用相同的模型。如果特定模型在某个特定任务上表现不佳,请考虑使用不同的模型。
- 如果您不确定温度、Top P、存在惩罚和频率惩罚背后的机制,只需选择预设配置的三个选项之一。
系统提示
通常,您使用系统提示来描述 LLM 的任务,指定它应该如何响应,并概述其他杂项要求。我们不打算详细阐述这个主题,因为它可能和提示工程一样广泛。但是,请注意系统提示通常与键(变量)结合使用,这些键作为 LLM 的各种数据输入。
重要
智能体组件依赖键(变量)来指定其数据输入。其直接的上游组件不一定是其数据输入,工作流中的箭头 仅仅表示处理顺序。智能体组件中的键与系统提示结合使用,为 LLM 指定数据输入。使用正斜杠 / 或 (x) 按钮显示要使用的键。
用户提示
用户定义的提示。默认为 sys.query,即用户查询。
工具
您可以将智能体组件用作在其他工具帮助下进行推理和反思的协作者;例如,检索可以作为智能体的一个工具。
智能体
您将智能体组件用作在子智能体或其他工具帮助下进行推理和反思的协作者,形成多智能体系统。
消息窗口大小
指定要输入到 LLM 的先前对话轮数的整数。例如,如果设置为 12,则来自最后 12 轮对话的标记将被输入到 LLM。此功能消耗额外的标记。
重要
此功能仅用于多轮对话。
最大重试次数
定义智能体在停止或报告失败之前重试失败任务或操作的最大尝试次数。
错误后延迟
智能体在重试失败任务之前观察的等待时间(秒),有助于防止立即重复尝试并允许系统条件改善。默认为 1 秒。
最大轮数
定义所选聊天模型的最大反思轮数。默认为 5 轮。
注意
您可以将值设置为 1 以缩短智能体的响应时间。
输出
智能体组件输出的全局变量名,可被工作流中的其他组件引用。