微软亚研院新作：让大模型一口气调用数百万个 API
近年来，人工智能发展迅速，尤其是像 ChatGPT 这样的基础大模型，在对话、上下文理解和代码生成等方面表现出色，能够为多种任务提供解决方案。
但在特定领域任务上，由于专业数据的缺乏和可能的计算错误，它们的表现并不理想。同时，虽然已有一些专门针对特定任务的 AI 模型和系统表现良好，但它们往往不易与基础大模型集成。
为了解决这些重要问题，TaskMatrix.AI 破茧而出、应运而生，这是由微软（Microsoft）设计发布的新型 AI 生态系统。
其核心技术近期在《科学》合作期刊 Intelligent Computing 上发表的论文 TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs 中正式亮相，作者为微软亚洲研究院的段楠博士团队：
（详见链接：https://spj.science.org/doi/10.34133/icomputing.0063）
TaskMatrix.AI 将基础大模型与数以百万计的应用程序编程接口（APIs）连接起来完成任务。
其核心思想是利用现有的基础大模型作为类似大脑的中央系统，结合其他 AI 模型和系统的 APIs 作为各种子任务解决者，以完成数字和物理领域的多样化任务。
TaskMatrix.AI 如何工作？
TaskMatrix.AI 的整体架构由以下四个关键组件构成：
多模态对话基础模型（MCFM）：负责与用户沟通，理解他们的目标和上下文（多模态），并基于 API 生成可执行代码以完成特定任务。MCFM 能够处理文本、图像、视频、音频和代码等多模态输入，生成执行特定任务的代码。它还能够从用户指令中提取具体任务，并提出合理的解决方案大纲，帮助选择最合适的 API 进行代码生成。
API 平台：提供一个统一的 API 文档架构，用于存储数以百万计具有不同功能的 API，并允许 API 开发者和所有者注册、更新和删除他们的 API。API 平台通过统一的文档架构帮助 MCFM 更好地理解和利用各种 API。
API 选择器：根据 MCFM 对用户指令的理解，推荐相关的 API。API 选择器具备搜索能力，能够在拥有大量 API 的平台上快速定位到与任务需求和解决方案大纲相匹配的 API。
API 执行器：通过调用相关 API 执行生成的动作代码，并返回中间和最终的执行结果。API 执行器设计用于运行各种 API，包括从简单的 HTTP 请求到复杂的算法或需要多个输入参数的 AI 模型。
以上四个组件协同工作，共同构建了一个高效的系统。MCFM 作为用户交互的主要接口，负责生成解决方案。API 平台则提供了一个标准化的 API 文档格式，并作为一个集中存储库，容纳了数百万 API。API 选择器根据 MCFM 对用户需求的理解，从 API 平台中选取合适的 API。
最后，API 执行器负责执行由选定 API 生成的代码，并解决任务。
此外，TaskMatrix.AI 还提供了两个可学习的机制，以更有效地将 MCFM 与 API 对齐：
基于人类反馈的强化学习（RLHF）：这是一种基础大模型的通用技术，它使用强化学习方法，利用人类反馈来优化机器学习模型。在 TaskMatrix.AI 中，RLHF 利用这些反馈来增强 MCFM 和 API 选择器，从而在处理复杂任务时实现更快的收敛和更好的性能。
向 API 开发者提供反馈：TaskMatrix.AI 完成任务后，会将用户反馈以适当的方式传递给 API 开发者，指示他们的 API 是否成功用于完成任务。这种包含 <用户指令、API 调用和用户反馈> 的三元组不仅展示特定 API 的使用情况，还可以作为 API 开发者改进 API 文档的参考，使文档对 MCFM 和 API 选择器更加友好和易于理解。
因此，TaskMatrix.AI 可以被视为一个超级 AI，同时也是一个生态系统，具有以下关键优势：
能够通过使用基础大模型作为核心系统，首先理解不同类型的多模态输入（如文本、图像、视频、音频和代码），然后生成调用 API 完成任务的代码，来执行各种数字和物理任务。
拥有一个 API 平台，作为各种任务专家的存储库。该平台上的所有 API 都有一致的文档格式，这使得基础大模型可以轻松使用它们，开发者也便于添加新的 API。
具有强大的终身学习能力，因为它的技能可以通过向 API 平台添加具有特定功能的新 API 来扩展，以处理新任务。
能够提供更加可解释的响应，因为任务解决逻辑（即行动代码）和 API 的结果都是可理解的。
TaskMatrix.AI 能完成什么任务？
TaskMatrix.AI 能完成的任务非常广泛，小到文字、图像信息的基本信息处理，大到控制机器人平台、接入物联网（IoT）等通用平台任务，TaskMatrix 都能胜任。
图像处理任务
TaskMatrix.AI 可以执行图像处理任务，并且能够接受语言和图像作为输入。下图展示了 TaskMatrix.AI 的相关版本 Visual ChatGPT，它不仅能够理解人类意图，还能处理语言和图像输入，以完成包括图像生成、问题回答和编辑在内的复杂视觉任务。
下图展示了使用多个 API 协作生成高分辨率图像的示例。在该例中，解决方案框架由 3 个 API 组成：图像问答、图像标题以及图像对象替换。
左侧框线部分展示了解决方案框架如何协助将图像扩展至 2048×4096 分辨率。通过迭代执行框架中的预定义步骤，TaskMatrix.AI 可以生成任何所需尺寸的高分辨率图像。
办公自动化
TaskMatrix.AI 能够通过语音指令理解并自动执行计算机操作系统、专业软件以及智能手机应用的操作。利用 TaskMatrix.AI，可以快速上手复杂软件。
此外，它还能帮助用户在不进行搜索的情况下直接访问所需功能。以下是一个 PowerPoint 自动化的实例，TaskMatrix.AI 能够根据用户指定的主题自动生成幻灯片，智能调整内容布局，插入和优化图像，并应用相应的设计主题，从而显著提升工作效率。
机器人和物联网设备控制
TaskMatrix.AI 可以连接机器人和物联网设备，实现对体力劳动和智能家居操作的自动化管理。通过集成先进的机器人技术，TaskMatrix.AI 能够执行一系列任务，如物体的拾取与放置以及对家庭物联网设备的智能控制。
此外，该平台还整合了多种流行的互联网服务，包括但不限于日历 API、天气 API 和新闻 API，提供了更加丰富和便捷的用户体验。
TaskMatrix.AI 的挑战
尽管 TaskMatrix.AI 已经在各种任务中证明了其强大的功能和通用性，但仍面临以下几个挑战：
多模态会话基础大模型：TaskMatrix.AI 需要一个能够处理多种输入（文本、图像、视频、音频和代码）的强大基础大模型。这个模型需要能够从上下文中学习，使用常识进行推理和计划，并生成高质量的代码来完成任务。此外由于 TaskMatrix.AI 需要处理更多样化的输入模式，这要求确定一个最小模式集来训练 MCFM。
API 平台：构建和维护一个包含数百万 API 的平台需要解决文档生成、API 质量保证和 API 创建建议等挑战。API 文档的清晰性和 API 的质量对于 TaskMatrix.AI 的成功至关重要。此外，平台还需要根据用户反馈指导 API 开发者创建新的 API 来解决特定任务。
API 调用：在处理大量 API 时，TaskMatrix.AI 需要能够合理选择和推荐相关的 API 来完成任务。此外还涉及到在线规划，即在无法立即生成解决方案时，与用户交互并尝试不同的解决方案。
安全和隐私：在 API 能够访问物理和数字世界时，确保模型忠实于用户指令并保持数据私密性是至关重要的。这要求在执行操作前验证模型的行为，并确保数据传输的安全性和数据访问的授权。
个性化：TaskMatrix.AI 需要个性化策略来帮助开发者构建定制的 AI 界面，并为用户提供私人助理。这包括降低扩展成本和使用少量示例来学习用户的偏好，以便生成符合用户需求的解决方案。
关于 Intelligent Computing
Intelligent Computing 由之江实验室和美国科学促进会（AAAS）共同创办，是《科学》合作期刊框架中智能计算领域的第一本开放获取（Open Access）国际期刊。期刊以「面向智能的计算、智能驱动的计算」以及「智能、数据与计算驱动的科学发现」为主题，主要刊载原创研究论文、综述论文和观点论文。
本文来自微信公众号：量子位 （ID：QbitAI），作者：关注前沿科技