Google Cloud 宣布与 LangChain 合作推出 Gen AI Toolbox for Databases 的公开测试版。
LangChain 是面向开发人员构建大型语言模型 (LLM) 应用程序的领先编排框架。
Gen AI Toolbox for Databases（Toolbox）是一款开源服务器，可帮助应用开发者将生产级、基于代理的生成式 AI（gen AI）应用连接到数据库。它简化了复杂的 gen AI 工具的创建、部署和管理，这些工具能够以安全访问、强大的可观察性、可扩展性和全面的可管理性来查询数据库。它目前提供与自管理 PostgreSQL、MySQL 以及托管数据库（包括 AlloyDB、Spanner、Cloud SQL for Postgres、Cloud SQL for MySQL 和 Cloud SQL for SQL Server）的连接。
Cloud Ace云一 将在本文带你一起探讨数据库的 Gen AI 工具箱的工作原理以及如何开始使用。
一、人工智能工具管理面临的挑战
构建 AI 代理需要使用不同的工具、框架并连接到各种数据源。这个过程给开发人员带来了一些挑战，尤其是当这些工具需要查询数据库时。这些挑战包括：
扩展工具管理：当前的工具集成方法通常需要为每个工具在多个位置进行大量重复的代码和修改。这种复杂性阻碍了一致性，尤其是当工具在多个代理或服务之间共享时。需要更精简的框架集成来简化工具管理并确保代理和应用程序之间的一致性。
复杂的数据库连接：数据库需要配置、连接池和缓存才能实现最佳的大规模性能。
安全漏洞：确保从一代人工智能模型安全访问敏感数据需要与身份验证服务、数据库和应用程序进行复杂的集成，这很容易出错并带来安全风险。
工具更新不灵活：添加新工具或更新现有工具通常需要彻底重建和重新部署应用程序，这可能会导致停机。
工作流程可观察性有限：当前的解决方案缺乏对全面监控和故障排除的内置支持，因此很难通过数据库深入了解新一代 AI 工作流程。
二、Gen AI Toolbox for Databases 的组成
Gen AI Toolbox for Databases（数据库通用人工智能工具箱）改进了通用人工智能（Gen AI）工具与数据交互的方式，解决了 Gen AI 工具管理中常见的挑战。通过充当应用程序编排层和数据源/数据库之间的中介，它实现了更快的开发和更安全的数据访问，从而提高了工具的生产质量。
Toolbox 包含两个组件：一个服务器 (server)，用于指定应用程序使用的工具；以及一个客户端 (client)，与该服务器交互以将这些工具加载到编排框架上。这实现了工具部署和更新的集中化，并结合了内置的生产最佳实践，以提高性能、安全性并简化部署。
三、Toolbox 的优势
Toolbox 提供各种功能，为 AI 智能体提供更好的可管理性、安全性和可观察性。应用程序开发人员可从中获得以下优势：
简化开发：减少样板代码和整合集成简化了工具开发，并支持跨其他智能体的共享。
内置性能和规模：内置连接池和针对常用数据库的优化连接器，以提高连接管理效率。
零停机部署：配置驱动的方法可以无缝部署新的工具和更新，而不会中断任何服务，并支持增量推出。
增强的安全性：使用 Oauth2 和 ODIC，内置对常用身份验证提供程序的支持，使得能够控制智能体对工具和数据的访问。
端到端可观察性：Toolbox 与 OpenTelemetry 集成，通过日志记录、指标和追踪提供即时观察，为更好的运维提供端到端的可观察性。
四、与 LangChain 兼容
LangChain 是用于构建 LLM 应用程序的最受欢迎的开发人员框架，Google Cloud Toolbox 从一开始就与 LangChain 生态系统兼容。与 Toolbox 一起，LangGraph 可以利用 Vertex AI 上的 Gemini 等 LLM 来构建强大的智能体工作流。
LangGraph 提供了一个使用 LLM 构建有状态、多参与者应用程序的框架，扩展了 LangChain 的功能。它对循环、状态管理和协调的支持，使得复杂和动态的 AI 智能体的开发成为可能。所有这些功能都将与 Toolbox 无缝集成。
工具调用对于构建智能体至关重要。智能体需要以受控和指定的方式调用工具，可靠地运行工具，然后将正确的上下文传回 LLM。LangGraph 提供了一个低级智能体框架，用于管理工具的调用方式及其响应的集成方式，从而确保精度和控制。然后，Toolbox 处理执行本身，无缝运行工具并返回结果。它们共同为智能体工作流中的工具调用创建了一个强大的解决方案。
LangChain 首席执行官 Harrison Chase 表示：“Gen AI Toolbox for Databases 与 LangChain 生态系统的集成对所有开发人员来说都是一大福音。特别是，Toolbox 与 LangGraph 之间的紧密集成将使开发人员能够构建比以往任何时候都更可靠的智能体。”
Gen AI Toolbox for Databases 通过自动化整个生命周期简化了 Gen AI 工具的开发和部署。
想了解如何开始使用 Vertex AI 上的 Gemini 通过 Toolbox 运行 LangGraph 代理，请随时联系我们。