随着越来越多的组织采用多云数据架构，我们不断收到客户的一个最重要的请求，那就是如何在BigQuery中实现跨云分析，使其变得非常简单和具有成本效益。为了帮助客户实现跨云分析之旅，我们今天非常高兴地宣布 BigQuery Omni 跨云物化视图（即跨云 MV）的公共预览。跨云 MV 允许客户非常轻松地在 GCP 上从另一个云上的基础数据资源创建摘要物化视图。跨云 MV 会在基础表更改时自动和增量地进行维护，这意味着只需要进行最小的数据传输即可保持 GCP 上的物化视图同步。其结果是一种具有行业先进性、具有成本效益和可扩展能力的能力，使客户能够进行无摩擦、高效和经济的跨云分析。
为什么企业需要跨云物化视图？
对跨云 MV 的需求一直在增长，这是由客户对跨云平台上的数据进行更多操作并同时保留大型数据资源的需求所推动的。如今，在跨云平台上对数据资源进行分析是很麻烦的，因为通常需要在云提供商之间复制或复制大型数据集。这个过程不仅难以管理，而且还会产生大量的数据传输成本。通过集成跨云 MV，客户希望优化这些过程，寻求在其数据操作中既高效又具有成本效益。
跨云 MV 可以极大简化工作流程并降低成本的一些关键客户使用案例包括：
- 预测分析：组织越来越渴望利用 Google Cloud 的尖端 AI/ML 能力以及 Vertex AI 的集成。通过使用跨云 MV 在 GCP 上轻松构建 ML 模型，利用 Google 的大型语言基础模型如 PaLM 2 和 Gemini，客户对发现与其数据互动的新方法感到兴奋。通过利用 Vertex AI 和 Google Cloud 的大型语言模型（LLMs）的强大功能，跨云 MV 能够无缝地在客户的多云环境中摄取和整合数据。
- 用于合规目的的跨云或跨区域数据摘要：存在一些新兴的隐私使用案例，其中原始数据不能离开源区域，因为它必须遵守严格的数据主权法规。然而，对于跨区域或跨云数据共享和协作，可以采用一种可行的解决方案：对数据进行聚合、摘要和汇总。符合隐私标准的处理数据可以在区域之间复制，以便与其他团队和合作伙伴组织共享和消费，并通过跨云 MV 增量地保持最新。
- 营销分析：组织经常发现自己需要从各种云平台整合数据源。一个常见的情况是将一个云上的 CRM、用户配置文件或交易数据与 Google Ads Data Hub 中的广告管理或广告相关数据集成。这种集成对于确保对客户进行分段、管理活动以及其他营销分析需求的隐私安全方法至关重要。另外一个云上也有一些用户配置文件和交易数据，通常只需要通过这些跨云 MV 将这些数据的子集或摘要与 Google 平台上的广告或活动数据集成。客户还希望确保这些集成满足他们的高效率要求，并为其数据提供治理控制。
- 近乎实时的业务分析：实时洞察力依赖于强大的商业智能（BI）仪表板和报告工具。这些分析应用程序至关重要，因为它们可以从多个来源聚合和整合数据。为了反映最新的业务信息，这些仪表板需要根据业务需求定期更新，无论是每小时、每天还是每周。跨云 MV 可以确保以一致的更新频率更新最新的数据，无论数据资产位于何处，从而确保派生的见解是相关且及时的。将这些功能与 GCP 强大的 Looker 平台和语义模型相结合，进一步为最终用户提供价值和更新的见解。
优势
BigQuery Omni 的跨云 MV 解决方案具有一系列独特的特点和优势：
- 易于使用：跨云 MV 简化了合并和分析数据的过程，无论数据资产位于不同的云上。它们最大程度地减少了运行和管理复杂分析管道的复杂性，尤其是在处理频繁变化的数据时减少了大规模数据的重复。
- 显著降低成本：它通过仅在需要时传输增量数据，显著降低了在不同云之间传输数据的出口成本。
- 自动刷新：设计为方便使用，跨云 MV 可以立即使用，根据用户的规范自动刷新和增量更新。
- 统一治理：BigQuery Omni 在两个云中提供对实体视图的安全和受管访问。这一功能对于本地分析和跨云分析需求都至关重要。
- 一站式管理：该解决方案通过熟悉的 BigQuery 用户界面提供无缝访问，用于定义、查询和管理跨云 MV。
行业和客户场景
跨云 MV 在各种行业和客户场景中都提供了重大的好处，如下所示：
- 医疗保健：某一部门的数据科学家希望定期（每天或每周）将他们的数据摘要从 AWS 转移到谷歌云（BigQuery）进行聚合分析和模型构建。
- 媒体和娱乐：一位营销分析师希望每周将来自 AWS 的 AdsWhiz 数据与谷歌云上的听众和受众数据进行连接、去重和分割，以扩大受众范围。
- 电信：一位数据分析师希望定期从 AWS 和广告服务器中的流数据中央化日志级别数据，以进行收入定位。
- 教育：数据分析师需要将 AWS 上的产品工具化数据与谷歌云上的企业级数据进行连接。随着新产品不断加入他们的平台，他们希望通过使用跨云 MV 简化公司的 ETL 管道和降低成本。
- 零售：一位营销分析师需要以隐私安全的方式将 Azure 中的用户配置文件数据与 Ads Data Hub 中的广告活动数据进行连接。随着新的零售用户每天进入系统，他们依靠跨云 MV 进行定期的综合分析，确保数据处理是最新的。
拥抱跨云分析的未来
通过跨云 MV，我们正在赋予组织打破云孤岛、利用谷歌云中丰富且不断变化的数据的力量，实现几乎实时的分析能力。这一突破性能力不仅塑造了跨云分析的未来，还塑造了多云架构，使客户能够实现新的灵活性、成本效益和可操作的见解。通过将跨云分析与BigQuery Omni和Looker的敏捷语义强大结合，我们能够更快、更轻松地为数据消费者提供丰富且可操作的见解。
在BQ中使用SQL创建跨云MV的能力：
利用跨云 MV 进行高效且成本有效的跨云分析的能力
