本篇由 Cloud Ace 数据解决方案部高级工程师撰写。
我听说了拉斯维加斯 Google Cloud Next’24 举办的“使用 BigQuery 连续查询构建连续数据和 AI 管道”（“Build continuous data and AI pipelines with BigQuery continuous queries”）会议，我想对此进行报道。
本次会议更详细地介绍了 Google Cloud Next’24 上宣布的 BigQuery 连续查询。我通常使用 BigQuery、Vertex AI 和 Dataflow，因此本次会议是我真正感兴趣的会议。
现在我们来检查一下内容。
可以使用 BigQuery 进行流处理吗？
此外，您做出的决策越快、越准确，为您的企业带来的好处就越大。
此功能允许您连续查询流入 BigQuery 的数据。
什么是 BigQuery 连续查询？
同样，它是连续查询流插入数据的能力。
您可以使用基本的 SQL 语法进行查询，当然也可以调用 Generative AI 和 Vertex AI 等机器学习模型。对于实时数据丰富、数据生成和异常检测非常有用。
查询结果可以发送到Pub/Sub或写入BigQuery、Bigtable等。
具体用途和用例
BigQuery连续查询不需要您编写任何特殊查询，从而非常容易实现实时处理。要导出数据，除了常规查询之外，只需编写EXPORT DATA语句即可。
这里（我认为是新的）简单介绍了Pub/Sub的EXPORT DATA语句。
要作为连续查询运行，只需选中查询设置中的连续查询复选框即可。这很简单。
在会场的演示中，连续查询将数据插入到持续运行一个多小时的BigQuery表中，并确认查询处理后的数据已写入Bigtable。
在此用例中，我们收集在线购物时的用户趋势，使用连续查询实时分析它们，并将结果发送到 Pub/Sub。
发送 Pub/Sub 后，您可以使用其他服务（例如 Cloud Functinos）向用户实时发送电子邮件或分发优惠券。
对于习惯了流的用户，您可能会对流和窗口之间的 JOIN 感兴趣，但更多信息将在稍后公布。
综上所述
这是一份关于“使用 BigQuery 连续查询构建连续数据和 AI 管道”的会议报告。
BigQuery连续查询是一个可以非常轻松地进行实时数据处理的功能，我们期待BigQuery未来的演变。
没有提到定价，但在与 Google 员工核实后，似乎将根据处理的数据量（针对点播）或使用的插槽数量（针对版本）收取费用。我想在正式发布后再次检查一下。
现有的 Pub/Sub BigQuery 订阅和 BigQuery 连续查询的结合似乎是实时处理的黄金模式。这种组合非常强大，因为它允许仅使用 SQL 来实现实时处理。
Cloud Ace 目前已获得 Google Cloud 生成式 AI 合作伙伴认证，为企业提供生成式 AI 的实施和技术支持。
