谷歌云 | 使用 BigQuery Omni,发现跨云地理空间分析的优势

【Cloud Ace 是谷歌云全球战略合作伙伴,拥有 300 多名工程师,也是谷歌最高级别合作伙伴,多次获得 Google Cloud 合作伙伴奖。作为谷歌托管服务商,我们提供谷歌云谷歌地图谷歌办公套件谷歌云认证培训服务。】

随着我们越来越依赖技术来做出决策,地理空间数据变得比以往任何时候都更重要。它是一种强大的资源,可用于解决各种问题,如跟踪物流、识别感兴趣的区域和潜在的灾难区域。

地理空间数据将数据与地理成分结合,例如纬度和经度坐标、地址、邮编或地名,并且可以从各种来源获取,包括卫星、传感器和调查,这使其成为一种非常强大的工具广泛的应用。

Google Cloud 的无服务器企业数据仓库 BigQuery 的主要功能之一是其分析地理空间数据的能力。然而,地理空间数据通常位于各种公共云中,而不仅是谷歌云。为了有效地访问,您需要一个多云分析解决方案,让您能够利用每个云平台的独特功能,同时从跨多个云平台的数据中提取见解和价值。
BigQuery Omni 是一种多云分析解决方案,可以分析跨公共云环境(包括 Google Cloud、Amazon Web Services (AWS) 和 Microsoft Azure)存储的数据,而无需传输数据。
 
借助 BigQuery Omni,用户可以使用用于分析 Google Cloud 中的数据的相同 SQL 查询和工具来分析其他云中的数据,从而更轻松地从所有数据中获取见解,无论存储位置如何。对于使用多个云的企业来说,BigQuery Omni 是统一分析和优化数据价值的出色工具。

BigQuery Omni 架构

借助 BigQuery Omni,组织可以分析基于位置的信息或地理组成部分,例如纬度和经度坐标、地址、邮政编码或地名,甚至无需将数据复制到 Google Cloud。例如,您可以使用 BigQuery Omni 分析来自送货车队的数据,以跟踪其位置并识别潜在问题。

BigQuery Omni 和地理空间数据分析

果您正在处理地理空间数据,BigQuery Omni 是一款功能强大的工具,可以帮助您从数据中获取见解。它具有可扩展性、可靠且安全,使其成为统一分析和充分利用数据的绝佳选择。 

以下是组织使用 BigQuery Omni 处理地理空间数据的一些示例:

  • 零售公司可以使用 BigQuery Omni 分析来自其销售点系统的数据,以跟踪客户行为并识别趋势。

  • 运输公司可以使用 BigQuery Omni 分析车辆中 GPS 传感器的数据,以跟踪车队的移动情况并识别潜在问题。

  • 政府机构可以使用 BigQuery Omni 分析来自天气传感器的数据,以跟踪风暴的移动并识别有洪水风险的区域。

BigQuery Omni 和地理空间数据可以结合使用,以深入了解各种业务问题。

具体来说,使用 BigQuery Omni 和地理空间数据的一些优势包括:

  • 访问高质量的地理空间数据:BigQuery 支持加载以换行符分隔的 GeoJSON 文件,并为加载和查询地理空间数据提供内置支持。来自公共数据源(例如 BigQuery 公共数据集、Earth Engine 目录和美国地质调查局 (USGS))的数据可以轻松集成到您的 BigQuery 环境中。

    Earth Engine 有一个集成的数据目录,其中包含全面的分析就绪数据集,包括卫星图像和气候数据。该数据可以与 SAP、Oracle、Esri ArcGIS Server、Carto 和 QGIS 等专有数据源相结合。

  • 地理空间数据的加载和预处理:BigQuery 内置支持加载和查询地理空间数据类型,您可以使用 FME Spatial ETL 等合作伙伴解决方案来加载数据。

  • 使用不同的地理空间数据类型和格式:BigQuery 支持多种文件类型和格式,包括 WKT、WKB、CSV 和 GeoJSON。

  • 坐标参考系统:BigQuery 的地理数据类型是全球一致的。这意味着您的数据已注册到 WGS84 参考系统,并且您的分析可以跨越一个城市街区或多个大陆。

言,BigQuery Omni 的地理空间分析提供了广泛的技术功能来处理和分析地理空间数据,使其成为需要处理基于位置的数据的企业的强大工具。

使用 BigQuery Omni 分析地理间数据

一下,一家零售商拥有一家大型连锁百货商店,其门店遍布全国。他们正在寻求扩大业务并希望确定具有高销售潜力的领域。他们希望有一种方法可以更好地了解特定地理范围内的销售量。为了实现这一目标,零售商求助于 BigQuery 中内置的 GIS(地理信息系统)功能。以下是零售商分析该数据集所采取的步骤:

步骤 1:AWS S3 上的初始订单数据集包含554 万行,并在 AWS S3 上具有单独的位置(300 行)和邮政编码(33144 行)元数据文件。

订购镶木地板文件:

位置和邮政编码文件

步骤 2:零售商使用 BigQuery Omni 在 AWS 中存储的数据和 BigQuery 之间建立连接,使他们能够从外部访问 S3 数据集。

AWS 的外部连接

订单外部表

位置外部表
邮政编码外部表

第 3 步:他们使用 BigQuery Omni 合并订单和位置数据集,并在 AWS 上远程聚合数据。将此数据集与地理空间数据集连接有助于他们导出地理空间坐标。

最终聚合数据集减少至 23 行。随后,他们带回仅包含 23 行的结果数据集。这有助于他们将地理空间分析中提取的数百万行减少到仅 23 行。

Select sales.store_city store_city,

sales.number_of_sales_last_10_mins number_of_sales_last_10_mins,

sales.store_zip store_zip,

 ST_GeogPoint(zip_lat_lng.longitude ,

   zip_lat_lng.latitude  ) geo

FROM (

 SELECT

   FORMAT_DATETIME(“%X”,

     CURRENT_DATETIME(“America/Los_Angeles”)) current_time,

   MAX(DATETIME(time_of_sale,

       “America/Los_Angeles”)) time_of_last_sale,

   COUNT(1) number_of_sales_last_10_mins,

   locations.city store_city,

   locations.zip store_zip

 FROM

   `bqomni-blog.aws_locations.orders_small`  sales

 JOIN

   `bqomni-blog.aws_locations.locations` locations

 ON

   sales.store_id = locations.id

 GROUP BY

   locations.city,

   locations.zip ) sales

JOIN

   `bqomni-blog.aws_locations.zipcode` zip_lat_lng

ON

 cast(sales.store_zip as INT) = cast(zip_lat_lng.zipcode as INT)

 WHERE ST_WITHIN( ST_GeogPoint(zip_lat_lng.longitude , zip_lat_lng.latitude  ) ,ST_GeogFromText(zip_lat_lng.zipcode_geom ) )

 AND zip_lat_lng.state_name  = “New York”

 ORDER BY number_of_sales_last_10_mins

按地区汇总销售数据

为了构建更丰富的销量数据视图,该零售商使用 BigQuery GeoViz 集成,这是一个功能强大的工具,可以在地图上可视化地理数据。

BigQuery Geo Viz 是一个 Web 工具,用于使用 Google Maps API 在 BigQuery 中可视化地理空间数据。您可以运行 SQL 查询并在交互式地图上显示结果:

用于销售数据分析的 BigQuery Geo 视图

有了地理标记数据,零售商现在可以查看区域销量、销售密度、按时间划分的部门分布以及部门内的分布,所有这些都通过 BigQuery 提供支持。
 
 
卫星视图

使用 BigQuery Omni 的好处

除了地理空间分析,BigQuery Omni 还提供许多优势,包括:
  • 降低成本:BigQuery Omni 消除云之间数据传输的能力可以帮助组织降低成本并简化数据管理,使其成为多云分析的宝贵工具。此外,跨多个云访问和分析数据的能力可以减少数据复制和同步的需求,从而可以进一步简化 ETL 流程并提高数据一致性。
  • 统一治理:BigQuery Omni 使用与 BigQuery 相同的安全控制,其中包括加密、访问控制和审核日志等功能,以帮助保护数据免遭未经授权的访问。
  • 单一分析窗格:BigQuery Omni 提供用于跨所有三个云查询数据的单一界面,这可以简化数据分析过程并减少组织使用多个分析工具的需要。
  • 灵活性:分析存储在任何受支持的云存储服务中的数据,使组织能够灵活地处理他们拥有的数据,无论数据位于何处

总而言之,BigQuery Omni 是地理空间分析的一个有价值的工具,因为它允许您分析多个来源的数据,而无需移动数据。这可以节省您的时间和金钱,还可以帮助您从数据中获得更准确的见解。

如果您正在寻找一种提高业务准确性、效率和决策的方法,请使用 BigQuery Omni 进行分析地理空间数据可以成为一个强大的工具。

Leave a Reply