BigQuery——谷歌企业级大数据分析工具介绍

BigQuery 是什么?在这个强调大数据分析的时代,BigQuery 为何能享有”地表最强资料分析工具”的称号?这次 Cloud Ace 将彻底比较 BigQuery 和传统资料仓储,从速度、费用和技术门槛等方面切入,带大家认识这个由Google 推出的强大云端资料仓储服务

BigQuery 为何适合大数据分析?原来和Google Ads有关

要理清 BigQuery 为什么适合大数据分析,我们可以先思考一个问题:Google 是做什麽起家的?答案很显而易见就是”搜寻引擎”。但这边大家可能会困惑,搜寻引擎不是免费吗?那它靠什么赚钱?答案很简单,搜寻引擎的收入就是大家都很熟悉的 Google Ads !

Google Ads 对 Google 来说有多重要?搜寻引擎满足全世界的用户查询资料的需求,于是全世界的商家都在 Google 搜寻引擎上面买广告。而这时问题来了,Google Ads 的投放方式必须要依照使用者输入的关键字、使用者所使用的语言及他所在的国家来正确投放和关键字相关的广告,但像这麽大的资料量,每天有几十亿人在线上查询,Google 到底是如何做到能够正确投放广告的呢?这时就要欢迎 Google 的超高速分析工具 BigQuery 登场啦!

BigQuery 的最大优点是速度

BigQuery 以前在 Google 内部使用时叫做 Dremel,后来随著 GCP 问世,它才以 BigQuery 为名被正式推出。那它到底有多快呢?下面这张图相信可以让大家清楚理解。

BigQuery 的最大优点是速度

BigQuery 以前在 Google 内部使用时速 Dremel,后来随着 GCP 问世,它才以 BigQuery 为名被正式推出。那它到底真的快呢?下面这张图相信大家可以清楚地理解。

下载下来,1TB 的数据使用需要消耗大量数据的模糊比对语法,以及复杂的 Group By 和 Order By 语法,大家注意下角的数字,会发现只要只要 23 秒,接下来就分析完成了!

那现在我们想一下自己,现在使用的资料分析一下自己有没有像他这样的工具?是不是经常要跑个2小时,现在也不能做其他的事,就是去喝杯咖啡再回来看看结果。万一分析的命令下错了,这2小时可能就白白浪费掉了!

BigQuery真的传统资料浏览好?4大完整完整评比

通过上面的介绍,相信大家都在BigQuery分析的快速,但它被称为地球最强数据分析工具,当然不只是因为速度快所以!下面我们会从4种不同的角度,将传统数据的一些特性与 BigQuery 来做一个完整的比较。

资料资料系统比较分类1:软硬体设备

上通常是在公司内部的房房里,然后传统的大量搭建金钱购买软硬件设备,然后进行软硬件的安装。而这整个过程从开始到分析,可能已经过了大半个月的资料。如果使用无服务器的 BigQuery,我们只要上传 CSV 格式的资料就马上开始分析,在速度上绝对可以是远远超过传统的直接资料!

资料数据系统比较分类2:技术特征

但为了分析资料要再学Python、R,自己BI相关的技术,这些都是近处的学习成本。使用 BigQuery,我们只要会标准的 SQL 语法就可以立即开始分析资料,直接现省额外学习的时间和金钱。

资料数据系统比较图表3:资源膨胀

我们使用来分析资料时,如果去采购软硬件来加强工具分析性能。但如果 BigQuery,这些事情通不做!因为 BigQuery 可以分析工作资料中心内的细节台过程或观察台机器同时操作,后期快速汇总起来交到手上。所以整个过程我们只要等待时间,无需花时间了解他到底是怎么做到的。

大查询

资料系统比较图表4:费用成本

如果选择传统软件分析工具,一开始建置可能会花几十个几十亿,但是未来到底会多少,这是潜在的,我们可能会遇到资源或买闲钱置浪费的问题,BigQuery 因为是使用了基础,根据月分析的资料量来计算,能帮我们避开上述问题,有效节省成本!

大查询

举例来说,未来可能会分析的数据了1,但很多之后又没有分析的需求,这样就不用再付费的了!使消费的管理更具吸引力,减少低财务上的不良反应。

根据上述的对比,可以得出BigQuery的优点: 简单快速管理少,弹性灵活BigQuery

再补充一下,大家如果每次都查询整张表格成本太高,可以建立分区表分区表,以日期做条件就不会查询整张表格,可以有效节省大量成本。

大查询

以上就是利用BigQuery的优势介绍,有什么问题,请在文章下方留言讨论。

官网首页

知乎文章

oschina

Leave a Reply