技术博客

一、 谷歌云相关介绍 谷歌云为谷歌推出的云服务器平台，云服务器的出现原是为了减少小公司或者个人在配置硬件上的潜在成本。在云服务器没出现的时候，大部分的公司都是自己配置电脑等硬件，除了硬件成本外，还会支出保管维修费用，以及需要专门的IT人员来管理服务器，机房。 对于大型互联网企业来说，通常也会购置大量的服务器，但是服务器的使用率并没有很高，比如阿里，为了双十一的流量而购置超量的服务器，而其余时间都是闲置的，所以大型互联网企业也想到了将服务器租赁出去这一个商业模式，由此产生的云服务。 目前随着云服务的发展，云服务已经不仅仅局限在提供服务器租赁，更提供了一系列IT解决方案，比如小公司需要分析数据，于是云平台就提供数据分析系统和工具，比如需要机器学习来实现自动翻译或者是图片识别，于是云平台就提供机器学习的工具。 发展至今，云服务已经越来越全面，基本上包揽小公司的IT任务，IT人员只需要会使用云平台即可。 二、 谷歌云的优势 前面提到了云平台提供多样化的服务给到用户，像谷歌，其产品包括google 搜索，谷歌广告、Youtube，还有Deepmind，waymo等，谷歌本身的业务就使得其技术能力尤为突出，特别是在大数据分析和人工智能机器学习上。 谷歌将其公司原先使用的技术工具包装成谷歌云上的服务，甚至于是开源。比如说现在流行的且成为行业公认的Kubernetes，又称K8s，本身就是谷歌内部使用的Borg，后来又在谷歌云平台上正式以kubernetes的名字和公众见面，随后又开源，成为业内都在使用的容器编排引擎。虽然k8s已经开源，但是谷歌作为开发者，最为熟悉k8s，谷歌云平台上搭载的Google Kubernetes Engine也是目前最为成熟的K8s托管平台了。 而除了k8s外，谷歌还贡献了其数据分析系统，像Cloud Spanner，Firestore等等都是，还有BigQuery，可以说，如果用户需要一个数据分析技术最强的公有云平台，那么选谷歌云绝对没错。 除此外，谷歌还有其机器学习的平台tensorflow，谷歌云平台上有Vertex AI, Vision AI，Translation, Natural language等机器学习平台和功能，以便于用户使用，因此想要用云平台进行机器学习，也可选谷歌云！ 三、 免费申请300美金，开始试用吧！ 1. 搜索谷歌云（需要翻墙） 2. 点击进入谷歌云页面，新用户会显示以下界面，可以享受300美金的免费试用金，点击右上角的【免费开始使用】 3. 用邮箱注册一个谷歌云账号，填写密码。 4.…

机器学习目前在学术界和工业界十分流行，大数据推荐为其最常见的使用场景，购物APP如何通过大数据分析和模型训练对每个用户进行分析，并且根据用户习惯推送适当的内容，这一切都依赖于机器学习。 Tensorflow 永远是机器学习绕不过去的机器学习软件库，至今为止仍是机器学习最流行的软件库。Tensorflow 最初由谷歌大脑团队开发，用于Google 的研究和生产，于2015年11月9日在 Apache 2.0开源许可证下发布。谷歌利用 Tensorflow 支持其谷歌翻译、谷歌地图、谷歌相册、Gmail 等多项业务，Tensorflow 使用了谷歌专为机器学习研发的集合电路 TPU，TPU 是一个可编程的人工智能加速器，提供高吞吐量的低精度计算（如8位），面向使用或运行模型而不是训练模型。Google 在公布 TPU 的时候就宣称他们已经在数据中心中运行 TPU 长达一年多，发现它们对机器学习提供一个数量级更优的每瓦特性能。 Tensorflow同样应用在谷歌云平台上，目前谷歌云平台上搭载了以下的机器学习工具： AutoML：分析图像、视频、text files、tabular data 的自定义机器学习训练模型； Natural Language AI：提取、分析和存储非结构语言的机器学习产品； Vision AI: 识别人脸、普通图像，从图像中识别情绪等； Translation…

十多年来，IT行业一直在寻找存储和分析海量数据的最佳方法，以处理组织所要求的种类、数量、延迟、弹性和不同的数据访问要求。 从历史上看，企业已经实施了孤岛式的独立架构，数据仓库用于存储结构化的汇总数据，主要用于商业智能和报告，而数据湖用于存储大量的非结构化和半结构化数据，主要用于ML工作负载。这种方法往往导致大量的数据移动、处理和重复，需要复杂的ETL管道。操作和管理这种架构是具有挑战性的，成本很高，而且降低了敏捷性。随着企业向云计算的发展，企业开始希望打破这些孤岛。 为了解决其中的一些问题，出现了一个新的架构选择：数据湖库，它结合了数据湖和数据仓库的关键优势。这种架构以一种开放的格式提供低成本的存储，可被各种处理引擎（如Spark）访问，同时还提供强大的管理和优化功能。 谷歌云为这些客户提供了选择，那些只想使用开源技术建立数据湖心岛的组织，可以通过使用谷歌云存储提供的低成本对象存储，以Parquet等开放格式存储数据，使用Spark等处理引擎，并通过Dataproc使用Delta、Iceberg或Hudi等框架来实现交易，从而轻松做到这一点。这种基于开源的解决方案仍在不断发展，需要在配置、调整和扩展方面做出大量努力。 谷歌云提供了一个云原生、高度可扩展和安全的数据湖库解决方案，为客户提供选择和互操作性。谷歌云的云原生架构降低了成本，提高了企业的效率。 那么谷歌云的解决方案是如何完成的呢？以下为谷歌云搭建数据湖库所依靠的服务： 1.存储：在Google Cloud Storage 中提供低成本对象存储的选择，或在BigQuery中提供高度优化的分析存储。 2.计算：无服务器计算，为不同的工作负载提供不同的引擎 BigQuery：谷歌云的无服务器云数据仓库提供兼容ANSI SQL的引擎，可以对PB级的数据进行分析。 Dataproc：管理的Hadoop和Spark服务可以使用各种开源框架。 Serveless Spark：允许客户将他们的工作负载提交给管理服务，并负责工作的执行。 Vertex AI，谷歌云统一的MLOps平台，可以用非常有限的编码建立大规模的ML模型。 此外，你可以使用谷歌云的许多合作伙伴的产品，如Databricks、Starburst或Elastic，用于各种工作负载。 3.管理：Dataplex在 Cloud Storage（对象存储）和BigQuery（高度优化的分析存储）的数据中实现了以元数据为主导的数据管理结构。企业可以使用Dataplex创建、管理、保护、组织和分析湖心岛上的数据。 让我们仔细看看数据湖心岛架构的一些关键特征，以及客户是如何在谷歌云上大规模地构建这种架构的。 存储的可选择性 谷歌云的核心原则是提供一个开放的平台。谷歌云希望为客户提供选择，将他们的数据存储在谷歌云存储的低成本对象存储或高度优化的分析存储或GCP上的其他存储选项。因此谷歌云建议企业将其结构化数据存储在BigQuery Storage中。BigQuery Storage还提供了一个流媒体API，使企业能够实时摄取大量数据并进行分析。我们建议将非结构化数据存储在Google Cloud Storage。在某些情况下，如果组织需要访问他们的结构化数据的OSS格式，如Parquet或ORC，他们可以将它们存储在 Google…

对于To B的业务来说，价格永远是第一要素，云服务作为一项To B的服务，也是如此，经常听到“谷歌云怎么计费?”或者相关的问题，因此本文将重点介绍谷歌云的费用计算方式与详细计算。 一、 谷歌云费用计算方式 1. 随用随付费 谷歌云采取的是随用随付费的方式，如果无需使用可以将机器关机，关机后机器不产生费用，当然这仅仅是机器不收费，如果使用了硬盘、存储等，还需根据情况收费。 2. 根据使用的服务收费 谷歌云平台不仅仅提供虚拟机，还提供其他相关服务，比如网络、CDN、数据存储和数据分析等工具，因此使用的服务不同，费用也不尽相同。 3. 承诺使用量折扣 同时，谷歌云还推出了承诺使用优惠折扣，比如客户三年可以承诺使用多少，即可享受一定的折扣力度，这个和企业的使用量息息相关，使用量非常大的客户可以适用非标准收费，case by case的制定费用（如需申请特殊折扣，欢迎联系Cloud Ace）。 二、 价格估算 价格估算可以使用谷歌云推出的费用计算器来计算，点此进行价格估算页面：https://cloud.google.com/products/calculator 接下来我就详细介绍几个常用服务的费用情况 1. 主机费用 以最常用的Compute Engine (VM) 为例 , 我们先选一台主机。然后选择机器类型，机器用途，以及机器的型号，vCPU和Ram等等，以及开机时间，如果是用于网页等，大部分是7*24小时不关机，如果选择不关机，还可以最高30%的持续使用折扣。 以上图为例，选择了n1-standard-1（vCPUs:1…