一文告诉你怎么用谷歌云服务器!

一、 谷歌云相关介绍 谷歌云为谷歌推出的云服务器平台,云服务器的出现原是为了减少小公司或者个人在配置硬件上的潜在成本。在云服务器没出现的时候,大部分的公司都是自己配置电脑等硬件,除了硬件成本外,还会支出保管维修费用,以及需要专门的IT人员来管理服务器,机房。 对于大型互联网企业来说,通常也会购置大量的服务器,但是服务器的使用率并没有很高,比如阿里,为了双十一的流量而购置超量的服务器,而其余时间都是闲置的,所以大型互联网企业也想到了将服务器租赁出去这一个商业模式,由此产生的云服务。 目前随着云服务的发展,云服务已经不仅仅局限在提供服务器租赁,更提供了一系列IT解决方案,比如小公司需要分析数据,于是云平台就提供数据分析系统和工具,比如需要机器学习来实现自动翻译或者是图片识别,于是云平台就提供机器学习的工具。 发展至今,云服务已经越来越全面,基本上包揽小公司的IT任务,IT人员只需要会使用云平台即可。 二、 谷歌云的优势 前面提到了云平台提供多样化的服务给到用户,像谷歌,其产品包括google 搜索,谷歌广告、Youtube,还有Deepmind,waymo等,谷歌本身的业务就使得其技术能力尤为突出,特别是在大数据分析和人工智能机器学习上。 谷歌将其公司原先使用的技术工具包装成谷歌云上的服务,甚至于是开源。比如说现在流行的且成为行业公认的Kubernetes,又称K8s,本身就是谷歌内部使用的Borg,后来又在谷歌云平台上正式以kubernetes的名字和公众见面,随后又开源,成为业内都在使用的容器编排引擎。虽然k8s已经开源,但是谷歌作为开发者,最为熟悉k8s,谷歌云平台上搭载的Google Kubernetes Engine也是目前最为成熟的K8s托管平台了。 而除了k8s外,谷歌还贡献了其数据分析系统,像Cloud Spanner,Firestore等等都是,还有BigQuery,可以说,如果用户需要一个数据分析技术最强的公有云平台,那么选谷歌云绝对没错。 除此外,谷歌还有其机器学习的平台tensorflow,谷歌云平台上有Vertex AI, Vision AI,Translation, Natural language等机器学习平台和功能,以便于用户使用,因此想要用云平台进行机器学习,也可选谷歌云! 三、 免费申请300美金,开始试用吧! 1. 搜索谷歌云(需要翻墙) 2. 点击进入谷歌云页面,新用户会显示以下界面,可以享受300美金的免费试用金,点击右上角的【免费开始使用】 3. 用邮箱注册一个谷歌云账号,填写密码。 4.…

Continue Reading 一文告诉你怎么用谷歌云服务器!

谷歌云机器学习有多强?机器学习平台Vertex AI告诉你

机器学习目前在学术界和工业界十分流行,大数据推荐为其最常见的使用场景,购物APP如何通过大数据分析和模型训练对每个用户进行分析,并且根据用户习惯推送适当的内容,这一切都依赖于机器学习。 Tensorflow 永远是机器学习绕不过去的机器学习软件库,至今为止仍是机器学习最流行的软件库。Tensorflow 最初由谷歌大脑团队开发,用于Google 的研究和生产,于2015年11月9日在 Apache 2.0开源许可证下发布。谷歌利用 Tensorflow 支持其谷歌翻译、谷歌地图、谷歌相册、Gmail 等多项业务,Tensorflow 使用了谷歌专为机器学习研发的集合电路 TPU,TPU 是一个可编程的人工智能加速器,提供高吞吐量的低精度计算(如8位),面向使用或运行模型而不是训练模型。Google 在公布 TPU 的时候就宣称他们已经在数据中心中运行 TPU 长达一年多,发现它们对机器学习提供一个数量级更优的每瓦特性能。 Tensorflow同样应用在谷歌云平台上,目前谷歌云平台上搭载了以下的机器学习工具: AutoML:分析图像、视频、text files、tabular data 的自定义机器学习训练模型; Natural Language AI:提取、分析和存储非结构语言的机器学习产品; Vision AI: 识别人脸、普通图像,从图像中识别情绪等; Translation…

Continue Reading 谷歌云机器学习有多强?机器学习平台Vertex AI告诉你

在谷歌云上搭建数据湖库?!

十多年来,IT行业一直在寻找存储和分析海量数据的最佳方法,以处理组织所要求的种类、数量、延迟、弹性和不同的数据访问要求。 从历史上看,企业已经实施了孤岛式的独立架构,数据仓库用于存储结构化的汇总数据,主要用于商业智能和报告,而数据湖用于存储大量的非结构化和半结构化数据,主要用于ML工作负载。这种方法往往导致大量的数据移动、处理和重复,需要复杂的ETL管道。操作和管理这种架构是具有挑战性的,成本很高,而且降低了敏捷性。随着企业向云计算的发展,企业开始希望打破这些孤岛。 为了解决其中的一些问题,出现了一个新的架构选择:数据湖库,它结合了数据湖和数据仓库的关键优势。这种架构以一种开放的格式提供低成本的存储,可被各种处理引擎(如Spark)访问,同时还提供强大的管理和优化功能。 谷歌云为这些客户提供了选择,那些只想使用开源技术建立数据湖心岛的组织,可以通过使用谷歌云存储提供的低成本对象存储,以Parquet等开放格式存储数据,使用Spark等处理引擎,并通过Dataproc使用Delta、Iceberg或Hudi等框架来实现交易,从而轻松做到这一点。这种基于开源的解决方案仍在不断发展,需要在配置、调整和扩展方面做出大量努力。 谷歌云提供了一个云原生、高度可扩展和安全的数据湖库解决方案,为客户提供选择和互操作性。谷歌云的云原生架构降低了成本,提高了企业的效率。 那么谷歌云的解决方案是如何完成的呢?以下为谷歌云搭建数据湖库所依靠的服务: 1.存储:在Google Cloud Storage 中提供低成本对象存储的选择,或在BigQuery中提供高度优化的分析存储。 2.计算:无服务器计算,为不同的工作负载提供不同的引擎 BigQuery:谷歌云的无服务器云数据仓库提供兼容ANSI SQL的引擎,可以对PB级的数据进行分析。 Dataproc:管理的Hadoop和Spark服务可以使用各种开源框架。 Serveless Spark:允许客户将他们的工作负载提交给管理服务,并负责工作的执行。 Vertex AI,谷歌云统一的MLOps平台,可以用非常有限的编码建立大规模的ML模型。 此外,你可以使用谷歌云的许多合作伙伴的产品,如Databricks、Starburst或Elastic,用于各种工作负载。 3.管理:Dataplex在 Cloud Storage(对象存储)和BigQuery(高度优化的分析存储)的数据中实现了以元数据为主导的数据管理结构。企业可以使用Dataplex创建、管理、保护、组织和分析湖心岛上的数据。 让我们仔细看看数据湖心岛架构的一些关键特征,以及客户是如何在谷歌云上大规模地构建这种架构的。 存储的可选择性 谷歌云的核心原则是提供一个开放的平台。谷歌云希望为客户提供选择,将他们的数据存储在谷歌云存储的低成本对象存储或高度优化的分析存储或GCP上的其他存储选项。因此谷歌云建议企业将其结构化数据存储在BigQuery Storage中。BigQuery Storage还提供了一个流媒体API,使企业能够实时摄取大量数据并进行分析。我们建议将非结构化数据存储在Google Cloud Storage。在某些情况下,如果组织需要访问他们的结构化数据的OSS格式,如Parquet或ORC,他们可以将它们存储在 Google…

Continue Reading 在谷歌云上搭建数据湖库?!

想知道谷歌云贵不贵?怎么收费?一篇文章告诉你!

对于To B的业务来说,价格永远是第一要素,云服务作为一项To B的服务,也是如此,经常听到“谷歌云怎么计费?”或者相关的问题,因此本文将重点介绍谷歌云的费用计算方式与详细计算。 一、 谷歌云费用计算方式 1. 随用随付费 谷歌云采取的是随用随付费的方式,如果无需使用可以将机器关机,关机后机器不产生费用,当然这仅仅是机器不收费,如果使用了硬盘、存储等,还需根据情况收费。 2. 根据使用的服务收费 谷歌云平台不仅仅提供虚拟机,还提供其他相关服务,比如网络、CDN、数据存储和数据分析等工具,因此使用的服务不同,费用也不尽相同。 3. 承诺使用量折扣 同时,谷歌云还推出了承诺使用优惠折扣,比如客户三年可以承诺使用多少,即可享受一定的折扣力度,这个和企业的使用量息息相关,使用量非常大的客户可以适用非标准收费,case by case的制定费用(如需申请特殊折扣,欢迎联系Cloud Ace)。 二、 价格估算 价格估算可以使用谷歌云推出的费用计算器来计算,点此进行价格估算页面:https://cloud.google.com/products/calculator 接下来我就详细介绍几个常用服务的费用情况 1. 主机费用 以最常用的Compute Engine (VM) 为例 , 我们先选一台主机。然后选择机器类型,机器用途,以及机器的型号,vCPU和Ram等等,以及开机时间,如果是用于网页等,大部分是7*24小时不关机,如果选择不关机,还可以最高30%的持续使用折扣。 以上图为例,选择了n1-standard-1(vCPUs:1…

Continue Reading 想知道谷歌云贵不贵?怎么收费?一篇文章告诉你!

【实操】Kubernetes如何搭建游戏架构?

摘要 Kubernetes,简称K8s,是Google开发的,目前最为流行的容器编排和管理引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。K8s的特性使得它适用于架构复杂且要求高的服务,也就是游戏架构的搭建。 由于Cloud Ace为谷歌云代理公司,所以我们本次分享的实操是在谷歌开发的Google Kubernetes Engines上运行的,GKE是谷歌基于K8s所开发的Kubernetes管理平台,主要在谷歌云平台上运行。 Kubernetes与微服务架构 随着应用的发展,程序变得越来越复杂,传统一体化架构的服务会造成巨大的不便,比如说:新增功能与测试放在一起,使得程序十分复杂;开发和利用新语言和新框架的效率低;安全性低,所有的模块构建在一个process里,一旦出现bug可能牵一发而动全身。 而微服务 (microservices) 架构正好解决了这样的问题,将每一个具有商业逻辑的服务独立出来,例如不再将所有资料都写入同一个资料库,而是每个单独的服务都有一个最适合自己本身结构的资料库。好处是让每个服务都可以用最适合自己的语言、资料库来开发。在实操时,每一个商业功能/服务都可能是一台 VM 或者一个容器。 微服务架构的出现给了游戏一个新的选择,下图的两个架构就是游戏使用的架构,都是通过不同的功能模块来划分的,按功能模块划分不同的服务,前端通过HAProxy来代理用户请求,后端服务可以根据负载来实现扩缩容。在服务发现模块中,通过registrator来监视容器的启动和停止,根据容器暴露的端口和环境变量自动注册服务,后端存储使用了consul,结合consul-template来发现服务的变化时,可以更新业务配置,并重载。 K8s就是微服务架构 前面提到K8s适合微服务架构,为什么呢? 因为k8s的架构与微服务十分相似,在某些功能上是一致的,第一就是k8s的master和node,可以实现不同功能不同服务器之间的隔离;第二是k8s上面提供了API server,基本上可以等同于网关;第三是k8s的服务编排性能好,可以实现弹性伸缩;第四点是k8s的configmap基本上可以作为配置中心;第五是k8s可以通过在node上部署agent来实现日志的收集和监控。 Kubernetes 将数个容器组合起来成一个服务(Service,注:Service 是 K8S 的专有名词,下面会介绍),Kubernetes 也提供了良好的服务发现(Service discovery)机制,让每个服务彼此可以通信。最重要的是 K8S 强大的编程可以自动扩展服务,甚至还可以对大规模的容器作滚动更新 (Rolling update) 以及回滚机制…

Continue Reading 【实操】Kubernetes如何搭建游戏架构?

如何为自定义源站启用 Google CDN (外部网站的 Google CDN 配置)

(1)作为第一步,让我们配置新的 HTTP(S) 负载均衡器。 首先打开谷歌云平台,直接搜索CDN,单击上一个屏幕上的“ Add origin”。 (2)然后单击“继续” (3)选择“use a custom origin”并单击“Create a load balancer”。 (4)输入负载均衡器的唯一名称,单击“backend configuration”并创建后端服务(create a backend service)。 (5)输入名称并选择后端类型为“Internet network endpoint group”,根据需要更改协议 - Google 负载均衡器将使用此协议连接到源服务器。我将使用 HTTP 协议进行演示,从“Internet network endpoint…

Continue Reading 如何为自定义源站启用 Google CDN (外部网站的 Google CDN 配置)

如何通过谷歌云平台设置 Load Balancing 和 CDN

1.创建instance templates(实例模板) 首先,创建一个实例模板来启动一个在负载均衡器后面充当应用服务器的实例。在这个演示中,我们不会在实例中实际启动 Web 应用程序。相反,将 Apache HTTP Server 配置为在端口 80 上运行并响应端口 80 的请求。启动多个这样的实例并将它们放在您的负载均衡器后面。 打开浏览器控制台后,点击左侧菜单中的Compute Engine-> Instance template。就是下图中红框包围的部分。 当实例模板屏幕打开时,单击创建实例模板以转到实例模板创建屏幕。 [Machine type] 选择“Small (1 shared vCPU)”,[Firewall] 勾选“Allow HTTP Traffic”。然后单击管理、磁盘、网络、SSH 密钥并在其下方的启动脚本(可选)文本区域中输入以下内容: sudo apt-get…

Continue Reading 如何通过谷歌云平台设置 Load Balancing 和 CDN

谷歌开源项目open saves介绍:游戏专用的云原生存储

今天许多大型 AAA 级游戏,都致力打造“身历其境”的丰富体验,让玩家穿梭于逼真的游戏世界与故事线中。当然,要运营这样的一款游戏,就需要大量的储存、高效能的储存技术来确保游戏资料能达到玩家要求水平。游戏开发人员不仅需要储存不同类型的资料(例如存档、库存、补丁、回放等),还必须保持储存系统的高性能、可用​​性、可扩展性和成本效益。 近期 Google 就与游戏商 2K 共同开源一项 Open Saves 项目,这是一项专为多个储存后端所打造的单一界面,由 Google Cloud 提供支援并与 2K 合作开发。现在,开发团队可以储存游戏资料,而无需为该使用哪种储存解决方案如:Cloud Storage、Memorystore、Firestore 做出技术决策。 2K 的 IT 安全副总裁 Joe Garfola 表示:“Open Saves 表明了我们致力与顶尖开发者,合作游戏解决方案的承诺。要做到这件事,需要具备游戏产业的丰富经验,以及 Google 这样的规模。我们很期待和 Google…

Continue Reading 谷歌开源项目open saves介绍:游戏专用的云原生存储

BigQuery——谷歌企业级大数据分析工具介绍

BigQuery 是什么?在这个强调大数据分析的时代,BigQuery 为何能享有"地表最强资料分析工具"的称号?这次 Cloud Ace 将彻底比较 BigQuery 和传统资料仓储,从速度、费用和技术门槛等方面切入,带大家认识这个由Google 推出的强大云端资料仓储服务。 BigQuery 为何适合大数据分析?原来和Google Ads有关 要理清 BigQuery 为什么适合大数据分析,我们可以先思考一个问题:Google 是做什麽起家的?答案很显而易见就是"搜寻引擎"。但这边大家可能会困惑,搜寻引擎不是免费吗?那它靠什么赚钱?答案很简单,搜寻引擎的收入就是大家都很熟悉的 Google Ads ! Google Ads 对 Google 来说有多重要?搜寻引擎满足全世界的用户查询资料的需求,于是全世界的商家都在 Google 搜寻引擎上面买广告。而这时问题来了,Google Ads 的投放方式必须要依照使用者输入的关键字、使用者所使用的语言及他所在的国家来正确投放和关键字相关的广告,但像这麽大的资料量,每天有几十亿人在线上查询,Google 到底是如何做到能够正确投放广告的呢?这时就要欢迎 Google 的超高速分析工具…

Continue Reading BigQuery——谷歌企业级大数据分析工具介绍

十分钟看懂谷歌云数据湖解决方案

根据Advanced Market Analytics 的数据,到 2024 年全球数据湖市场预计将达到近 120 亿美元。什么是数据湖?它是如何工作的?利用数据湖有什么好处?谷歌云又是如何搭建自己的数据湖解决方案的? 一、什么是数据湖? 云数据湖是一个云托管的集中式存储库,允许我们以任何规模存储所有结构化和非结构化数据,通常使用对象存储。云数据湖可用于存储组织的数据,包括从内部和外部操作和交互生成的数据。 数据湖能够打破数据孤岛并集成各种分析,以深入了解行业并指导更好的业务决策。 二、谷歌云的数据湖解决方案 数据湖分为数据摄取、数据存储、数据处理和分析、工作流创建和实施四个阶段(数据集市、实时分析、机器学习),而谷歌云针对四个阶段可提供其独家解决方案。 1.数据摄取 数据湖架构必须能够从不同来源摄取不同数量的数据,例如物联网 (IoT) 传感器、网站上的点击流活动、在线交易处理 (OLTP) 数据和本地数据等。而谷歌可以提供以下服务用于摄取数据: Pub/Sub 与 Dataflow: 可以将实时数据直接摄取和存储到 Cloud Storage,根据数据量进行扩展和扩展。 Storage Transfer Service: 移动大量数据不像发出单个命令那样简单,必须处理诸如安排定期数据传输、在源和接收器之间同步文件或根据过滤器有选择地移动文件等问题。Storage Transfer Service 提供了一种强大的机制来完成这些任务。…

Continue Reading 十分钟看懂谷歌云数据湖解决方案