虚拟机制作镜像

1.目标 假设这里有一个image-1,用image-1创建一个服务器,然后登陆进去,安装好软件,改密码,然后关机,然后删掉image-1,再用这个服务器制作一个image-1,以后后台开出来的机器都是以这个image-1为基础来的服务器 2.配置 2.1 制作image-1的虚拟机 2.1.1 点击console 界面的CREATE INSTANCE,进入创建虚拟机界面 2.1.2 在New VM instance 处右边,在Name*下面填写image-1,在Region*下面选择us-central-1(lowa),在Machine type下面选择e2-micro机器配置 2.1.3 在Boot disk下面,点击CHANGE,在右侧Operating system选择Debian,点击下方的SELECT,最后点击CREATE,创建虚拟机 2.1.4 image-1虚拟机制作完成图 2.2 制作image-1的镜像image-img 2.2.1 在INSTANCE 下面 ,点击image-1右侧的三点,选择Create new machine image…

Continue Reading 虚拟机制作镜像

CDN 与外部 HTTP(S) 负载均衡器搭配教程–活用URLMaps

一、背景:

                CDN是指一组分布在不同地理位置上的服务器,它们共同工作以提供快速的Internet内容分发。CDN允许快速传输加载Internet内容所需的资源,包括HTML页面、javascript文件、样式表、图像和视频。CDN服务的受欢迎程度持续增长,如今大部分的网络流量都是通过CDN提供的,包括来自Facebook、Netflix和亚马逊等主要网站的流量。cdn是缓解传统主机带来的一些主要问题的流行选择,通过利用缓存来减少主机带宽,帮助防止服务中断,并提高安全性。

               现在利用CDN搭配负载均衡器,通过在负载均衡器上设置特定的URLMaps,实现对源服务器的web服务NGINX根目录下特定的文件目录选择缓存或不缓存,如下:

Continue Reading CDN 与外部 HTTP(S) 负载均衡器搭配教程–活用URLMaps

一文告诉你怎么用谷歌云服务器!

一、 谷歌云相关介绍 谷歌云为谷歌推出的云服务器平台,云服务器的出现原是为了减少小公司或者个人在配置硬件上的潜在成本。在云服务器没出现的时候,大部分的公司都是自己配置电脑等硬件,除了硬件成本外,还会支出保管维修费用,以及需要专门的IT人员来管理服务器,机房。 对于大型互联网企业来说,通常也会购置大量的服务器,但是服务器的使用率并没有很高,比如阿里,为了双十一的流量而购置超量的服务器,而其余时间都是闲置的,所以大型互联网企业也想到了将服务器租赁出去这一个商业模式,由此产生的云服务。 目前随着云服务的发展,云服务已经不仅仅局限在提供服务器租赁,更提供了一系列IT解决方案,比如小公司需要分析数据,于是云平台就提供数据分析系统和工具,比如需要机器学习来实现自动翻译或者是图片识别,于是云平台就提供机器学习的工具。 发展至今,云服务已经越来越全面,基本上包揽小公司的IT任务,IT人员只需要会使用云平台即可。 二、 谷歌云的优势 前面提到了云平台提供多样化的服务给到用户,像谷歌,其产品包括google 搜索,谷歌广告、Youtube,还有Deepmind,waymo等,谷歌本身的业务就使得其技术能力尤为突出,特别是在大数据分析和人工智能机器学习上。 谷歌将其公司原先使用的技术工具包装成谷歌云上的服务,甚至于是开源。比如说现在流行的且成为行业公认的Kubernetes,又称K8s,本身就是谷歌内部使用的Borg,后来又在谷歌云平台上正式以kubernetes的名字和公众见面,随后又开源,成为业内都在使用的容器编排引擎。虽然k8s已经开源,但是谷歌作为开发者,最为熟悉k8s,谷歌云平台上搭载的Google Kubernetes Engine也是目前最为成熟的K8s托管平台了。 而除了k8s外,谷歌还贡献了其数据分析系统,像Cloud Spanner,Firestore等等都是,还有BigQuery,可以说,如果用户需要一个数据分析技术最强的公有云平台,那么选谷歌云绝对没错。 除此外,谷歌还有其机器学习的平台tensorflow,谷歌云平台上有Vertex AI, Vision AI,Translation, Natural language等机器学习平台和功能,以便于用户使用,因此想要用云平台进行机器学习,也可选谷歌云! 三、 免费申请300美金,开始试用吧! 1. 搜索谷歌云(需要翻墙) 2. 点击进入谷歌云页面,新用户会显示以下界面,可以享受300美金的免费试用金,点击右上角的【免费开始使用】 3. 用邮箱注册一个谷歌云账号,填写密码。 4.…

Continue Reading 一文告诉你怎么用谷歌云服务器!

谷歌云机器学习有多强?机器学习平台Vertex AI告诉你

机器学习目前在学术界和工业界十分流行,大数据推荐为其最常见的使用场景,购物APP如何通过大数据分析和模型训练对每个用户进行分析,并且根据用户习惯推送适当的内容,这一切都依赖于机器学习。 Tensorflow 永远是机器学习绕不过去的机器学习软件库,至今为止仍是机器学习最流行的软件库。Tensorflow 最初由谷歌大脑团队开发,用于Google 的研究和生产,于2015年11月9日在 Apache 2.0开源许可证下发布。谷歌利用 Tensorflow 支持其谷歌翻译、谷歌地图、谷歌相册、Gmail 等多项业务,Tensorflow 使用了谷歌专为机器学习研发的集合电路 TPU,TPU 是一个可编程的人工智能加速器,提供高吞吐量的低精度计算(如8位),面向使用或运行模型而不是训练模型。Google 在公布 TPU 的时候就宣称他们已经在数据中心中运行 TPU 长达一年多,发现它们对机器学习提供一个数量级更优的每瓦特性能。 Tensorflow同样应用在谷歌云平台上,目前谷歌云平台上搭载了以下的机器学习工具: AutoML:分析图像、视频、text files、tabular data 的自定义机器学习训练模型; Natural Language AI:提取、分析和存储非结构语言的机器学习产品; Vision AI: 识别人脸、普通图像,从图像中识别情绪等; Translation…

Continue Reading 谷歌云机器学习有多强?机器学习平台Vertex AI告诉你

在谷歌云上搭建数据湖库?!

十多年来,IT行业一直在寻找存储和分析海量数据的最佳方法,以处理组织所要求的种类、数量、延迟、弹性和不同的数据访问要求。 从历史上看,企业已经实施了孤岛式的独立架构,数据仓库用于存储结构化的汇总数据,主要用于商业智能和报告,而数据湖用于存储大量的非结构化和半结构化数据,主要用于ML工作负载。这种方法往往导致大量的数据移动、处理和重复,需要复杂的ETL管道。操作和管理这种架构是具有挑战性的,成本很高,而且降低了敏捷性。随着企业向云计算的发展,企业开始希望打破这些孤岛。 为了解决其中的一些问题,出现了一个新的架构选择:数据湖库,它结合了数据湖和数据仓库的关键优势。这种架构以一种开放的格式提供低成本的存储,可被各种处理引擎(如Spark)访问,同时还提供强大的管理和优化功能。 谷歌云为这些客户提供了选择,那些只想使用开源技术建立数据湖心岛的组织,可以通过使用谷歌云存储提供的低成本对象存储,以Parquet等开放格式存储数据,使用Spark等处理引擎,并通过Dataproc使用Delta、Iceberg或Hudi等框架来实现交易,从而轻松做到这一点。这种基于开源的解决方案仍在不断发展,需要在配置、调整和扩展方面做出大量努力。 谷歌云提供了一个云原生、高度可扩展和安全的数据湖库解决方案,为客户提供选择和互操作性。谷歌云的云原生架构降低了成本,提高了企业的效率。 那么谷歌云的解决方案是如何完成的呢?以下为谷歌云搭建数据湖库所依靠的服务: 1.存储:在Google Cloud Storage 中提供低成本对象存储的选择,或在BigQuery中提供高度优化的分析存储。 2.计算:无服务器计算,为不同的工作负载提供不同的引擎 BigQuery:谷歌云的无服务器云数据仓库提供兼容ANSI SQL的引擎,可以对PB级的数据进行分析。 Dataproc:管理的Hadoop和Spark服务可以使用各种开源框架。 Serveless Spark:允许客户将他们的工作负载提交给管理服务,并负责工作的执行。 Vertex AI,谷歌云统一的MLOps平台,可以用非常有限的编码建立大规模的ML模型。 此外,你可以使用谷歌云的许多合作伙伴的产品,如Databricks、Starburst或Elastic,用于各种工作负载。 3.管理:Dataplex在 Cloud Storage(对象存储)和BigQuery(高度优化的分析存储)的数据中实现了以元数据为主导的数据管理结构。企业可以使用Dataplex创建、管理、保护、组织和分析湖心岛上的数据。 让我们仔细看看数据湖心岛架构的一些关键特征,以及客户是如何在谷歌云上大规模地构建这种架构的。 存储的可选择性 谷歌云的核心原则是提供一个开放的平台。谷歌云希望为客户提供选择,将他们的数据存储在谷歌云存储的低成本对象存储或高度优化的分析存储或GCP上的其他存储选项。因此谷歌云建议企业将其结构化数据存储在BigQuery Storage中。BigQuery Storage还提供了一个流媒体API,使企业能够实时摄取大量数据并进行分析。我们建议将非结构化数据存储在Google Cloud Storage。在某些情况下,如果组织需要访问他们的结构化数据的OSS格式,如Parquet或ORC,他们可以将它们存储在 Google…

Continue Reading 在谷歌云上搭建数据湖库?!

想知道谷歌云贵不贵?怎么收费?一篇文章告诉你!

对于To B的业务来说,价格永远是第一要素,云服务作为一项To B的服务,也是如此,经常听到“谷歌云怎么计费?”或者相关的问题,因此本文将重点介绍谷歌云的费用计算方式与详细计算。 一、 谷歌云费用计算方式 1. 随用随付费 谷歌云采取的是随用随付费的方式,如果无需使用可以将机器关机,关机后机器不产生费用,当然这仅仅是机器不收费,如果使用了硬盘、存储等,还需根据情况收费。 2. 根据使用的服务收费 谷歌云平台不仅仅提供虚拟机,还提供其他相关服务,比如网络、CDN、数据存储和数据分析等工具,因此使用的服务不同,费用也不尽相同。 3. 承诺使用量折扣 同时,谷歌云还推出了承诺使用优惠折扣,比如客户三年可以承诺使用多少,即可享受一定的折扣力度,这个和企业的使用量息息相关,使用量非常大的客户可以适用非标准收费,case by case的制定费用(如需申请特殊折扣,欢迎联系Cloud Ace)。 二、 价格估算 价格估算可以使用谷歌云推出的费用计算器来计算,点此进行价格估算页面:https://cloud.google.com/products/calculator 接下来我就详细介绍几个常用服务的费用情况 1. 主机费用 以最常用的Compute Engine (VM) 为例 , 我们先选一台主机。然后选择机器类型,机器用途,以及机器的型号,vCPU和Ram等等,以及开机时间,如果是用于网页等,大部分是7*24小时不关机,如果选择不关机,还可以最高30%的持续使用折扣。 以上图为例,选择了n1-standard-1(vCPUs:1…

Continue Reading 想知道谷歌云贵不贵?怎么收费?一篇文章告诉你!

【实操】Kubernetes如何搭建游戏架构?

摘要 Kubernetes,简称K8s,是Google开发的,目前最为流行的容器编排和管理引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。K8s的特性使得它适用于架构复杂且要求高的服务,也就是游戏架构的搭建。 由于Cloud Ace为谷歌云代理公司,所以我们本次分享的实操是在谷歌开发的Google Kubernetes Engines上运行的,GKE是谷歌基于K8s所开发的Kubernetes管理平台,主要在谷歌云平台上运行。 Kubernetes与微服务架构 随着应用的发展,程序变得越来越复杂,传统一体化架构的服务会造成巨大的不便,比如说:新增功能与测试放在一起,使得程序十分复杂;开发和利用新语言和新框架的效率低;安全性低,所有的模块构建在一个process里,一旦出现bug可能牵一发而动全身。 而微服务 (microservices) 架构正好解决了这样的问题,将每一个具有商业逻辑的服务独立出来,例如不再将所有资料都写入同一个资料库,而是每个单独的服务都有一个最适合自己本身结构的资料库。好处是让每个服务都可以用最适合自己的语言、资料库来开发。在实操时,每一个商业功能/服务都可能是一台 VM 或者一个容器。 微服务架构的出现给了游戏一个新的选择,下图的两个架构就是游戏使用的架构,都是通过不同的功能模块来划分的,按功能模块划分不同的服务,前端通过HAProxy来代理用户请求,后端服务可以根据负载来实现扩缩容。在服务发现模块中,通过registrator来监视容器的启动和停止,根据容器暴露的端口和环境变量自动注册服务,后端存储使用了consul,结合consul-template来发现服务的变化时,可以更新业务配置,并重载。 K8s就是微服务架构 前面提到K8s适合微服务架构,为什么呢? 因为k8s的架构与微服务十分相似,在某些功能上是一致的,第一就是k8s的master和node,可以实现不同功能不同服务器之间的隔离;第二是k8s上面提供了API server,基本上可以等同于网关;第三是k8s的服务编排性能好,可以实现弹性伸缩;第四点是k8s的configmap基本上可以作为配置中心;第五是k8s可以通过在node上部署agent来实现日志的收集和监控。 Kubernetes 将数个容器组合起来成一个服务(Service,注:Service 是 K8S 的专有名词,下面会介绍),Kubernetes 也提供了良好的服务发现(Service discovery)机制,让每个服务彼此可以通信。最重要的是 K8S 强大的编程可以自动扩展服务,甚至还可以对大规模的容器作滚动更新 (Rolling update) 以及回滚机制…

Continue Reading 【实操】Kubernetes如何搭建游戏架构?

如何为自定义源站启用 Google CDN (外部网站的 Google CDN 配置)

(1)作为第一步,让我们配置新的 HTTP(S) 负载均衡器。 首先打开谷歌云平台,直接搜索CDN,单击上一个屏幕上的“ Add origin”。 (2)然后单击“继续” (3)选择“use a custom origin”并单击“Create a load balancer”。 (4)输入负载均衡器的唯一名称,单击“backend configuration”并创建后端服务(create a backend service)。 (5)输入名称并选择后端类型为“Internet network endpoint group”,根据需要更改协议 - Google 负载均衡器将使用此协议连接到源服务器。我将使用 HTTP 协议进行演示,从“Internet network endpoint…

Continue Reading 如何为自定义源站启用 Google CDN (外部网站的 Google CDN 配置)

如何通过谷歌云平台设置 Load Balancing 和 CDN

1.创建instance templates(实例模板) 首先,创建一个实例模板来启动一个在负载均衡器后面充当应用服务器的实例。在这个演示中,我们不会在实例中实际启动 Web 应用程序。相反,将 Apache HTTP Server 配置为在端口 80 上运行并响应端口 80 的请求。启动多个这样的实例并将它们放在您的负载均衡器后面。 打开浏览器控制台后,点击左侧菜单中的Compute Engine-> Instance template。就是下图中红框包围的部分。 当实例模板屏幕打开时,单击创建实例模板以转到实例模板创建屏幕。 [Machine type] 选择“Small (1 shared vCPU)”,[Firewall] 勾选“Allow HTTP Traffic”。然后单击管理、磁盘、网络、SSH 密钥并在其下方的启动脚本(可选)文本区域中输入以下内容: sudo apt-get…

Continue Reading 如何通过谷歌云平台设置 Load Balancing 和 CDN