9 个 10 亿 + 产品,与背后的 Google Cloud 全球基础架构和服务

 新闻资讯     |      2019-12-19 00:20

9 个 10 亿+产品,与背面的 Google Cloud 全球根底架构和服务

  作者:王利莹

  Search、Chrome、Android、YouTube、Gmail、Google Play、Maps、Drive、Photos,这些运用与图标咱们再了解不过了,Google 这 9 个产品的用户量每个都超越 10 亿,而支撑 10 亿量级的数据处理与用户服务,这得益于 Google 强壮的面向未来的全球根底架构和服务才干。Google Cloud 为客户供给了强壮的 Google 根底设施服务,海量数据剖析与处理、云上数据存储与安全确保以及 AI 赋能等才干。

  这些才干正在经过 Google Cloud 向企业及开发者们敞开,有了 10 亿 + 用户体量的运用服务查验,不仅是 Google 的系列产品,面向企业拓宽海外商场的需求, Google Cloud 也正是用这些硬技能确保出海无忧。

  我国企业出海风潮已久,互联网技能浪潮下,游戏、电商、视频直播等企业海外布局加快,产品快速且高质量迭代晋级的重要性亦是显而易见,对云服务有高需求的出海企业来说,怎么挑选全球扩展的技能架构?怎么把运用快速布置在不同的区域?怎么在海外构建一个全面的大数据剖析渠道以运营海外事务开展带来的很多数据?怎么让机器学习、人工智能技能更好地与海外事务场景结合?这些都是需求考虑的要素。

  而 Google Cloud 所供给的才干正是为企业所需:

  • 全球散布的根底架构
  • 敞开和多云
  • 数据洞悉与数据服务
  • AI 和机器学习才干

  在企业技能架构层面,需求满意全球可扩展、高功用的特征,使得用户能够快速跟企业树立联络,一起还要满意不同国家、区域和职业的根底架构合规要求。Google Cloud 我国工程师团队担任人连冠华对此说到:

  “Google 在构建整个根底设施安全架构时遵从零信赖的准则,从芯片、服务器、OS、存储到制冷都是定制化的,这带来两个优点:榜首、呈现任何问题咱们能够及时修正,而不需求等第三方或许中间商;第二、定制化的组件都是由 Google 依照特定方针进行构建的,移除了不必要的服务和部件,进一步加固以下降被进犯的或许性。一起咱们在全球不同国家、区域、职业取得广泛的合规认证,以下降企业在海外布置的事务危险。”

  在运用开发规划上,越来越多的企业将自己依据虚拟机的单体架构转向以容器为根底的微服务架构,并运用 Google 开源的 Kubernetes 进行大规模容器集群办理,加快运用程序现代化,而且逐渐选用多云和混合云作为自己的 IT 战略。Google Cloud 在本年的 Next 大会上推出了依据 Kubernetes 的混合云和多云渠道 Anthos,能够对 Google Cloud 上的 GKE,其他云厂商的 Kubernetes 集群,用户数据中心的 Kubernetes 集群进行一致的布置办理,安全战略办理和配置办理等,而且供给服务网格 Istio,无服务器核算 Knative 等功用,悉数依据开源软件完结,不必忧虑厂商确定,实在完结一次开发处处布置的灵敏敞开的多云和混合云渠道!

  面临海外服务带来的添加数据处理需求,Google 以为关于数据剖析人员只需求运转查询机制,剩余全部作业就交给后台的 Cloud 做。其推出 BigQuery 大数据渠道,是全保管的企业等级数据仓库,可进行秒级剖析成果,而且整个架构是无服务器架构,不需求忧虑底层参数调优,资源的分配以及十分多保护作业。

  还有上面说到的怎么让机器学习技能与事务结合,关于 Google Cloud 来讲,便是把人工智能技能变成人人可用的技能,全部 Google 的产品都运用了机器学习来提高用户的体会,Google Cloud 整个 AI 渠道针对不同的用户集体也推出了不同的服务,比方底层根底架构核算渠道 GPU/CPU/TPU,运用神经网络架构查找等技能的 AutoML,以及 Cloud NLP, Cloud Vision 等服务满意不同用户不同事务场景的需求。

  经过云渠道的多种多样化的服务以及更多根底的底层的才干,Google Cloud 让出海企业“拿来即用”,节约开发运营本钱,一起确保高功用及安全。

  上星期 Arch Summit 全球架构师峰会 Google Cloud 技能专场上,Google Cloud 工程师丁成银同享了 GCP 全球根底设施与服务特征,怎么确保我国企业出海无忧。从根底设施的层面愈加详尽地剖析了 Google Cloud 的优势,以下内容首要来自丁成银的同享。

  根底架构层面——网络、核算、存储、安全

  “从 2016 年到 2018 年,Google 投入在本钱开销项目的金额超越470 亿美金。其中就包括了 Google 在云数据中心和全球网络方面的建造开销。”丁成银说到。

  让数字来展现,Google Cloud 的根底架构建造:

  Google Cloud 在全球运营的云服务的区域一共有20 个,别的有5 个新的云服务区域将在下一年连续上线,最快在亚太的首尔区域,以及印度尼西亚的雅加达区域。

  Google 是全球榜首家非电信运营商企业自己独立承当构建海缆使命的公司。目前为止它在全球有出资或许独资具有的海缆条数14 条,这些海缆一共长度是112000公里。

  遍及全球134 个网络边际节点,接入全球拜访。

  网络部分,VPC(虚拟专有云)、负载均衡、CDN、专线互联、域名解析这些大多数云都会有,表现 Google 特征的则是:大局 VPC、大局负载均衡服务、灵敏的网络服务层次、BBR 算法及 QUIC 协议,这些都是 Google 不断寻求低推迟和高吞吐所做的立异,这些立异正在经过 Google Cloud 服务内建的才干敞开。

  大局 VPC 指的是 Google 一个 VPC 能够辐射全球 20 个机房,一个子网可一起掩盖整个区域的多个区域。一起具有一点接入,全球拜访的特征,Google Cloud 有 134 个边际节点,任何一个边际节点拿一条专线接入 Google 主干网能够经过这一个点拜访 Google 全球 20 个区域的网络,愈加能节约硬件出资。

  在 Google Cloud,全部的用户跟 Google Cloud 流量交互方法便是,用户就近经过离他最近的边际节点进入 Google 网络,一路经过 Google 的全球主干网络抵达他的目的地。这样做给用户带来的优点是网络质量高,而不是受限于互联网自身的质量。

  Google Cloud 的负载均衡服务不仅仅运转在 20 个区域中,而是运转在遍及全球 134 个边际节点。丁成银说到 “不管用户是在北美加州,纽约,欧洲,仍是新加坡,当他拜访 Google Cloud 的全球负载均衡的时分,他都是就近拜访离他最近的边际节点所运转的负载均衡服务,由那个点负载均衡服务把客户恳求调度到最合适的后端去。”

  别的,Google 的全球负载均衡对外供给服务的时分,每一个用户能够经过一个 Anycast IP 接入到它的全球负载均衡里边去。确保每一个用户每一个负载均衡都能用到 Google 全球 134 个边际节点全部的容量。带来天然的优点便是防 DDoS 才干十分强,因为 Google Cloud 自身网络带宽十分大。其次用户来的恳求天然涣散在全球的边际节点里边。

  Google Cloud 的大局负载均衡的内部完结有什么隐秘呢?

  实际上 Google Cloud 边际节点能够分红两级,一级是 134 个离用户最近的边际节点,一级 POP 点依据大局的状况把用户的恳求转发到对应的二级边际节点,再转发到客户的后端虚拟机或许容器。这是 Google 大局负载均衡底层的完结进程。

  这些边际节点也衔接着全球绝大多数的 ISP,例如我国电信、我国联通等用户网络。别的边际节点里边除了运转着负载均衡服务,也包括边际缓存,把需求缓存的内容缓存在离用户最近的当地,供给高质量的 CDN 服务。

  在这些边际节点里边一起运转着 Google 的专线接入服务。假如一个企业需求构建混合或许跨国网络,只需挑选离他最近的 Google POP 点就能够经过 Google 边际节点衔接到 Google 网络里边。

  除了网络自身优势,Google 在软件立异方面也有投入。

  1、BBR 算法,协助用户提高网络吞吐,传统的 TCP 的拥塞操控算法,在遇到网络丢包的时分就默许网络拥塞了,BBR 算法改变了这种假定,只对实在拥塞做出反应,寻觅链路最佳吞吐速率和最低的推迟。

  2、网络传输协议的拟定,QUIC 是 Google 拟定的一种依据 UDP 的低时延的互联网传输层协议。整个协议栈依据 UDP 完结,让内核只担任收发 UDP 包,剩余的衔接操控、拥塞操控、包括恳求会话的操控、加密、解密等均在用户态完结,这样就能取得极大的灵敏性。

  核算部分,包括 APP Engine、Compute Engine、Kubernetes Engine、Cloud Functions、Cloud Run 几个部分的才干,多方面满意在云上布置事务的需求。

  Compute Engine 可依据 Google 根底架构的大规模虚拟机运转大规模作业负载,支撑自定义机型,支撑用户自定义自己的 CPU 和内存的份额,一般厂商份额是 1:2、1:4、1:8,在 Google 假如需求 1:1、1:5、1:6,都能够协助客户或许客户能够自助做自定义。

  除了自定义,Google Cloud 专门开发了一套机器学习算法探查用户虚拟机的 CPU 和内存的运用量,给予用户本钱节约和功用优化的主张如:应削减内存或许是添加 CPU,以到达最优作用。

  GPU 方面,Google Cloud 支撑 K80,P100、P4、V100、T4 等各种类型,一起也支撑经过 Nvlink、PClex16 等才干提高散布式机器学习的算力。可是,Google 关于算力的需求远超出用 GPU 所能到达程度。所以 Google 也自研了张量处理单元(TPU),这是 Google 自己规划、自己定制、自己开发针对机器学习专用的加快器,

  “在单个 TPU 的强壮算力基之上,咱们能够把 1024 个 TPU 经过高速互联组成 TPU Pod 协助用户做散布式机器学习运算。作为比照,用 GPU 练习需求一个星期才干完结的作业,在这样一个 TPU Pod 上只需求 76 秒就能完结相同的练习。”丁成银说。

  GCE 最有特征的当地是实时搬迁才干。当虚拟机运转物理机上,假如这台物理机需求给内核打补丁或许做硬件保护,能够在用户不停机、不必关机开机操作,用户事务不受影响情况下能够完结搬迁的动作。Google Cloud 在 2015 年现已开端支撑实时搬迁功用。

  丁成银说到:“依据咱们其时的核算,实时搬迁在整个搬迁进程中,绝大部分用户的 blackout 时长少于 300 毫秒,正常情况下只要 50 毫秒,50 毫秒关于绝大部分客户来讲是无感知的。”

  存储部分,包括 Cloud Storage、Cloud Filestore、Persistent disks、Cloud SQL 等才干。

  在这部分,Google Cloud 的特征是什么呢?以 Persistent disk 云盘举例,具有支撑一盘多挂,支撑跨 Zone 镜像,在线扩容的特征。

  云盘正在服务器运用的情况下,不需求关机能够进行云盘操作。跨区域镜像相似同城容灾的概念:一台服务器挂的盘,每一个数据可跨 Zone 同步复制到别的一个 Zone,假如这个 Zone 因为某种原因不可用,支撑无缝切换别的一个 Zone,到达十分好的同城容灾的作用。

  “别的,Cloud Storage 方针存储,除了支撑一般的存储,还支撑双区域和多区域。比较其他云的方针存储只能限制在一个 Region 里边,Google Cloud 能够放在多个 Region 里边,到达地理容灾的优势,这是咱们的特征。”丁成银标明。

  安满是云核算榜首要务,没有安全就没有其他的全部。Google Cloud 从硬件最底层到 Boot 发动,网络、存储、运维以及运用各个层面都有健全的安全系统,除了取得各个国家和区域认证以外,Google Cloud 安全最大保证是顶尖的安全专家。

9 个 10 亿+产品,与背面的 Google Cloud 全球根底架构和服务

  心脏流血(Heartbleed)、鬼魂(Spectre)、熔断(Meltdown),三大世界规模的网络安全缝隙,让 IT 职业的开发人员们焦头烂额。

  心脏流血(Heartbleed),它可从特定服务器上随机获取 64k 的作业日志,因为一台服务器的密钥也记载在其作业日志中,而且在很多数据中可被容易区分,很多敏感数据或许走漏,进犯者乃至能够破解被加密的以往流量日志。而这一安全缝隙是由 Google 工程师 NeelMehta 发现的。

  鬼魂(Spectre)、熔断(Meltdown)是闻名的 CPU 缝隙,从个人电脑、服务器,到移动端的智能手机,都受到这两组硬件缝隙的影响。它们的发现者是 Google Project Zero。2014 年 7 月,Google 宣告了 Project Zero 计划,它由一组安全研究人员担任,仅有的方针便是追寻和修正缝隙,保护全部互联网用户的安全。

  丁成银标明:“顶尖的安全专家为 Google 事务及 Google Cloud 客户保驾护航,Google Cloud 跟 Google 同享同一个云的系统。这个是 Google Cloud 安全的一个最大的保证。”

  从根底设施层面上,Google Cloud 有全球网络、海量数据大吞吐的核算才干、数据库存储跨地理容灾才干、多层面的安全系统与安全专家等为企业出海保驾护航。

  同享嘉宾

  连冠华,Google Cloud 我国区客户工程师司理,担任 Google Cloud 我国 Customer Engineer 团队,协助我国客户使用 Google 云技能快速出海,走向世界。连冠华具有多年产品研制,云核算架构规划,大数据和机器学习咨询服务经历,在参加 Google 之前,连冠华曾上任于 Microsoft,VMware,HP 等公司。

  丁成银,Google Cloud Platform 工程师,担任大中华区客户的依据 Google Cloud 计划、架构的咨询,致力于 GCP 云服务在国内的运用和推行。在参加 Google 之前,丁成银曾任职于华为、腾讯云、Amazon Web Servies 等公司。