google云计算技术培训
发布时间：2022-11-08 11:22:15 所属栏目：云计算 来源：
导读： 研究院ReachedOurGoal认识云计算（理解）理解Google云计算实现原理（难点）可独立在GAE上开发云服务应用了解TMF？以及云未来的发展（了解）TMForum对云态度Wehave计算机的服务能力可以作为一种商品进行流通。就像
|
研究院ReachedOurGoal认识云计算（理解）理解Google云计算实现原理（难点）可独立在GAE上开发云服务应用了解TMF？以及云未来的发展（了解）TMForum对云态度Wehave计算机的服务能力可以作为一种商品进行流通。就像水、电、气一样取之方便，费用低廉云计算定义图：云计算概念模型云计算:是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够按需获取计算力、存储空间云计算服务的部署形式IaaS基础设施云(代表：亚马逊的S3)SaaS应用云（代表：salesforce的CRM）PaaS平台云（代表：GoogleAppEngine）私有云(数据中心–内部网)公共云(服务提供商–互连网)混合云(公共和私有)Amazon云计算1GB数据存放1个月为0.15美元每个服务器租用1小时为0.1美元Amazon的IaaS云计算思路弹性计算云EC2为企业提供计算服务简单存储服务S3为企业提供存储服务Amazon的IaaS运用实例亚马逊IaaS应用案例：纽约时报使用亚马逊云计算服务效果：在不到24个小时的时间里处理了1100万篇文章费用：累计花费240美元利用自己服务器时间：数月时间费用：多得多的费用Google云计算Google的云计算思路应用向互联网迁移数据向互联网迁移计算能力向互联网迁移存储空间向互联网迁移“浏览器＝操作系统”10隶属PaaS的Google云计算Google云计算PaaS属于部署在云端的应用执行环境支持Python和Java两种语言通过SDK调用Google的各种服务。 如GoogleMap、Mail等用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）在下一章将具体介绍GAE具体的应用11Google云计算SaaS隶属SaaS的Google云计算提供在线“Word、Excel、PPT”提供在线MAP提供在线日历管理Google云计算平台技术架构分布式文件系统GoogleDistributedFileSystem并行数据处理MapReduce分布式锁Chubby结构化数据表BigTableGoogle如何实现云？GoogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubbyy1213云计算概念入门14初识云计算TMForum对云态度Google云计算原理分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubbyy151617Google设计GFS的动机Google需要支持海量数据存储的文件系统–购置昂贵的分布式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？GFS的设计思路GFS设计原则：机器失效不能视为异常现象能应付对大型/超大型文件处理支持大量用户同时访问GFS组成GFS集群:一个的Master和多个ChunkServer（块服务器）组成，并可以多客户端Client访问GFS设计要点每个文件拆成若干个64M文件块Chunk组成每个Chunk都由Master根据其创建时间指定ChunkHandle(64)文件块被保存在ChunkServer本地磁盘中缺省情况下3处热备份Chunk块文件18GFS的设计思路Client职责包含文件系统的API负责和ChunkServer和Master通信代表应用程序进行读写操作Client和Master进行元数据操作Client和ChunkServer进行文件数据操作Master职责负责管理所有文件系统的元数据元数据包括：命名空间，访问控制信息，文件到Chunk的映射信息等ChunkServer职责负责存储chunk文件块Linux文件系统1920GFS的系统架构应用程序GFS客户端GFS数据块服务器Linux文件系统GFS主服务器文件命名空间Chunk2EEE/foo/barGFS数据块服务器Linux文件系统标注：数据信息控制信息文件名，chunk索引向数据块服务器发指令返回数据块服务器状态Chunk句柄和位置Chunk句柄，查找数据返回数据信息21Question文件为什么要被化分为64M？Answer：1、可以减少Client和Master的之间的交互，减少Master的负载2、客户端可以在一个Chunk中完成许多操作3、可以减少TCP三次握手时间。 另外这些信息都要被Master管理的缺点：有冗余GFS架构的特点采用中心服务器模式Master可以方便地增加ChunkServerMaster掌握系统内所有ChunkServer的情况，方便进行负载均衡不存在元数据的一致性问题不缓存数据必要性：Client流式读取，非重复读写可行性：Master本身管理多个Server，很复杂22GFS容错机制ChunkServer容错每个Chunk有多个存储副本（默认是3个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）Master容错三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志提供容错，Chunk副本信息存储于其它ChunkServer。这样Master出现故障时可恢复2324GFS实验效果图ChunkServerChunkServer16MasterClientClient16路由器1路由器2MasterGoogle云计算原理分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogleGoogle云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubbyy25并行计算基础摩尔定律正在走向终结…单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高26未来的发展：多核未来的发展：多核27什么样的问题适合并行计算？计算URL访问频率YMap函数处理日志中web页面请求的记录，然后输出(URL,1)。 Reduce函数把相同URL的value 值都累加起来，产生(URL,记录 总数)结果。 Google为什么需要MapReduce？ 什么是MapReduce？28 Google MapReduce 架构设计师 Jeffrey Dean Jeffery Dean设计一个新的抽象模型， 使我们只要执行的 并行化、 容错、数据分布、负载均衡 等杂乱细节 放在一个库里，使并行编程时不必关心它 们这就是 Jeffery Dean设计一个新的抽象模型云计算技术培训， 使我们只要执行的简单计算，而将并行化、 容错、数据分布、负载均衡的等杂乱细节 放在一个库里，使并行编程时不必关心它 们这就是MapReduce 29 Google 并行运算编程模型 Map Map Map 原始数据1原始数据2 原始数据M Reduce Reduce 结果1 结果R 1、在编程的时候，开发者需要编写两个函数： Map:(in_key, in_value) Reduce:(key,[value 1,value 2、Map操作产生结果是对 3、在Map，Reduce之间系 统把同一Key归类到Reduce 3、Reduce操作对相同的Key 进行归类处理 30 MapReduce实现机制 用户程序 (1)分割 (1)分割 (1)分割 Master 工作机M 工作机M 工作机M 工作机 (2)指派Map(2)指派Reduce 片段1 片段4 片段3 片段2 输入文件 (3)Read (4)本地存储 输出文件0 输出文件1 Map状态 本地存储 Reduce状态 输出文件 (5)远程读取 (6)写入文件 31 单词计数体现M/R算法 Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech 输入数据： MapReduce Hello Si-tech：2Map(Key,Value) eachworld ‘world’ value)collect(‘world’,1); intcount value)count 32Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech 分割分割 分割 Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech KEY VALUE KEY VALUE KEY VALUE HelloWorld Bye World Hello China Bye China Hello Si-tech Bye Si-tech MAP MAP MAP 进行 用户定义的Map进行处理，再生成新的 对 Google云计算关键技术 ——MapReduce 使用MapReduce求解该问题–Step 3:对输出的结果集归拢、排序(系统自动 完成） Google云计算关键技术 ——MapReduce 使用MapReduce求解该问题–Step 4:通过Reduce操作生成最后结果 Google云计算关键技术 ——MapReduce 实践证明，MapReduce是出色的分布式计算模型–Google宣布，其对分布于1000台计算机上的 1TB数据进行排序仅仅需要68s –对4000台计算机上的1PB数据进行排序处理仅 需要6小时2分钟（每次测试至少会损坏1块硬盘 –在08年1月份，GoogleMapReduce平均每天的 数据处理量是20PB，相当于美国国会图书馆当 年5月份存档网络数据的240倍 Google云计算关键技术 ——Chubby 分布式一致性问题–在一个分布式系统中，有一组的Process，它 们需要确定一个Value。 （编辑：PHP编程网 - 襄阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330434号