大数据之Spark教程
发布时间：2022-10-14 11:26:20 所属栏目：大数据 来源：
导读： Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程
|
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析他们的数据集。其原因是，Hadoop框架是基于简单的编程模型（MapReduce），并且它使用的计算解决方案，是可扩展的，柔性的，容错和低成本。 在这里，主要关心的是在查询之间等待时间和等待时间来运行程序处理大型数据集的速度。 Spark由Apache软件基金会对于加快Hadoop计算软件的过程。 作为对一个共同的信念，Spark不是 Hadoop 的修改版本，不依赖于Hadoop，因为它有自己的集群管理。Hadoop仅仅是实现Spark的方式之一。 Spark使用Hadoop的方式有两种- 一种是存储和第二个是处理。由于Spark有自己的集群管理计算大数据堆栈，所以一般它使用Hadoop只有存储的目的。 Apache Spark Apache Spark是一个快速的集群计算技术，设计用于快速计算。它是基于Hadoop MapReduce和它扩展了MapReduce模型，以有效地将其用于多种类型的计算，其中包括交互式查询和流处理。Spark的主要特征是其内存集群计算，增加的应用程序的处理速度。 Spark旨在涵盖广泛的工作负载，如批量应用，迭代算法，交互式查询和分流。除了支持所有这些工作负载在各自的系统中，它减少了维护单独工具的管理负担。 Apache Spark的演变 Spark是在加州大学伯克利分校的AMPLab由马太·扎哈里亚在2009年开发的Hadoop子项目之一。它在2010年开源，在BSD许可下。它在2013年捐赠给Apache Software 基金，现在的Apache Spark已经在2014年2月成为Apache的顶级项目。 Apache Spark特色 Apache Spark有以下特点。 Spark在Hadoop上建立 下图显示了Spark 如何使用Hadoop组件的三种方式来构建。 有三种方法部署Spark ,如下面所解释。 Apache Spark 核心 Spark核心是底层一般执行引擎，所有其他的功能都是建立在Spark的平台之上。 它提供了内存计算和引用数据集在外部存储系统。 Spark SQL 星火SQL是引入了一种名为SchemaRDD一个新的数据抽象，它提供了结构化和半结构化数据的支持，它是Spark核心的组成部分。 Spark 数据流 Spark数据流充分利用Spark核心快速调度能力进行流分析。它摄取的数据在小型分批进行RDD（弹性分布式数据集），对这些小批量的数据转换。 MLlib (机器学习库) MLlib是一个分布式的机器学习框架的分布式存储器为基础的Spark架构。它根据基准，由MLlib开发商对交替最小二乘（ALS）实现完成。Spark MLlib 9倍快于Hadoop基于磁盘的版本（前Mahout中获得了星火接口）Apache Mahout 。 GraphX GraphX是Spark顶部上的分布式图形处理框架。它提供了用于表达图表计算，并可以通过使用预凝胶抽象API来建模用户定义的图形的API。它还提供了这种抽象的优化运行。 （编辑：PHP编程网 - 襄阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330434号