Spark Sql 简明教程

弹性分布式数据集 (RDD) 是 Spark 的一个基本数据结构。它是对象的不可变分布式集合。RDD 中的每个数据集都被划分为逻辑分区，这些分区可以在群集的不同节点上计算。RDD 可以包含任何类型的 Python、Java 或 Scala 对象，包括用户定义的类。

形式上，RDD 是只读的分区记录集合。RDD 可以通过对稳定存储器中的数据或其他 RDD 上的确定性操作来创建。RDD 是一个容错元素集合，可以并行对其进行操作。

有两种方法可以创建 RDD − parallelizing 驱动程序程序中的现有集合或 referencing a dataset 位于外部存储系统中，例如共享文件系统、HDFS、HBase 或提供 Hadoop 输入格式的任何数据源。

Spark 利用 RDD 的概念实现了更快速、高效的 MapReduce 操作。让我们首先讨论 MapReduce 操作如何进行以及为什么它们效率不高。

MapReduce 被广泛采用，用于在群集上通过并行分布式算法处理和生成大型数据集。它允许用户编写并行计算，使用一组高级运算符，而无需担心工作分布和容错能力。

不幸的是，在大多数当前框架中，在计算之间重用数据（例如：在两个 MapReduce 作业之间）的唯一方法是将其写入外部稳定存储系统（例如：HDFS）。虽然此框架提供了大量抽象技术来访问集群的计算资源，但用户仍然希望获得更多。

Iterative 和 Interactive 应用程序都需要更快的并行作业间数据共享。数据共享在 MapReduce 中很慢，原因在于 replication 、 serialization 和 disk IO 。关于存储系统，大多数 Hadoop 应用程序都会将 90% 以上的时间用于执行 HDFS 读写操作。

在多阶段应用程序中跨多个计算重用中间结果。下图解释了在 MapReduce 上执行迭代操作时当前框架如何工作。由于复制数据、磁盘 I/O 和序列化，这会产生大量的开销，从而导致系统变慢。

用户对相同的数据子集运行即席查询。每个查询都将在稳定存储上执行磁盘 I/O，这会占据应用程序执行时间的大部分。

下图说明了当前框架在 MapReduce 上执行交互式查询时如何工作。

数据共享在 MapReduce 中很慢，原因在于 replication 、 serialization 和 disk IO 。大多数 Hadoop 应用程序都会将 90% 以上的时间用于执行 HDFS 读写操作。

认识到这个问题后，研究人员开发了一个名为 Apache Spark 的专门框架。Spark 的关键思想是 *R*esilient *D*istributed *D*atasets (RDD)；它支持内存内处理计算。这意味着它将内存的状态存储为作业间的对象，且此对象可在这些作业中共享。内存内的数据共享比网络和磁盘快 10 到 100 倍。

现在，我们尝试找出 Spark RDD 中迭代和交互式操作如何执行。

下图显示了 Spark RDD 上的迭代操作。它会将中间结果存储在分布式内存中，而不是持久性存储（磁盘）中，并使系统更快。

Note − 如果分布式内存（RAM）不足以存储中间结果（作业的状态），则它会将这些结果存储在磁盘上。

此图显示了 Spark RDD 上的交互式操作。如果针对相同数据集反复运行不同的查询，则可以将这个特定数据保留在内存中，以获得更好的执行时间。

默认情况下，每次针对转换后的 RDD 执行操作时，都会重新计算该 RDD。但是，您也可以选择将 RDD persist 在内存中，在这种情况下，Spark 将把元素保留在集群中以便下次查询时更快地访问。此外，还支持将 RDD 持久保留在磁盘上或跨多个节点复制。