Apache Spark 简明教程

S.No

Transformations & Meaning

1

map(func) 通过函数 func 传递源的每个元素形成一个新的分布式数据集。

2

filter(func) 返回通过选择源中 func 返回 true 的那些元素形成的新数据集。

3

flatMap(func) 类似于 map，但每个输入项可以映射到 0 个或更多个输出项（所以 func 应该返回一个 Seq 而不是单个项）。

4

mapPartitions(func) 类似于 map，但在 RDD 的每个分区（块）上单独运行，所以当在类型为 T 的 RDD 上运行时， func 必须为 Iterator<T> ⇒ Iterator<U> 类型。

5

mapPartitionsWithIndex(func) 类似于 map 分区，但还向 func 提供表示分区索引的整数值，所以当在类型为 T 的 RDD 上运行时， func 必须为 (Int, Iterator<T>) ⇒ Iterator<U> 类型。

6

sample(withReplacement, fraction, seed) 使用给定的随机数生成器种子有放回或无放回地对 fraction 的数据进行抽样。

7

union(otherDataset) 返回一个新数据集，其中包含源数据集中元素的并集和参数。

8

intersection(otherDataset) 返回一个新 RDD，其中包含源数据集中元素和参数的交集。

9

distinct([numTasks]) 返回一个新数据集，其中包含源数据集的各异元素。

10

groupByKey([numTasks]) 针对 (K, V) 对数据集调用时，返回 (K, Iterable<V>) 对数据集。 Note − 如果你按分组对每个键执行聚合（例如求和或平均数），使用 reduceByKey 或 aggregateByKey 将能产生更好的性能。

11

reduceByKey(func, [numTasks]) 针对 (K, V) 对数据集调用时，返回 (K, V) 对数据集，其中每个键的值使用给定 reduce 函数 func 进行聚合，类型必须为 (V, V) ⇒ V。与 groupByKey 一样，可以通过可选的第二个参数配置 reduce 任务的数量。

12

aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]) 针对 (K, V) 对数据集调用时，返回 (K, U) 对数据集，其中每个键的值使用给定组合函数和一个中立的“零”值进行聚合。允许聚合值类型不同于输入值类型，同时避免了不必要的分配。与 groupByKey 一样，可以通过可选的第二个参数配置 reduce 任务的数量。

13

sortByKey([ascending], [numTasks]) 针对 K 实现 Ordered 的 (K, V) 对数据集调用时，返回按升序或降序（如布尔 ascending 参数中指定的）按键排序的 (K, V) 对数据集。

14

join(otherDataset, [numTasks]) 针对类型为 (K, V) 和 (K, W) 的数据集调用时，返回 (K, (V, W)) 对数据集，其中包含每个键的所有元素对。可通过 leftOuterJoin、rightOuterJoin 和 fullOuterJoin 来支持外部连接。

15

cogroup(otherDataset, [numTasks]) 针对类型为 (K, V) 和 (K, W) 的数据集调用时，返回 (K, (Iterable<V>, Iterable<W>)) 元组数据集。此操作也称为按组 With。

16

cartesian(otherDataset) 针对类型为 T 和 U 的数据集调用时，返回 (T, U) 对数据集（所有元素对）。

17

pipe(command, [envVars]) 通过 shell 命令（例如 Perl 或 bash 脚本）传送 RDD 的各个分区。RDD 元素将写入进程的标准输入，输出到其标准输出的行将作为字符串 RDD 返回。

18

coalesce(numPartitions) 将 RDD 中的分区数量减少到 numPartitions。这对于在大数据集上过滤后再高效地运行操作非常有用。

19

repartition(numPartitions) 随机地重新分配 RDD 中的数据以创建更多或更少的分区，并在分区之间平衡数据。此操作将始终在网络中混洗所有数据。

20

repartitionAndSortWithinPartitions(partitioner) 根据给定分区器对 RDD 进行重新分区，并在每个产生的分区内按键对记录进行排序。这比调用 repartition 然后在每个分区内进行排序更有效，因为它可以将排序推送到混洗机制中。

S.No

Action & Meaning

1

reduce(func) 使用一个函数（它获取两个参数并返回一个参数）聚合数据集的元素。该函数应为交换律和结合律，以便可以并行正确计算。

2

func 在驱动程序中以数组形式返回数据集的所有元素。这在执行筛选或其他仅返回数据的一个充分小的子集的操作后通常非常有用。

3

collect() 返回数据集中的元素数量。

4

count() 返回数据集中的第一个元素（类似于 take (1)）。

5

first() 返回一个包含数据集前 n 个元素的数组。

6

takeSample (withReplacement,num, [seed]) 返回一个包含数据集 num 个随机采样元素（可带或不带替换）的数组，或者选择性地预先指定一个随机数生成器种子。

7

takeOrdered(n, [ordering]) 使用它们的自然顺序或自定义比较器返回 RDD 的前 n 个元素。

8

saveAsTextFile(path) 以文本文件（或一组文本文件）的形式将数据集元素写入本地文件系统、HDFS 或任何其他 Hadoop 支持的文件系统中的给定目录。Spark 在每个元素上调用 toString，以将其转换为文件中的文本行。

9

saveAsSequenceFile(path) (Java and Scala) 以 Hadoop SequenceFile 的形式将数据集元素写入本地文件系统、HDFS 或任何其他 Hadoop 支持的文件系统中的给定路径。这适用于实现 Hadoop 的 Writable 接口的键值对 RDD。在 Scala 中，它也适用于隐式可转换为 Writable 的类型（Spark 包含基本类型（如 Int、Double、String 等）的转换）。

10

saveAsObjectFile(path) (Java and Scala) 使用 Java 序列化以简单格式写入数据集元素，然后可以使用 SparkContext.objectFile() 加载。

11

countByKey() 仅适用于类型为 (K, V) 的 RDD。返回一个哈希映射的 (K, Int) 对，其中包含每个键的数量。

12

foreach(func) 对数据集的每个元素运行函数 func 。通常情况下，这样做是为了产生副作用，例如更新 Accumulator 或与外部存储系统交互。 Note − 修改 foreach() 之外的除了 Accumulator 之外的变量可能会导致未定义的行为。有关更多详细信息，请参阅了解闭包。