Map Reduce 简明教程

MapReduce 范式通常基于将 map-reduce 程序发送到实际数据所在的计算机。

MapReduce 框架对键值对进行操作，即该框架将作业的输入视为一组键值对，并将一组键值对作为作业的输出生成，想象中不同类型。

键和值类必须是可序列化框架，因此需要实现 Writable 接口。此外，键类必须实现 WritableComparable 接口，以利于框架进行排序。

MapReduce 作业的输入和输出格式都是键值对形式−

(Input) <k1, v1> → map → <k2, v2>→ reduce → <k3, v3> (Output)。

下表显示了有关组织用电量的资料。该表包括连续五年的每月用电量和年平均值。

我们需要编写应用程序，处理给定表中的输入数据，找到用电量最大的年份、用电量最小的年份，等等。对于记录数量有限的程序员来说，这项任务很简单，因为他们只需编写逻辑来生成所需的输出，并将数据传递到编写的应用程序。

现在我们来增加输入数据的规模。假设我们必须分析一个特定州的所有大型产业的用电量。当我们编写应用程序来处理这种大量数据时，

为了解决这些问题，我们有MapReduce框架。