Pyspark 简明教程
PySpark - Serializers
序列化用于在 Apache Spark 上进行性能优化。所有通过网络发送、写入磁盘或持久存储在内存中的数据应进行序列化。序列化在代价高昂的操作中起着重要作用。
PySpark 支持在性能优化中使用自定义序列化程序。PySpark 支持以下两种序列化程序：
MarshalSerializer
使用 Python 的 Marshal 序列化程序序列化对象。该序列化程序比 PickleSerializer 速度快，但支持的数据类型较少。
class pyspark.MarshalSerializerPickleSerializer
使用 Python 的 Pickle 序列化程序序列化对象。该序列化程序支持几乎任何 Python 对象，但可能没有其他专门序列化程序那么快。
class pyspark.PickleSerializer让我们看看 PySpark 序列化的示例。在此，我们使用 MarshalSerializer 序列化数据。
--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------Command − 命令如下所示−
$SPARK_HOME/bin/spark-submit serializing.pyOutput − 上述命令的输出为 −
[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]