Pyspark 简明教程
PySpark - SparkConf
要在本地/集群上运行 Spark 应用程序,您需要设置一些配置和参数,SparkConf 的作用正是如此。它提供用于运行 Spark 应用程序的配置。以下代码块包含 PySpark 中 SparkConf 类的详细信息。
class pyspark.SparkConf (
loadDefaults = True,
_jvm = None,
_jconf = None
)
最初,我们将使用 SparkConf() 创建一个 SparkConf 对象,它也将加载 spark. * Java 系统属性的值。现在,您可以使用 SparkConf 对象设置不同的参数,而它们的优先级将高于系统属性。
在 SparkConf 类中,有一些支持链接的 setter 方法。例如,您可以编写 conf.setAppName(“PySpark App”).setMaster(“local”) 。一旦我们将一个 SparkConf 对象传递给 Apache Spark,任何用户都无法修改它。
以下是 SparkConf 最常用的部分属性 −
-
set(key, value) − 用于设置配置属性。
-
setMaster(value) − 用于设置主 URL。
-
setAppName(value) − 用于设置应用程序名称。
-
get(key, defaultValue=None) − 获取某个键的配置值。
-
setSparkHome(value) − 在工作程序节点上设置 Spark 安装路径。
我们考虑在 PySpark 程序中使用 SparkConf
的以下示例。在此示例中,我们设置 Spark 应用程序的名称为 PySpark App ,并将 Spark 应用程序的主 URL 设置为 → spark://master:7077 。
以下代码块在 Python 文件中添加时,会为运行 PySpark 应用程序设置基本配置。
---------------------------------------------------------------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("PySpark App").setMaster("spark://master:7077")
sc = SparkContext(conf=conf)
---------------------------------------------------------------------------------------