PySpark 入门：大数据处理的 Python 接口

1. PySpark 简介

PySpark 是 Apache Spark 的 Python API，支持分布式数据处理。核心优势包括：

• 内存计算：比传统 MapReduce 快 $10 \times$ 以上
• 统一引擎：批处理、流处理、机器学习（MLlib）和图形计算（GraphX）
• 容错机制：通过弹性分布式数据集（RDD）实现

2. 环境配置

安装 PySpark：

pip install pyspark

验证安装：

import pyspark
print(pyspark.__version__)  # 输出版本号

3. 初始化 SparkSession

入口点对象，创建示例：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("FirstApp") \  # 应用名称
    .master("local[*]") \   # 使用本地所有核心
    .getOrCreate()

4. 核心数据结构

(1) RDD（弹性分布式数据集）

# 从集合创建
rdd = spark.sparkContext.parallelize([1, 2, 3, 4, 5])

# 从文件创建
rdd = spark.sparkContext.textFile("data.txt")

(2) DataFrame 结构化数据处理：

data = [("Alice", 34), ("Bob", 45)]
df = spark.createDataFrame(data, ["Name", "Age"])
df.show()

输出：

+-----+---+
| Name|Age|
+-----+---+
|Alice| 34|
|  Bob| 45|
+-----+---+

5. 基本操作示例

(1) 转换操作（Transformations）

# 筛选年龄>30的记录
filtered_df = df.filter(df.Age > 30)

# RDD 映射操作
squared_rdd = rdd.map(lambda x: x**2)

(2) 行动操作（Actions）

print(rdd.count())          # 计数：5
print(squared_rdd.collect())  # 收集结果：[1, 4, 9, 16, 25]

(3) SQL 查询

df.createOrReplaceTempView("people")
result = spark.sql("SELECT Name FROM people WHERE Age > 40")
result.show()

6. 关闭会话

spark.stop()  # 释放资源

7. 性能优化建议

• 分区策略：数据分区数应等于集群核心数的 $2 \times$ 到 $4 \times$
• 持久化：对重复使用的 RDD 执行 rdd.persist()
• 避免 Shuffle：减少跨节点数据传输

关键公式：Spark 执行时间优化
$$ T = \frac{\text{数据量}}{\text{分区数} \times \text{核心速度}} + \text{网络延迟} $$

8. 下一步学习

• 结构化流处理：spark.readStream
• MLlib 机器学习：pyspark.ml 模块
• 集群部署：YARN 或 Kubernetes 集成

通过 PySpark 可轻松处理 TB 级数据，Python 语法与分布式能力的结合使其成为大数据领域的首选工具之一。