Spark 3.5.0 PySpark 开发环境配置Windows 11 WSL2 避坑 5 要点对于习惯使用Windows系统的开发者来说直接在Windows上配置PySpark开发环境往往会遇到各种兼容性问题。本文将介绍如何通过WSL2Windows Subsystem for Linux在Windows 11上搭建一个稳定高效的PySpark 3.5.0开发环境并重点解决5个最常见的配置陷阱。1. WSL2基础环境准备在开始Spark配置前需要确保WSL2环境已正确安装并配置。以下是完整步骤启用Windows功能以管理员身份打开PowerShell执行dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart重启计算机安装Ubuntu发行版从Microsoft Store安装Ubuntu 20.04或22.04 LTS启动Ubuntu完成初始设置配置WSL2为默认版本wsl --set-default-version 2提示建议将WSL2的内存限制调整为不超过物理内存的50%可在%USERPROFILE%\.wslconfig中添加[wsl2] memory8GB swap4GB2. Java环境配置避坑Spark运行依赖Java环境这里最容易遇到版本冲突问题安装OpenJDKsudo apt update sudo apt install openjdk-11-jdk -y验证安装java -version # 应显示类似openjdk version 11.0.xx关键配置点避免使用Java 8或Java 17Spark 3.5.0官方推荐Java 11如果系统存在多个Java版本使用update-alternatives设置默认版本sudo update-alternatives --config java3. Python环境隔离方案Python环境管理是PySpark配置的另一大痛点安装minicondawget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh创建专用环境conda create -n pyspark python3.9 conda activate pyspark安装依赖pip install pyspark3.5.0 pandas pyarrow常见问题解决如果遇到GLIBCXX错误执行sudo apt install libstdc6PyArrow版本需与Spark版本匹配3.5.0推荐pyarrow8.0.04. Spark安装与核心配置下载并解压Sparkwget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz tar -xzf spark-3.5.0-bin-hadoop3.tgz sudo mv spark-3.5.0-bin-hadoop3 /opt/spark环境变量配置 在~/.bashrc末尾添加export SPARK_HOME/opt/spark export PATH$PATH:$SPARK_HOME/bin export PYSPARK_PYTHON$(which python) export PYTHONPATH$SPARK_HOME/python:$PYTHONPATH关键配置文件修改复制并编辑spark-env.shcd /opt/spark/conf cp spark-env.sh.template spark-env.sh添加以下内容export JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd64 export SPARK_LOCAL_IP127.0.0.15. 验证与性能优化基础功能测试pyspark --version # 应显示3.5.0 # 运行简单测试 pyspark spark.range(10).count()性能调优参数 对于开发环境建议在spark-defaults.conf中添加spark.driver.memory 2g spark.executor.memory 2g spark.sql.shuffle.partitions 4Windows-WSL2文件系统优化避免在/mnt/c/下直接操作文件应在Linux文件系统中工作对于大数据集建议存储在WSL2内部路径如~/data6. 开发工具集成VS Code配置安装WSL和Python扩展在WSL中创建项目文件夹并初始化为工作区Jupyter Notebook支持pip install jupyter PYSPARK_DRIVER_PYTHONjupyter PYSPARK_DRIVER_PYTHON_OPTSnotebook pyspark远程调试技巧在WSL中启动Spark master/opt/spark/sbin/start-master.sh在Windows应用中通过localhost:4040访问Spark UI通过以上步骤你已经在Windows 11 WSL2上建立了一个完整的PySpark 3.5.0开发环境。这种配置既保留了Windows系统的易用性又获得了Linux环境下的开发兼容性是数据工程师在Windows平台上的理想选择。