在 Windows 上安装 PySpark 保姆级教程-如何安装pyspark
在 Windows 上安装 PySpark 保姆级教程
作者:云朵君 2022-12-12 11:47:34系统 Windows PySpark 是一个用 Python 编写的 Spark 库,用于使用 Apache Spark 功能运行 Python 应用程序。所以没有 PySpark 库可供下载。一切只需要 Spark。按照以下步骤在 Windows 上安装 PySpark。安装 Python 或 Anaconda 发行版
https://www.python.org/downloads/windows/
从Python.org或Anaconda 发行版下载并安装 Python, 其中包括 Python、Spyder IDE 和 Jupyter notebook。我建议使用 Anaconda,因为它很受机器学习和数据科学社区的欢迎和使用。
https://www.anaconda.com/
推荐使用 Anaconda 安装 PySpark 并运行 Jupyter notebook。
安装 Java 8
要运行 PySpark 应用程序,需要 Java 8 或更高版本,因此从Oracle下载 Java 版本并将其安装在系统上。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
安装后设置 JAVA_HOME 和 PATH 变量。
JAVA_HOME = C:\Program Files\Java\jdk1.8.0_201PATH = %PATH%;C:\Program Files\Java\jdk1.8.0_201\bin在 Windows 上安装 PySpark
PySpark 是一个用 Python 编写的 Spark 库,用于使用 Apache Spark 功能运行 Python 应用程序。所以没有 PySpark 库可供下载。一切只需要 Spark。按照以下步骤在 Windows 上安装 PySpark。
1. 在Spark下载页面,选择Download Spark (第3点)链接进行下载。如果你想使用其他版本的 Spark 和 Hadoop,请从下拉列表中选择你想要的版本,第 3 点上的链接会更改为所选版本,并为你提供更新的下载链接。
https://spark.apache.org/downloads.html
2. 下载后,解压二进制文件并将底层文件夹复制spark-3.0.0-bin-hadoop2.7到c:\apps
3. 现在设置以下环境变量。
SPARK_HOME= C:\apps\spark-3.0.0-bin-hadoop2.7HADOOP_HOME = C:\apps\spark-3.0.0-bin-hadoop2.7PATH=%PATH%;C:\apps\spark-3.0.0-bin-hadoop2.7\bin如果你还不知道如何在 Windows 上添加或编辑环境变量,请按照以下步骤操作。
1.打开编辑系统环境变量窗口,在高级选项卡下选择环境变量。
编辑系统环境变量
2.在以下环境变量屏幕上,通过选择新建选项添加SPARK_HOME、HADOOP_HOME及JAVA_HOME
3. 这将打开用户变量窗口,可以在其中输入变量名称和值。
4.现在编辑PATH变量
5. 通过选择新建选项添加 Spark、Java 和 Hadoop bin 路径。
在 Windows 上安装 winutils.exe
从winutils 下载 winutils.exe 文件 ,并将其复制到%SPARK_HOME%\bin文件夹中。Winutils 对于每个 Hadoop 版本都不同,因此请从下载正确的版本。
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe
PySpark shell
现在打开命令提示符并键入 pyspark 命令以运行 PySpark shell。应该在下面看到类似的内容。
Spark-shell 还创建了一个 Spark 上下文 Web UI,默认情况下,它可以从http://localhost:4041/访问。
Web UI
Apache Spark 提供了一套 Web UI(Jobs, Stages, Tasks, Storage, Environment, Executors, and SQL)来监控 Spark 应用程序的状态。
Spark Web UI
历史服务器
历史服务器,记录你通过 spark-submit、pyspark shell 提交的所有 PySpark 应用程序。在开始之前,首先需要设置以下配置spark-defaults.conf
spark.eventLog.enabled truespark.history.fs.logDirectory file:///c:/logs/path现在,通过运行在 Linux 或 Mac 上启动历史服务器。
$SPARK_HOME/sbin/start-history-server.sh如果在 Windows 上运行 PySpark,可以通过启动以下命令来启动历史服务器。
$SPARK_HOME/bin/spark-class.cmd org.apache.spark.deploy.history.HistoryServer默认情况下,历史服务器监听 18080 端口,你可以使用http://localhost:18080/从浏览器访问它。
History Server
通过单击每个 App ID,将在 PySpark Web UI 中获取应用程序的详细信息。
责任编辑:武晓燕 来源:数据STUDIO WindowsPySpark服务器推荐系统
电脑公司Ghost Win8.1 x32 精选纯净版2022年7月(免激活) ISO镜像高速下载
语言:中文版系统大小:2.98GB系统类型:Win8电脑公司Ghost Win8.1x32位纯净版V2022年7月版本集成了自2022流行的各种硬件驱动,首次进入系统即全部硬件已安装完毕。电脑公司Ghost Win8.1x32位纯净版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件,精心挑选的系统维护工具,加上绿茶独有
微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载
语言:中文版系统大小:5.13GB系统类型:Win11微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Win11 64位 Office办公版(免费)优化 1、保留 Edge浏览器。 2、隐藏“操作中心”托盘图标。 3、保留常用组件(微软商店,计算器,图片查看器等)。 5、关闭天气资讯。
Win11 21H2 官方正式版下载_Win11 21H2最新系统免激活下载
语言:中文版系统大小:4.75GB系统类型:Win11Ghost Win11 21H2是微软在系统方面技术积累雄厚深耕多年,Ghost Win11 21H2系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Ghost Win11 21H2是微软最新发布的KB5019961补丁升级而来的最新版的21H2系统,以Windows 11 21H2 22000 1219 专业版为基础进行优化,保持原汁原味,系统流畅稳定,保留常用组件
windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载
语言:中文版系统大小:5.31GB系统类型:Win11windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载,微软win11发布快大半年了,其中做了很多次补丁和修复一些BUG,比之前的版本有一些功能上的调整,目前已经升级到最新版本的镜像系统,并且优化了自动激活,永久使用。windows11中文版镜像国内镜像下载地址微软windows11正式版镜像 介绍:1、对函数算法进行了一定程度的简化和优化
微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载
语言:中文版系统大小:5.31GB系统类型:Win11微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载,微软2022年正式推出了win11系统,很多人迫不及待的要体验,本站提供了最新版的微软Windows11正式版系统下载,微软windows11正式版镜像 是一款功能超级强大的装机系统,是微软方面全新推出的装机系统,这款系统可以通过pe直接的完成安装,对此系统感兴趣,想要使用的用户们就快来下载
微软windows11系统下载 微软原版 Ghost win11 X64 正式版ISO镜像文件
语言:中文版系统大小:0MB系统类型:Win11微软Ghost win11 正式版镜像文件是一款由微软方面推出的优秀全新装机系统,这款系统的新功能非常多,用户们能够在这里体验到最富有人性化的设计等,且全新的柔软界面,看起来非常的舒服~微软Ghost win11 正式版镜像文件介绍:1、与各种硬件设备兼容。 更好地完成用户安装并有效地使用。2、稳定使用蓝屏,系统不再兼容,更能享受无缝的系统服务。3、为
雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载
语言:中文版系统大小:4.75GB系统类型:雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的雨林木风品牌,其系统口碑得到许多人认可,积累了广大的用户群体,雨林木风是一款稳定流畅的系统,一直以来都以用户为中心,是由雨林木风团队推出的Windows11国内镜像版,基于国内用户的习惯,做了系统性能的优化,采用了新的系统
雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO
语言:中文版系统大小:5.91GB系统类型:Win7雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO在系统方面技术积累雄厚深耕多年,加固了系统安全策略,雨林木风win7旗舰版系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。win7 32位旗舰装机版 v2019 05能够帮助用户们进行系统的一键安装、快速装机等,系统中的内容全面,能够为广大用户
相关文章
- 修图工具 Pixelmator 发布 2.3 版本:更名 Photomator 引入 AI 抠图等 - IT之家
- Win10专业版电脑的配置如何查看?Win10专业版电脑的配置查看方法
- 如何优雅的将私有镜像仓库 Harbor 接入 Containerd 管理
- WinXP如何创建PPPoE连接
- 本文教您win10怎样打开计算机管理
- 在线安装碰到gpt无法安装win10解决办法
- win10最新漏洞补丁不更新怎样办?win10最新漏洞补丁不更新怎样处理?(图文)
- SmallPDFer转换器如何破除PDF密码?
- 装机高手教你怎样用U盘安装win7系统
- 装机高手教你怎样把歌曲到U盘
- win7系统设置默认桌面win7中桌面背景默认方式背景的还原方案
- AutoCAD2016快速入门:图层基础操作
- Win11系统崩溃无法开机怎么回事?
- 电脑公司win7旗舰版纯净版gho64位最新系统推荐
- WindowsXP电脑首页被篡改怎样办?
- cmd命令大全,小编教你cmd命令有哪些
- 小白系统ghost windows8 32位下载
- 软媒魔方6.0新版发布 安装就免费送NOD32杀毒序列号
热门系统
- 1华硕笔记本&台式机专用系统 GhostWin7 32位正式旗舰版2018年8月(32位)ISO镜像下载
- 2深度技术 Windows 10 x86 企业版 电脑城装机版2018年10月(32位) ISO镜像免费下载
- 3雨林木风 Ghost Win7 SP1 装机版 2020年4月(32位) 提供下载
- 4电脑公司 装机专用系统Windows10 x86喜迎国庆 企业版2020年10月(32位) ISO镜像快速下载
- 5深度技术 Windows 10 x86 企业版 六一节 电脑城装机版 版本1903 2022年6月(32位) ISO镜像免费下载
- 6深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 7新萝卜家园电脑城专用系统 Windows10 x64 企业版2019年10月(64位) ISO镜像免费下载
- 8新萝卜家园 GhostWin7 SP1 最新电脑城极速装机版2018年8月(32位)ISO镜像下载
- 9电脑公司Ghost Win8.1 x32 精选纯净版2022年5月(免激活) ISO镜像高速下载
- 10新萝卜家园Ghost Win8.1 X32 最新纯净版2018年05(自动激活) ISO镜像免费下载
热门文章
常用系统
- 1深度技术Win7 iso镜像文件下载_深度技术Win7 64位电脑城旗舰版免激活下载
- 2深度技术Ghost Win8.1 x32位 特别纯净版2022年6月(免激活) ISO镜像高速下载
- 3Win7精简版下载_Win7 64位精简版台式机专用系统2023.11
- 4雨林木风win10 内部装机版64位 v2023.03免费最新下载
- 5番茄花园 GHOST WIN7 SP1 X64 官方旗舰版 V2016.07 (64位) 下载
- 6Win10专业版镜像下载_Windows10专业版64位(自带驱动)下载2022
- 7番茄花园 Windows 10 新春特别 极速企业版 2021年2月(32位) ISO镜像快速下载
- 8win11光盘映像ISO文件纯净下载安装 v2023
- 9Win11精简版系统下载_Win11 64位低内存电脑专用精简版系统2023.03
- 10新萝卜家园电脑城专用系统 Windows10 x64 企业版2020年4月(64位) ISO镜像免费下载