1文档编写目的
Fayson在前面的文章《-如何指定PySpark的Python运行环境》介绍了使用Spark2-submit提交时指定Python的运行环境。也有部分用户需要在PySpark代码中指定Python的运行环境,那本篇文章Fayson主要介绍如何在代码中指定PySpark的Python运行环境。
测试环境1.RedHat7.2
2.CM和CDH版本为5.15.0
3.Python2.7.5和Python3.6
2
准备Python环境
在这里Fayson准备两个环境Python2和Python3,如下为环境准备步骤:
1.在Anaconda