0485如何在代码中指定PySpark

1文档编写目的

Fayson在前面的文章《-如何指定PySpark的Python运行环境》介绍了使用Spark2-submit提交时指定Python的运行环境。也有部分用户需要在PySpark代码中指定Python的运行环境,那本篇文章Fayson主要介绍如何在代码中指定PySpark的Python运行环境。

测试环境1.RedHat7.2

2.CM和CDH版本为5.15.0

3.Python2.7.5和Python3.6

2

准备Python环境

在这里Fayson准备两个环境Python2和Python3,如下为环境准备步骤:

1.在Anaconda


转载请注明:http://www.aierlanlan.com/cyrz/5085.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了