温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.文档编写目的
在CDH集群中提交Spark作业，大家也都知道Spark的Driver和Executor之间通讯端口是随机的，Spark会随选择1024和65535（含）之间的端口，因此在集群之间不建议启用防火墙。在前面Fayson介绍了《如何指定Spark2作业中Driver和Executor使用指定范围内端口》，本篇文章Fayson主要介绍如何指定Spark1作业中Driver和Executor使用指定范围内的端口进行通讯。
- 内容概述
1.配置Spark Driver和Executor端口范围
2.验证端口分配
- 测试环境
1.CM和CDH版本为5.15
2.Spark版本为1.6.0
2.配置Spark Driver和Executor端口范围
1.登录到CM管理界面，进入Spark服务的配置界面
2.在Gateway分类中配置也搜索“spark-defaults.conf”，添加如下配置：
spark.driver.port=10000 spark.blockManager.port=20000 spark.executor.port=30000 spark.port.maxRetries=999
（可左右滑动）
3.保存配置，并重新部署Spark2的客户端配置
3.验证端口分配
1.向集群提交一个Spark的作业
spark-submit --class org.apache.spark.examples.SparkPi\ --master yarn-client --num-executors 4 --driver-memory 2g\ --driver-cores 1 --executor-memory 2g --executor-cores 1\ /opt/cloudera/parcels/CDH/lib/spark/lib/spark-examples.jar 10
（可左右滑动）
这里的10000端口主要是用来监听Executor的请求，在Executor起来的时候需要与Driver通信并获取具体任务信息，是Driver使用的管理段调用端口。
2.查看Spark作业的运行界面查看Driver和Executor使用的端口号
此处Driver和Executor的端口是通过参数spark.blockManager.port控制，主要是控制Driver和Executor之间的数据传输端口。
3.查看每个Executor的启动日志
4.总结
1.spark.driver.port的10000端口是用来监听来自executor的请求，在executor起来的时候需要与driver通信并获取具体的任务信息，是driver使用的管理调度用端口。
2.spark.blockManager.port（20000）端口是driver和executor直接数据传输端口（比如cached data frame, broadcast vars）。
3. spark.executor.port(30000)端口主用于和spark.driver.prot进行交互。
4.在Spark运行中，blockManager将不会和YARN交互，而driver是会和YARN中运行的Application Master进程交互。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
请长按图片识别图中二维码报名，立刻开始你的大数据之旅吧
