1、Hadoop本地开发,9000端口拒绝访问
解决:
将hosts中的主机名hadoop001指向0.0.0.0而不是127.0.0.1
原理参考博客: https://blog.csdn.net/yjc_1111/article/details/53817750
2、外网无法访问云主机HDFS文件系统&外网无法访问云主机datanode
报错:Failed to connect to /127.0.0.1:50010 for block BP-***, add to deadNodes and continue.
解决办法:
在hdfs-site.xml中增加dfs.datanode.use.datanode.hostname属性,表示datanode之间的通信也通过域名方式。
在本地hdfs-site.xml中添加
参考博文:https://my.oschina.net/gordonnemo/blog/3017724
3、京东云修改Hostname,Centos7修改Hostname
使用命令 hostnamectl set-hostname 主机名主机名来修改,修改完毕后重新 SHELL 登录即可。
参考:https://blog.csdn.net/SUDDEV/article/details/100069638
4、各版本winutils.exe和hadoop.dll下载
GitHub: https://github.com/4ttty/winutils
下载解压,并将解压的bin目录配置到本地的%HADOOP_HOME%变量
如果还报错再手动加载dll