- Hadoop系列——如何使用Hadoop捆绑的低级工具进行数据提取?
-
在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hado...
- 0764-HDP Spark 2.3.2访问外部Hive 2的配置及验证
-
作者：谢敏灵，Cloudera资深解决方案架构师?背景数据质量平台基于定义好的数据稽核和数据质量规则，生成SparkSQL并提交运行到HDP3.1.5集群的Spark2.3.2上。Spark通...
- zookeeper+hadoop+hbase+kafka+storm集群搭建
-
准备工作硬件环境3台物理主机192.168.0.191–dc01192.168.0.192–dc02192.168.0.193–dc03系统全部为centos6.8.软...
- Hadoop数据传输:如何将数据移入和移出Hadoop?
-
企业在项目中完全使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Ha...
- 1.大数据系列之Hadoop安装
-
Hadoop学习路上的那些事儿，很有必要分享出来（图片来自网络）什么是Hadoop从广义上讲呢，是一个大数据生态，从狭义上讲呢，主要包含了分布式文件系统（HDFS）、资源管理（YARN）、批处理（Ma...
- 大数据基础学习3-安装Hadoop
-
本地模式：伪分布模式，本地开发。部署环境：OS：CentOS7Java、SSH配置阿里云yum源下载repo文件：https//mirrors.aliyun.com/repo/Centos-7.r...
- 各种服务常用 端口
-
一些服务常用端口，们检测到您名下如下区域的公网IP开启了高危端口，请检查其是否开放且对公网提供服务。近期，我们发现有用户因为公网开放了高危端口，导致被不法分子入侵，使得用户的业务和数据受损。请...
- idea本地配置连接远程hadoop集群的一些网络问题解决汇总
-
1、Hadoop本地开发，9000端口拒绝访问解决：将hosts中的主机名hadoop001指向0.0.0.0而不是127.0.0.1原理参考博客:https://blog.csdn.net/yjc...
- 大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置
-
前期准备安装好CentOSLinux8并升级完内核和软件包之后再进行Hadoop的安装。参考文章：1、知道Linux是怎么安装的吗？安装个CentOSLinux8开始大数据开发2、Linux...
- 「大数据面试宝典」 第一篇 Hadoop 面试题
-
有时间，就把自己在找工作的时候准备的一些面试的内容拎出来在整理整理，万一有用呢？Hadoop常见的端口?dfs.namenode.http-address:50070?dfs.datanode....
- 一周热门
- 控制面板
- 网站分类
- 最新留言
-