?
然后我们再来看,如果,你的集群搭建好了,那么如果你有10T的数据,那么
这个数据多久能上传到集群呢?
?
如果随着发展,后来变成了1000T的数据了,那么又需要多久能上传到集群呢
?
假如10T的数据上传到了集群,那么又需要多久,10T的数据才能被处理呢?
所以我们搭建完了集群以后就需要,进行集群的压力测试.
得到数据,做到心中有数.
?
为了进行压测首先我们去,设置一下环境
首先给虚拟机设置,网络速度...
我们走到hadoop102,找到右键设置
?
每台机器都需要设置,我们先设置hadoop102,右键设置
?
然后找到网络适配器,然后点击高级
?
然后在带宽这里,选择电缆 100Mbps
?
下面的传出,也设置为100Mbps
?
可以看到传入传出都设置为100Mbps,然后我们走到
hadoop103,hadoop104也都这样设置一下
?
hadoop104也需要设置,集群中的每台机器都设置成一样的传入传出网速
?
设置完了,我们去看看,这里的100Mbps,要知道是
这里的Mbps 单位是个bit
我们平时说的100M/s 单位是byte
所以上面我们设置了100Mbps,实际上是,100Mbps / 8 = 12.5M/s
理论的速度是12.5M/s 但实际跑起来,受到硬盘读写,网络等的原因
肯定到不了这么多.
?
我们可以去测试一下,我们用
python -m SimpleHTTPServer 可以看到
我们在服务器上开启一个http服务.然后我们去下载个文件去试试
?
首先走到hadoop102,机器,我们去
python -m SimpleHTTPServer 去开启个端口 8000
?
然后我们去访问hadoop102,刚开启的8000端口,可以看到就可以看到
文件内容了,然后这里我们去下载
hadoop-3.1.3.tar.gz这文件
?
可以看到下载速度是9.1MB/s对吧...
跟我们预想的差不多,下一节我们开始进行压测.?
