您现在的位置是:热点 >>正文

Hadoop,大数据离不开它

热点138170人已围观

简介...

 

搭建数仓,hadoop虽然有点落伍,但还是不可或缺的。本文描述下单机版的hadoop运作机制。

HDFS是Google GFS的开源实现,是一个分布式文件系统,是大数据技术的基石,直接上架构图:

主要包含Namenode和Datanodes,MapReduce主要就是在Datanodes进行并行计算。

core-site.xml:

     fs.defaultFS Ha;    hdfs://localhost:8001       hadoop.tmp.dir     /root/hadoop-3.2.2/tmp  

其中8001端口就代表hdfs的根路径,另外hdfs-site.xml配置参数也非常多。

比如dfsdo.replication表示hdfs副本集,单机版就设置1;dfs.namenode.http-address是NameNode web管理地址,可以查看hdfs的一些情况;dfs.datanode.address是DataNode的端口;dfs.namenode.name.dir和dfs.namenode.data.dir表示Namenode和Datanodes的存储目录,默认继承于hadoop.tmp.dir值。

如果修改目录相关的参op数,需要格式化hdfs:

$ bin/hdfs namenode -format 

经验就是建议删除dfs.namenode.data.dir下的文件,再格式化。

一旦hdfs可用,操作它们就像操作本地文件一样:

#创建登陆用户的根目录,有了根目录,则不需要指定hdfs://前缀 $ ./bin/hdfs dfs -mkdir  -p&nb,大sp; "hdfs://localhost:8001/user/root" $ ./bin/hdfs dfs -mkdir  -p  test2  $ ./bin/hdfs dfs -put ~/test.log hdfs://localhost:8001/test 数据$ ./bin/hdfs dfs -put ~/test.log test2  $ ./bin/hdfs dfs -ls test2 $ ./bin/hdfs dfs -cat  test2/test.log 

接下去说说MapReduce,主要包含map和离不reduce过程,另外不能忘记shuffle,map相对于从hdfs dataNodes处理数据,然后shuffle将相关联的数据交给reduce进行处理。

运行MapReduce过程很简单:

$ bin/hdfs dfs -mkdir input $ bin/hdfs dfs -put etc/hadoop/*.xml input 开它;# 将mapreduce任务执行的结果放入 hdfs output 目录中 $ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'  Habin/hdfs dfs -cat output/* 

早期的MapReduce即包含计算框架,又包含调度框架,比较臃肿,比如想在当前集群运行另外一种计算任务,就不方便了,所以后来从MapReduce中将调度框架抽取出来,命名为Yarn,这样不管是MapReduce还是Spark只要符合Yarn接口定义,就能被Yarn调度,MR和Spark专做做分布式运算,相当于解耦了。

Yarn的架构图如下:

主do要包括ResourceManager和NodeManager,另外为了分布式运算NodeManager一般和HDFS的DataNodes运行在一起。

ResourceManager主要包含Scheduler和ApplicationsManager。

修改yarn-site.xml:

     yarn.nodemanager.aux-services   &opnbsp; mapreduce_shuffle        yarn.resourcemanager.webapp.address     0.0.0.0:7088  

其中,mapreduce_shuffle表示调度MapReduce任务,7088 是Yarn的Web管理地址;,大当然Yarn还有很多的参数。

修改 mapred-site.xml:

     mapreduce.framework.name     yarn  

mapreduce.framework.name的值yarn表示MapReduce使用Yarn调度。

然后执行yarn调度:

$ bin/yarn jar&nb数据sp;./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' 

只是将上面的hadoop修改为yarn,不过结果测试,不管怎么写,yarn都是生效的,通过yarn Web UI能看出来。

另外我是以root运行的,所以sbin下的一些sh文件要修改:

HDFS_DAT离不ANODE_USER=root HDFS_DATANODE_SECURE_USER=root HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 

最后的启动命令:

$ ./sbin/start-all.sh $ ./sbin/stop-all.sh 

参考链接:

https://kontext.tech开它/column/hadoop/265/default-ports-used-by-hadoop-services-hdfs-mapreduce-yarn

https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/SingleCluster.html

 

Tags:

相关文章

  • 月球种菜是什么梗

    热点

    月球不能种菜是什么梗?嫦娥五号带回来的土壤证明月壤没有任何有机物,月壤不能种菜,但科学家发现,长期的太阳风给月壤注入了大量氦-3,这是一种未来可能进行热核聚变发电的清洁能源。...月球种菜是哪部电影?...

    【热点】

    阅读更多
  • 标签: 大麦娱乐 快达票 演出票务 港澳台市场

    热点

    云梦级2月13日云梦级消息,2月13日,大麦娱乐与香港知名票务平台快达票达成战略投资合作,双方宣布将透过各自在大中华地区门票销售的丰富经验,打造跨平台的升级购票体验。大麦娱乐将入股快达票,以加强彼此商...

    【热点】

    阅读更多
  • 标签: 阿里巴巴 钉钉 陈航 无招

    热点

    云梦级6月11日云梦级消息,据智能纪元AGI报道,阿里巴巴合伙人委员会正在考虑让钉钉CEO陈航(花名:无招)离职,最快在今天公布。 但也有知情人士表示,除了上述方案,阿里巴巴合伙人委员会还考虑让无招降...

    【热点】

    阅读更多


友情链接