Hadoop,大数据离不开它
搭建数仓,hadoop虽然有点落伍,但还是不可或缺的。本文描述下单机版的hadoop运作机制。 HDFS是Google GFS的开源实现,是一个分布式文件系统,是大数据技术的基石,直接上架构图: 主要包含Namenode和Datanodes,MapReduce主要就是在Datanodes进行并行计算。 core-site.xml: fs.defaultFS Ha; hdfs://localhost:8001 hadoop.tmp.dir /root/hadoop-3.2.2/tmp 其中8001端口就代表hdfs的根路径,另外hdfs-site.xml配置参数也非常多。 比如dfs.doreplication表示hdfs副本集,单机版就设置1;dfs.namenode.http-address是NameNode web管理地址,可以查看hdfs的一些情况;dfs.datanode.address是DataNode的端口;dfs.namenode.name.dir和dfs.namenode.data.dir表示Namenode和Datanodes的存储目录,默认继承于hadoop.tmp.dir值。 如果修改目录相关的参数op,需要格式化hdfs: $ bin/hdfs namenode -format 经验就是建议删除dfs.namenode.data.dir下的文件,再格式化。 一旦hdfs可用,操作它们就像操作本地文件一样: #创建登陆用户的根目录,有了根目录,则不需要指定hdfs://前缀 $ ./bin/hdfs dfs -mkdir -p&nbs,大p; "hdfs://localhost:8001/user/root" $ ./bin/hdfs dfs -mkdir -p test2 $ ./bin/hdfs dfs -put ~/test.log hdfs://localhost:8001/test&nbs数据p;$ ./bin/hdfs dfs -put ~/test.log test2 $ ./bin/hdfs dfs -ls test2 $ ./bin/hdfs dfs -cat test2/test.log 接下去说说MapReduce,主要包含map离不和reduce过程,另外不能忘记shuffle,map相对于从hdfs dataNodes处理数据,然后shuffle将相关联的数据交给reduce进行处理。 运行MapReduce过程很简单: $ bin/hdfs dfs -mkdir input $ bin/hdfs dfs -put etc/hadoop/*.xml input 开它;# 将mapreduce任务执行的结果放入 hdfs output 目录中 $ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' &nbsHap;bin/hdfs dfs -cat output/* 早期的MapReduce即包含计算框架,又包含调度框架,比较臃肿,比如想在当前集群运行另外一种计算任务,就不方便了,所以后来从MapReduce中将调度框架抽取出来,命名为Yarn,这样不管是MapReduce还是Spark只要符合Yarn接口定义,就能被Yarn调度,MR和Spark专做做分布式运算,相当于解耦了。 Yarn的架构图如do下: 主要包括ResourceManager和NodeManager,另外为了分布式运算NodeManager一般和HDFS的DataNodes运行在一起。 ResourceManager主要包含Scheduler和ApplicationsManager。 修改yarn-site.xml: yarn.nodemanager.aux-services op mapreduce_shuffle yarn.resourcemanager.webapp.address 0.0.0.0:7088 其中,mapreduce_shuffle表示调度MapReduce任务,7088 是Yarn的Web,大管理地址;当然Yarn还有很多的参数。 修改 mapred-site.xml: mapreduce.framework.name yarn mapreduce.framework.name的值yarn表示MapReduce使用Yarn调度。 然后执行yarn调度: $ bin/yarn&nb数据sp;jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' 只是将上面的hadoop修改为yarn,不过结果测试,不管怎么写,yarn都是生效的,通过yarn Web UI能看出来。 另外我是以root运行的,所以sbin下的一些sh文件要修改: H离不DFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=root HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 最后的启动命令: $ ./sbin/start-all.sh $ ./sbin/stop-all.sh 参考链接: https://konte开它xt.tech/column/hadoop/265/default-ports-used-by-hadoop-services-hdfs-mapreduce-yarn https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/SingleCluster.html
- 最近发表
-
- 微软第二财季营收517亿美元 云相关业务贡献超过三分之一
- 标签: 豆包专业版 小米NAS 理想5C增程 李想
- 标签: 易鑫集团 二手车金融 金融科技 SaaS
- Replit发布Agent 3智能开发助手,运行时长提升至200分钟
- Anthropic寻求100亿美元融资 估值飙升至1700亿美元
- 标签: Deepway深向 新能源重卡 港交所IPO 灼识咨询
- 亚马逊云科技的工业设备预测性维护服务Amazon Lookout for Equipment正式可用
- 标签: 东风日产 天籁鸿蒙座舱 王骞 广汽丰田
- 标签: 英伟达 Nemotron 3 MoE架构 强化学习
- 标签: 2026世界机器人大会 人形机器人 具身智能 张峰
- 随机阅读
-
- AI分析数据平台Databricks 号称估值已飙升至 1000 亿美元
- 腾讯ARC开源音频模型 AudioStory:用大语言模型生成长音频
- 标签: 奈飞 华纳兄弟 HBO Max 收购
- IDC:2020上半年中国工业云市场规模达16.0亿美元
- 华为腾讯暗战“云端”
- 谷歌出现全球大规模宕机 YouTube和Gmail等服务中断
- 国家电投智慧能源与腾讯云正式签署战略合作协议
- 馇子怎么炒
- 谷歌高管解读2021年Q1财报:YouTube影响力增量优于电视 电商业绩突出
- 云计算工作负载的高级保护
- 腾讯开源HunyuanImage 2.1!2K高清神图秒生成,复杂提示精准控多主体,AI设计效率爆表?
- AI安全新独角兽诞生:Irregular获巨额融资,模拟环境预测模型风险
- 标签: 奥比中光 3D视觉感知 具身智能 数字孪生
- Docker 技术支持下一代桌面即服务 (DaaS)
- 标签: 追觅科技 Kosmera 星宸未来 俞浩
- Facebook董事会否决限制扎克伯格权力的提案
- 全球首个具身智能开放平台上线!3D数字人第一次“开箱即用”:魔珐星云把大模型塞进百元芯片
- 微软的新玩具:LinkedIn推自由职业平台瞄准Upwork
- 苹果 FastVLM 上线:5分钟体验85倍速视觉 AI,数据永不出设备
- 可灵AI推出最新视频生成模型可灵2.5Turbo 并宣布较之前版本降价近30%
- 搜索
-
- 友情链接