分布式文件系统HDFS及其简单使用
在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS HDFS(Hadoop Distributed Fi分布le System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且式文提供统一的访问接口。 HDFS是根据谷歌的论文:《The Google File System》进行设计的 HDFS的四个基本组件:HDFS Client、NameNode、DataNode件系和Secondary NameNode。 Client Client是客户端。HDFS Client文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,统H然后进行存储。Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。 NameNode NameNode就是 master,它是一个主管、管理者。管理 HDFS 元数据(文DF件路径,文件的大小,文件的名字,文件权限,文件的block切片信息)。 NameNode管理 Block 副本策略:默认 3 个副本,处理客户端读写请求。 DataNode DataNodS及e就是Slave。NameNode下达命令,DataNode 执行实际的操作。 DataNode存储实际的数据块,执行数据块的读/写操作。定时向namenode汇报block信息。 Sec其简ondary NameNode SecondaryNameNode不是NameNode的备份。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。 辅助 Name单使Node,分担其工作量。在紧急情况下,可辅助恢复 NameNode。 副本机制 HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,这个数据分布块被称为block,除了最后一个,所有的数据块都是同样大小的。 为了容错,文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。 在hadoop2 当中, 文件的 bl式文ock 块大小默认是 「128M」(134217728字节)。 如上图所示,一个大小为300M的a.txt上传到HDFS中,需要进行128M的切分,不足128M分为到另一block中。 H件系DFS基本命令 HDFS 简单使用 根据部署的服务,我们的 HDFS 根目录是 hdfs://192.168.147.128:9820,下面我们尝试在根目录下面创建子目录 user,如下命统H令所示: [hadoop@node01 ~]$ hadoop fs -mkdir /user 然后在Hadoop页面打DF开HDFS。 此时的user文件夹将会看见。 下面将一个大小为300M的文件上传到HDFS的user文件夹中 然后在Hadoop页面看见刚刚上传的文件。 此时被分开了三个block。 &nS及bsp;
- 最近发表
- 随机阅读
-
- 亚马逊游戏开发迷局:为何八年未能制作出一款像样游戏|海外周选
- 百度AI搜索APP“梯子AI”发布:由Tizzy.ai改名而来 主打无广告
- 苹果iPhone 13有望迎来改进后的显示屏内指纹传感器
- 英特尔CEO斯旺将于2月15日离职 继任者或为VMWare首席执行官
- 只低一毫米,时间也会变慢!科学家首次在毫米尺度验证广义相对论
- 标签: Meta AI智能体 AndrewBosworth ATA
- 放不下想又怕原唱歌曲
- 云安全日报210712:思科企业级呼叫和协作平台发现信息泄露漏洞,需要尽快升级
- 打破语言演变偏见:老年人同样迅速接受新词义
- 关于机器人流程自动化不可不知的十个秘密
- 微软与 OpenAI 战略转变,探索新合作伙伴关系
- 标签: 无界动力 K15机器人 远景科技 MWA™
- 标签: 字节跳动 豆包 赛豆 智能座舱
- 标签: 硅基流动 AGI 大模型 MaaS
- 即梦AI正式上线火山引擎 面向企业开放 API 服务
- 阿里:不再推进云智能集团完全分拆
- 云计算开发:Python3数学函数exp()方法详解
- 京东云联合京东物流等打造“京东冷链溯源平台” 服务400万件生鲜商品
- 微软推出 Windows 365,可在任何设备上运行 Windows 的云服务
- 云计算核心技术Docker教程:Docker Swarm 模式对管理节点进行故障排除
- 搜索
-
- 友情链接