当前位置: 代码迷 >> 综合 >> HDFS 用户指南
  详细解决方案

HDFS 用户指南

热度:27   发布时间:2023-11-18 05:07:14.0

HDFS主要是提供给hadoop应用使用的分布式文件存储系统。HDFS集群由一个管理数据信息的NameNode和一个存储真实数据的DataNode组成;

以下这些突出的特性是用户比较关心的:

1.hadoop和HDFS是非常适合用于在商用机器上进行分布式存储和计算。它具有容错性和扩展性,而且非常容易扩展。mapreduce框架在大型数据应用集上的简单性和实用性而著称,现在已加入到hadoop计划中。

2.hadoop的可配置性极高,同时,它的默认配置文件又可以同时适合大多数的应用。大部分时候,配置文件只需要在对大规模的集群时调整。

3.hadoop是java编写的,所以可以适用于大多数平台。

4.datanode和namenode都有一个web服务可以让用户轻易的查看到当前集群的状态。

5.新的特性和功能正在由规律的在hadoop里面实现。这些是hadoop特性里面的一些子集:

1.文件的权限与认证;2机架感知:在调动任务和分配内部存储时能知道自己的物理位置;3安全模式:一个供维护的管理员模式;4fsck:检测HDFS文件系统是否正常,找到失去的文件或者block;5.fetchat:找到代理token并且把它存储在本地系统的文件中。6blancer一个当DataNode中的文件分布不均匀时自动调节平衡的工具。7、’升级和回归:当升级之后,如果发生没有预想到的错误时可以让它们回归到升级之前的状态;8、secondary namenode:周期性的执行namespace里的checkpoint和限制存储在NameNode中包含了hdfs系统变动的日志大小;9、Checkpoint node:周期性的执行namespace里的checkpoint和最小化存储在NameNode中包含了hdfs系统变动的日志,替换以前的节点;10:Backup node:一个checknode的扩展,除了执行检查点之外还接受来自namenode的更改操作流,以致可以在内存中维护一份和namenode始终保持一致的namespace的拷贝,同一时刻,只可以在namenode注册一个backupnode节点;

??
??
  相关解决方案