分布式文件系统 HDFS

HDFS简介

• 机架内部通过高速光纤交换机联结
• 主节点：数据目录
• 从节点：数据存储
• 实现目标：1）廉价设备 2）实现流数据读写、批量数据 3）支持大数据集 4）简单的文件模型、只允许追加数据，不允许修改 5）跨平台，java语言开发
• 局限性：1）不适合低延迟数据访问 （HBase可以）2）无法高效储存大量小文件 3）不允许多用户修改

HDFS相关概念

• 块设计：128MB
• 块设计的好处：①支持大规模文件存储，突破单机存储上限 ②简化系统设计 ③适合数据备份：重要特性，对数据的冗余备份
• 名称节点：数据目录--->文件是什么、文件被分为多少块、每个块和文件是怎么映射的、每块存储在哪个服务器上

# 通过nn和dn在运行中不断沟通   
# shell命令启动    
# 第二名称节点：名称节点的冷备份、缓解editlog的不断增大