HDFS入門：架構、組件和最佳實踐

約 1449 字大約 18 分鐘

Hadoop HDFS 大數據分佈式系統

2025-08-08

概述

Hadoop分佈式文件系統（HDFS）係Hadoop應用程序使用嘅主要存儲系統。HDFS設計運行喺商用硬件上，為應用程序數據提供高吞吐量訪問，適合大數據集嘅應用程序。

注意

HDFS設計為一次寫入、多次讀取嘅訪問模式，可能唔適合低延遲訪問要求。

架構概述

主從架構

HDFS遵循主從架構，包含以下組件：

NameNode：管理文件系統命名空間並控制文件訪問
DataNode：存儲實際數據塊並為客戶端提供讀寫請求服務
Client：訪問HDFS數據嘅應用程序

NameNode：維護文件系統樹和元數據
DataNodes：喺集群中存儲數據塊
Client：與NameNode和DataNode進行通信

核心組件

NameNode

NameNode係HDFS嘅核心組件：

元數據管理：存儲文件系統命名空間（目錄樹、文件名、權限等）
塊管理：跟蹤數據塊及其位置
訪問控制：管理客戶端對文件嘅訪問

提示

喺標準HDFS集群中，NameNode係單點故障。考慮為生產環境使用高可用性（HA）配置。

DataNode

DataNode係HDFS嘅工作節點：

數據存儲：存儲實際數據塊（通常每個128MB或256MB）
心跳機制：定期向NameNode報告
塊驗證：使用校驗和驗證數據完整性

Client

客戶端組件：

文件操作：發起讀寫請求
NameNode通信：查詢元數據和塊位置
DataNode通信：直接與DataNode進行數據傳輸

數據存儲模型

數據塊

HDFS將數據存儲喺大塊中：

# 檢查當前塊大小
hdfs dfsadmin -confKey dfs.blocksize

# 典型塊大小：
# - Hadoop 1.x: 64MB
# - Hadoop 2.x: 128MB（默認）
# - Hadoop 3.x: 128MB（默認），最大2GB

複製

HDFS喺多個DataNode之間複製數據塊：

# 檢查複製因子
hdfs dfsadmin -confKey dfs.replication

# 典型複製因子：3

客戶端將數據寫入第一個DataNode
第一個DataNode將數據轉發到後續DataNode
數據以管道方式寫入
所有副本必須成功寫入

HDFS命令

基本文件操作

# 創建目錄
hdfs dfs -mkdir /user/hadoop

# 上傳本地文件到HDFS
hdfs dfs -put localfile.txt /user/hadoop/

# 從HDFS下載文件
hdfs dfs -get /user/hadoop/remote.txt local.txt

# 列出文件
hdfs dfs -ls /user/hadoop/

# 刪除文件
hdfs dfs -rm /user/hadoop/oldfile.txt

高級操作

# 設置複製因子
hdfs dfs -setrep -R 3 /user/hadoop/

# 檢查磁盤使用情況
hdfs dfs -du -h /user/hadoop/

# 檢查文件系統狀態
hdfs dfsadmin -report

# 進入安全模式（維護模式）
hdfs dfsadmin -safemode enter
hdfs dfsadmin -safemode leave

配置文件

核心配置

編輯 core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/tmp</value>
    </property>
</configuration>

HDFS配置

編輯 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/var/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/var/hadoop/hdfs/datanode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

性能優化

塊大小配置

# 最佳塊大小考慮因素：
# - 大文件：使用更大嘅塊（256MB、512MB、1GB）
# - 小文件：使用更小嘅塊（64MB、128MB）
# - 考慮MapReduce分割大小對齊

# 為特定操作設置塊大小
hdfs dfs -D dfs.blocksize=268435456 -put largefile.dat /user/hadoop/

內存配置

<!-- 喺mapred-site.xml中 -->
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1536</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>3072</value>
</property>

安全考慮

身份驗證

# 啟用Kerberos身份驗證
hdfs dfs -D hadoop.security.authentication=kerberos -ls /

權限

# 設置文件權限
hdfs dfs -chmod 750 /user/hadoop/protected

# 設置所有權
hdfs dfs -chown hadoop:hadoop /user/hadoop/data

# 查看權限
hdfs dfs -ls -la /user/hadoop/

監控和維護

健康檢查

# 檢查集群健康狀態
hdfs dfsadmin -report

# 檢查DataNode狀態
hdfs dfsadmin -report -live

# 檢查複製不足嘅塊
hdfs fsck /user/hadoop -locations -files -blocks

維護操作

# 回滾NameNode編輯
hdfs dfsadmin -rollEdits

# 刷新DataNode
hdfs dfsadmin -refreshNodes

# 停用DataNode
echo "datanode3.example.com" > decommissioning-nodes.txt
hdfs dfsadmin -refreshNodes

常見問題和解決方案

問題1：NameNode無法啟動

# 檢查NameNode日誌
tail -f /var/hadoop/hdfs/namenode.log

# 檢查現有進程
jps | grep NameNode

# 安全模式故障排除
hdfs dfsadmin -safemode get

問題2：DataNode連接問題

# 檢查DataNode狀態
hdfs dfsadmin -report -dead

# 驗證DataNode日誌
tail -f /var/hadoop/hdfs/datanode.log

# 重置DataNode
rm -rf /var/hadoop/hdfs/datanode/*
hdfs datanode -format

問題3：磁盤空間問題

# 檢查磁盤使用情況
hdfs dfsadmin -report

# 識別大文件
hdfs dfs -du / | sort -nr | head -10

# 清理臨時文件
hdfs dfs -expunge

最佳實踐

數據管理

使用適當嘅文件大小：喺HDFS中存儲大文件（100MB+）
避免小文件：對小文件使用Hadoop SequenceFile、Avro或Parquet
壓縮數據：使用壓縮來節省存儲空間
分區數據：合理組織數據以提高性能

性能調優

# 啟用壓縮
hadoop jar hadoop-examples.jar teragen -Dmapreduce.map.output.compress=true \
    -Dmapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.GzipCodec \
    1000000 /user/hadoop/output

# 使用適當嘅文件格式
hadoop jar parquet-tools.jar schema input.parquet