hdfs 写入流程

Hadoop Distributed File System（HDFS）是Apache Hadoop 生态系统的一部分，用于存储大规模数据集并提供高可靠性、高吞吐量的数据访问。

以下是在HDFS 中写入数据的一般流程：
客户端创建文件：用户或应用程序的客户端首先通过Hadoop API 或命令行工具（如hadoop fs）向HDFS 发送创建文件的请求。

这将触发NameNode 的响应。

NameNode 接收请求：HDFS 的NameNode 是文件系统的主要元数据管理者。

它负责跟踪文件和块的信息。

当客户端发送创建文件请求时，NameNode负责验证权限，检查文件是否已存在，并在文件系统中为新文件分配唯一标识。

客户端获取数据节点信息：NameNode 返回文件的块信息（包括数据块的位置信息）给客户端。

客户端连接到DataNode：客户端通过网络连接到存储数据块的DataNode，开始向DataNode 写入数据。

数据块的副本写入：数据被写入第一个DataNode，然后由该DataNode 决定是否复制数据到其他的DataNode，以确保数据的冗余和容错性。

这个过程称为数据块的复制。

数据块的持久化：数据被持久化到文件系统中，确保即使在DataNode 故障的情况下，数据也是可恢复的。

一旦数据成功写入，客户端得到确认。

NameNode 更新元数据：NameNode 更新文件系统的元数据，包括文件的大小、时间戳等信息。

写入完成：客户端收到确认后，文件写入过程完成。

这是一个简化的HDFS 写入数据的流程。

HDFS 通过将文件划分为固定大小的数据块，并在集群中的多个节点上复制这些块来提高容错性。

这种设计使得HDFS 能够有效地存储大型数据集，并在面对硬件故障时提供高可靠性。