在大数据开发场景中，HDFS（Hadoop 分布式文件系统）是数据存储的核心组件，而通过 Java API 操作 HDFS 是开发者必备的技能。本文将基于一段实际的 HDFS 写入代码，拆解核心逻辑、讲解关键知识点，并分享实操过程中的注意事项，帮助大家快速掌握 Java 操作 HDFS 的基础方法。

一、代码场景与核心功能

先来看这段基础的 HDFS 写入代码，它的核心功能是：通过 Hadoop 的 Java API，向 HDFS 的指定路径（/dir3/@a@.txt）写入多行自定义文本内容，涵盖了 HDFS 连接配置、文件创建、数据写入、资源释放等完整流程。

package WvW.lzpu;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.List;

public class QAQ {
    public static void main(String[] args) throws IOException{
        // 1. 配置HDFS连接信息
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://sunnr916");
        
        // 2. 准备要写入的文本数据
        List<String> data = new ArrayList<>();
        data.add("今日 要闻\n");
        data.add("hello~\n");
        data.add("i love you！！！ OvO\n");
        data.add("震撼美味！！！\n");

        // 3. 获取HDFS文件系统实例 & 创建文件输出流
        FileSystem fs = FileSystem.get(conf);
        FSDataOutputStream out = fs.create(new Path("/dir3/@a@.txt"));

        // 4. 逐行写入数据
        for (String d : data){
            out.write(d.getBytes(StandardCharsets.UTF_8));
        }
        
        // 5. 刷新缓冲区 & 释放资源
        out.flush();
        out.close();
        fs.close();
    }
}

二、代码核心逻辑拆解

1. 配置 HDFS 连接（Configuration）

Configuration是 Hadoop 的核心配置类，用于加载 HDFS 的连接参数：

Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://sunnr916");

• fs.defaultFS：指定 HDFS 的默认文件系统地址，sunnr916是 HDFS 的 NameNode 节点主机名（也可替换为 IP + 端口，如hdfs://192.168.1.100:9000）；
• 实际开发中，也可通过加载core-site.xml配置文件自动读取参数，避免硬编码：

conf.addResource(new Path("hadoop配置文件路径/core-site.xml"));

2. 构建待写入数据

通过ArrayList存储多行文本，每行末尾的\n保证写入 HDFS 后内容分行显示，也可根据业务需求替换为数据库读取、日志解析等动态数据来源。

3. 获取 HDFS 文件系统实例

FileSystem.get(conf)会根据配置信息获取 HDFS 的文件系统客户端实例，这是操作 HDFS 的核心入口，需注意：

• 若运行环境未配置 Hadoop 环境变量，需在项目中引入hadoop-common、hadoop-hdfs等依赖；
• 生产环境中建议使用FileSystem.newInstance(conf)，避免单例复用导致的资源泄漏。

4. 创建文件并写入数据

FSDataOutputStream out = fs.create(new Path("/dir3/@a@.txt"));
for (String d : data){
    out.write(d.getBytes(StandardCharsets.UTF_8));
}

• fs.create(Path)：创建指定路径的文件，若父目录（/dir3）不存在会抛出异常，需提前通过fs.mkdirs(new Path("/dir3"))创建；
• write方法：将字符串转为 UTF-8 编码的字节数组写入文件，指定编码可避免中文乱码问题；
• 批量写入场景：建议使用缓冲区（BufferedOutputStream）提升写入效率。

5. 资源释放

out.flush(); // 刷新缓冲区，确保所有数据写入文件
out.close(); // 关闭输出流
fs.close(); // 关闭文件系统客户端

生产环境中建议使用try-with-resources语法，自动释放资源，避免手动关闭遗漏：

try (FileSystem fs = FileSystem.get(conf);
     FSDataOutputStream out = fs.create(new Path("/dir3/@a@.txt"))) {
    for (String d : data) {
        out.write(d.getBytes(StandardCharsets.UTF_8));
    }
    out.flush();
} catch (IOException e) {
    e.printStackTrace();
}

三、实操注意事项

1. 环境配置

• 确保本地开发环境的 Hadoop 版本与集群版本一致，避免 API 兼容问题；
• 若运行报错Could not locate executable null\bin\winutils.exe in the Hadoop binaries（Windows 环境），需下载对应版本的winutils.exe并配置HADOOP_HOME环境变量。

2. 权限问题

HDFS 文件有严格的权限控制，若写入时报Permission denied，需：

• 执行hdfs dfs -chmod 777 /dir3赋予目录写入权限；
• 或在代码中设置运行用户：System.setProperty("HADOOP_USER_NAME", "hdfs");（指定 HDFS 超级用户）。

3. 中文乱码

必须指定编码格式（如StandardCharsets.UTF_8），避免默认编码（如 GBK）导致 HDFS 文件中文乱码。

4. 异常处理

代码中仅抛出IOException，生产环境需捕获异常并添加日志（如 SLF4J），便于问题排查，例如：

catch (IOException e) {
    log.error("写入HDFS文件失败，路径：/dir3/@a@.txt", e);
    throw new RuntimeException("HDFS写入失败", e);
}

四、扩展场景

基于这段基础代码，可扩展出更多实用功能：

1. 文件追加写入：使用fs.append(Path)替换fs.create(Path)，实现向已有文件追加内容；
2. 大文件分块写入：结合 HDFS 的分块机制，将大文件拆分为多个块并行写入；
3. 数据读取验证：写入后通过FSDataInputStream读取文件内容，验证写入是否成功；
4. 结合 MapReduce：将 HDFS 写入逻辑集成到 MapReduce 的 Reducer 阶段，输出计算结果。

五、总结

本文通过一段简单的 Java 代码，完整讲解了 HDFS 文件写入的核心流程、关键 API 和实操细节。掌握这些基础操作后，可进一步探索 HDFS 的文件读取、删除、重命名、权限管理等功能，结合大数据计算框架（如 MapReduce、Spark）实现更复杂的业务场景。

HDFS 作为大数据生态的存储基石，Java API 是操作它的最基础方式，理解底层逻辑、规范资源管理、注意编码细节，才能写出稳定、高效的 HDFS 操作代码。