Apache Flink 在处理数据流时，将数据写入 HDFS 通常是通过 Flink 的 FileSystem Connector 或其他特定于 HDFS 的连接器完成的。如果你发现 Flink 作业在尝试将数据写入 HDFS 时，数据一直处于 "in progress" 状态，这可能是由以下几个原因造成的：
1. 检查 Checkpoint 和 Watermarks：
Flink 使用 Checkpoint 机制来确保容错和状态一致性。如果 Checkpoint 的配置不正确或者 Watermarks 没有正确设置，可能会导致数据在 HDFS 中保持 "in progress" 状态。检查你的 Checkpoint 配置（包括间隔和超时）以及 Watermarks 的生成逻辑。
2. HDFS 写入格式和策略：
确保你使用的 HDFS 写入格式（如 Parquet、TextFile 等）和写入策略（如 BucketingSink、RollingFileSink 等）是正确配置的。错误的配置可能导致文件无法正确关闭或提交。
3. 资源限制：
HDFS 或 Flink 集群可能由于资源限制（如磁盘空间不足、网络带宽限制或 Flink TaskManager 资源不足）而无法及时处理写入请求。检查集群的资源使用情况，确保有足够的资源可供 Flink 作业使用。
4. Flink 版本和兼容性问题：
检查你使用的 Flink 版本是否与 HDFS 版本兼容。有时，新版本的 Flink 可能引入了对 HDFS 的新特性支持或修复了旧版本的 bug。确保你使用的版本是最新的稳定版本，并查阅相关的兼容性文档。
5. 查看日志和监控：
检查 Flink TaskManager 和 JobManager 的日志，以获取有关写入操作失败的详细信息。此外，使用 Flink 的 Web UI 或其他监控工具来观察作业的状态和性能指标，这有助于识别潜在的问题。
6. HDFS 权限问题：
确保 Flink 作业运行的用户具有在 HDFS 上创建和写入文件的权限。权限不足可能导致写入操作失败或文件无法正确提交。
7. 并发写入冲突：
如果你的 Flink 作业同时尝试写入同一个 HDFS 路径或文件，可能会导致冲突。确保每个写入操作都有唯一的输出路径或文件名，以避免冲突。
为了解决这个问题，你可以尝试以下步骤：
- 调整 Checkpoint 配置：增加 Checkpoint 的间隔或超时时间，以确保作业有足够的时间完成 Checkpoint。
- 检查 HDFS 写入配置：确保 HDFS 写入格式和策略正确无误。
- 检查资源使用情况：确保 Flink 和 HDFS 集群有足够的资源可供使用。
- 查看日志和监控：获取更多关于写入操作失败的详细信息。
- 更新 Flink 版本：如果可能的话，尝试升级到最新版本的 Flink。
- 检查权限和并发写入：确保权限设置正确，并避免并发写入冲突。
如果以上步骤都无法解决问题，你可能需要更深入地调查具体的错误消息和日志，或者寻求 Flink 社区的帮助。