【TDengine】如何将 Parquet 或 ORC 文件导入 TDengine? 📅 2026/8/17 22:28:09 如何将 Parquet 或 ORC 文件导入 TDengine?—— 工业 IoT 设备监控历史数据迁移实战指南问题原文:“如何将 Parquet 或 ORC 文件导入 TDengine?”解析范围:本文聚焦于TDengine 3.4.x 社区版下,Parquet/ORC 文件导入的三种生产级方案(Spark + JDBC、Python 脚本、Flink 批处理)、数据模型映射规则、性能调优参数及在 PB 级工业 IoT 设备监控平台中的历史数据迁移实践。内容适用于具备大数据生态经验但首次接触 TDengine 批量导入机制的中高级工程师。一、引子:工业 IoT 平台因错误导入导致标签膨胀2025 年某智能制造企业的设备监控平台在迁移历史数据时遭遇严重问题:10 亿条 Parquet 记录导入后,VNode 内存暴涨至 OOM。根因竟是错误地将设备 ID 作为普通字段而非标签:模型误用:将device_id放入普通列,导致每条记录独立建表无批量写入:逐条 INSERT,触发 10 亿次元数据操作/