Spark 中读写 ORC 文件的最佳实践与 spark.sql.orc.* 参数深度解析0. 问题引入：从一次线上事故说起用户原始问题：“在 Spark 中读写 ORC 文件的最佳实践是什么？如何配置 spark.sql.orc.* 参数？”2026年3月，某大型金融风控平台在进行日终交易流水归档时，遭遇了一次严重的性能回退。原本只需15分钟完成的PB级ORC文件写入任务，在升级Spark版本后耗时激增至90分钟以上。更致命的是，下游实时特征计算任务因无法及时读取新数据，导致风控模型延迟，险些造成重大资损。事后复盘发现，罪魁祸首正是对spark.sql.orc.*系列参数的误配：写入侧：未开启字典编码，导致高基数字符串列（如交易流水号）膨胀严重；读取侧：错误地使用了Hive SerDe Reader而非Native Reader，丧失了向量化执行能力；谓词下推：布隆过滤器未生效，全表扫描了万亿行数据。这次事故深刻揭示了一个事实：在Spark中使用ORC绝非简单的format("orc")一行代码，而是一套需要深入理解底层机制、精准配置参数、并辅以严密监控的系统工程。本文将面向具备8年大数据开发经验的工程师，从生产实战视角出发，深度剖析S