Hive内部表与外部表
在大数据处理领域Hive作为数据仓库工具被广泛使用。使用Hive时我们常需要创建内部表Internal Table和外部表External Table。两者在数据管理、使用场景和安全性上存在显著差异。本文从建表语法、核心区别、实际用法三个维度进行科普帮助读者理解并选择合适的表类型。一、建表语法创建内部表 vs 外部表1.内部表Internal TableCREATE (MANAGED) TABLE internal_table ( column1 data_type, column2 data_type, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ,;特点不指定EXTERNAL关键字默认为内部表。数据存储在Hive默认仓库路径如/user/hive/warehouse。Hive 4.0.0之后支持通过LOCATION指定存储路径MANAGED LOCATION但默认由Hive管理即使指定路径删除表时该路径下的数据依然会被清空。2.外部表External TableCREATE EXTERNAL TABLE external_table ( column1 data_type, column2 data_type, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , LOCATION /path/to/data/on/hdfs;特点必须使用EXTERNAL关键字。数据存储在用户指定的HDFS路径如/data/external_logs。Hive仅管理元数据表结构、分区信息等不控制实际数据文件。二、速记内部表 vs 外部表的对比1.元数据和行数据管理内部表元数据和行数据均由Hive全权管理。外部表元数据由Hive管理行数据由用户管理。2.建表存储路径内部表默认存储在/user/hive/warehouse可通过hive-site.xml配置hive.metastore.warehouse.dir修改。外部表建表时需通过LOCATION指定HDFS路径路径由用户定义与Hive仓库解耦。3.删除操作的影响内部表执行DROP TABLE后元数据和HDFS上的数据文件均被删除数据无法恢复。外部表执行DROP TABLE仅删除元数据HDFS数据文件保持不变可通过重建表恢复访问。外部表因为指定路径hive会认为自己不独占这份数据数据只会删掉元数据不删行数据。4.修改表结构 vs 位置内部表支持修改表结构如新增列但不支持修改存储位置LOCATION。外部表支持修改表结构也支持修改存储位置需执行ALTER TABLE ... SET LOCATION ...。修改位置后需执行MSCK REPAIR TABLE table_name;恢复分区信息。三、数据仓库中的表建设实践Q数据仓库中应建内部表还是外部表答ODS原始数据层和 DWD明细数据层—— 几乎全部选用“外部表”① 数据源来自业务库同步DataX/Sqoop、日志采集Flume/Kafka这些数据是“公共资产”需长期保留且可能被Spark、Flink等多工具访问。② 核心业务数据通过外部表管理删除操作仅影响元数据数据可恢复。DWS汇总层和 ADS应用层—— 混合使用① 如果这张宽表是中间临时结果生命周期短如 T1 计算中间态建议用内部表用完即删Hive 自动清理磁盘省去手动维护 HDFS 碎文件的麻烦。② 如果这张宽表要对外开放如供报表系统、数据服务 API 读取则必须用外部表避免因重建任务误删数据影响线上业务。
