当前位置: 首页> 房产> 建筑 > 清远企业网站建设公司_建站培训_电子商务网络营销_百度集团公司简介

清远企业网站建设公司_建站培训_电子商务网络营销_百度集团公司简介

时间:2025/7/11 1:16:01来源:https://blog.csdn.net/weixin_36630761/article/details/144050511 浏览次数:0次
清远企业网站建设公司_建站培训_电子商务网络营销_百度集团公司简介

背景:

        有一个临时库,大家平时开发过程中比较常用,这个库的表的生命周期没有得到很好的管理,日积月累导致无用表增多,所以跟运维提了个方案,定期清理。提出了一个比较简单的方案。

解决方案:

show u the code

表规范如下

表名称:temp_xxxx(邮箱前缀)_xxxxx(自由发挥,不建议太长)_expyyyyMMdd(过期日期20241126)

清理规则如下

  1. 不符合上述规范的表直接清理或者rename
  2. 超过表的过期时间的清理或者rename

实现方案:

方案一:

这个版本的属于最常规的思路,如果清理的无用表较多的时候可能性能会稍微低些。

#!/bin/bash# Hive 配置
HIVE_DB="cusc_tmp_tmp_test_bd"
BEELINE_CMD="beeline"
BEELINE_URL="jdbc:hive2://<hive_server_host>:<hive_server_port>"
BEELINE_USER="<your_username>"
BEELINE_PASSWORD="<your_password>"# 获取当前日期
CURRENT_DATE=$(date +%Y%m%d)# 获取所有表名
TABLES=$($BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "SHOW TABLES IN ${HIVE_DB};")# 正则表达式匹配表名格式
VALID_PATTERN="^temp_[^_]+_[^_]+_exp([0-9]{8})$"# 遍历所有表
for TABLE in $TABLES; doif [[ $TABLE =~ $VALID_PATTERN ]]; then# 提取过期日期EXP_DATE=${BASH_REMATCH[1]}# 检查是否过期if [[ $CURRENT_DATE -gt $EXP_DATE ]]; thenecho "Deleting expired table: ${TABLE}"$BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "DROP TABLE IF EXISTS ${HIVE_DB}.${TABLE};"fielse# 删除不符合规范的表echo "Deleting invalid table: ${TABLE}"$BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "DROP TABLE IF EXISTS ${HIVE_DB}.${TABLE};"fi
doneecho " cleanup completed."

ps:上面的方案我是用的是beeline是因为集群直接使用hive -e 出来的表名很不规整。条件允许的可以直接用hive -e 

对性能有要求的同学可能发现了,每次都要起一次beeline 客户端。效率堪忧。所以给出一个优化的方案。

方案二:

#!/bin/bash# Hive 配置
HIVE_DB="cusc_tmp_tmp_test_bd"
BEELINE_CMD="beeline"
BEELINE_URL="jdbc:hive2://<hive_server_host>:<hive_server_port>"
BEELINE_USER="<your_username>"
BEELINE_PASSWORD="<your_password>"# 获取当前日期
CURRENT_DATE=$(date +%Y%m%d)# 准备SQL脚本
SQL_SCRIPT="/tmp/cleanup_tables.sql"# 初始化SQL脚本
echo "USE ${HIVE_DB};" > "${SQL_SCRIPT}"# 获取所有表名
TABLES=$($BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "SHOW TABLES IN ${HIVE_DB};")# 正则表达式匹配表名格式
VALID_PATTERN="^temp_[^_]+_[^_]+_exp([0-9]{8})$"# 遍历所有表
for TABLE in $TABLES; doif [[ $TABLE =~ $VALID_PATTERN ]]; then# 提取过期日期EXP_DATE=${BASH_REMATCH[1]}# 检查是否过期if [[ $CURRENT_DATE -gt $EXP_DATE ]]; thenecho "DROP TABLE IF EXISTS ${TABLE};" >> "${SQL_SCRIPT}"echo "Marked for deletion: ${TABLE}"fielse# 删除不符合规范的表echo "DROP TABLE IF EXISTS ${TABLE};" >> "${SQL_SCRIPT}"echo "Marked for deletion (invalid name): ${TABLE}"fi
done# 执行SQL脚本
$BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -f "${SQL_SCRIPT}"# 清理临时SQL文件
rm -f "${SQL_SCRIPT}"echo "cleanup completed."
  1. 方案二把需要清理的表放到了一个文件里,然后直接一次性执行一个清理语句。减少了交互,提升了效率

总结:

方案比较简单粗暴,如果想要友好一些的,可以做rename处理,比如把表名加上trash,或者把每日待删除的表先发一个邮件给到开发的小伙伴,确认无误之后再最物理删除。具体情况根据团队的实际情况来定即可。

关键字:清远企业网站建设公司_建站培训_电子商务网络营销_百度集团公司简介

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: