一条SQL同时查MySQL、PostgreSQL和OracleAthena JDBC连接器配置清单【免费下载链接】aws-athena-query-federationThe Amazon Athena Query Federation SDK allows you to customize Amazon Athena with your own data sources and code.项目地址: https://gitcode.com/gh_mirrors/aw/aws-athena-query-federationaws-athena-query-federationAmazon Athena Query Federation SDK让 Amazon Athena 通过 JDBC 连接器直连 MySQL、PostgreSQL、Oracle 等 20 多种数据源。本文给出一份精简的JDBC 系连接器配置清单只需在 AWS Glue 里为每个数据库各建一个连接就能用一条 SQL 完成跨数据源联表查询无需搬运数据。什么是 Athena 联邦查询JDBC 连接器如何工作Athena 本身是 Serverless SQL 引擎。装上 aws-athena-query-federation 的 JDBC 连接器后Athena 会解析你的 SQL识别出查询里引用了哪个 catalog数据源启动 Lambda 连接器从 AWS Secrets Manager 读取凭据通过 JDBC 协议直连你的数据库把结果以 Arrow 格式流式返回。整个过程不落地中间表MySQL、PostgreSQL、Oracle 各自保留在原地Athena 只做编排。核心配置清单3个JDBC连接器通用参数JDBC 系连接器MySQL / PostgreSQL / Oracle / SQL Server / Snowflake / Teradata 等的底层是同一个基类模块athena-jdbc。各数据库连接器只需指定连接串前缀其余参数完全通用在 AWS Glue Connection 的VPC 连接属性中填写参数必填说明host✅数据库实例地址如 RDS 端点port✅端口号MySQL 3306 / PostgreSQL 5432 / Oracle 1521database✅数据库名或服务名secret_name✅Secrets Manager 中存放账密的密钥名称jdbc_params⬜追加的 JDBC 参数如useSSLfalseserverTimezoneUTCenforce_ssl⬜仅 Oracle设为true时走tcps://加密通道基类逻辑在 JdbcEnvironmentProperties.java 中它把上述参数拼装成最终 JDBC 连接串并把${secret_name}占位符注入由运行时从 Secrets Manager 换取真实凭据。三大数据库连接串前缀速查各连接器的前缀定义如下了解它有助于排查连接串拼装错误MySQLathena-mysqlmysql://jdbc:mysql://host:port/database?params见 MySqlEnvironmentProperties.javaPostgreSQLathena-postgresqlpostgres://jdbc:postgresql://host:port/database?params见 PostGreSqlEnvironmentProperties.javaOracleathena-oracleoracle://jdbc:oracle:thin:${secret}//host:port/service开启enforce_ssl时为tcps:// 见 OracleEnvironmentProperties.java最快配置方法Secrets Manager 存凭据三个数据库各建一条 Secret值为 JSON 格式例如 MySQL{ username: root, password: your-password }PostgreSQL 同样使用username/passwordOracle 使用username/password。Lambda 角色需具备secretsmanager:GetSecretValue权限这是各连接器部署模板如 athena-mysql-connection.yaml中默认包含的权限。部署步骤Lambda Glue 连接以 MySQL 为例PostgreSQL、Oracle 步骤一致构建连接器镜像进入对应模块目录athena-mysql、athena-postgresql、athena-oracle执行 Maven 构建按各模块Dockerfile打包并推送到 ECR创建 Lambda 函数入口类分别为MySqlCompositeHandler、PostGreSqlCompositeHandler、OracleCompositeHandler建议内存 3008 MB、超时 900 秒配置 VPC数据库在 VPC 内时Lambda 必须加入同一 VPC 的子网和安全组这是最常见的连不上原因创建 Glue 连接每个数据库一个 Glue Connection属性按上面的清单填写再在 Athena 工作组中创建对应 catalog。每个数据源各走一遍即得到my_mysql、my_postgres、my_oracle三个 catalog。一条SQL联表查询效果演示catalog 就绪后跨库查询就是普通的三表 JOINSELECT o.order_id, c.name, p.product_name FROM my_oracle.sales.orders o JOIN my_mysql.crm.customers c ON o.customer_id c.id JOIN my_postgres.wms.products p ON o.product_id p.id WHERE o.year 2026;Athena 自动把子查询下推给各数据库执行只把必要结果汇总。官方演示效果如下图常见坑与快速排错现象排查方向查询超时/连接失败Lambda 是否在数据库同一 VPC安全组是否放行对应端口认证失败Secret 名称拼写、JSON 格式、username/password键名是否正确Oracle 连接报 ORA 错误确认database填的是 service name 而非 SID需要加密时加enforce_ssltrue类型转换报错参考基类类型映射逻辑位于athena-jdbc/src/main/java/com/amazonaws/athena/connectors/jdbc/manager/JdbcArrowTypeConverter.java大小写不匹配各库的大小写解析策略见 DefaultJDBCCaseResolver.java相关模块路径速览JDBC 基类所有 JDBC 连接器的公共逻辑athena-jdbc/src/main/java/com/amazonaws/athena/connectors/jdbc/MySQL 连接器athena-mysql/src/main/java/com/amazonaws/athena/connectors/mysql/PostgreSQL 连接器athena-postgresql/src/main/java/com/amazonaws/athena/connectors/postgresql/Oracle 连接器athena-oracle/src/main/java/com/amazonaws/athena/connectors/oracle/部署模板示例athena-mysql/athena-mysql-connection.yaml、athena-oracle/athena-oracle-connection.yaml、athena-postgresql/athena-postgresql-connection.yaml集成测试配置参考athena-mysql/etc/test-config.json核心 SDKLambda 连接框架athena-federation-sdk/src/main/java/com/amazonaws/athena/掌握这份清单后接入新的 JDBC 数据源只需 3 步建 Secret → 建 Glue 连接 → 建 Lambda然后就可以用一条 SQL 把散落在各处的数据拧成一股绳了 【免费下载链接】aws-athena-query-federationThe Amazon Athena Query Federation SDK allows you to customize Amazon Athena with your own data sources and code.项目地址: https://gitcode.com/gh_mirrors/aw/aws-athena-query-federation创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考