aws-athena-query-federation实战教程从零编写并部署你的第一个自定义数据源连接器【免费下载链接】aws-athena-query-federationThe Amazon Athena Query Federation SDK allows you to customize Amazon Athena with your own data sources and code.项目地址: https://gitcode.com/gh_mirrors/aw/aws-athena-query-federationaws-athena-query-federation 是 Amazon Athena 官方的 Query Federation SDK查询联合 SDK让你用 Java 编写自定义数据源连接器把任意数据库、API 或文件格式接入 Amazon Athena用一条标准 SQL 跨多个数据源查询。本教程带你从零编写并部署第一个自定义数据源连接器全程只需修改 3 个示例文件、执行 3 条命令即可在 Athena 控制台查出你自己数据源里的数据。一、什么是 Athena 自定义连接器为什么需要它简单说连接器Connector就是 Athena 查询引擎的扩展插件Athena 负责解析 SQL 并制定查询计划而连哪个数据源、读哪些数据这部分工作委托给你部署在 AWS Lambda 上的连接器代码。从上图可以看到Athena 通过 Lambda 自定义连接器可以直接访问 Redis、DocumentDB、DynamoDB、HBase、MySQL、Oracle、Redshift、Aurora 等 20 多种数据源。每个连接器通常只需要实现两类能力角色基类职责元数据处理器MetadataHandler告诉 Athena 有哪些库、表、列支撑show databases、describe数据读取处理器RecordHandler按 Athena 的要求真正读取行数据两者既可以部署成两个 Lambda 函数也可以合并为一个。入门推荐合并部署示例项目中的 ExampleCompositeHandler.java 就是一次性注册两类处理器的写法冷启动更少、性能更好。二、准备工作环境安装与项目获取10分钟完成前提已开通 AWS 账号具备部署 Athena 联邦查询所需的 IAM 权限并将工作组的引擎版本升级到 Athena 2。第 1 步获取项目代码git clone https://gitcode.com/gh_mirrors/aw/aws-athena-query-federation第 2 步安装开发依赖Apache Maven、AWS CLI、AWS SAM BuildLinux 用户直接运行项目自带脚本./tools/prepare_dev_env.sh脚本说明见 tools/prepare_dev_env.sh。第 3 步构建 SDK 与示例连接器cd athena-federation-sdk mvn clean install -DskipTeststrue部署上线后整个查询是这样运行的Athena 把查询中 TableScan 部分下发给你账户里的 Lambda 连接器连接器访问你的数据源结果集过大时会自动溢出spill到 S3 并加密存储。三、解读示例连接器只需修改 3 个文件官方在 athena-example 模块内置了一份带 TODO 注释的脚手架代码是学习编写连接器的最佳起点。示例数据源是放在 S3 中的一份 CSV 交易流水sample_data.csv共 1000 行刻意用硬编码 Schema 帮你把连接器怎么写和怎么对接数据源两个学习点隔离开。3.1 元数据处理器定义库、表、列打开 ExampleMetadataHandler.java需要实现的 5 个核心方法doListSchemaNames返回库名列表示例为schema1doListTables返回指定库下的表名列表doGetTable用SchemaBuilder返回表结构列名、类型、注释getPartitions返回分区信息实现分区裁剪避免全表扫描doGetSplits把读取任务切分成多个 Split控制并行度每个方法都配有详尽注释和待取消注释的示例代码按 TODO 提示补全即可。 进阶技巧如果不想自己维护 Schema可以改继承GlueMetadataHandler直接复用 AWS Glue 数据目录中注册的表结构5 个方法只需再实现 2 个。3.2 数据读取处理器真正读数据打开 ExampleRecordHandler.java只需实现一个方法readWithConstraint根据 Split 中携带的属性定位数据示例中是 S3 上某个日期的 CSV 文件逐行解析用GeneratedRowWriter把字段写入响应块通过spiller.writeRows(...)交给 SDK——分块、加密、S3 溢出全部自动完成。⚠️ 注意官方提示单次调用writeRow不要超过 10 行以免影响块大小控制、造成性能下降甚至失败。3.3 附带福利自定义标量 UDF示例还展示了如何注册 UDF用户自定义函数在 ExampleUserDefinedFuncHandler.java 中写普通 Java 方法如decrypt解密字段、extract_tx_id提取结构体字段就能在 Athena SQL 里像内置函数一样调用业务逻辑无需搬进 SQL。四、一键部署用 AWS SAM 发布你的连接器代码改完后上传示例数据并部署# 1. 创建 S3 桶并上传示例数据替换 BUCKET_NAME aws s3 mb s3://BUCKET_NAME aws s3 cp ./sample_data.csv s3://BUCKET_NAME/2017/11/1/sample_data.csv # 2. 部署 CloudFormation 栈自动创建 IAM 角色 Lambda 函数 sam deploy --template-file athena-example.yaml -g部署模板 athena-example.yaml 会引导你填写几个关键参数参数说明AthenaCatalogName目录名必须小写同时作为 Lambda 函数名SpillBucket大结果集溢出的 S3 桶DataBucket示例数据所在的 S3 桶SpillPrefix溢出数据前缀默认athena-spill部署完成后你的自定义数据源就像插进了 Athena可以和任意其他数据源写在同一条 SQL 里联合查询。下图是一个典型的跨库联邦查询场景客服排查卡住的订单一条 SQL 同时关联了 Redis 活跃订单、CloudWatch 日志、DynamoDB 物流、HBase 支付和 DocumentDB 客户信息如果你选择用 Glue 数据目录管理表结构连接器对应的表会直接出现在 Glue 控制台中列名、类型、分区键、注释一目了然方便与 BI 工具打通五、验证与查询在 Athena 中查你自己的数据5.1 先跑一遍官方验证工具调试连接器最难的往往是排查Athena 与 Lambda 之间的交互问题。项目自带验证脚本 tools/validate_connector.sh能模拟 Athena 的完整调用链路并输出诊断信息../tools/validate_connector.sh --lambda-func 函数名 --schema schema1 --table table1 --constraints year2017,month11,day1看到Successfully Passed Validation!即说明连接器与 Athena 的交互完全正常。5.2 在 Athena 控制台执行查询-- 查看元数据 show databases in lambda:函数名; show tables in lambda:函数名.schema1; -- 查询数据附带 UDF 解密 USING EXTERNAL FUNCTION decrypt(payload VARCHAR) RETURNS VARCHAR LAMBDA 函数名 SELECT year, month, day, account_id, decrypt(encrypted_payload) AS decrypted_payload FROM lambda:函数名.schema1.table1 WHERE year 2017 AND month 11 AND day 1;查询出数据恭喜你的第一个 Athena 自定义数据源连接器已正式上线六、常见坑与最佳实践清单常见问题解决建议查询报找不到 catalog目录名/函数名必须全小写且与部署时的AthenaCatalogName一致大查询超时调高模板中LambdaTimeout/LambdaMemory后重新部署冷启动慢使用CompositeHandler单函数合并部署不知道生产环境怎么写参考仓库内 20 个现成连接器athena-mysql、athena-dynamodb、athena-redis、athena-cloudwatch 等 延伸阅读官方教程详解athena-example/README.mdSDK 接口与数据类型文档athena-federation-sdk/README.md环境准备脚本tools/prepare_dev_env.sh集成测试参考athena-federation-integ-test/【免费下载链接】aws-athena-query-federationThe Amazon Athena Query Federation SDK allows you to customize Amazon Athena with your own data sources and code.项目地址: https://gitcode.com/gh_mirrors/aw/aws-athena-query-federation创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考