Whale与Amundsen集成打造更强大的数据发现平台【免费下载链接】whale The stupidly simple CLI workspace for your data warehouse.项目地址: https://gitcode.com/gh_mirrors/wha/whaleWhale是一个简单易用的CLI工作区工具专为数据仓库设计。通过与Amundsen集成Whale能够充分利用Amundsen的元数据管理能力为用户提供更强大的数据发现体验。这种集成不仅可以加速数据探索过程还能让用户轻松访问已有的元数据和文档资源。为什么选择Whale与Amundsen集成Amundsen作为一款优秀的数据发现平台已经帮助许多组织建立了完善的元数据管理体系。而Whale则专注于提供简洁高效的CLI工作流让数据从业者能够更快速地与数据仓库进行交互。将两者结合可以充分发挥各自的优势快速入门借助Amundsen已有的Neo4j实例用户可以迅速搭建起数据发现环境丰富的元数据直接获取Amundsen中存储的所有文档和元数据信息高效的CLI体验通过Whale的命令行工具快速检索和操作数据资产集成准备工作在开始集成之前请确保您已经安装了Whale工具拥有一个运行中的Amundsen Neo4j实例具备适当的访问权限如果您使用Kubernetes部署Amundsen可以通过以下命令进行端口转发以便Whale能够访问Neo4j实例k port-forward pod-name-- 7474:7474 7687:7687配置连接信息集成的核心步骤是在Whale中配置Amundsen Neo4j连接。这需要编辑您的connections.yaml文件添加Neo4j连接信息。主要配置项包括name连接名称用于在Whale中标识此连接hostNeo4j实例的主机地址和端口如localhost:7687usernameNeo4j访问用户名可选passwordNeo4j访问密码可选包含/排除规则通过正则表达式控制哪些数据资产被索引配置示例- type: neo4j name: amundsen_neo4j host: localhost:7687 username: neo4j password: your_password excluded_key_regex: presto://hive.looker_l.*上述配置将创建一个名为amundsen_neo4j的连接并排除所有Looker PDT生成的临时表。执行数据提取配置完成后只需运行以下命令即可从Amundsen Neo4j提取元数据mf etlWhale将连接到Neo4j数据库根据您的配置提取并索引元数据。提取完成后您就可以通过Whale的CLI工具快速搜索和访问这些数据资产了。高级配置选项Whale提供了多种高级配置选项帮助您精确控制元数据的提取和索引过程included_keys指定仅包含的关键字列表excluded_keys指定需要排除的关键字列表included_key_regex使用正则表达式定义包含规则excluded_key_regex使用正则表达式定义排除规则这些选项特别适用于大型数据仓库环境可以帮助您过滤掉不需要的临时表或测试数据确保搜索结果的相关性和准确性。总结通过Whale与Amundsen的集成您可以将强大的数据发现能力直接带入命令行环境显著提升数据探索和分析的效率。无论是快速查找表结构、了解数据血缘关系还是访问数据文档这种集成都能为您提供简洁而强大的工具支持。要了解更多关于集成配置的细节请参阅官方文档docs/connection-setup/amundsen-neo4j.md。如果您是开发人员想要深入了解集成实现可以查看相关源代码pipelines/whale/extractor/amundsen_neo4j_metadata_extractor.py。现在就尝试将Whale与Amundsen集成体验更高效的数据发现工作流吧 【免费下载链接】whale The stupidly simple CLI workspace for your data warehouse.项目地址: https://gitcode.com/gh_mirrors/wha/whale创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考