JupyterHub Jupyter Enterprise Gateway 集成指南搭建多用户数据分析平台【免费下载链接】enterprise_gatewayA lightweight, multi-tenant, scalable and secure gateway that enables Jupyter Notebooks to share resources across distributed clusters such as Apache Spark, Kubernetes and others.项目地址: https://gitcode.com/gh_mirrors/en/enterprise_gateway当数据分析团队从几个人扩张到几十人单机 Jupyter 部署很快就会撞上资源与安全的天花板。本指南将带你系统了解如何通过JupyterHub与Jupyter Enterprise Gateway集成搭建一套可弹性扩展、多租户隔离、安全可控的多用户数据分析平台。无论你是平台运维、数据工程师还是技术负责人这篇 Jupyter Enterprise Gateway 教程都能帮你快速理解集成原理并落地部署。为什么单机 Jupyter 撑不起多用户数据分析平台传统的 Jupyter 架构中内核Kernel作为本地进程运行在 Notebook 服务器所在的节点上。这意味着扩展性受限所有用户的 Python / R / Scala 内核都挤在同一台机器的内存和 CPU 上用户一多便资源耗尽安全性薄弱内核共享同一个用户权限用户甚至可以通过系统命令查看、干扰其他用户的进程管理困难缺乏对内核生命周期的统一调度集群中的 GPU、大内存等稀缺资源无法被 Notebook 高效利用。下图直观展示了传统架构下的困境即使集群节点从 4 个增加到 16 个最大可同时运行的内核数增长也十分有限。这正是Jupyter Enterprise Gateway简称 JEG要解决的核心问题。Jupyter Enterprise Gateway 是什么把内核变成分布式服务Jupyter Enterprise Gateway 是一个无头headlessWeb 服务器本质上是 Jupyter 生态中的内核网关它不再让内核跑在本地而是借助 Hadoop YARN、Kubernetes、Docker Swarm 等资源管理器把内核调度到计算集群的任意节点上运行对外提供Kernel as a Service内核即服务模型。从架构上看JupyterHub 负责用户认证与 Notebook 托管Jupyter Enterprise Gateway 则接管所有内核的创建、调度与生命周期管理网关与内核之间通过 ZeroMQ 通信内核进程分布在集群的工作节点Worker Node上与 Notebook 服务器彻底解耦。其核心启动逻辑可以参考 enterprisegatewayapp.py而针对不同集群的适配则由各进程代理实现例如 Kubernetes 场景下的 k8s.py。JupyterHub 与 Jupyter Enterprise Gateway 集成后的完整链路集成后的多用户数据分析平台一次请求的完整链路如下用户登录用户通过 JupyterHub 认证获得自己的 Notebook / JupyterLab 环境内核请求转发Notebook 服务器把内核创建请求转发给 Jupyter Enterprise Gateway通过GatewayClient集群调度JEG 根据内核规格kernel spec调用底层资源管理器在集群节点上以容器 / 进程形式启动内核连接回传内核启动后JEG 将连接信息返回给对应的 Notebook 服务器用户即可正常编码与运行。在这一模型中Notebook 与计算彻底分离多用户之间天然隔离这正是多租户数据分析平台的关键。集成后的三大核心收益引入 Jupyter Enterprise Gateway 之后平台能力发生质变资源利用率大幅提升内核按需调度到集群空闲节点同一套硬件可支撑的内核数量成倍增长多租户安全隔离每个内核以独立身份运行配合 Kerberos 用户模拟谁的作业就用谁的身份执行规模化扩展从 4 节点到 16 节点可同时运行的内核数近乎线性增长。下图为集成 JEG 后的效果与前面的瓶颈图形成鲜明对比在 Kubernetes 上搭建多用户数据分析平台最快部署方法Kubernetes 是 JEG 最主流的部署目标。其官方部署文档见 deploy-kubernetes.md对应的 Helm Chart 位于 etc/kubernetes/helm/enterprise-gateway完整参数可查看其中的 values.yaml。一键安装步骤前提已装好kubectl与 Helm 3# 1. 创建独立命名空间 kubectl create namespace enterprise-gateway # 2. 使用 Helm 部署 Jupyter Enterprise Gateway helm upgrade --install enterprise-gateway \ etc/kubernetes/helm/enterprise-gateway \ --namespace enterprise-gateway部署完成后网关默认监听8888服务端口与8877内核连接信息回传端口。Kubernetes 环境下内核会以 Pod 形式运行在独立命名空间中每个内核还支持通过KERNEL_CPUS、KERNEL_MEMORY、KERNEL_GPUS等环境变量单独申请配额模板见 kernel-pod.yaml.j2。上图中可以看到Alice 和 Bob 通过 JupyterHub 访问JEG 依据内核规格在 Kubernetes 中拉起社区镜像内核或 Spark on Kubernetes 内核实现容器化、弹性化的计算资源分配。在 Hadoop YARN 集群中集成充分利用 Spark 资源如果你的数据湖建立在 Hadoop 生态上Jupyter Enterprise Gateway 同样提供了完善的 YARN 集成。JEG 通常部署在集群的边缘节点Edge Node内核以 YARN Container 形式调度并通过 Kerberos 用户模拟让每个用户的内核以该用户自己的身份在集群中运行。YARN 场景下可使用现成的内核规格如spark_python_yarn_client、spark_scala_yarn_cluster等均位于 etc/kernelspecs 目录可直接参考其中的 spark_python_yarn_cluster/kernel.json。JupyterHub 客户端连接配置JUPYTER_GATEWAY_URL 设置方法网关部署好后需要让 JupyterHub 下的每个 Notebook 服务器把内核请求指向 JEG核心配置项就是JUPYTER_GATEWAY_URL。详细说明见官方文档 connecting-to-eg.md。方式一命令行启动最直接jupyter lab --gateway-urlhttp://EG_HOST_IP:EG_PORT方式二配置文件适合 JupyterHub 统一管理在jupyter_server_config.py中加入c.GatewayClient.url http://EG_HOST_IP:EG_PORT c.GatewayClient.http_user username c.GatewayClient.http_pwd password方式三Docker 环境变量适合容器化部署的 singleuser 镜像docker run -e JUPYTER_GATEWAY_URLhttp://EG_HOST_IP:EG_PORT -p 8888:8888 my-notebook-image配置完成后用户照常打开 JupyterHub 写代码内核却已经跑在集群上了。网关的通用启动命令可参考 launching-eg.md。安全与多租户不可忽视的配置要点多用户平台最怕用户越权。Jupyter Enterprise Gateway 提供了分层安全模型详见 config-security.md身份传递JupyterHub 认证通过后用户名通过KERNEL_USERNAME传给网关用于授权与用户模拟实现谁的作业、谁的身份网关鉴权运维侧可设置EG_AUTH_TOKEN让所有请求必须携带令牌未授权请求直接返回 401命名空间隔离Kubernetes 下每个内核默认运行在独立命名空间彻底隔离内核与资源空闲回收通过cull_idle_timeout自动回收长时间空闲的内核避免资源浪费。这些环境变量的完整清单可参考 kernel-envs.md帮助你在多用户场景下精细控制每个内核的行为。总结三步搭建你的多用户数据分析平台回顾整篇 Jupyter Enterprise Gateway 集成指南搭建一套生产级的多用户数据分析平台只需三步部署网关在 Kubernetes 或 YARN 集群上通过 Helm 一键部署 Jupyter Enterprise Gateway配置内核选用合适的 kernelspecPython / R / Scala / Spark按需申请 CPU、内存、GPU 配额打通客户端在 JupyterHub 的配置中设置JUPYTER_GATEWAY_URL让所有用户的内核请求统一由网关调度。 至此你的团队就拥有了一套可弹性扩展、多租户隔离、安全可控的多用户数据分析平台——无论用户规模如何增长底层集群都能从容应对。【免费下载链接】enterprise_gatewayA lightweight, multi-tenant, scalable and secure gateway that enables Jupyter Notebooks to share resources across distributed clusters such as Apache Spark, Kubernetes and others.项目地址: https://gitcode.com/gh_mirrors/en/enterprise_gateway创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考