官方 Dashboard 还是 KuboardKubernetes 可视化管理工具深度对比Kubernetes 集群 Dashboardkuboardkuboard 介绍kuboard 特点在线演示kuboard 版本Kuboard v2.x 版本说明Kuboard v3.x 版本说明kuboard 安装和配置安装方式以 独立容器 方式运行安装计划安装过程卸载以 static pod 方式运行自学安装卸载访问过程参考资料Kubernetes Dashboard介绍部署验证访问 Dashboard新版本旧版本自学登录页面分析 SA 使用案例Kubernetes 集群 Dashboard摘要本文详细介绍了两种主流的Kubernetes集群Dashboard管理工具。Kuboard是一款功能丰富的第三方管理界面支持多集群管理、多种认证方式、微服务分层展示、图形化工作负载编辑等高级功能适合企业级生产环境使用。Kubernetes Dashboard是Kubernetes官方提供的Web UI具备基础的集群管理功能包括部署应用、诊断问题、管理资源等。文章分别从特点、版本、安装配置、访问方式等方面对两款工具进行了全面对比和实操演示帮助读者根据实际需求选择合适的Dashboard工具。kuboardkuboard 介绍Kuboard 是一款专为 Kubernetes 设计的免费管理界面兼容 Kubernetes 版本 1.13 及以上。Kuboard 每周发布一个 beta 版本最长每月发布一个正式版本经过两年的不断迭代和优化已经具备多集群管理、权限管理、监控套件、日志套件等丰富的功能并且有 1000 的企业将 Kuboard 应用于其生产环境。Kuboard 自 2019年8月发布第一个版本以来得到了众多用户的认可目前已经获得了 10000 GitHub Star。Kuboard 的定位和 Dashboard 是相似的主要的区别在于Kuboard 关注微服务参考架构的视角对界面进行组织参考 Kuboard 简介。Kuboard 中不需要手工编写 YAML 文件进一步降低 K8S 使用难度提高便捷性。Kuboard 可以导出整个微服务架构的部署信息并在新的名称空间/集群导入配置信息。Kuboard 的一个发展方向是提供内建的 监控套件目前的全局监控套件成熟度比较高。kuboard 特点相较于 Kubernetes Dashboard 等其他 Kubernetes 管理界面Kuboard 的主要特点有多种认证方式Kuboard 可以使用内建用户库、gitlab / github 单点登录或者 LDAP 用户库进行认证避免管理员将 ServiceAccount 的 Token 分发给普通用户而造成的麻烦。使用内建用户库时管理员可以配置用户的密码策略、密码过期时间等安全设置。多集群管理管理员可以将多个 Kubernetes 集群导入到 Kuboard 中并且通过权限控制将不同集群/名称空间的权限分配给指定的用户或用户组。微服务分层展示在 Kuboard 的名称空间概要页中以经典的微服务分层方式将工作负载划分到不同的分层更加直观地展示微服务架构的结构并且可以为每一个名称空间自定义名称空间布局。工作负载的直观展示Kuboard 中将 Deployment 的历史版本、所属的 Pod 列表、Pod 的关联事件、容器信息合理地组织在同一个页面中可以帮助用户最快速的诊断问题和执行各种相关操作。工作负载编辑Kuboard 提供了图形化的工作负载编辑界面用户无需陷入繁琐的 YAML 文件细节中即可轻松完成对容器的编排任务。支持的 Kubernetes 对象类型包括Node、Namespace、Deployment、StatefulSet、DaemonSet、Secret、ConfigMap、Service、Ingress、StorageClass、PersistentVolumeClaim、LimitRange、ResourceQuota、ServiceAccount、Role、RoleBinding、ClusterRole、ClusterRoleBinding、CustomResourceDefinition、CustomResource 等各类常用 Kubernetes 对象存储类型支持在 Kuboard 中可以方便地对接 NFS、CephFS 等常用存储类型并且支持对 CephFS 类型的存储卷声明执行扩容和快照操作。丰富的互操作性可以提供许多通常只在kubectl命令行界面中才提供的互操作手段例如Top Nodes / Top Pods容器的日志、终端容器的文件浏览器支持从容器中下载文件、上传文件到容器KuboardProxy在浏览器中就可以提供kubectl proxy的功能套件扩展Kuboard 提供了必要的套件库使得用户可以根据自己的需要扩展集群的管理能力。当前提供的套件有资源层监控套件基于 Prometheus / Grafana 提供 K8S 集群的监控能力可以监控集群、节点、工作负载、容器组等各个级别对象的 CPU、内存、网络、磁盘等资源的使用情况日志聚合套件基于 Grafana / Loki / Promtail 实现日志聚合存储卷浏览器查看和操作存储卷中的内容告警配置可以通过界面直接配置资源层监控套件发送告警消息支持邮件、微信发送告警消息支持告警路由配置支持告警规则配置等操作审计Kuboard 支持操作审计的功能审计用户通过 Kuboard 界面和 Kuboard API 执行的操作自定义审计规则在线演示在线演示环境中您具备 只读 权限只能体验 Kuboard 的一部分功能。地址https://demo.kuboard.cn用 户demo密 码demo123kuboard 版本Kuboard v2.x 版本说明Kuboard v2.x 支持 Kubernetes 单集群管理。版本支持Kuboard v3.x 版本说明Kuboard v3.x 支持 Kubernetes 多集群管理。如果您从 Kuboard v1.0.x 或者 Kuboard v2.0.x 升级到 Kuboard请注意您可以同时使用 Kuboard v3.x 和 Kuboard v2.0.xKuboard v3.x 支持 amd64 (x86) 架构和 arm68 (armv8) 架构的 CPU版本支持kuboard 安装和配置本次实验环境kubernetes版本是1.32.0使用kuboard v3.x版本。安装方式以独立容器方式运行在 Kubernetes 中运行以static pod方式运行基于如下原因建议您以独立容器方式 Kuboard结构更清晰Kuboard 作为多个集群的管理界面应该独立于任何集群之外登录 Kuboard 时使用不同的认证方式问题排查更简单以独立容器方式运行安装计划在正式安装 kuboard v3 之前需做好一个简单的部署计划的设计在本例中各组件之间的连接方式如下图所示假设用户通过 http://外网IP:80 访问 Kuboard v3安装在 Kubernetes 中的 Kuboard Agent 通过内网IP访问 Kuboard 的 Web 服务端口 80 和 Kuboard Agent Server 端口 10081。安装过程# 创建目录rootmaster30:~# mkdir /kuboard-data# 创建容器rootmaster30:~# nerdctl run -d --namekuboard \-p80:80/tcp\-p10081:10081/tcp\-eKUBOARD_ENDPOINThttp://10.1.8.30:80\-eKUBOARD_AGENT_SERVER_TCP_PORT10081\-v/kuboard-data:/data\eipwork/kuboard:v3# 10.1.8.30是物理机的ip卸载rootmaster30:~# nerdctl container rm kuboard --forcerootmaster30:~# rm -fr /kuboard-data以static pod方式运行自学安装# 在master节点上执行rootmaster30:~# curl -fsSL https://addons.kuboard.cn/kuboard/kuboard-static-pod.sh -o kuboard.shrootmaster30:~# sh kuboard.shcurrentipaddress is10.1.8.30 createfile/root/kuboard-sa.yaml kubectl apply-f/root/kuboard-sa.yaml namespace/kuboard created serviceaccount/kuboard-admin created clusterrolebinding.rbac.authorization.k8s.io/kuboard-admin-crb created serviceaccount/kuboard-viewer created clusterrolebinding.rbac.authorization.k8s.io/kuboard-viewer-crb created createfile/etc/kubernetes/manifests/kuboard.yaml restart kubelet 检查状态 待 kuboard-v3-master30.laoma.cloud 的容器组变为 Running 状态后则安装成功可以通过 http://10.1.8.30 访问 kuboard 界面 No resources foundinkuboard namespace.# 验证rootmaster30:~# kubectl get all -n kuboardNAME READY STATUS RESTARTS AGE pod/kuboard-v3-laoma30.redhat.fun1/1 Running045s卸载# 删除静态文件rootmaster30:~# rm -f /etc/kubernetes/manifests/kuboard.yaml# 删除数据目录rootmaster30:~# rm -fr /usr/share/kuboard# 删除命名空间rootmaster30:~# kubectl delete ns kuboard访问过程在浏览器输入http://your-host-ip:80访问 Kuboard v3.x 的界面。登录信息用户名admin密 码Kuboard123添加集群这里选择.kubeconfig导入凭据文件复制~/.kube/config内容到红色方框中导入后效果选择访问集群时所使用的身份使用 ServiceAccount kuboard-admin参考资料安装手册https://kuboard.cn/install/v3/install.htmlKubernetes Dashboard介绍项目地址https://github.com/kubernetes/dashboard/Kubernetes Dashboard 是 Kubernetes 的官方 Web UI。Kubernetes Dashboard 具备的功能向 Kubernetes 集群部署容器化应用诊断容器化应用的问题管理集群的资源查看集群上所运行的应用程序创建、修改Kubernetes 上的资源例如 Deployment、Job、DaemonSet等展示集群上发生的错误例如您可以伸缩一个 Deployment、执行滚动更新、重启一个 Pod 或部署一个新的应用程序。部署# 下载资源yaml文件rootmaster30:~# wget -O recommended.yaml http://192.168.46.200/class/course-materials/softwares/stage03/kubernetes-dashboard-recommended-v2.6.1.yaml# 查看imagesrootmaster30:~# grep image: recommended.yamlimage: hub.laoma.cloud/kubernetesui/dashboard:v2.6.1 image: hub.laoma.cloud/kubernetesui/metrics-scraper:v1.0# 执行部署rootmaster30:~# kubectl apply -f recommended.yaml验证#kubens 是 kubectx 工具集里的命令# 列出所有 namespacerootmaster30:~# kubensdefault kube-node-lease kube-public kube-system kubernetes-dashboard# 切换到指定 namespacerootmaster30:~# kubens kubernetes-dashboardrootmaster30:~# kubectl get deployments.appsNAME READY UP-TO-DATE AVAILABLE AGE dashboard-metrics-scraper1/1112m25s kubernetes-dashboard1/1112m25s rootmaster30:~# kubectl get serviceNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S)AGE kubernetes-dashboard-metrics-scraper ClusterIP10.98.116.192none8000/TCP 3m54s kubernetes-dashboard-web ClusterIP10.107.63.216none8000/TCP 3m54s rootmaster30:~# kubectl get serviceaccountsNAME SECRETS AGE default123h kubernetes-dashboard123h rootmaster30:~# kubectl describe serviceaccounts kubernetes-dashboardName: kubernetes-dashboard Namespace: kubernetes-dashboard Labels: app.kubernetes.io/part-ofkubernetes-dashboard Annotations:noneImage pull secrets:noneMountable secrets:noneTokens:noneEvents:none# 创建了clusterrolebindings/kubernetes-dashboardrootmaster30:~# kubectl get clusterrolebindings.rbac.authorization.k8s.io |grep dashboardkubernetes-dashboard ClusterRole/kubernetes-dashboard 23h# sa/kubernetes-dashboard具有ClusterRole/kubernetes-dashboardrootmaster30:~# kubectl describe clusterrolebindings.rbac.authorization.k8s.io kubernetes-dashboardName: kubernetes-dashboard Labels:noneAnnotations:noneRole: Kind: ClusterRole Name: kubernetes-dashboard Subjects: Kind Name Namespace ---- ---- --------- ServiceAccount kubernetes-dashboard kubernetes-dashboard# ClusterRole/kubernetes-dashboard权限如下rootmaster30:~# kubectl describe clusterroles kubernetes-dashboardName: kubernetes-dashboard Labels: k8s-appkubernetes-dashboard Annotations:nonePolicyRule: Resources Non-Resource URLs Resource Names Verbs --------- ----------------- -------------- ----- nodes.metrics.k8s.io[][][get list watch]pods.metrics.k8s.io[][][get list watch]# deployments.apps/kubernetes-dashboard以sa/kubernetes-dashboard身份运行所以deployments.apps/kubernetes-dashboard部署的pod只可以查看资源nodes.metrics.k8s.io和pods.metrics.k8s.iorootmaster30:~# kubectl get deployments.apps kubernetes-dashboard -o yaml|grep serviceAccountserviceAccount: kubernetes-dashboard serviceAccountName: kubernetes-dashboard修改 service/kubernetes-dashboard 类型为 NodePort从外部访问。rootmaster30:~# kubectl edit svc kubernetes-dashboardspec:......type: NodePort rootmaster30:~# kubectl get svc kubernetes-dashboardNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S)AGE kubernetes-dashboard NodePort10.111.32.116none443:30518/TCP 4m45s可选使用 ingress 配置访问参考apiVersion:networking.k8s.io/v1kind:Ingressmetadata:name:ingress-dashboardnamespace:kubernetes-dashboardannotations:# 关键透传 TLSIngress 不解密nginx.ingress.kubernetes.io/ssl-passthrough:truenginx.ingress.kubernetes.io/backend-protocol:HTTPSspec:ingressClassName:nginxrules:-host:dashboard.laoma.cloudhttp:paths:-path:/pathType:Prefixbackend:service:name:kubernetes-dashboardport:number:443客户端配置dashboard.laoma.cloud域名到ingress服务地址实验环境是10.1.8.40后续直接访问https://dashboard.laoma.cloud访问 Dashboard访问 https://10.1.8.30:30518新版本Kubernetes Dashboard 新版本只支持使用 Bearer Token登录。Kubernetes Dashboard 默认部署时只配置了最低权限的 RBAC。因此我们要为服务账号kubernetes-dashboard把绑定cluster-admin这个 ClusterRole。rootmaster30:~# kubectl create clusterrolebinding kubernetes-dashboard-cluster-admin --clusterrole cluster-admin --serviceaccount kubernetes-dashboard:kubernetes-dashboard# 创建 Bearer Tokenrootmaster30:~# kubectl -n kubernetes-dashboard create token kubernetes-dashboardeyJhbGciOiJSUzI1NiIsImtpZCI6ImhLWEhaTWQtNGZTek5zUFUyUmNobzN1V2ZlOG1iWkwzSU5kZDZLbU1WUTAifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjoxNjc2NDU4ODI3LCJpYXQiOjE2NzY0NTUyMjcsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJhZG1pbi11c2VyIiwidWlkIjoiYmViNGI3MWMtNmI5MS00ODk4LThiMTMtZWQwZWE3N2JiMmQ5In19LCJuYmYiOjE2NzY0NTUyMjcsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlcm5ldGVzLWRhc2hib2FyZDphZG1pbi11c2VyIn0.kBwU3g3Euqj5jMKD9AYu-OQW2yc9pc2hb7uaDi2PO3AdkOBVMkaIiXnWEUC98hpFyXUWGSiaZWPsylJHXMpWz_X-J03nd7zZegUhPbzVxPh7vHyaOaILmqATlakAHMHbwcEQDygBQPBNbPNd-hD-rzaVNkmr2oARNGVRaX7fMNRkuvcbji0-s6IO5yotKkWaGXkIAtwmMTgtgcGnOpVsB97UYjPgWz6RMBL9ZCZIVXHxE_FIl_If7ewhObyaijZIbWeZ21job5PPvb1H1VAHOZoDXtFK_lZdIRIK6e6MYYU4mfYqTcOyiEG8c5SxCOaD4xchWGdzFcfZfn52VQJ7hQ提示Token默认有效期24小时过期后自动删除。下一次登录需要生成新的Token。旧版本自学之前的一些版本默认已经为sa账户kubernetes-dashboard 创建了token。获取token过程如下# sa/kubernetes-dashboard使用的token是kubernetes-dashboard-token-hm26jrootmaster30:~# kubectl describe sa kubernetes-dashboardName: kubernetes-dashboard Namespace: kubernetes-dashboard Labels: k8s-appkubernetes-dashboard Annotations:noneImage pull secrets:noneMountable secrets: kubernetes-dashboard-token-hm26j Tokens: kubernetes-dashboard-token-hm26j Events:none# 获取token内容rootmaster30:~# kubectl describe secrets kubernetes-dashboard-token-hm26jName: kubernetes-dashboard-token-hm26j Namespace: kubernetes-dashboard Labels:noneAnnotations: kubernetes.io/service-account.name: kubernetes-dashboard kubernetes.io/service-account.uid: d4b7d7ec-a76b-46c5-9dc5-629217cd07ba Type: kubernetes.io/service-account-token Datatoken: eyJhbGciOiJSUzI1NiIsImtpZCI6IkNVVmdmMGNUckVGZFFPUVJ0dTkxZGtEc2hoOTlGZ2ktWjI2RmtnRWI5dFEifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi1obTI2aiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImQ0YjdkN2VjLWE3NmItNDZjNS05ZGM1LTYyOTIxN2NkMDdiYSIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlcm5ldGVzLWRhc2hib2FyZDprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.nBy6Hpv3a5jM-LWzqi95i2jkdLT8bx-jnTOuM5eroxGjpUq8OFOIFgky-0LUlJ-4dlFLdh3FZ2RV8SwQwQoctaay2p-xGfsB1IWNJkySYlGDy9-iMnH6Lc3J_Kb085rgqvY1nLPbSIhBlkueHUFsG9ii52gnGZf2RqroNBtsl_t2ofWfNDJRE7dm51B-WM_rSnNgTChFygRSoMXpzP7jG64dTrvQyxqHKRwr3zMNeYUlleHECUx0Z525hkdFv5B-gPV6ev_2cRS0BR2TM0V2qr1TKqM6G56E7CDkHiu6S2B1mrLdz5E9IKQCPFvxGVM4O4-bia4MHdmJo_INFD57pA ca.crt:1066bytes namespace:20bytes登录页面使用上面的 token 登录选择Pods分析 SA 使用案例Kubernetes Dashboard 默认部署时只配置了最低权限的 RBAC。接下来分析默认的权限配置。# Kubernetes Dashboard 以deployment形式运行rootmaster30:~# kubectl get deployments.appsNAME READY UP-TO-DATE AVAILABLE AGE dashboard-metrics-scraper1/111146m kubernetes-dashboard1/111146m# 以 serviceAccount: kubernetes-dashboard 身份运行rootmaster30:~# kubectl get deployments.apps kubernetes-dashboard -o yaml|grep serviceAcserviceAccount: kubernetes-dashboard serviceAccountName: kubernetes-dashboard# serviceAccount: kubernetes-dashboard 绑定了Role/kubernetes-dashboardrootmaster30:~# kubectl get rolebindings.rbac.authorization.k8s.ioNAME ROLE AGE kubernetes-dashboard Role/kubernetes-dashboard147# Role/kubernetes-dashboard 具备能力如下rootmaster30:~# kubectl describe role kubernetes-dashboardName: kubernetes-dashboard Labels: k8s-appkubernetes-dashboard Annotations:nonePolicyRule: Resources Non-Resource URLs Resource Names Verbs --------- ----------------- -------------- ----- secrets[][kubernetes-dashboard-certs][get update delete]secrets[][kubernetes-dashboard-csrf][get update delete]secrets[][kubernetes-dashboard-key-holder][get update delete]configmaps[][kubernetes-dashboard-settings][get update]services/proxy[][dashboard-metrics-scraper][get]services/proxy[][heapster][get]services/proxy[][http:dashboard-metrics-scraper][get]services/proxy[][http:heapster:][get]services/proxy[][https:heapster:][get]services[][dashboard-metrics-scraper][proxy]services[][heapster][proxy]# 创建 serviceAccount: kubernetes-dashboard Tokenrootmaster30:~# kubectl -n kubernetes-dashboard create token kubernetes-dashboardeyJhbGciOiJSUzI1NiIsImtpZCI6Im9jekNIUUFRZUpKYzA3VXdmRHJvT3ZhaU1fMFNxVkh6NEJZa2lyUnhaaXcifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjoxNzc4MDUwMjI4LCJpYXQiOjE3NzgwNDY2MjgsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwianRpIjoiMTY0YzllOTItMzUwMS00Y2M2LWEwNjctOGZiNDI4OTQ4MDIwIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsInVpZCI6IjU3ZDAwNjUxLTZmYWQtNDJmOC04ZmYxLTM3YmRmZGRiY2Y3ZCJ9fSwibmJmIjoxNzc4MDQ2NjI4LCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQifQ.EehmwsmNT6OVbazZs1pUOr_7kletmrpduE-8p4m2Y49c_hWXKs3ic7u3DMxw4jNJgbPfnvBiq2nrIObknsXBi6BKXL5XLDSlwsZobYUd0Uw0op2YOZZ3O_B4A-sSOiD-qD1eFMw2RYyR6aRuycWLngvYvyN3pfFCsd1GS_Gh4rAetsPtW4QzlFf230HL8Az2fU-M7A-0_kkt_ujpgMXQpyPSxV5qgyffjnDkOo-llDR-j_QsyyMt12k1zSjzN5ApcGQtHn9y8vbIS0xoqHulmU38kOjnKNpeQJ41nwKnf53q2I2MDoatO5r-hnD_TGx6xcckW0qFNrpje38XgRPHTQ使用 serviceAccount: kubernetes-dashboard Token 登录无法看到Pods。