使用容器启动的kubelet无法使用subPathExpr

验证subpathexpr功能 ，在pod 的yaml文件中，把pod name 以变量方式取出来，作为存储卷上的子目录来使用。这样在可以方便在一台服务器上运行多个相同的pod，且日志文件能够写入以各自pod名字创建的目录中，隔离了日志文件方便后续作为日志采集使用。虽然这种使用上不够合理，但作为一种过渡阶段的日志采集服务，也是能够接受。

使用如下yaml文件创建一个pod，需要在运行pod的服务器的/data/目录下创建一个pod1的目录，并在里面写入hello.txt文件

apiVersion: v1
kind: Pod
metadata:name: pod1
spec:containers:- name: container1env:- name: POD_NAMEvalueFrom:fieldRef:apiVersion: v1fieldPath: metadata.nameimage: busyboxcommand: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]volumeMounts:- name: workdir1mountPath: /logssubPathExpr: $(POD_NAME)restartPolicy: Nevervolumes:- name: workdir1hostPath:path: /data

运行yaml文件

[root@xm-nano-k8s-master-113-59 ~]# kubectl apply -f pod1.yaml

验证结果：

[root@xm-phy-kvm-113-4 ~]# ll /data/
总用量 0
-rw-r--r--. 1 root root 0 8月  11 20:36 test
[root@xm-phy-kvm-113-4 ~
[root@xm-phy-kvm-113-4 ~]# find / -name "hello.txt"
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/diff/data/pod1/hello.txt
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/merged/data/pod1/hello.txt

/data目录没有创建pod1目录，反而是在/var/lib/docer/.../date/目录下创建。

结果不符合预期。。。无语ing。

后面经过一番的查找在github上找到这个 issue：

https://github.com/kubernetes/kubernetes/issues/61456

原来是是早期 k8s 不会对 subPath 做检查，于是就存在一个漏洞，用户可以搞一个软链接，让容器可以访问任何宿主机上的目录，后来修复了这个漏洞 https://kubernetes.io/blog/2018/04/04/fixing-subpath-volume-vulnerability/，

就导致容器方式（containerized）运行的 kubelet，用 subPath （或 subPathExpr）后创建的目录就跑到 kubelet 的容器里。

如果 kubelet 是你自己部署的，实验结果如预期所想在对应的目录创建pod名字的目录。如果kubelet是容器启动的那就gg，无法实现该功能。

解决方式一：

就是不用 subPath（subPathExpr 同），而是新个 initContainer 来创建目录。

apiVersion: v1  
kind: Pod  
metadata:  name: pod1  
spec:  initContainers:  - name: init-logs  image: busyboximagePullPolicy: IfNotPresentcommand: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]  env:  - name: POD_NAME  valueFrom:  fieldRef:  fieldPath: metadata.name  volumeMounts:  - name: workdir1  mountPath: /logscontainers:  - name: container1  image: busybox  command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]  env:  - name: POD_NAME  valueFrom:  fieldRef:  fieldPath: metadata.name  volumeMounts:  - name: workdir1  mountPath: /logs volumes:  - name: workdir1  hostPath:  path: /data

[root@xm-phy-kvm-113-4 data]# ll
总用量 4
-rw-r--r--. 1 root root 1212 8月  12 11:08 hello.txt
drwxrwxrwx. 2 root root   29 8月  12 11:07 pod10
[root@xm-phy-kvm-113-4 data]# ll pod10
总用量 4
-rw-r--r--. 1 root root 119 8月  12 11:08 hello_pod10.txt
[root@xm-phy-kvm-113-4 data]#

deployment版本

apiVersion: apps/v1
kind: Deployment
metadata:labels:run: subpathname: subpathtest
spec:replicas: 2selector:matchLabels:run: subpathtemplate:metadata:labels:run: subpathspec:initContainers:- name: init-logsimage: busyboximagePullPolicy: IfNotPresentcommand: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]env:- name: POD_NAMEvalueFrom:fieldRef:fieldPath: metadata.namevolumeMounts:- name: workdir1mountPath: /logscontainers:- name: container1image: busyboxcommand: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]env:- name: POD_NAMEvalueFrom:fieldRef:fieldPath: metadata.namevolumeMounts:- name: workdir1mountPath: /logsvolumes:- name: workdir1hostPath:path: /datatype: DirectoryOrCreate  # 推荐指定类型，确保目录存在或创建

解决方式二：

将写入路径放到configMap文件，挂载到pod中，让程序从pod中获取对应的路径。

apiVersion: v1
kind: ConfigMap
metadata:name: log-confignamespace: default
data:log.conf: |LOG.DIR=/data/${POD_NAME}

          - name: logmountPath: /log/# subPathExpr: $(POD_NAME)- name: log-configmountPath: /confreadOnly: truevolumes:- name: loghostPath:path: /my/log- name: log-configconfigMap:name: log-config

后续.....