产品文档



Kubernetes 集群

帮助中心 > 产品文档 > Kubernetes 集群 > 使用nfs-client-provisioner动态创建PV

搜本产品

使用nfs-client-provisioner动态创建PV

Nfs-client-provisioner是一个开源的NFS 外部Provisioner，利用NFS Server为Kubernetes集群提供持久化存储。部署nfs-client-provisioner后，您可以在Kubernetes集群中动态创建PV。

一、连接到集群

Kubernetes 命令行客户端 kubectl可以让您从客户端计算机连接到 Kubernetes 集群，实现应用部署。详情参考使用Kubectl客户端连接到Kubernetes集群。

二、部署nfs-client-provisioner

详情参考在集群中部署nfs-client-provisioner。

三、动态创建PV

StorageClass为PVC提供动态发现、绑定PV的配置。因此创建一个使用nfs-client-provisioner的Storage Class，并在创建PVC时显式指定对应的StorageClassName，就可以基于CFS云文件存储在Kubernetes集群中动态创建NFS类型的PV。

创建Storage Class，Yam文件下载及说明如下：

下载Yaml文件：

wget https://kubernetes.s3.cn-north-1.jdcloud-oss.com/CFS/storageClass-With-jdcloud-cfs.yml

Yaml文件说明：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: auto-cfs-storage
provisioner: jdcloud-cfs        #nfs-client-provisioner deployment env中定义的PROVISIONER_NAME保持一致
mountOptions:
  - vers=3
  - noresvport
parameters:
  mountOptions: "vers=3,noresvport"
  archiveOnDelete: "false"          #archiveOnDelete定义为false时，删除NFS Server中对应的目录，为true则保留；

备注：CFS目前暂不支持flock，如果应用需要flock支持，请开工单单独开通. 如果NFS需要支持子目录，请将vers=3变更为vers=4

使用Yaml文件创建Storage Class：

kubectl create -f storageClass-With-jdcloud-cfs.yml

查看Storage Class状态

kubectl get storageClass auto-cfs-storage
NAME               PROVISIONER   AGE
auto-cfs-storage   jdcloud-cfs   5m15s

创建PVC，Yaml文件下载及说明如下：

下载Yaml文件：

wget https://kubernetes.s3.cn-north-1.jdcloud-oss.com/CFS/Create-PV-dynamically.yml

Yaml文件说明：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: auto-pv-with-nfs-client-provisioner
spec:
  storageClassName: auto-cfs-storage        #使用nfs-client-provisioner作为NFS外部provisioner的Storage Class Name；
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Mi      #NFS Server中对应的挂载目录大小；目前CFS文件存储不限制挂载目录的容量；storage不超过文件存储最大容量限制即可

使用Yaml文件创建PVC：

kubectl create -f Create-PV-dynamically.yml

查看PVC状态

kubectl get pvc auto-pv-with-nfs-client-provisioner
NAME                                  STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS       AGE
auto-pv-with-nfs-client-provisioner   Bound    pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7   1Mi        RWX            auto-cfs-storage   10s


kubectl describe pvc auto-pv-with-nfs-client-provisioner
Name:          auto-pv-with-nfs-client-provisioner
Namespace:     default
StorageClass:  auto-cfs-storage
Status:        Bound
Volume:        pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7         #根据Storage Class配置动态创建的PV名称
Labels:        <none>
Annotations:   pv.kubernetes.io/bind-completed: yes
               pv.kubernetes.io/bound-by-controller: yes
               volume.beta.kubernetes.io/storage-provisioner: jdcloud-cfs
Finalizers:    [kubernetes.io/pvc-protection]
Capacity:      1Mi
Access Modes:  RWX
Events:

验证根据Storage Class配置动态创建的PV状态：

上一步操作中Volume字段值即为动态创建的PV名称，PV被自动绑定到对应的PVC，查看PV状态及详情：

kubectl get pv pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                         STORAGECLASS       REASON   AGE
pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7   1Mi        RWX            Delete           Bound    default/auto-pv-with-nfs-client-provisioner   auto-cfs-storage            15m


kubectl describe pv pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7
Name:            pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7
Labels:          <none>
Annotations:     pv.kubernetes.io/provisioned-by: jdcloud-cfs
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    auto-cfs-storage
Status:          Bound
Claim:           default/auto-pv-with-nfs-client-provisioner
Reclaim Policy:  Delete
Access Modes:    RWX
Capacity:        1Mi
Node Affinity:   <none>
Message:         
Source:
    Type:      NFS (an NFS mount that lasts the lifetime of a pod)
    Server:    10.XX.XX.11      #CFS文件存储中对应的挂载目标IP地址
    Path:      /cfs/default-auto-pv-with-nfs-client-provisioner-pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7      # NFS Server中由nfs-client-provisioner自动创建的子目录
    ReadOnly:  false
Events:        <none>

在Kubernetes集群Nat子网中新建一台云主机，并将CFS文件存储挂载到云主机，验证CFS 文件存储中新增的目录，验证步骤说明如下：

登录到云主机，详情参考登录Linux实例;
安装utils客户端，在CentOS 的终端下，运行如下命令：

sudo yum install –y nfs-utils

在云主机上将CFS文件存储挂载到cfs目录下，运行如下命令：

mkdir /cfs      #在云主机上创建一个新目录
mount -t nfs 172.XX.XX.10:/cfs /cfs     #将nfs 172.XX.XX.10:/cfs挂载到云主机的cfs目录上，其中172.XX.XX.10请使用云文件存储的挂载目标IP替换

挂载成功后，在云主机的cfs目录下查看云文件存储中与PV关联的目录，运行如下命令：

cd /cfs       #进入云主机上的cfs目录

ls -a       # 查看cfs目录中的内容
default-auto-pv-with-nfs-client-provisioner-pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7        #ls输出内容，验证cfs目录下新增了子目录，子目录名称与PV Source.Path一致的目录

更多详情参考云文件服务挂载文件存储。

四、创建Pod，使用第三步中创建的PVC

新建一个Pod，挂载第三步中创建的PVC作为volume，并在指定目录下新增一个文件，YAML文件下载及说明如下：

下载Yaml文件：

wget https://kubernetes.s3.cn-north-1.jdcloud-oss.com/CFS/pod-touch-cfs.yml

Yaml文件说明：

kind: Pod
apiVersion: v1
metadata:
  name: pod-touch-cfs
spec:
  containers:
  - name: test-pod
    image: busybox
    imagePullPolicy: IfNotPresent
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/SUCCESS && exit 0 || exit 1"            #在/mnt目录下新建一个名称为SUCCESS的文件，并写入helloworld
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"           #将volume挂载到Pod的/mnt目录
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: auto-pv-with-nfs-client-provisioner          #指定与云文件存储建立绑定关系的PVC 名称

使用Yaml文件创建Pod：

kubectl create -f pod-touch-cfs.yml

查看Pod状态

kubectl get pod pod-touch-cfs
NAME            READY   STATUS    RESTARTS   AGE
pod-touch-cfs   1/1     Running   0          11s

执行exec进入pod，验证文件内容
kubectl exec -it pod-touch-cfs /bin/sh
/ # cat /mnt/SUCCESS
helloworld

重新登录第三步中Nat子网中的云主机，查看云主机/cfs目录下，与PV建立绑定关系的云文件存储目录下新增的文件内容，运行如下命令：

cd /cfs       #进入云主机上的cfs目录

ls -a       # 查看cfs目录中的内容
default-auto-pv-with-nfs-client-provisioner-pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7        #ls输出内容，验证cfs目录下新增了子目录，子目录名称与PV Source.Path一致的目录

cat default-auto-pv-with-nfs-client-provisioner-pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7/SUCCESS
helloworld        #与PV Source.Path一致的子目录下，查看新增文件SUCCESS的内容

删除pod pod-touch-cfs

kubectl delete pod pod-touch-cfs
pod "pod-touch-cfs" deleted

重新创建一个Pod，并在Pod中挂载上述PVC，Pod YAML下载及说明如下：

下载YAML文件：

wget https://kubernetes.s3.cn-north-1.jdcloud-oss.com/CFS/verify-pv-cfs.yml

YAML文件说明如下：

kind: Pod
apiVersion: v1
metadata:
  name: verify-pv-cfs
spec:
  containers:
  - name: c1
    image: busybox
    imagePullPolicy: IfNotPresent
    command:
    - /bin/sh
    args:
    - -c
    - 'while true; do ls -l /mnt/cfs/; sleep 2; done'		
    volumeMounts:
    - mountPath: "/mnt/cfs"
      name: cfs-pv001
  volumes:
  - name: cfs-pv001
    persistentVolumeClaim:
      claimName: auto-pv-with-nfs-client-provisioner          #与云文件存储建立绑定关系的PVC 名称

使用Yaml文件创建Pod

kubectl create -f verify-pv-cfs.yml
pod/verify-pv-cfs created

查看Pod运行状态

kubectl get pod verify-pv-cfs
NAME            READY   STATUS    RESTARTS   AGE
verify-pv-cfs   1/1     Running   0          15s

查看Pod verify-pv-cfs输出的日志：
kubectl logs verify-pv-cfs
total 1
-rw-r--r--    1 root     root            18 Aug  7 07:29 SUCCESS

exec进入Pod verify-pv-cfs，查看SUCCESS文件的内容：
kubectl exec -it verify-pv-cfs /bin/sh
/ # cat /mnt/cfs/SUCCESS
helloworld

删除pod verify-pv-cfs

kubectl delete pod verify-pv-cfs
pod "verify-pv-cfs" deleted

五、删除PVC，验证CFS 云文件存储对应目录的回收策略

删除PVC auto-pv-with-nfs-client-provisioner，运行如下命令：

kubectl delete pvc auto-pv-with-nfs-client-provisioner
persistentvolumeclaim "auto-pv-with-nfs-client-provisioner" deleted

确认与PVC关联的PV pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7的运行状态：

kubectl get pv pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7
Error from server (NotFound): persistentvolumes "pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7" not found

输出以上结果，说明与PVC关联的PV pvc-c44da35f-b8bc-11e9-b6cc-fa163e229fe7已被自动删除

重新登录第三步中Nat子网中的云主机，查看云主机/cfs目录下，与PV建立绑定关系的云文件存储目录下新增的文件内容，运行如下命令：

cd /cfs       #进入云主机上的cfs目录

ls -a       # 查看cfs目录中的内容
输出内容说明：输出内容为空，则表明PVC、PV被删除后，CFS文件存储中由nfs-client-provisioner自动创建的子目录及文件内容已被成功回收

以上内容是否对您有帮助？

更新时间：2020-03-04 15:11:28

文档反馈

Kubernetes 集群

产品文档

弹性计算

网络

云数据库与缓存

存储

CDN

域名与备案

云安全

大数据与分析

管理

人工智能

智能IDC

京东云市场

VR 云服务

视频服务

互联网中间件

区块链

开发者工具

企业应用

解决方案

混合云

物联网

财务相关

用户服务

服务协议与保障

云通信

专有云

Kubernetes 集群

使用nfs-client-provisioner动态创建PV

一、连接到集群

二、部署nfs-client-provisioner

三、动态创建PV

四、创建Pod，使用第三步中创建的PVC

五、删除PVC，验证CFS 云文件存储对应目录的回收策略

提交反馈建议