OpenStack管理摘要本文全面介绍了OpenStack块存储服务Cinder的核心概念与架构。Cinder作为OpenStack的块存储组件在虚拟机与物理存储设备之间提供逻辑存储卷的抽象层支持多种后端存储技术如LVM、SAN、Ceph等。文章详细解析了Cinder的架构组成包括Cinder API、Scheduler、Volume和Backup等核心服务并通过实际配置示例展示了AvailabilityZoneFilter、CapacityFilter、CapabilitiesFilter等调度过滤器的原理与应用。同时文章还涵盖了Cinder的部署模式、存储类型、持久化存储机制以及卷挂载流程为OpenStack存储管理提供了完整的实践指导。OpenStack块存储管理-cindercinder的配置文件位置/etc/cindercinder的日志文件位置/var/log/cidneropenstack存储类型OpenStack持久化存储简介Cinder作用Cinder在虚拟机与具体存储设备之间引入了一层“逻辑存储卷”的抽象Cinder本身不是一种存储技术并没有实现对块设备的实际管理和服务Cinder只是提供了一个中间的抽象层为后端不同的存储技术提供了统一的接口不同的块设备服务厂商在Cinder中以驱动的形式实现上述接口与OpenStack进行整合Cinder架构•Cinder Client封装Cinder提供的rest接口以CLI形式供用户使用。•Cinder API对外提供rest API对操作需求进行解析对API进行路由寻找相应的处理方法。包含卷的增删改查包括从源卷、镜像、快照创建、快照增删改查、备份、volume type管理、挂载/卸载Nova调用等。•Cinder Scheduler负责收集backend上报的容量、能力信息根据设定的算法完成卷到指定cinder-volume的调度。•Cinder Volume多节点部署使用不同的配置文件、接入不同的backend设备由各存储厂商插入driver代码与设备交互完成设备容量和能力信息收集、卷操作。•Cinder Backup实现将卷的数据备份到其他存储介质目前SWIFT/Ceph/TSM提供了驱动。•SQL DB提供存储卷、快照、备份、service等数据支持MySQL、PG、MSSQL等SQL数据库。查看控制节点cinder进程[rootcontroller ~]# ps -e | grep cinder1746? 00:00:03 cinder-schedule1748? 00:00:04 cinder-api1772? 00:00:03 cinder-backup1791? 00:00:04 cinder-volume2812? 00:00:00 cinder-backup2931? 00:00:00 cinder-volume2959? 00:00:00 cinder-api2961? 00:00:00 cinder-api2964? 00:00:00 cinder-api2967? 00:00:00 cinder-api查看cinder-volume默认支持的存储设备[rootcontroller ~]# cd /usr/lib/python3.6/site-packages/cinder/volume/drivers/[rootcontroller drivers]# lsdatera huawei lenovo nfs.py rbd.py storpool.py windows dell_emc ibm linstordrv.py nimble.py remotefs.py stx zadara.py fujitsu infinidat.py lvm.py prophetstor rsd.py synology fusionstorage infortrend macrosan pure.py san veritas_access hedvig __init__.py nec __pycache__ sandstone veritas_cnfs.py hitachi inspur netapp qnap.py solidfire.py vmware hpe kaminario nexenta quobyte.py spdk.py vzstorage.pyCinder架构说明•Cinder默认使用LVMLogical Volume Manager作为后端存储Backend Storage而LVM通过在操作系统与物理存储资源之间引入逻辑卷Logical Volume的抽象来解决传统磁盘分区管理工具的问题。•LVM将众多不同的物理存储资源物理卷、Physical Volume如磁盘分区组成卷组。LVM从卷组中创建一个逻辑卷然后将ext3、ReiserFS等文件系统安装在这个逻辑卷上。•除了LVM目前Cinder已经以驱动的形式支持众多存储技术或存储厂商的设备作为后端存储如SANStorage Area Network、Ceph、Sheepdog以及EMC、华为等厂商的设备。实验环境后端存储就是LVM(安装时决定的)[rootcontroller ~]# vim answers.txt536CONFIG_CINDER_BACKENDlvm544CONFIG_CINDER_VOLUMES_CREATEy547CONFIG_CINDER_VOLUME_NAMEcinder-volumes554CONFIG_CINDER_VOLUMES_SIZE20G实验环境查看[rootcontroller ~]# vgdisplay cinder-volumes--- Volume group --- VG Name cinder-volumes System ID Format lvm2 Metadata Areas1Metadata Sequence No8VG Access read/write VG Status resizable MAX LV0Cur LV1Open LV0Max PV0Cur PV1Act PV1VG Size20.60GiB PE Size4.00MiB Total PE5273Alloc PE / Size5020/19.61GiB Free PE / Size253/1012.00MiB VG UUID ODOHA8-u2MO-RAtc-y43r-1r1u-PIn8-XOFuhiCinder架构部署以SAN存储为例Cinder-apiCinder-SchedulerCinder-Volume可以选择部署到一个节点上也可以分别部署API采用AA模式HAproxy作为LB分发请求到多个Cinder APIScheduler也采用AA模式由rabbitmq以负载均衡模式向3个节点分发任务并同时从rabbitmq收取Cinder volume上报的能力信息调度时scheduler通过在DB中预留资源从而保证数据一致性Cinder Volume也采用AA模式同时上报同一个backend容量和能力信息并同时接受请求进行处理RabbitMQ支持主备或集群MySQL支持主备或集群Cinder-apiCinder API检查参数合法性用户输入权限资源是否存在等准备创建的参数字典预留和提交配额在数据库中创建对应的数据记录通过消息队列将请求和参数发送到Scheduler查看cinder API服务状态[rootcontroller ~]# systemctl status openstack-cinder-api.service● openstack-cinder-api.service - OpenStack Cinder API Server Loaded: loaded(/usr/lib/systemd/system/openstack-cinder-api.service;enabled;vendor preset: disabled)Active: active(running)since Fri2024-09-27 09:44:47 CST;1h 7min ago Main PID:1748(cinder-api)Tasks:5(limit:100416)Memory:501.2M CGroup: /system.slice/openstack-cinder-api.service ├─1748 /usr/bin/python3 /usr/bin/cinder-api --config-file /usr/share/cinder/cinder-dist.conf --config-file /etc/cinder/cinder.conf--logfile/├─2959 /usr/bin/python3 /usr/bin/cinder-api --config-file /usr/share/cinder/cinder-dist.conf --config-file /etc/cinder/cinder.conf--logfile/├─2961 /usr/bin/python3 /usr/bin/cinder-api --config-file /usr/share/cinder/cinder-dist.conf --config-file /etc/cinder/cinder.conf--logfile/├─2964 /usr/bin/python3 /usr/bin/cinder-api --config-file /usr/share/cinder/cinder-dist.conf --config-file /etc/cinder/cinder.conf--logfile/└─2967 /usr/bin/python3 /usr/bin/cinder-api --config-file /usr/share/cinder/cinder-dist.conf --config-file /etc/cinder/cinder.conf--logfile/Sep2709:44:47 controller systemd[1]: Started OpenStack Cinder API Server.Cinder-scheduler•和Nova Scheduler类似Cinder Scheduler也是经过Filter筛选符合条件的后端然后使用Weigher计算后端进行权重排序最终选择出最合适的后端存储。Cinder Scheduler服务提取接收到的请求参数通过配置的filter和输入参数对后端进行过滤Availability_zone_filterCapacity_filterCapabilities_filterAffinity_filterSameBackendFilter/DifferentBackendFilter……Weigher计算后端进行权重CapacityWeigher/AllocatedCapacityWeigherChanceWeigherGoodnessWeigher……选取最优的Backend并通过消息队列将请求发送到指定的后端查看配置文件[rootcontroller ~]# cd /etc/cinder/[rootcontroller cinder]# lsapi-paste.ini cinder.conf resource_filters.json rootwrap.conf rootwrap.d volumes[rootcontroller cinder]# vim cinder.conf592#scheduler_default_filters AvailabilityZoneFilter,CapacityFilter,CapabilitiesFilter593595#scheduler_default_weighers CapacityWeigher596601# Default scheduler driver to use (string value)602#scheduler_driver cinder.scheduler.filter_scheduler.FilterSchedulerAvailabilityZoneFilter为提高容灾性和提供隔离服务可以将存储节点和计算节点划分到不同的 Availability Zone 中。例如把一个机架上的机器划分在一个 Availability Zone 中。OpenStack 默认有一个命名为“nova”的 Availability Zone所有的节点初始都是放在“nova”中。用户可以根据需要创建自己的 Availability Zone。创建 Volume 时用户会指定 Volume 的大小。CapacityFilter 的作用是将存储空间不能满足 Volume 创建需求的存储节点过滤掉。配置cinder配置文件cinder.conf[rootcontroller ~]# cd /etc/cinder/[rootcontroller cinder]# lsapi-paste.ini cinder.conf resource_filters.json rootwrap.conf rootwrap.d volumes[rootcontroller cinder]# vim cinder.conf592scheduler_default_filtersAvailabilityZoneFilter,CapacityFilter,CapabilitiesFilter#该配置文件的节点的AZ设置为az1395storage_availability_zoneaz1#创建卷时不指定az默认使用nova AZ401default_availability_zonenova[rootcontroller cinder]# systemctl restart openstack-cinder*验证AZ实验#cinder.conf配置文件配置401 default_availability_zonenova创建卷时不指定AZ则使用nova AZ而该节点属于az1 AZ,创建失败[rootcontroller ~]# source keystonerc_admin[rootcontroller ~(keystone_admin)]# openstack volume create --size 1 volume1Availability zonenovais invalid.(HTTP400)(Request-ID: req-c4e2d4d1-d299-4267-b2a1-22fcd676a6ea)#cinder配置文件配置395 storage_availability_zoneaz1该节点属于AZ az1节点创建AZ az2卷被AvailabilityZoneFilter过滤[rootcontroller ~(keystone_admin)]# openstack volume create --size 1 --availability-zone az2 volume1Availability zoneaz2is invalid.(HTTP400)(Request-ID: req-749dad9d-d5fb-4122-95aa-ab03d0c5a955)#cinder配置文件配置395 storage_availability_zoneaz1该节点属于AZ az1节点创建AZ az1卷创建成功[rootcontroller ~(keystone_admin)]# openstack volume create --size 1 --availability-zone az1 volume1-----------------------------------------------------------|Field|Value|-----------------------------------------------------------|attachments|[]||availability_zone|az1||bootable|false||consistencygroup_id|None||created_at|2024-09-27T06:02:35.368543||description|None||encrypted|False||id|43746d03-a0c5-4232-8f1b-6023ffe83545||migration_status|None||multiattach|False||name|volume1||properties|||replication_status|None||size|1||snapshot_id|None||source_volid|None||status|creating||type|iscsi||updated_at|None||user_id|7ef9147a8abe485889ece90dce340ab1|-----------------------------------------------------------CapacityFilter创建 Volume 时用户会指定 Volume 的大小。CapacityFilter 的作用是将存储空间不能满足 Volume 创建需求的存储节点过滤掉。CapabilitiesFilter不同的 Volume Provider 有自己的特性Capabilities比如是否支持 thin provision 等。Cinder 允许用户创建 Volume 时通过 Volume Type 指定需要的 Capabilities。创建卷的时候卷类型指定为iscsi那么后端使用的是LVM,为何由卷类型扩展规格决定接下来查看配置文件[rootcontroller ~(keystone_admin)]# vim /etc/cinder/cinder.conf5261[lvm]5262volume_backend_namelvm5263volume_drivercinder.volume.drivers.lvm.LVMVolumeDriver5264target_ip_address192.168.108.105265target_helperlioadm5266volume_groupcinder-volumes5267volumes_dir/var/lib/cinder/volumesCinder-volumeCinder Volume服务提取接收到的请求参数调用对应的Driver在后端创建实际的卷使用Driver返回的模型更新数据库中的记录Cinder挂载流程挂卷流程 挂卷是通过Nova和Cinder的配合最终将远端的卷连接到虚拟机所在的Host节点上并最终通过虚拟机管理程序映射到内部的虚拟机中•Nova调用Cinder API创建卷传递主机的信息如hostnameiSCSI initiator nameFC WWPNs。•Cinder API将该信息传递给Cinder Volume。•Cinder Volume通过创建卷时保存的host信息找到对应的Cinder Driver。•Cinder Driver通知存储允许该主机访问该卷并返回该存储的连接信息如iSCSI iqnportalFC Target WWPNNFS path等。•Nova调用针对于不同存储类型进行主机识别磁盘的代码 Cinder 提供了brick模块用于参考实现识别磁盘或者文件设备。•Nova通知Cinder已经进行了挂载。•Nova将主机的设备信息传递给hypervisor来实现虚拟机挂载磁盘。