1. 项目缘起为什么要在Windows Server 2012上折腾iSCSI和MPIO如果你正在管理一个中小型企业的IT基础设施或者负责一个虚拟化平台的存储后端那么“存储”这个词对你来说可能既熟悉又充满挑战。熟悉的是数据总得有个地方放挑战的是如何让这个“地方”既快又稳还不能太贵。几年前我接手了一个老旧业务系统的迁移项目原系统跑在几台老旧的物理服务器上存储是直接挂载的本地硬盘。性能瓶颈和单点故障问题日益突出但预算又不足以采购全套的商用SAN存储区域网络解决方案。正是在这种“既要马儿跑又要马儿不吃草”的背景下我把目光投向了iSCSI。iSCSI简单来说就是让服务器可以通过普通的以太网像访问本地硬盘一样去访问网络另一端的存储设备。它把存储的“门槛”拉低了一大截你不需要昂贵的光纤交换机FC SAN用现有的千兆甚至万兆以太网就能搭建一个共享存储池。这对于预算有限但又需要集中存储、虚拟机迁移如Hyper-V Live Migration或构建故障转移集群的场景简直是福音。但问题也随之而来网络有延迟网线会松动网卡可能故障。如果存储流量只走一条网络路径那么这条路径上的任何一个环节出问题整个存储连接就会中断导致上层的应用和服务宕机。这显然违背了我们追求“高可用”的初衷。于是MPIO多路径I/O技术就登场了。它的核心思想是“不要把鸡蛋放在一个篮子里”。通过为同一个iSCSI存储目标配置多条独立的网络路径比如服务器有两块网卡分别连接到交换机的两个不同端口再抵达存储设备MPIO可以实现路径的负载均衡和故障自动切换。一条路堵了或者断了流量立刻无缝切换到另一条路上层应用毫无感知。所以在Windows Server 2012上部署基于MPIO的高可用链路iSCSI本质上是在用相对低廉的IP网络成本构建一个具备企业级可靠性和性能的存储网络。这不仅是技术上的优化更是一种务实的架构设计选择。今天我就把这个从规划、部署到调优的完整过程结合我踩过的坑和总结的经验详细拆解一遍。无论你是初次接触还是想优化现有环境这篇内容都能给你提供一条清晰的实操路径。2. 部署前的核心规划网络、存储与服务器三位一体在动手点击“下一步”之前规划阶段决定了整个项目的成败。很多人部署失败问题往往不是出在配置步骤而是最初的架构设计就有缺陷。高可用iSCSI部署必须同时考虑服务器、网络和存储端三个维度。2.1 网络架构设计隔离与冗余是基石iSCSI流量对网络延迟和丢包非常敏感因此强烈建议为iSCSI规划独立的网络至少是独立的VLAN。千万不要让iSCSI流量和员工的日常上网、文件共享、视频会议等流量混在一起。后者的突发流量会严重干扰存储的稳定I/O。对于高可用链路你需要至少两条物理上隔离的网络路径。一个典型的最小化冗余设计如下服务器端准备两块专用的物理网卡NIC1和NIC2。如果服务器是虚拟机则需要配置两块独立的虚拟网卡并分别绑定到宿主物理机两块不同的物理网卡上。网络设备端需要两台物理交换机Switch A和Switch B。这是实现真正物理冗余的关键。如果只有一台交换机即使服务器连了多个端口交换机本身故障仍会导致全部路径中断。连接方式服务器NIC1连接至Switch A。服务器NIC2连接至Switch B。你的iSCSI存储设备可能是一台Windows Server做的iSCSI Target或是专业的NAS/SAN也需要至少两个网络接口分别连接到Switch A和Switch B。这样就形成了“服务器 - 交换机A - 存储”和“服务器 - 交换机B - 存储”两条完全独立的物理路径。交换机之间不要为iSCSI VLAN做链路聚合或堆叠保持它们的独立性避免故障域扩散。注意很多教程会教你在单台交换机上划多个VLAN或用端口隔离来模拟多路径这在学习测试中可以但生产环境绝对不行。真正的冗余必须消除单点故障而单台交换机本身就是最大的单点。2.2 存储端准备明确你的iSCSI TargetiSCSI架构中有两个角色Initiator启动器和Target目标。我们的Windows Server 2012将作为Initiator去连接存储端提供的Target。存储端可以是专业的存储设备如Dell EMC、NetApp、Synology、QNAP等NAS/SAN它们通常有友好的管理界面来创建iSCSI Target和LUN逻辑单元号。Windows Server自身Windows Server 2012及更高版本内置了“iSCSI目标服务器”角色可以在一台服务器上创建虚拟磁盘VHD/VHDX并将其作为Target共享给其他服务器。这非常适合测试或小型环境。在规划时你需要从存储端管理员那里获取以下关键信息Target名称例如iqn.2024-08.com.example:storage.target01。Target的IP地址通常有两个分别对应存储设备连接Switch A和Switch B的端口IP。例如192.168.10.100和192.168.20.100。认证信息如果启用了CHAP认证需要获取用户名和密码。LUN信息准备映射给这台服务器的LUN编号和大小。2.3 服务器端准备IP配置与功能确认在我们要部署MPIO的Windows Server 2012服务器上需要进行如下准备配置网络为那两块专用网卡配置IP地址。它们需要和存储端对应端口的IP在同一网段但属于不同子网以实现路径隔离。NIC1 (连接Switch A): IP:192.168.10.10, 掩码:255.255.255.0, 网关:留空iSCSI专用网络通常不设网关。NIC2 (连接Switch B): IP:192.168.20.10, 掩码:255.255.255.0, 网关:留空。禁用NetBIOS在这两块网卡的“高级TCP/IP设置”中切换到“WINS”选项卡选择“禁用TCP/IP上的NetBIOS”。这可以减少不必要的广播流量。关闭IPv6如果确定环境不用可以在网卡属性中取消勾选“Internet协议版本6TCP/IPv6”简化配置。安装MPIO功能Windows Server 2012默认可能未安装MPIO。打开“服务器管理器”点击“添加角色和功能”在“功能”列表中勾选“多路径I/O”然后完成安装。安装后需要重启服务器。安装iSCSI发起程序这个功能通常默认已安装。可以在“服务器管理器”的“工具”菜单中查找“iSCSI发起程序”如果找不到同样通过“添加角色和功能”来安装“iSCSI发起程序”功能。3. 配置iSCSI连接建立初始存储通道规划好之后我们开始进行实际的连接配置。这一步的目标是让服务器能通过至少一条路径看到存储设备提供的磁盘。3.1 发现并连接iSCSI Target打开“iSCSI发起程序”可以在开始屏幕搜索或从服务器管理器工具菜单打开。首次打开会提示启动服务点击“是”。在“目标”选项卡的“快速连接”或“发现”中输入存储端其中一个IP地址例如192.168.10.100点击“快速连接”。如果连接成功下方“已发现的目标”列表中会出现你的Target名称状态为“非活动”。选中它点击“连接”。在弹出的连接窗口中务必勾选“启用多路径”。然后点击“高级”。在高级设置中“本地适配器”选择“Microsoft iSCSI Initiator”。“发起程序IP”选择当前用来连接的网卡IP192.168.10.10。“目标门户IP”确认是存储端对应端口的IP192.168.10.100。如果存储端启用了CHAP认证在此处配置。点击“确定”完成第一条路径的连接。此时你通过第一条路径192.168.10.10-192.168.10.100连接上了Target。但任务只完成了一半磁盘虽然可见但路径是单点的。3.2 验证磁盘并初始化连接Target后打开“磁盘管理”diskmgmt.msc你应该会看到一个新的未知磁盘显示为“未初始化”。右键点击该磁盘选择“初始化磁盘”。选择分区样式MBR或GPT对于大于2TB的磁盘必须选GPT。初始化后磁盘变为“联机”状态你可以像操作本地磁盘一样新建简单卷、格式化并分配盘符。重要提醒到此为止你只是用单条路径挂载了网络磁盘。如果此时192.168.10.0/24网络出现问题磁盘就会脱机。我们的高可用目标尚未实现。4. 配置MPIO将单路变为双路高可用这是实现高可用的核心步骤。MPIO会将我们添加的两条物理路径识别为访问同一个LUN的不同路径并进行管理。4.1 添加第二条路径回到“iSCSI发起程序”的“目标”选项卡在“已发现的目标”列表中再次选中你的Target点击“连接”。同样勾选“启用多路径”点击“高级”。这次在高级设置中“本地适配器”依然选择“Microsoft iSCSI Initiator”。“发起程序IP”选择另一块网卡的IP192.168.20.10。“目标门户IP”输入存储端另一个端口的IP192.168.20.100。点击“确定”完成连接。现在你为同一个Target建立了两条独立的连接。但MPIO还不知道如何管理它们。4.2 在MPIO中配置多路径策略打开“MPIO”配置工具在服务器管理器工具菜单中或运行mpiocpl。切换到“发现多路径”选项卡勾选“添加对iSCSI设备的支持”点击“添加”然后重启服务器。这一步是让MPIO驱动能够识别iSCSI设备。重启后再次打开“MPIO”工具切换到“MPIO设备”选项卡。点击“添加”系统会自动列出支持MPIO的磁盘设备。你应该能看到一个设备其硬件ID包含你的iSCSI Target信息。选中它添加。添加后在MPIO设备列表中选中该设备点击“设备详细信息”。在这里你将看到至关重要的信息路径列表。你应该能看到两条路径分别对应之前配置的两个发起程序IP和目标门户IP的组合。每条路径都有其状态活动/待机/故障等。4.3 配置负载均衡策略在“设备详细信息”窗口点击“MPIO”选项卡。这里可以配置该设备的负载均衡策略。Windows Server MPIO 提供了几种策略故障转移只有一条主路径是活动的其他路径处于待机状态。仅当主路径故障时才切换到备用路径。不提供负载均衡。轮询所有活动路径被循环使用I/O请求依次分发到各条路径。这是最常用的负载均衡策略。子集轮询一组路径活动另一组待机。活动组内轮询活动组故障则切换到待机组。最少队列深度将I/O请求发送到当前未处理请求最少的路径。加权路径根据管理员设置的权重分配I/O。对于两条对等路径的高可用环境“轮询”策略通常是最佳选择它能同时利用两条链路的带宽。选择“轮询”点击“应用”。配置完成后你可以通过“磁盘管理”或使用mpclaim命令行工具来查看路径状态。一个健康的配置应该显示两条路径均为“活动”状态。5. 验证、测试与性能调优配置完成不等于万事大吉。必须进行严格的验证和测试确保高可用机制真的生效。5.1 基础连通性与路径验证Ping测试从服务器分别用两个IP去Ping存储端的两个IP确保基础网络连通性。路径状态验证在“MPIO”工具的“设备详细信息”中确认两条路径均为“活动”。你也可以在PowerShell中使用命令Get-MSDSMGlobalDefaultLoadBalancePolicy查看全局策略用mpclaim -s -d查看具体设备路径信息。磁盘压力测试使用工具如diskspd微软官方磁盘性能测试工具或CrystalDiskMark对挂载的iSCSI磁盘进行读写测试。同时在任务管理器的“性能”选项卡中观察两块iSCSI网卡的网络利用率。在“轮询”策略下你应该能看到两块网卡都有流量波动说明负载均衡正在工作。5.2 故障转移测试核心验证这是最关键的一步模拟路径故障看业务是否中断。模拟网络断开在服务器上禁用其中一块iSCSI网卡例如连接192.168.10.0/24的网卡。或者更安全一点在对应的交换机上关闭连接服务器的端口。观察现象立即打开“MPIO”工具查看设备路径详情你会发现被禁用网卡对应的路径状态会变为“故障”或“禁用”而另一条路径依然保持“活动”。在“磁盘管理”中该iSCSI磁盘应该始终保持“联机”状态没有任何脱机或丢失的提示。尝试向该磁盘复制一个大文件操作应该能继续进行只是速度可能会因为只剩一条路径而下降。恢复测试重新启用网卡或打开交换机端口。观察路径是否自动恢复为“活动”状态流量是否重新开始在两卡间均衡。如果以上测试全部通过恭喜你一个真正的高可用iSCSI存储链路已经部署成功。5.3 性能调优与高级设置为了让性能更好还可以进行一些调优Jumbo Frame巨帧如果你的网络设备交换机、网卡、存储都支持启用Jumbo Frame通常设置为9000字节可以显著降低CPU开销并提升大块数据连续读写的吞吐量。务必确保路径上所有设备MTU设置一致否则会导致网络问题。网卡高级设置在iSCSI专用网卡的属性中可以考虑禁用流量控制。将“中断节流率”或“中断 moderation”调整为“低延迟”或直接禁用取决于具体网卡驱动和型号。禁用诸如“大量发送卸载(IPv4)”等可能在某些场景下引起问题的特性需实测。MPIO注册表调优对于高级用户可以通过注册表调整MPIO的超时和重试参数。例如PathRecoveryInterval路径恢复间隔和RetryCount重试次数。修改注册表有风险请务必在测试环境验证并备份注册表。使用专用iSCSI HBA卡对于性能要求极高的生产环境可以考虑购买支持TOETCP卸载引擎的iSCSI HBA卡。它能将iSCSI协议处理任务从服务器CPU卸载到网卡专用芯片上大幅提升性能并降低CPU占用。6. 生产环境部署的深度踩坑实录理论步骤总是清晰的但现实环境往往复杂得多。下面分享几个我在实际部署中遇到的典型问题和解决方案这些在官方手册里可不容易找到。6.1 坑一MPIO配置后磁盘在集群中显示为“重复磁盘”场景在配置了MPIO的Windows Server上将iSCSI磁盘添加到故障转移集群Failover Cluster时集群验证报告或磁盘管理中出现“重复磁盘”警告即集群看到了两个签名相同的磁盘。根因分析这个问题非常经典。在没有MPIO时服务器通过一条路径看到一块磁盘操作系统给它一个唯一的磁盘标识符Signature/UniqueId。当你添加第二条路径时MPIO驱动需要正确地将两条路径识别为指向同一块物理磁盘。如果MPIO配置不正确或者操作系统在两条路径完全就绪前就初始化了磁盘可能导致磁盘的“即插即用”机制为每条路径上的“同一个磁盘”分配了不同的临时标识从而被误认为是两块磁盘。排查与解决过程首先切勿在集群中强制导入“重复磁盘”这会导致数据损坏。在每一台需要连接该共享磁盘的集群节点服务器上执行以下操作 a. 打开“磁盘管理”确保只通过一条路径使磁盘联机如果有多条先断开其他路径。 b. 如果磁盘已初始化并有数据请确保其处于“联机”状态。如果是新磁盘将其初始化并格式化为NTFS不要分配盘符。 c. 打开PowerShell管理员身份运行以下命令获取该磁盘的唯一IDGet-Disk | Where-Object {$_.BusType -eq iSCSI} | Format-List Number, FriendlyName, SerialNumber, UniqueId记录下UniqueId它应该是一个很长的包含SCSI标识的字符串。关键步骤在每一台节点服务器上确保MPIO已正确安装且为该磁盘设备配置了多路径参考第4章。然后在“MPIO”配置工具的“MPIO设备”列表中确认该磁盘设备存在并且其硬件ID与你记录的UniqueId有对应关系。在所有节点上完成上述操作后回到集群管理器。刷新可用磁盘列表此时应该只看到一个候选磁盘而不再是重复的。这是因为所有节点都通过MPIO基于相同的UniqueId识别到了同一块物理磁盘。实操心得这个问题经常出现在跨节点配置不一致时。一个最佳实践是在将磁盘引入集群之前先在单个节点上完成所有的MPIO配置和路径测试并记录下磁盘的UniqueId。然后在其他节点上先配置好网络和MPIO支持再连接Target系统会自动识别并匹配到正确的磁盘从而避免“重复磁盘”的出现。6.2 坑二路径状态频繁在“活动”与“待机”间跳动场景配置了“轮询”策略但观察MPIO设备详细信息时发现某条路径的状态不稳定时而“活动”时而“待机”甚至“故障”。网络Ping测试却是通的。根因分析这通常不是MPIO本身的问题而是路径质量问题。iSCSI对延迟和丢包极其敏感。虽然物理链路是通的但如果延迟过高例如超过几毫秒的波动或存在间歇性丢包MPIO的路径检测机制通过发送SCSI命令检测可能会认为该路径“不健康”从而将其降级。排查与解决过程排除基础网络问题使用ping -t 存储IP进行持续ping测试观察是否有丢包或延迟激增time值突然变大。同时检查交换机的端口计数器是否有CRC错误、巨帧错误等。检查MTU一致性这是巨坑如果服务器、交换机、存储端任何一端的Jumbo Frame设置不一致会导致大数据包被分片或丢弃引发间歇性问题。在服务器和存储端分别用ping -f -l 8972 对端IP命令测试8972是9000字节MTU减去IP和ICMP头后的数据大小。如果提示“需要拆分数据包但是设置 DF”说明路径上存在MTU小于9000的设备。调整MPIO路径验证参数如果网络质量确实无法优化如跨机房长距离可以尝试调整MPIO的路径检测敏感度。通过修改注册表路径HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\msdsm\Parameters新建或修改DWORD值PathVerifyEnabled设置为0禁用周期性路径验证依赖底层链路状态。注意这会将故障检测责任交给网络层请谨慎评估。修改PathRecoveryInterval默认值10秒增加此值可以给不稳定的路径更长的恢复时间避免频繁切换。检查存储端性能存储设备本身的处理能力不足、缓存用尽或硬盘队列过长也会导致响应超时被MPIO误判为路径故障。观察存储设备的管理界面查看CPU、内存、缓存和LUN的延迟指标。6.3 坑三启用MPIO后磁盘性能反而下降场景单路径时磁盘IO表现正常启用MPIO和“轮询”负载均衡后使用IOMeter或Diskspd测试发现随机读写IOPS不升反降延迟增高。根因分析这通常与队列深度Queue Depth和负载均衡策略的适用场景有关。队列深度每个SCSI路径都有其队列深度限制。当使用“轮询”策略时I/O请求被分散到两条路径。如果单个I/O请求本身很大或者应用发出的队列深度很低那么分散到单条路径上的队列深度可能变得更小无法充分“压满”存储设备导致聚合性能反而低于单一路径饱和的情况。策略不匹配“轮询”策略对顺序大块读写如视频编辑、备份的带宽提升效果明显因为可以聚合两条链路的带宽。但对于高随机、小块的IO如数据库事务日志路径切换本身会引入微小的开销如果存储端处理能力不是瓶颈可能看不到提升甚至略有下降。排查与优化测试不同策略在MPIO设备详细信息的“MPIO”选项卡中将负载均衡策略临时改为“故障转移”或“最少队列深度”重新进行性能测试。对比“轮询”策略下的结果。调整应用I/O模式在性能测试工具中尝试增加队列深度例如从默认的1或8增加到32、64。观察在更高队列深度下“轮询”策略的聚合性能是否能够超越单路径。评估实际工作负载分析你的生产应用是顺序密集型还是随机密集型。对于SQL Server的Data File随机IO多“轮询”或“最少队列深度”可能更优对于Log File是顺序写“轮询”能有效聚合带宽。考虑使用第三方DSMWindows自带的MPIO DSM设备特定模块是通用型的。一些专业的存储厂商如Dell、HPE会提供自己优化的DSM能实现更智能的、基于存储阵列特性的负载均衡。如果存储设备厂商提供了DSM安装它可能会获得更好的性能。7. 将iSCSI磁盘用于Hyper-V或故障转移集群部署高可用iSCSI存储的最终目的往往是为了支撑上层的虚拟化或高可用应用。这里以Hyper-V和故障转移集群为例说明集成时的关键点。7.1 为Hyper-V提供共享存储Hyper-V的实时迁移Live Migration和故障转移Failover功能要求虚拟机文件VHDX存放在所有Hyper-V主机都能访问的共享存储上。我们刚配置好的MPIO iSCSI磁盘完美符合要求。在所有需要加入集群的Hyper-V主机上重复第2至第5章的所有步骤确保每台主机都能通过MPIO看到同一块iSCSI磁盘并且路径状态健康。在其中一台主机上打开“磁盘管理”在该iSCSI磁盘上创建卷、格式化NTFS、分配一个盘符例如S:。在其他主机上打开“磁盘管理”你会看到同一块磁盘显示为“脱机”。这是因为Windows防止多台服务器同时写入同一块非集群磁盘导致数据损坏。这是正常现象不要将其联机接下来你需要在这块共享磁盘上创建故障转移集群或者直接将其配置为Hyper-V的SMB 3.0共享存储另一种方式。对于传统方式先创建集群集群服务会以受控的方式将磁盘联机并管理其所有权。7.2 创建Windows故障转移集群在所有节点服务器上安装“故障转移集群”功能。使用“故障转移集群管理器”运行“验证配置”向导将所有节点和共享磁盘iSCSI磁盘添加进去进行验证。验证报告会检查网络、存储等所有配置是否符合集群要求。必须全部通过尤其是存储部分的测试。验证通过后运行“创建集群”向导。集群创建成功后在“存储 - 磁盘”中你应该能看到我们配置的iSCSI磁盘。它的状态应该是“已就绪”所有者是当前的主节点。右键点击该磁盘选择“添加到群集共享卷(CSV)”。CSV是集群中所有节点都能同时读写的一种卷特别适合存放Hyper-V虚拟机文件或Scale-Out文件服务器数据。现在你可以在CSV上创建文件夹并将其作为Hyper-V虚拟机的存储路径。当一台主机故障时集群会自动将虚拟机所有权及其存储访问权转移到另一台健康的主机实现业务高可用。关键检查点在集群环境中务必使用集群管理器来管理共享磁盘的联机/脱机不要直接在磁盘管理中进行操作。同时确保所有节点的MPIO配置、iSCSI发起程序配置完全一致包括CHAP密码等细节任何不一致都可能导致某个节点无法访问磁盘引发集群故障。