简介这份博科交换机安装与维护手册面向存储网络运维人员与IT基础设施工程师聚焦光纤通道SAN环境中博科光交机的规划、部署与日常维护适合需要梳理双冗余Fabric架构和实施流程的初中级读者。压缩包仅含1个doc文档体积约4.43MB内容按章节组织便于按实施阶段查阅。文档从应用系统概况与物理拓扑切入覆盖交换机参数、144口和192口端口分配、双机并行配置与Zoning命名并列出设备、环境、光纤布置、管理IP及控制台等实施准备随后给出安装步骤、微码升级、配置分区、与刀片交换机级联和产品维护服务。已有1020人学习可作为SAN项目落地、端口规划与故障预防的案头参考。文档章节完整兼顾规划表与实施细节能帮助读者对照现场条件核对端口余量、冗余链路与升级窗口减少部署返工。1. 从 14U 的机柜怪物说起博科 48000 光交机装错一次要拆半排机柜搜索栏里敲「barcode 博科 光交机」的人多半是把 Brocade 打成了 barcode输入法里两个词挨得太近。可真到机房这东西一点不像条形码那样轻巧Brocade 48000 是一台 14U、空箱 95 公斤、最多 384 口的导向器两个人抬上机柜得先拆门。某公司数据中心做 SAN 整合双 Fabric 冗余每个 Fabric 一台 48000主机、磁盘阵列、磁带库全部双路径接入结构看着简单装错一步就是半夜被叫起来。翻车点从来不是硬件坏而是 Domain ID 撞车导致 fabric 合不起来、端口分区切错让主机和存储跨不到一个 zone、微码升级升一半把双 CP 搞成单点。这篇记录适合第一次上手 48000 的人也适合从 144 口往 192 口扩、要给刀片交换机做级联的人。2. 装机前的账先算清Brocade 48000 端口板、电源与机房环境核对设备到货那天最忌讳的动作是当着物流面只点数箱子不点板子。48000 的端口全在可热插拔的 48 口光纤通道模块上一块板子就是 48 个端口少一块就是少一整片区域。而机房里那些看不见的账——承重、供电、散热、管理网段——一旦算错设备抬上架也得再抬下来这活儿干过一次就不想干第二次。2.1 端口板数量对不上 144/192/256先数板子再签收按手册给的配置口径48000 用 48 端口板拼端口数144 口是 3 块板192 口是 4 块板256 口是 6 块板具体以合同为准。端口板插在业务槽位上CP0 和 CP1 两块控制处理器单独占槽不参与端口计数。所以签收时的动作很固定开箱、数板、对槽位、拍照片存档然后才签。端口规模48 口板数量实际启用槽位说明144 口3 块Slot 3、Slot 4、Slot 7Slot 8 留空作为扩容位192 口4 块Slot 3、Slot 4、Slot 7、Slot 8四个区各占一块扩容余量最均衡256 口6 块按合同槽位排布电源与散热按满载核算见 2.2槽位怎么排不是随便定的。端口分区要按「每个区跨最大板卡」的原则横向切也就是级联端口区、主机端口区、存储阵列端口区各自尽量落在不同板卡上。这样单块 48 口板故障时只影响每个区的一部分通道而不是把整个存储区或整个主机区一次性打掉。144 口配置之所以不用 Slot 8就是把这个槽位留给后续扩容避免扩容时被迫重排分区、重做 zoning。提示板子插回去之前确认电源已断、防静电手腕接地48000 的板卡导轨很紧硬推容易把背板针脚顶弯。2.2 电源、散热与承重200–240V 这一条最容易漏48000 底盘配 2 个 AC-DC 电源模块做 2N 冗余3 个风扇装配模块要求至少 2 个可运行。手册上写得清楚标称 200–240VAC、5.0A 单相运行范围 180–264VAC 自感应256 口配置需要最大 750VA冲击电流最大可到 40A。这几组数字翻译成机房语言就是——别拿 110V 那套想当然也别把这台设备和一个机柜里的核心网络设备插在同一条普通 PDU 上。散热量同样要提前报给机房8 块 FC4-16 加 2 块 CP4 约 710W / 2425 BTU8 块 FC4-32 加 2 块 CP4 约 915W / 3115 BTU。一台 14U、近百公斤的设备塞进机柜前后风道必须留空后控板到门的气流空间不能被线缆堵死否则夏天最先出问题的不是交换机是隔壁那台被热风烤着的服务器。环境指标照着手册核一遍运行温度 0–40°C湿度 5–85% 且 40°C 下不冷凝海拔最高 3000 米。重量 95 公斤128 口配置到 98 公斤256 口配置都是无介质重量加上板卡、SFP 和线缆会更重机柜承重和导轨规格要按满载算。注意冲击电流最大 40A同一路 PDU 上如果还挂着对电压波动敏感的设备加电顺序要错开一路一路来。2.3 管理 IP 与管理控制台的准备48000 的每个控制处理器都有一个 10/100 以太网 RJ-45 管理口也支持通过光纤通道做带内访问需要 fabric 已建立每个 CP 还有 2 个 DB-9 串口。管理 IP 的规划原则比具体数字重要我一般按三条来Fabric A 和 Fabric B 的管理地址分两个网段避免以后做批量脚本时误连到另一半管理网段和业务网段分开管理口不承载任何存储流量双 CP 的地址成对规划主备切换时管理 IP 跟着走不要让监控系统误判成设备掉线。设备角色Fabric管理地址示例串口用途48000-01Fabric A10.10.20.11/24CP0 首配、应急登录48000-02Fabric B10.10.21.11/24CP0 首配、应急登录刀片机箱嵌入式交换机A / B 各一10.10.20.31 / 10.10.21.31级联后统一纳管管理控制台—与上述同网段可达Telnet / Web Tools / SNMP管理控制台这边最少要准备一台能同时到达两个管理网段的跳板机装好支持 Telnet、SSH 的终端工具并确认 SNMP 采集侧已经配好FE MIB、FC Management MIB 是手册里列明的管理支持项。Fabric Watch 和 Web Tools 在 48000 上属于可用的管理能力但真正排障时最靠得住的还是串口加命令行——网络不通的时候串口是唯一的后悔药。3. 上架加电到起 Fabric48000 的串口首配与 Domain ID 规划设备抬上架、电源接两路、风扇转起来接下来的活儿才是真正决定这套 SAN 能不能用的环节。首配阶段做错的每一件事后面都要用停业务来还管理 IP 配到错误的 CP 上、Domain ID 随手填一个和现有交换机撞车、两个 Fabric 用了同一个管理网段导致脚本跑错设备。这一章按现场顺序走一遍从光纤清点到 fabric 成型。3.1 上架前的光纤与 SFP 清点介质这部分的参数手册给得很细但真正会在现场咬人的只有一条4 Gbit/sec 速率下只支持短波激光器。短波 SWL 最大 500 米长波 LWL 最大 10 公里超长波 SLWL 最大 100 公里最大距离还要看光缆类型和端口速率。也就是说跨楼宇那几根长波链路如果规划时按 4G 写的现场根本起不来只能降到 2G 或者改短波走楼内。清点清单我一般按下面走一遍缺一样都别急着加电按槽位核对 SFP 型号与数量短波、长波分开摆放并贴标签光纤跳线全部用 LC 接头长度留出盘纤余量不拉直不硬弯每根跳线两端贴标签标签内容与端口分区表一致端面用清洁笔逐个处理尤其是从库存翻出来的旧线光功率或链路测试留到加电后配合sfpshow一起做。提示SFP 是可热插拔且符合行业标准的 LC 连接器模块但插拔前先portdisable对应端口能省掉一批链路抖动带来的无效告警。3.2 串口首配从 ipaddrset 到 switchname新设备出厂没有可用管理地址第一步永远是串口。终端参数 9600、8 位数据、无校验、1 位停止、无流控接 CP0 的 DB-9回车出提示符后按下面走# 串口登录后先确认当前身份和版本 version switchshow # 配置管理 IP交互式逐项填入 ipaddrset # Ethernet IP Address [10.0.0.1]: 10.10.20.11 # Ethernet Subnetmask [255.255.255.0]: 255.255.255.0 # Fibre Channel IP Address [none]: # Fibre Channel Subnetmask [none]: # Gateway IP Address [10.0.0.1]: 10.10.20.1 # 交换机命名带上 Fabric 标识和序号后面排障一眼能认出是哪一半 switchname FABA-48000-01version放在最前面是为了确认到货微码版本和交付清单是否一致也顺便记下升级基线。switchshow在首配阶段能直接暴露哪些槽位认到了板卡、哪些端口是 No_Module比事后翻日志快得多。ipaddrset是交互式命令方括号里是当前值或缺省值直接回车表示保持光纤通道 IP 一般留空管理走以太网口就够。switchname建议把 Fabric 归属写进去后面做级联、做监控、看fabricshow输出时名字混乱是最常见的误操作来源。配完在跳板机上 ping 一下管理地址能通再继续。通不了先查网线是不是插在 CP1 上而地址配在 CP0这个坑每年都有人踩。3.3 Domain ID 定在 5两个 Fabric 可以同号但要想好以后合不合并Domain ID 是 fabric 内每台交换机的身份证取值在 1–239 之间。手册里两个 Fabric 都选了 5逻辑上没有问题Fabric A 和 Fabric B 完全独立、互不相连各自内部用一个不冲突的号就行选 5 是为了避开分行已有交换机的号段。# 进入交互式配置只改 Domain ID 这一项其余保持 configure # Fabric parameters (yes, y, no, n): no # Domain: (1..239) [1]: 5 # ... # 改完确认 fabricshow switchshow | head -5configure是一次把所有 fabric 参数摊开给你看的命令Domain ID 只是其中一项其余项比如 PID format、R_A_TOV、ED_TOV、数据字段大小除非有明确依据否则不要顺手改。fabricshow输出里会列出 fabric 内所有成员及其 Domain ID改完必须在这里看到自己期望的值才算落地。血泪经验在这里两个 Fabric 用同一个 Domain ID 在隔离状态下完全没问题但哪天做迁移把两半接到一起Domain ID 冲突会直接让 fabric merge 失败并隔离端口现象是链路物理 up、逻辑不通。所以规划时要么给两个 Fabric 用不同号段要么在变更评审里明确写上「禁止跨 Fabric 直连」。我现在的习惯是两个 Fabric 用不同号段虽然多记一个数字但省掉一次半夜排障。4. 微码升级与端口分区48 口板怎么横着切成三个区首配完成、管理地址通了接下来两件事决定了这套 SAN 是能用还是好用微码版本是不是目标版本以及端口分区有没有按业务意图切。微码升级属于有标准动作但没标准运气的事端口分区则是纯设计活儿切错一次zoning 得全部重做。4.1 微码升级前先备份升级路径不要跳版本48000 是双 CP 结构微码下载过程会自动在两个 CP 之间交替正常情况下业务不中断。但「正常情况」这四个字是建立在升级前把退路准备好之上的# 升级前留证据配置备份 支持日志两个都要缺一不可 configupload supportsave # 通过管理网走 FTP/TFTP 把目标微码推到交换机交互式填入服务器信息 firmwaredownload # Server IP: 10.10.20.100 # User Name: fwupgrade # File Name: /fos/v6.x.x # Protocol (ftp, scp): ftp # 升完先核对两个 CP 的版本一致再做一次 CP 切换确认备机可用 version hafailoverconfigupload把当前 zoning、别名、fabric 参数整份导出这是真正的后悔药——升级失败或者配置回退时一条configdownload就能把业务配置拉回来。supportsave收集的是日志和支持信息出问题时厂商支持第一个要的就是它别等到设备起不来才想起来没留。firmwaredownload的四个交互项里文件名给的是目标微码的完整路径协议按现场环境选走 FTP 就填 ftp。升级路径这条要单独说FOS 不支持跨大版本直接跳必须按发布说明给的中转版本逐级升比如从较低版本升到目标版本中间可能要先到一个过渡版本。手册没有写具体版本号现场就以随设备交付的发布说明为准别凭记忆操作。hafailover在升级完成后跑一次是为了确认备 CP 接得上班否则你以为的双冗余其实是单点。注意升级窗口内不要同时做任何 zoning 变更两个变更叠在一起出问题分不清是谁的责任。4.2 端口分区按板卡横向切别按槽位纵向切48000 的端口板是纵向排列的48 个端口一块板密度大到肉眼数不过来。如果按「一块板给存储、一块板给主机」这种纵向思路切表面上很整齐实际上单板故障时整片存储或整片主机全部失联。手册里的做法是按板卡横向划分每台交换机划成三个区域级联端口区、主机端口区含备份通道和存储通道、存储阵列端口区每个区尽量跨最大板卡把扩容余量留在每个区里。区域144 口配置占用承载流量扩容预留存储阵列端口区Slot 3磁盘阵列前端端口板内剩余端口扩容时同板加端口主机端口区备份通道Slot 4备份服务器、磁带库链路板内剩余端口与 Slot 7 主机区分开主机端口区存储通道Slot 7生产主机 HBA 端口Slot 8 整块留空192 口扩容时整板启用级联端口区Slot 7 前段ISL 干线与刀片交换机级联按 trunk 组预留8 端口一组按这个切法的直接好处Slot 3 那块板如果挂了存储阵列还有另一个 Fabric 的路径可用主机侧完全不受影响Slot 7 上前段是级联、后段是主机虽然同板但 trunk 组和主机端口在物理位置上分开故障域也被限制住了。做端口分配表的时候把每个端口的用途、对端设备、所属区域写进表格贴在机柜门内侧比任何电子文档都管用。提示144 口配置留空 Slot 8不只是为了好看是因为扩容到 192 口时新增的整块板正好补上主机通道区的缺口不用重排已有分区和 zoning。4.3 Zoning 命名与 Port Zoning 的取舍Zoning 是 SAN 里最像玄学的一层链路全绿、端口全 Online主机就是不认 LUN十次里有八次是 zone 没生效或者 zone 成员少写了一个。命名规则先定下来后面才不会乱命名对象规则示例别名 Alias设备角色 位置 端口号HBA_A11_P1、DMX1_SPA_P1ZoneZONE_ 主机标识 存储标识 端口ZONE_A11_DMX1_SPA配置集 ConfigCFG_ Fabric 标识CFG_FABRIC_A# 别名先把 WWN 和人看得懂的命名绑起来换卡只改别名不动 zone alicreate HBA_A11_P1, 10:00:00:00:c9:xx:xx:01 alicreate DMX1_SPA_P1, 50:00:14:40:xx:xx:xx:0a # zone 用别名成对创建一对主机端口对一个存储端口不要一对多乱配 zonecreate ZONE_A11_DMX1_SPA, HBA_A11_P1;DMX1_SPA_P1 # 配置集里加 zone名字带 Fabric 标识A/B 两半不混 cfgcreate CFG_FABRIC_A, ZONE_A11_DMX1_SPA # 先存再启用顺序反了掉电就丢配置 cfgsave cfgenable CFG_FABRIC_Aalicreate把 64 位 WWN 换成人能读的名字这是后面所有操作可维护性的基础WWN 抄错一位zone 建得再对也不通所以别名建完要用alishow对一遍。zonecreate的成员用分号分隔一对主机端口对一个存储端口是最稳的粒度同一个 zone 里塞多个主机容易出现互相可见的意外。cfgcreate只是把 zone 装进配置集真正生效要靠cfgenable而cfgsave必须在 enable 前后各做一次防止配置只在内存里。Port Zoning 和 WWN Zoning 的取舍现场争论很多。手册给的 zoning 表用的是端口号形式Domain ID 加端口例如 5,32 和 5,40优点是建起来快、和端口分配表一一对应缺点是一旦 HBA 换卡或者线插错口zone 立刻失效而且换卡后新卡的 WWN 不会自动被认。我一般对生产主机用 WWN Zoning对临时测试和刀片机箱内部端口用 Port Zoning两类混用时把命名规则区分开排障时一眼看得出是哪种。5. 避坑与排查Brocade 48000 现场最容易翻车的五处手册把该写的都写了但现场出问题时症状和原因之间往往隔着好几层。下面这五条是装机过程中重复率最高的按「现象 → 原因 → 解决」记下来下次遇到能少绕半小时。5.1 链路与硬件类的坑现象一加电后某个端口一直是 No_Light换线也不亮。原因多半不在交换机而在 SFP 没插到位或者端面脏。48000 的板卡端口密度高SFP 插进去差半毫米卡扣没咬合指示灯就是不亮库存里翻出来的旧光纤端面有油污光功率掉到阈值以下同样起不来。 解决先sfpshow看该端口有没有识别到模块和收发光功率再换一根确认好的跳线做对比最后用清洁笔处理两端端面。三步都做过还是不亮再怀疑端口本身把业务切到同区备用端口上别在现场反复插拔。现象二设备加电瞬间同一路 PDU 上的其他设备跟着重启。原因是冲击电流。256 口配置需要最大 750VA冲击电流最大 40A和一堆设备挤在同一条 PDU 上加电瞬间的电流冲击足以让 UPS 或 PDU 保护动作。 解决两个电源模块接两路独立 PDU加电时一路一路来先合一路等风扇稳定再合第二路。机柜交付前把这台设备的功率和冲击电流写进配电表别让后面的人再往上挂东西。现象三跨楼宇的长波链路怎么都起不来端口一直 In_Sync 或 Laser_Flt。原因是速率和介质的匹配。手册明确写了 4 Gbit/sec 速率下只支持短波激光器长波模块在 4G 下不工作。规划时按 4G 写的跨楼宇链路现场必然卡在这一步。 解决确认 SFP 型号和规划速率跨楼宇场景把端口速率固定到 2G或者在预算允许时改走楼内短波。端口速率可以用portCfgSpeed类命令固定别指望自适应能救——自适应只会往下降不会帮你判断为什么降。5.2 配置与 Zoning 类的坑现象四两台交换机级联后物理链路 up但fabricshow里各看各的端口状态显示隔离。原因是 fabric 参数不一致。Domain ID 冲突是最常见的一种两个原本独立的 Fabric 用同一个 Domain ID 接在一起必然隔离其次是 PID format、R_A_TOV、ED_TOV 这类参数两边不同或者一边开了某个特性另一边没开。 解决先在fabricshow输出里找隔离原因再逐项比对两边的configure参数。Domain ID 冲突就改号改完必须重启对应交换机才生效这一点很多人漏掉改完发现没变化就以为命令没执行。现象五zone 建好了主机也能看到交换机端口就是不认存储 LUN。原因通常有两个一是cfgcreate之后没cfgenable配置只躺在配置集里没生效二是 zone 成员只写了主机侧存储侧端口或者别名漏了zone 的语义是「这些成员之间可见」少一个就等于没配。 解决用cfgactvshow看当前真正生效的配置是哪一个再看zoneshow里该 zone 的成员是否完整。养成习惯每次改完 zoningcfgsave、cfgenable、cfgactvshow三条连着走确认生效配置名和预期一致再离开机房。6. 装完怎么验证三条命令加一次真实的 I/O 观察设备装完、配置生效最危险的心态是「指示灯全绿就算完事」。48000 这种设备端口 Online 只说明物理层通了fabric 参数、zoning 生效状态、干线带宽、错误计数每一项都可能是后面某次故障的伏笔。验证这一步我一般分两层先用命令看状态再用真实 I/O 看结果。# 第一层状态面四条命令一轮扫完 switchshow # 端口状态、速率、是否带 trunk 标记 fabricshow # fabric 成员、Domain ID、是否隔离 islshow # 级联链路明细确认每条 ISL 都在 trunkshow # 干线组带宽确认合并后的总带宽符合预期 cfgactvshow # 当前生效的配置集名称 porterrshow # 逐端口错误计数重点看 CRC 和 link failureswitchshow里端口状态应为 Online速率列要和规划一致带 trunk 的端口会有标记porterrshow是黑匣子新装环境里 CRC 错误计数应该接近零如果某几个端口数字在涨先查光纤和 SFP别急着怀疑板卡。检查项命令合格标准端口状态switchshow规划内端口全部 Online无异常 No_LightFabric 完整性fabricshow成员数量与规划一致无隔离条目级联链路islshow / trunkshowISL 全部 uptrunk 组带宽达到设计值Zoning 生效cfgactvshow / zoneshow生效配置名正确zone 成员完整链路质量porterrshowCRC 与 link failure 计数不持续增长配置留档configupload配置文件已导出到管理机并归档第二层是真实 I/O。在主机侧确认多路径软件识别到两条独立路径然后跑一次实际读写——不用多复杂挂一个测试 LUN 做连续写同时观察两个 Fabric 的端口流量是否都在动。如果只有一半在跑说明另一条路径的 zone 或者多路径配置有问题这时候发现比业务上线后发现要便宜得多。从那以后我每次装完 48000不管工期多紧都强制把configupload和supportsave各跑一遍、配置文件拷到管理机归档再把porterrshow的错误计数拍张照存进实施记录。这套动作花不到十分钟但真出事的时候它就是那根能把你从机房拉回来的绳子。希望帮到你。本文还有配套的精品资源点击获取