
你是外贸独立站的负责人,凌晨两点收到告警:独立服务器的 RAID 阵列从 Optimal 变成了 Degraded(降级)。阵列降级意味着已有一块硬盘离线,数据仍可读写,但冗余保护已失效,第二块盘再出问题就可能丢数据。这篇文章就是为这个场景准备的:教你如何定位坏盘、判断能否热替换、安全完成换盘,并通过监控确认重建是否真正完成。命令覆盖 mdadm 软阵列和硬件阵列卡两种场景,照着做即可。
第一步:确认阵列当前状态,判断风险等级
发现降级告警后,先别急着拔盘。第一件事是弄清楚:阵列级别、离线的是哪块盘、还能否读写。RAID 1 和 RAID 10 可容忍多块盘离线(只要不在同一镜像组),RAID 5 只能容忍 1 块,RAID 6 可容忍 2 块。RAID 5 掉了一块盘时,业务已运行在”零冗余”状态,处理优先级应提到最高。
以 Linux 下最常见的 mdadm 软阵列为例,一条命令就能看清全貌:
cat /proc/mdstat
mdadm --detail /dev/md0
/proc/mdstat 会显示 status: degraded 和 (out of sync) 标记;mdadm --detail 会列出每个成员的 active / faulty / spare 状态。硬件阵列卡(如 MegaRAID 系列)用厂商工具查看:
storcli /c0 show
输出里的 Dgrd 是降级标记,Fgd 或 Offln 对应的物理盘就是嫌疑对象。建议把输出截图留存,后续排查会用到。
核心判断标准:阵列可读写、只离线一块盘,就按”计划内换盘”流程走;出现第二块盘报错或阵列 read-only,则立即停写入密集型业务,先备份再动盘。

第二步:三方交叉定位坏盘,避免拔错盘
定位坏盘最容易犯的错误是”只看一个信号就拔盘”。阵列软件说某块盘坏了,但盘位指示灯没亮,这时拔错盘的概率不低。我们建议的做法是用三个信号交叉确认:
- 阵列层面:
mdadm --detail /dev/md0中标记为faulty的设备名(如/dev/sdb) - 系统层面:
dmesg | grep -iE "error|fail"中持续报 I/O error 的设备,以及smartctl -H /dev/sdb返回FAILED的 SMART(硬盘自我监测)健康状态 - 物理层面:机箱硬盘托架上的指示灯——大多数服务器坏盘会亮琥珀色/红色灯,或可用阵列卡的 locate 功能让目标盘闪灯
三方信号指向同一块盘时才动手。如果阵列标记和 SMART 结论不一致,以先坏的为准:比如 SMART 已报 Reallocated_Sector_Ct 超阈值但阵列还在线,说明这块盘濒临故障,应尽快安排预防性更换,而不是等它彻底掉线。
别忘了记录序列号:用 smartctl -i /dev/sdb 读出 Serial Number,换盘时核对托架标签,确保拔的就是你判断的那块——拔错邻居的盘会造成二次故障。
第三步:热替换硬盘,注意两种前提条件
确认坏盘后,热替换(hot swap,不停机直接拔插硬盘)是最常见的处理方式,但前提是服务器支持热插拔背板且阵列卡支持热添加。绝大多数现代独立服务器都支持,但动手前值得确认——不支持热插拔的机器直接拔盘可能导致重启甚至背板损坏。
替换流程本身不复杂:
- 让阵列知道你要移除这块盘:
mdadm /dev/md0 --fail /dev/sdb --remove /dev/sdb - 等待托架指示灯变为可拔状态(通常是绿色常亮或熄灭,参考厂商文档)
- 拔出坏盘,插入新盘,插紧到底再固定托架
- 用
lsblk确认新盘被识别为/dev/sdb(设备名通常保持不变,但务必核对序列号)
硬件阵列卡场景:拔插后运行 storcli /c0/eall/sall show,确认新盘状态是 UGood(Unconfigured Good);若是 JBOD 状态需先转回 UGood。
如果新盘设备名变了(比如变成 /dev/sdf)也不要慌,内核按发现顺序命名,关键是加入阵列时用正确的设备名。
换盘后的新盘是空的,此时阵列仍处于降级状态,业务仍在零冗余运行。下一步就是把新盘加入阵列触发重建。

第四步:把新盘加入阵列,正确监控重建进度
加入阵列的命令只有一条,但里面的设备分区细节决定成败:
mdadm --add /dev/md0 /dev/sdb1
注意这里用的是 /dev/sdb1(分区)——前提是原成员就是分区;整盘加入的阵列直接用 /dev/sdb,搞混了会导致重建失败或容量不一致。稳妥做法是先照抄旧盘分区表:sfdisk -d /dev/sda | sfdisk /dev/sdb。硬件阵列卡则用 storcli 的 hotspare 命令把新盘指定为重建目标。
重建一启动,/proc/mdstat 里的 [===>...] 进度条和 ETA(预计完成时间)就出现了。监控重建时有三个要点:
- 重建期间阵列性能会明显下降。mdadm 默认以较低速率后台重建(可通过
/proc/sys/dev/raid/speed_limit_min查看下限,默认 1000 KB/s,可临时调高到 50000 加快进度,但要评估业务负载) - 重建过程中第二块盘故障是最大风险。重建会对所有成员盘做全量读取,老化盘可能在高压读取下暴露问题——健康盘组和老化盘组在同样的重建压力下表现差异很大,这也是为什么换盘前后都要盯 SMART 数据

- 重建完成不等于同步完成。
mdadm --detail中所有成员变回active且State : clean才算真正结束,随后再跑一次echo check > /proc/mdstat不适用——正确做法是echo check > /sys/block/md0/md/sync_action做一次全阵列一致性校验
重建期间建议每小时看一次进度,重点观察有没有新的 I/O error。时间预期要现实:10TB 盘在 50MB/s 实际速率下约需 2.5 天。
第五步:换盘之后,把这些事纳入例行运维
单次故障处理完不等于结束。同一批采购的硬盘寿命曲线接近,一块坏了,同批次的其他块风险也在上升。换盘完成后,建议把以下事项纳入例行运维:
- 每周跑一次
smartctl -a汇总所有成员盘的Reallocated_Sector_Ct、Current_Pending_Sector、Offline_Uncorrectable三项,任一持续增长就安排预防性更换 - 每月做一次阵列一致性校验(上面的
sync_actioncheck),提前发现静默坏块 - 确认备份独立于阵列存在。RAID 只防硬盘故障,不防误删、勒索软件和文件系统损坏。参考我们的备份恢复演练指南,至少验证过一次”备份真的能恢复”
- 给阵列加监控:mdadm 可配置
MAILADDR接收事件邮件,也可用 node exporter 把阵列状态暴露给监控系统,部署方式参考服务器实时监控部署指南
RAID 降级的每一次处理,都是对备份体系的一次检验。如果业务对连续性要求高、又不想半夜换盘,带 RAID 卡和备用盘服务的独立服务器更省心——比如 Hostease 的独立服务器方案,硬件故障提交工单即可由机房处理。无论托管在哪里,”阵列 + 异地备份”的双保险才是完整答案。
常见问题与风险边界
阵列降级期间可以重启吗? 尽量不要。部分阵列卡重启后可能触发重新扫描和意外重建策略,甚至导致阵列 offline。必须重启时,先确认阵列卡 NVRAM 配置已同步,并提前备份。
重建中途想取消怎么办? mdadm 下向 sync_action 写入 idle 可暂停重建,已同步部分会保留进度。除非业务变慢到不可接受,否则不建议中断——半途而废的重建风险更高。
总结与下一步行动
处理完这次故障后,核心建议是:把第二、三步的命令整理成内部 runbook(运维手册),下次告警照清单执行。同时推荐把”每周 SMART 巡检 + 每月阵列校验 + 备份演练”固定为例行任务。如果你正在评估新的独立服务器方案,可以考虑把”是否提供 RAID 卡 + 备用盘 + 硬件代维”列入选型清单——Hostease 的独立服务器方案支持故障工单由机房代处理,能减少半夜手动换盘的情况。如果你需要更完整的备份体系参考,可以阅读备份恢复演练指南;更多长期稳定性经验,请继续阅读独立服务器长期稳定运行指南。