今天下午发现自己电脑顿卡,一开始还以为是电脑温度太高或未知病毒传染,为了防止世界被破坏,决定先把网线给拔掉,但神奇的是过了一会莫名其妙的恢复了。
怀疑是不是位置下面的小交换机存在问题的,索性直接用网线连接到点位尝试,但用了一会问题又出现
自此感觉是不是网络存在问题,拿着门卡到机房,看了一下交换机闪烁情况,没有特别异常的
远程到日志服务器,发现有日志里的确有个端口被BPDUGUARD给阻塞了,第五台交换机的F0/20,既然已经被errdisable了,那先放一下再处理
但这期间发现这种顿卡问题越来越严重,难道广播风暴了?开着STP还会有环路?且没有被阻挡?或者交换机被攻击了?
拿好console线连接交换机依次show logging,发现第六和第七太交换机有这样的记录
SW6
%SW_MATM-4-MACFLAP_NOTIF: Host 1803.73c0.cb4b in vlan 23 is flapping between port Po1 and port Fa0/35
%SW_MATM-4-MACFLAP_NOTIF: Host 5c26.0a5f.76f5 in vlan 23 is flapping between port Po1 and port Fa0/7
%SW_MATM-4-MACFLAP_NOTIF: Host 1803.73c0.cb4b in vlan 23 is flapping between port Fa0/35 and port Po1
%SW_MATM-4-MACFLAP_NOTIF: Host 5c26.0a5f.76f5 in vlan 23 is flapping between port Fa0/7 and port Po1
SW7
%SW_MATM-4-MACFLAP_NOTIF: Host 5c26.0a5f.76f5 in vlan 23 is flapping between port Fa0/20 and port Po1
%SW_MATM-4-MACFLAP_NOTIF: Host 1803.73c0.cb4b in vlan 23 is flapping between port Po1 and port Fa0/20
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cbb4.e6ca in vlan 23 is flapping between port Po1 and port Fa0/20
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cb90.aa7d in vlan 23 is flapping between port Fa0/20 and port Fa0/45
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cb90.aa7d in vlan 23 is flapping between port Fa0/20 and port Fa0/45
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cb90.aa7d in vlan 23 is flapping between port Fa0/45 and port Fa0/20
这些用户攻击交换机而造成的广播风暴?赶紧shutdown这些端口,再找他们谈谈
电脑顿卡现象缓解很多,但远程到交换机还是有间歇的反映迟钝,似乎问题没有根治,show proc cpu history,60分钟图的峰值仍旧会到达99%。而且很有规律性
难道还有漏网之鱼?再查看了一轮日志,没有问题。肯定还有那个问题点没有找到。
再到机房里去看一下端口状态,忽然发现原先第五台的F0/20变成黄灯,然后又灭掉
这是什么情况?记得已经是errdisable了。端口自己起来了?
恢复?errdisable recovery?show了一下,的确是的,是有配置了errdisable recovery cause all和errdisable recovery interval 120
先暂时不No掉,先shutdown F0/20,观察10分钟再show proc cpu history,图表显示很平稳,恢复到原先水平
问题点:F0/20因为有人私自连接了一台交换机,且将一条网线连接了2个端口造成了广播风暴,但是由于STP和BPDUGUARD的存在,所以就直接errdisable了,正常情况下应该就此结束了,但是errdisable recovery和interval的存在,在过了2分钟之后,又自动打开了端口,然后再被errdisable,循环N次,但日志说明了收到BPDU和到errdisable状态有一个时间差,造成了这个VLAN中的交换机的MAC地址不稳定而翻滚,从而出现上面的日志,而最严重的则是N次泛洪后仅1-2秒时间的广播风暴导致交换机的长时间的顿卡和影响到用户,没有全网瘫痪已经算是幸运的了。
其他:由于interval恢复时间是120秒,所以在60分钟图每到2分钟就来一次CPU峰值,显的非常的有规律性
以下是截取的SW5的日志
SW5
.Sep 12 14:03:06: %PM-4-ERR_RECOVER: Attempting to recover from bpduguard err-disable state on Fa0/20
.Sep 12 14:03:08: %SPANTREE-2-BLOCK_BPDUGUARD: Received BPDU on port Fa0/20 with BPDU Guard enabled. Disabling port.
.Sep 12 14:03:08: %PM-4-ERR_DISABLE: bpduguard error detected on Fa0/20, putting Fa0/20 in err-disable state
.Sep 12 14:05:08: %PM-4-ERR_RECOVER: Attempting to recover from bpduguard err-disable state on Fa0/20
.Sep 12 14:05:09: %SPANTREE-2-BLOCK_BPDUGUARD: Received BPDU on port Fa0/20 with BPDU Guard enabled. Disabling port.







发表评论 评论 (11 个评论)