登录站点

用户名

密码

一次内网的troubleshooting

热20已有 544 次阅读  2012-09-12 16:36   标签:  troubleshooting 
今天下午发现自己电脑顿卡,一开始还以为是电脑温度太高或未知病毒传染,为了防止世界被破坏,决定先把网线给拔掉,但神奇的是过了一会莫名其妙的恢复了。
怀疑是不是位置下面的小交换机存在问题的,索性直接用网线连接到点位尝试,但用了一会问题又出现
自此感觉是不是网络存在问题,拿着门卡到机房,看了一下交换机闪烁情况,没有特别异常的
远程到日志服务器,发现有日志里的确有个端口被BPDUGUARD给阻塞了,第五台交换机的F0/20,既然已经被errdisable了,那先放一下再处理
但这期间发现这种顿卡问题越来越严重,难道广播风暴了?开着STP还会有环路?且没有被阻挡?或者交换机被攻击了?
拿好console线连接交换机依次show logging,发现第六和第七太交换机有这样的记录
SW6
%SW_MATM-4-MACFLAP_NOTIF: Host 1803.73c0.cb4b in vlan 23 is flapping between port Po1 and port Fa0/35
%SW_MATM-4-MACFLAP_NOTIF: Host 5c26.0a5f.76f5 in vlan 23 is flapping between port Po1 and port Fa0/7
%SW_MATM-4-MACFLAP_NOTIF: Host 1803.73c0.cb4b in vlan 23 is flapping between port Fa0/35 and port Po1
%SW_MATM-4-MACFLAP_NOTIF: Host 5c26.0a5f.76f5 in vlan 23 is flapping between port Fa0/7 and port Po1

SW7
%SW_MATM-4-MACFLAP_NOTIF: Host 5c26.0a5f.76f5 in vlan 23 is flapping between port Fa0/20 and port Po1
%SW_MATM-4-MACFLAP_NOTIF: Host 1803.73c0.cb4b in vlan 23 is flapping between port Po1 and port Fa0/20
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cbb4.e6ca in vlan 23 is flapping between port Po1 and port Fa0/20
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cb90.aa7d in vlan 23 is flapping between port Fa0/20 and port Fa0/45
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cb90.aa7d in vlan 23 is flapping between port Fa0/20 and port Fa0/45
%SW_MATM-4-MACFLAP_NOTIF: Host 782b.cb90.aa7d in vlan 23 is flapping between port Fa0/45 and port Fa0/20

这些用户攻击交换机而造成的广播风暴?赶紧shutdown这些端口,再找他们谈谈
电脑顿卡现象缓解很多,但远程到交换机还是有间歇的反映迟钝,似乎问题没有根治,show proc cpu history,60分钟图的峰值仍旧会到达99%。而且很有规律性
难道还有漏网之鱼?再查看了一轮日志,没有问题。肯定还有那个问题点没有找到。
再到机房里去看一下端口状态,忽然发现原先第五台的F0/20变成黄灯,然后又灭掉
这是什么情况?记得已经是errdisable了。端口自己起来了?
恢复?errdisable recovery?show了一下,的确是的,是有配置了errdisable recovery cause all和errdisable recovery interval 120
先暂时不No掉,先shutdown F0/20,观察10分钟再show proc cpu history,图表显示很平稳,恢复到原先水平
问题点:F0/20因为有人私自连接了一台交换机,且将一条网线连接了2个端口造成了广播风暴,但是由于STP和BPDUGUARD的存在,所以就直接errdisable了,正常情况下应该就此结束了,但是errdisable recovery和interval的存在,在过了2分钟之后,又自动打开了端口,然后再被errdisable,循环N次,但日志说明了收到BPDU和到errdisable状态有一个时间差,造成了这个VLAN中的交换机的MAC地址不稳定而翻滚,从而出现上面的日志,而最严重的则是N次泛洪后仅1-2秒时间的广播风暴导致交换机的长时间的顿卡和影响到用户,没有全网瘫痪已经算是幸运的了。
其他:由于interval恢复时间是120秒,所以在60分钟图每到2分钟就来一次CPU峰值,显的非常的有规律性
以下是截取的SW5的日志
SW5
.Sep 12 14:03:06: %PM-4-ERR_RECOVER: Attempting to recover from bpduguard err-disable state on Fa0/20
.Sep 12 14:03:08: %SPANTREE-2-BLOCK_BPDUGUARD: Received BPDU on port Fa0/20 with BPDU Guard enabled. Disabling port.
.Sep 12 14:03:08: %PM-4-ERR_DISABLE: bpduguard error detected on Fa0/20, putting Fa0/20 in err-disable state
.Sep 12 14:05:08: %PM-4-ERR_RECOVER: Attempting to recover from bpduguard err-disable state on Fa0/20
.Sep 12 14:05:09: %SPANTREE-2-BLOCK_BPDUGUARD: Received BPDU on port Fa0/20 with BPDU Guard enabled. Disabling port.

分享 举报

发表评论 评论 (11 个评论)

  • tinajun 2012-09-13 11:46
    嗯,这个写得很好,很详细,一般都是这样的问题,私接交换机或路由器造成的环路或者风暴。
  • freedom1003 2012-09-13 14:05
    tinajun: 嗯,这个写得很好,很详细,一般都是这样的问题,私接交换机或路由器造成的环路或者风暴。
    事后全部No掉errdisable recovery的配置,免得以后再有人搞破坏也不会影响到其他用户。与其让我找他,还不如让他来找我。嘿嘿
  • xhwangking 2012-09-13 22:15
    就应该让他们有问题找你,要不然还当管理人员是救火队员
  • freedom1003 2012-09-14 12:46
    xhwangking: 就应该让他们有问题找你,要不然还当管理人员是救火队员
    这次原因是在errdisable recovery上面,所以算是自TR。。。。
  • 诅咒假面 2012-09-14 16:38
    像这种环路问题,最好附上拓扑图
  • hflaq 2012-09-15 19:27
    最好附上拓扑图
  • chengzhangwu88 2012-09-18 09:36
    嗯呐,写得非常不错,日常工作中经常碰见的,如果你日常中经常接触维护这些设备,拓扑图就已经在你的思维中里产生了。
  • yushuai 2012-09-24 14:07
    写的挺好啊,errdisable 的错误 比较常见了
  • justmss 2012-09-29 10:32
    来支持下。
  • 宋杭 2012-10-15 22:26
    附上拓扑最好不过了
  • 西门吹雪 2012-10-17 20:34
涂鸦板