一、现象描述

周末休息，公司值班同事电话通知，公司无法上网（外网和公司内部设备均有连接异常现象），10分钟左右后未做任何操作，网络恢复正常，

1、tracert 截图到公司出口路由器ip，未出现公司上联互联地址（初步确认为公司内网问题）

2、公司值班同事给上联运营商发邮件 提示dns错误

二、监控信息

邮件报警，全部内网交换机宕机10分钟后恢复，

三、进行操作如下

1、登录公司服务器接入交换机，检查设备日志，确认设备无重启，端口无up down现象

2、登录公司核心交换机，检查设备日志，确认设备无重启，端口无up down现象

3、登录公司出口路由器，查设备日志，确认设备无重启，各互联端口无up down现象

4、登录公司出口路由器，发现路由器有位置异常报错日志，持续不断出现，初步判断和路由器内存有关

5、登录上网行为管理设备，检查设备运行时间，均正常。登录防火墙设备，设备运行正常，无重启

6、仔细核对公司网络设备邮件报警设备信息，确认公司内部断网两次

7、给H3C厂商发邮件，公司邮箱提示 邮件投递超时错误

无法将您的邮件投递至以下指定地址:
csxxx@h3c.com : DNS lookup failed.

8、去邮件网站 查询，确认公司邮件服务器ip进入垃圾服务器

9、此时才想起 去看一下 公司流量监控cacti，发现公司断网时间，公司出口上传流量比较大，根源为邮件服务器

离开IDC公司有段时间了，竟然忘记 流量图这么好的判断依据。记录一下 用了半天时间自己才 排查出的公司断网原因，记录一下这个失败的排查经历

开始判断为设备或者链路故障，因为在公司从未想过攻击之类的，毕竟是内网，值得记录的教训！