服务器丢包怎么排查?按本机、机房、跨网、对端四段定位

先分清延迟、抖动、丢包和带宽四件事,再按本机、机房出口、跨网链路、对端四段逐段排除,备好时间、IP、命令输出和复现频率再联系机房。

要点速览

• 延迟、抖动、丢包、带宽跑不满是四件事,先分清再查
• 按本机、机房出口、跨网链路、对端四段逐段排除
• mtr 看从哪一跳起持续丢包,单跳丢包多为探测限速
• 工单附时间、源和目的IP、原始输出、复现频率
• 改网卡、路由、内核参数前先确认业务能否中断

服务器能连上,但访问慢、卡顿或丢包,建议按「本机与应用 → 机房内网与出口 → 跨网链路 → 对端或客户终端」四段逐段排除,不要一上来就怀疑线路。开始之前先把症状说准:延迟高、抖动、丢包、带宽跑不满是四件不同的事,对应的查法也不同。每一段都用命令留下记录,确认问题落在哪一段、这一段归谁管,再决定是自己处理,还是带着证据去找机房或运营商。

先把症状分开:延迟、抖动、丢包、带宽不是一回事

很多工单里只写一句「网络很卡」,机房接到后也只能从头问起。真正能推进排查的描述,需要先把症状归到下面四类之一,或者说清是哪几类同时出现:

• 延迟高:数据包往返一次花的时间长,表现为每次操作都慢半拍,但慢得比较稳定。
• 抖动:延迟忽高忽低,平均值也许不难看,但实时音视频、游戏、交易类业务会明显受影响。
• 丢包:一部分数据包没有到达,TCP 会重传,用户感受到的是卡顿、加载转圈、偶发超时。
• 带宽跑不满:传大文件时速度上不去,这是容量层面的问题。

其中带宽说的是链路容量,和延迟、丢包是不同的指标。一条容量很大的链路,照样可能延迟高、会丢包;一条容量不大的链路,也可能延迟很低。两者有关联(带宽被打满后容易排队、进而延迟上升甚至丢包),但不能互相替代。概念上的区分可以参考站内这篇带宽指的是什么:链路容量,与流量、延迟、丢包分开看。如果你的主要症状是传输速度上不去,建议按「跑不满」的思路去查;本文只讨论「通,但慢、抖、丢包」的情况。

同时把时间特征记下来:是一直如此,还是某个时段才出现;是所有用户都慢,还是某个地区、某个运营商的用户慢。这两条信息往往比任何命令都更能缩小范围。

四段定位:每一段看什么、什么算可疑

第一段:本机与应用

先排除服务器自己的问题,这一段完全归你自己管,查起来也最方便。常用的观察点:

• CPU 和负载:用 top 或 htop 看是否长时间满载,软中断(si)占比是否异常偏高。CPU 忙不过来时,网卡收到的包来不及处理,也会表现为延迟和丢包。
• 连接数:用 ss -s 或 ss -tan 看连接总数和各状态分布,如果大量连接停在某个状态,或者接近应用、系统设定的上限,要先查应用。
• 网卡错误计数:用 ip -s link 看 RX/TX 的 errors、dropped、overrun;用 ethtool -S 网卡名 看更细的计数。这里要看的是计数是否在持续增长,而不是绝对值,隔几分钟对比两次输出就能看出来。
• 网卡协商状态:ethtool 网卡名 看速率和双工模式是否和预期一致,协商异常会带来持续的错误和丢包。

可疑的信号是:错误计数持续上涨、软中断占比明显偏高、连接数异常堆积。如果这一段就能看到问题,先在本机处理,不必急着找机房。

第二段:机房内网与出口

本机看起来正常,再看服务器到机房出口这一段。你能在服务器上做的是:

• 用 sar -n DEV 或 iftop 看本机网卡流量,判断是否接近购买的带宽规格。如果流量长期贴着规格上限,排队和丢包就不奇怪了。
• ping 网关地址,观察到网关这一跳是否已经出现延迟升高或丢包。如果到网关就不稳定,问题大概率在本机网卡、网线或接入交换机端口。

交换机端口状态、上联是否拥塞、出口带宽是否被打满,这些需要机房侧查看。你需要提供的是:到网关是否异常、本机流量是否接近规格、异常出现的时间段。

第三段:跨网链路

如果本机和到网关都正常,问题往往出在服务器出机房之后的公网路径上。这一段要靠对比:

• ping:看延迟和丢包的整体情况,建议持续一段时间,而不是只发几个包。
• traceroute:看数据包经过了哪些节点,路径是否绕远。
• mtr:把前两者结合起来,逐跳统计丢包和延迟,适合留证据。建议同时跑去程(从服务器到客户端)和回程(从客户端到服务器),两个方向的路径可能不同。

对比的方法是:从不同运营商的网络、在不同时段各测一次。如果只有某个运营商的用户慢、只有晚间时段慢,基本可以把范围收到跨网链路或某段运营商网络上。

读 mtr 结果时要注意一点:中间某一跳显示丢包,但后面各跳和终点都不丢,通常是那台路由器对探测包限速,不代表真实丢包。真正需要关注的是从某一跳开始,之后每一跳包括终点都出现丢包或延迟明显抬升,这个起点附近才是可疑位置。

线路类型在这一段影响很大。单线接入时,跨运营商访问需要经过网间互联,容易在互联点附近出现延迟和丢包;BGP 接入会就近选择运营商路径,跨网访问通常更顺,但具体走哪条路由、能否切换,要看机房的接入方式。两者区别可以参考服务器托管BGP线路和单线的区别在于跨网与切换。

第四段:对端或客户终端

不要忽略访问方自己。家庭宽带、办公室网络、Wi-Fi 信号、客户端设备性能,都可能让用户觉得「服务器很慢」。可以请反馈问题的用户在自己电脑上 ping 和 tracert 服务器地址,同时测一个其他常用站点做对照。如果用户访问别的站点也慢,问题多半在用户本地;如果只有访问你的服务器慢,再回到第三段对比路径。

取证:整理成一份机房和运营商能直接用的材料

排查到需要别人协助时,证据的质量决定了处理速度。一份有用的工单材料至少包括:

1. 时间:问题首次出现的时间,以及每次测试的具体起止时间,注明时区。
2. 源和目的 IP:服务器公网 IP,测试端的公网 IP 及其所属运营商和地区。
3. 命令原始输出:ping、mtr、traceroute 的完整输出,去程和回程各一份,不要只截一段,也不要只写结论。
4. 复现频率:持续存在,还是某个时段出现,还是偶发;偶发的话大概多久出现一次。
5. 已排除的部分:写清本机错误计数、到网关的测试结果,说明你已经查过前两段,对方就不必从头再来。
6. 业务影响:哪类业务、多少用户受影响,便于对方判断优先级。

材料按「现象—时间—测试点—原始输出—已排除项」的顺序排好,机房一线人员拿到后能直接判断是转给网络组,还是需要联系上游运营商。

动手前确认归属:哪些能自己改,哪些要走工单

定位到大致位置后,先别急着动手,确认这一段归谁管:

• 本机与应用:归你自己,包括系统参数、网卡配置、应用设置。
• 机房内网与出口:接入交换机、上联、出口带宽归机房,你提供证据,由机房处理。
• 跨网链路:公网路由和网间互联归运营商,一般需要通过机房协调,很少能由用户直接推动。
• 对端终端:归访问方,你能做的是给出测试方法和建议。

即使是归你自己管的本机,改路由、重启网卡、调整内核网络参数之前,也要先确认这台机器上跑的是什么业务、能不能中断、有没有其他人同时在维护。重启网卡会让远程连接断开,在托管场景下,如果配置出错导致失联,只能请机房现场协助。涉及机房侧的网络变更,应按约定走工单,写清变更内容、时间窗口和回退方式。工单和变更怎么约定,可以参考服务器托管日常运维怎么约定?出入机房、工单、变更三件事。

行动建议:让工具帮忙整理,判断留给人

排查丢包时,费时间的往往不是敲命令,而是对着几屏 mtr、ping 输出找规律、整理成工单。润迅的 MaxTerm 是一款终端 AI 运维工具,支持 macOS 和 Windows,个人免费。在这个场景里,它能帮忙整理 mtr、ping 的输出,标出丢包从哪一跳开始持续出现、哪些跳点可能只是探测限速,并按上面的格式汇总成工单草稿。它给出的是提示和整理,命令要不要执行、改不改配置,都由人工确认。关于终端 AI 碰服务器时的数据边界,可以看AI 终端开始碰服务器之后,数据边界不能再含糊了。

如果服务器托管在润迅,前海云与田心两个数据中心的网络与带宽问题,可以带着上面的材料,按线路、时段与机房一起核对:哪段是机房内网,哪段是出口,哪段需要协调上游。具体步骤可以按下面的顺序来:

1. 先写下症状属于延迟、抖动、丢包中的哪一类,以及出现的时段和受影响的用户范围。
2. 在本机查 CPU、连接数和网卡错误计数,隔几分钟对比一次。
3. ping 网关、看本机流量是否接近规格。
4. 从不同运营商、不同时段跑去程和回程 mtr。
5. 按六项内容整理材料,确认归属后再提交工单或自行处理。

如需与机房核对线路情况,可拨打润迅业务咨询热线 400-854-5566。

→ 联系润迅,聊聊你的场景,获取适合的方案