一、基础知识

排查网络问题时,先把"慢"拆成几个可量化的指标:

  • 延迟(Latency):一个包往返一趟的时间,单位毫秒,就是 ping 里看到的 RTT。
  • 抖动(Jitter):延迟的变化幅度。有时平均延迟不高但抖动很大,语音、游戏这类实时应用照样卡。
  • 丢包率(Loss):发出去的包有多少没回来。哪怕 1% 的持续丢包,也会让连接反复重传、体验明显变差。
  • 吞吐/带宽:单位时间能传多少数据,这是另一类问题,不能和延迟混为一谈。

三个工具各管一段:

  • ping 基于 ICMP 回显请求,测的是目标是否可达、往返延迟和丢包率,适合快速判断"通不通、稳不稳"。
  • traceroute 通过逐跳递增 TTL,让路径上每个路由器回一个超时报文,从而列出数据包走过的路径,适合看"走了哪条路、卡在哪一跳"。
  • mtr 相当于把前两者合起来,持续对每一跳发探测包,给出每跳的丢包率和延迟统计,适合定位"问题到底在哪一段"。

还要理解"慢"的两种典型形态:一种是持续高延迟,比如链路距离远、选路绕路;另一种是间歇性丢包和抖动,往往和链路拥塞、设备限速或线路质量有关。两者排查手法不同:前者重点看路径是否合理,后者重点看丢包和抖动集中在哪一段。别一上来就测带宽,很多所谓"网速慢"其实是抖动大或 DNS 解析慢造成的,测带宽解决不了问题。

有个关键认知:很多网络设备会对 ICMP 报文限速,故意让探测包的优先级低于正常业务。所以某一跳显示高丢包,未必是真实故障,要结合它后面的跳一起看。

二、实操步骤

下面用文档地址 192.0.2.10 作目标,演示标准排查流程。

第 1 步:ping 看基本连通与质量。

ping -c 20 192.0.2.10

结果里的 min/avg/max/mdev 分别是最小、平均、最大延迟和偏差(mdev 就是抖动参考值),packet loss 是丢包率。

第 2 步:traceroute 看路径。

traceroute -n 192.0.2.10

-n 不做反向解析,输出更快。每行是一跳,显示该跳的 IP 和三个探测的往返时间。

第 3 步:mtr 做持续统计(推荐报告模式)。

# 发 20 个包后输出一份可复制的统计报告
mtr -rwzc 20 192.0.2.10

重点看几列:Loss% 是这一跳的丢包率,Avg 是平均延迟,StDev 是抖动。报告模式适合直接贴给同事或工单分析。

第 4 步:ICMP 被禁时改用 TCP 探测。

# 用 TCP 端口连通性验证业务是否可达
nc -vz 192.0.2.10 443

第 5 步:区分 DNS 耗时和网络耗时。

curl -s -o /dev/null -w 'dns=%{time_namelookup} connect=%{time_connect} total=%{time_total}n' https://example.com

如果 dns 占比很高,问题在域名解析而不是链路。

三、关键细节

  1. 抖动比平均延迟更能解释"卡"。 mtr 的 StDev 或 ping 的 mdev 很大时,即使平均延迟好看,实时业务也会出问题。
  2. 单跳丢包不能单独下结论。 如果第 5 跳丢包 20%,但第 6 跳往后都正常,那多半是第 5 跳对 ICMP 限速,不是真故障。
  3. 丢包出现在最后一跳才最可疑。 若只有目标主机那一跳丢包,问题多在目标主机本身或它的接入链路。
  4. 看延迟的"梯度"。 某一跳突然比前一跳多出几十毫秒,瓶颈往往就在这一段。
  5. ping 通不等于业务正常。 ICMP 可达只说明网络层通,端口、服务、应用层的故障要用对应协议去验证。
  6. 报告模式比实时刷屏好用。 mtr -rwzc 跑完直接出静态表,便于留档和对比前后变化。
  7. ICMP 和 TCP 的表现可能不同。 有的链路对 ICMP 限速但 TCP 流量正常,所以 ICMP 测出的丢包只能当参考,最终一定要用业务实际使用的协议去验证。

四、常见错误

现象 原因 修正
ping 全部超时,但业务访问正常 目标禁用了 ICMP 或对其限速 改用 nc -vz 测业务端口,或用 traceroute 的 TCP/UDP 模式(参数以官方手册为准)
中间某跳 100% 丢包,后面各跳却正常 该跳路由器不回或限速 ICMP 以后续跳为准判断,别把它当成故障点
只盯平均延迟,用户仍反映卡顿 忽略了抖动 看 mdev / StDev,抖动大需进一步排查链路质量
mtr 跑到一半中断,拿不到结果 用了交互模式或包数过多 用 mtr -rwzc 20 报告模式,跑完自动输出
把域名解析慢当成了网络慢 DNS 查询耗时长 用 curl -w 拆分 time_namelookup 与 time_connect 分别看
测试点选错,结论与用户感受相反 从错误运营商或地区发起测试 尽量从出问题用户同网段、同运营商侧发起测试

五、排查方法

按从近到远的顺序做,能快速缩小范围:

# 1. 先 ping 默认网关,确认内网段本身正常(192.0.2.1 为文档示例网关)
ping -c 10 192.0.2.1

# 2. ping 目标,看丢包与抖动
ping -c 20 192.0.2.10

# 3. 用 mtr 看每一跳的状态,定位问题段
mtr -rwzc 20 192.0.2.10

# 4. ICMP 不可靠时,用 TCP 端口验证业务连通
nc -vz 192.0.2.10 443

# 5. 拆分 DNS 与连接耗时,排除解析拖慢
curl -s -o /dev/null -w 'dns=%{time_namelookup} connect=%{time_connect} total=%{time_total}n' https://example.com

顺序是"先内网后外网、先网络层后应用层"。先看内网网关排除本地问题,再逐层往外,最后确认是不是 DNS 或应用层的锅。反过来,如果只有某一个应用慢、而 ping 完全正常,那问题多半在应用层或该服务的上游,不必在链路上继续深挖,换方向查效率更高。

六、注意事项

  • ping、traceroute、mtr 都依赖 ICMP(traceroute 部分模式用 UDP/TCP),不少公网主机对 ICMP 限速或禁ping,结果必须结合业务端口验证。
  • 测试一定要从"出问题的一侧"发起;网络往返路径可能不对称,方向不同结果会不同。
  • 单次测试偶然性大,建议在不同时段多测几次,再看是否稳定复现。
  • 各系统工具的参数(如 -n、-z 等)含义和输出字段可能略有差异,请以官方文档和 man 手册为准。
  • 文中 192.0.2.x 与 example.com 为文档保留地址与域名,仅用于演示命令,请勿替换为任意真实第三方站点。

免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。