一、基础知识
排查网络问题时,先把"慢"拆成几个可量化的指标:
- 延迟(Latency):一个包往返一趟的时间,单位毫秒,就是 ping 里看到的 RTT。
- 抖动(Jitter):延迟的变化幅度。有时平均延迟不高但抖动很大,语音、游戏这类实时应用照样卡。
- 丢包率(Loss):发出去的包有多少没回来。哪怕 1% 的持续丢包,也会让连接反复重传、体验明显变差。
- 吞吐/带宽:单位时间能传多少数据,这是另一类问题,不能和延迟混为一谈。
三个工具各管一段:
- ping 基于 ICMP 回显请求,测的是目标是否可达、往返延迟和丢包率,适合快速判断"通不通、稳不稳"。
- traceroute 通过逐跳递增 TTL,让路径上每个路由器回一个超时报文,从而列出数据包走过的路径,适合看"走了哪条路、卡在哪一跳"。
- mtr 相当于把前两者合起来,持续对每一跳发探测包,给出每跳的丢包率和延迟统计,适合定位"问题到底在哪一段"。
还要理解"慢"的两种典型形态:一种是持续高延迟,比如链路距离远、选路绕路;另一种是间歇性丢包和抖动,往往和链路拥塞、设备限速或线路质量有关。两者排查手法不同:前者重点看路径是否合理,后者重点看丢包和抖动集中在哪一段。别一上来就测带宽,很多所谓"网速慢"其实是抖动大或 DNS 解析慢造成的,测带宽解决不了问题。
有个关键认知:很多网络设备会对 ICMP 报文限速,故意让探测包的优先级低于正常业务。所以某一跳显示高丢包,未必是真实故障,要结合它后面的跳一起看。
二、实操步骤
下面用文档地址 192.0.2.10 作目标,演示标准排查流程。
第 1 步:ping 看基本连通与质量。
ping -c 20 192.0.2.10
结果里的 min/avg/max/mdev 分别是最小、平均、最大延迟和偏差(mdev 就是抖动参考值),packet loss 是丢包率。
第 2 步:traceroute 看路径。
traceroute -n 192.0.2.10
-n 不做反向解析,输出更快。每行是一跳,显示该跳的 IP 和三个探测的往返时间。
第 3 步:mtr 做持续统计(推荐报告模式)。
# 发 20 个包后输出一份可复制的统计报告
mtr -rwzc 20 192.0.2.10
重点看几列:Loss% 是这一跳的丢包率,Avg 是平均延迟,StDev 是抖动。报告模式适合直接贴给同事或工单分析。
第 4 步:ICMP 被禁时改用 TCP 探测。
# 用 TCP 端口连通性验证业务是否可达
nc -vz 192.0.2.10 443
第 5 步:区分 DNS 耗时和网络耗时。
curl -s -o /dev/null -w 'dns=%{time_namelookup} connect=%{time_connect} total=%{time_total}n' https://example.com
如果 dns 占比很高,问题在域名解析而不是链路。
三、关键细节
- 抖动比平均延迟更能解释"卡"。 mtr 的
StDev或 ping 的mdev很大时,即使平均延迟好看,实时业务也会出问题。 - 单跳丢包不能单独下结论。 如果第 5 跳丢包 20%,但第 6 跳往后都正常,那多半是第 5 跳对 ICMP 限速,不是真故障。
- 丢包出现在最后一跳才最可疑。 若只有目标主机那一跳丢包,问题多在目标主机本身或它的接入链路。
- 看延迟的"梯度"。 某一跳突然比前一跳多出几十毫秒,瓶颈往往就在这一段。
- ping 通不等于业务正常。 ICMP 可达只说明网络层通,端口、服务、应用层的故障要用对应协议去验证。
- 报告模式比实时刷屏好用。
mtr -rwzc跑完直接出静态表,便于留档和对比前后变化。 - ICMP 和 TCP 的表现可能不同。 有的链路对 ICMP 限速但 TCP 流量正常,所以 ICMP 测出的丢包只能当参考,最终一定要用业务实际使用的协议去验证。
四、常见错误
| 现象 | 原因 | 修正 |
|---|---|---|
| ping 全部超时,但业务访问正常 | 目标禁用了 ICMP 或对其限速 | 改用 nc -vz 测业务端口,或用 traceroute 的 TCP/UDP 模式(参数以官方手册为准) |
| 中间某跳 100% 丢包,后面各跳却正常 | 该跳路由器不回或限速 ICMP | 以后续跳为准判断,别把它当成故障点 |
| 只盯平均延迟,用户仍反映卡顿 | 忽略了抖动 | 看 mdev / StDev,抖动大需进一步排查链路质量 |
| mtr 跑到一半中断,拿不到结果 | 用了交互模式或包数过多 | 用 mtr -rwzc 20 报告模式,跑完自动输出 |
| 把域名解析慢当成了网络慢 | DNS 查询耗时长 | 用 curl -w 拆分 time_namelookup 与 time_connect 分别看 |
| 测试点选错,结论与用户感受相反 | 从错误运营商或地区发起测试 | 尽量从出问题用户同网段、同运营商侧发起测试 |
五、排查方法
按从近到远的顺序做,能快速缩小范围:
# 1. 先 ping 默认网关,确认内网段本身正常(192.0.2.1 为文档示例网关)
ping -c 10 192.0.2.1
# 2. ping 目标,看丢包与抖动
ping -c 20 192.0.2.10
# 3. 用 mtr 看每一跳的状态,定位问题段
mtr -rwzc 20 192.0.2.10
# 4. ICMP 不可靠时,用 TCP 端口验证业务连通
nc -vz 192.0.2.10 443
# 5. 拆分 DNS 与连接耗时,排除解析拖慢
curl -s -o /dev/null -w 'dns=%{time_namelookup} connect=%{time_connect} total=%{time_total}n' https://example.com
顺序是"先内网后外网、先网络层后应用层"。先看内网网关排除本地问题,再逐层往外,最后确认是不是 DNS 或应用层的锅。反过来,如果只有某一个应用慢、而 ping 完全正常,那问题多半在应用层或该服务的上游,不必在链路上继续深挖,换方向查效率更高。
六、注意事项
- ping、traceroute、mtr 都依赖 ICMP(traceroute 部分模式用 UDP/TCP),不少公网主机对 ICMP 限速或禁ping,结果必须结合业务端口验证。
- 测试一定要从"出问题的一侧"发起;网络往返路径可能不对称,方向不同结果会不同。
- 单次测试偶然性大,建议在不同时段多测几次,再看是否稳定复现。
- 各系统工具的参数(如
-n、-z等)含义和输出字段可能略有差异,请以官方文档和man手册为准。 - 文中
192.0.2.x与example.com为文档保留地址与域名,仅用于演示命令,请勿替换为任意真实第三方站点。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。