Linux系统CPU使用率或CPU负载较高问题的排查及解决

作者

操作场景

在您使用过程中，可能会遇到实例CPU使用率或CPU负载持续较高的情况，您可以按照以下步骤排查定位具体问题。

  1. 找到影响CPU使用率或CPU负载过高的具体进程。
  2. 排查影响CPU使用率或CPU负载过高的进程是否正常，并分类进行处理。
    • 对于正常进程：您需要对程序进行优化或者升配实例规格。具体操作，请参见包年包月实例升配规格或按量付费实例变配规格。
    • 对于异常进程：您可以手动对进程进行查杀，也可以使用第三方安全工具去查杀。

CPU负载的查询分析

在Linux系统中，查看进程的常用命令如下所示。本文主要介绍vmstat和top常用命令的使用。

  • vmstat
  • top
  • ps -aux
  • ps -ef

vmstat命令的使用

top命令的使用

vmstat（VirtualMeomoryStatistics，虚拟内存统计），通过vmstat命令，从系统维度查看操作系统的虚拟内存、进程、CPU等的整体情况。

vmstat命令

常用vmstat命令如下所示。

vmstat [-n] [delay [count]]

说明

  • [-n]：只在开始时显示一次各字段名称。
  • [delay]：刷新时间间隔。如果不指定，只显示一条结果。
  • [count]：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。

使用示例

执行如下命令，使用vmstat每1秒统计一次各进程的CPU使用情况，连续统计4次。

vmstat -n 1 4

返回示例类似如下。

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0      0 2684984 310452 2364304    0    0     5    17   19   35  4  2 94  0  0
 0  0      0 2687504 310452 2362268    0    0     0   252 1942 4326  5  2 93  0  0
 0  0      0 2687356 310460 2362252    0    0     0    68 1891 4449  3  2 95  0  0
 0  0      0 2687252 310460 2362256    0    0     0     0 1906 4616  4  1 95  0  0

显示结果主要字段说明

  • r：表示系统中CPU等待处理的线程。一个CPU每次只能处理一个线程，所以该数值越大，通常表示系统运行越慢。
  • us：用户模式消耗的CPU时间百分比。该值较高时，说明用户进程消耗的CPU时间比较多。如果该值长期超过50%，则需要对程序算法或代码等进行优化。
  • sy：内核模式消耗的CPU时间百分比。
  • wa：I/O等待消耗的CPU时间百分比。该值较高时，说明IO等待比较严重，这可能是磁盘大量作随机访问造成的，也可能是磁盘性能出现了瓶颈。
  • id：处于空闲状态的CPU时间百分比。如果该值持续为0，同时sy是us的两倍，则通常说明系统面临CPU资源短缺。

常见CPU资源过高案例分析

案例一：CPU使用率较低但负载较高

问题现象

当前Linux系统没有业务程序运行。通过top命令观察，发现CPU使用率不高，但是CPU负载（load average）却非常高，如下图所示。

问题原因

该问题可能是因为僵死（zombie）进程过多导致。

load average是对CPU负载进行评估的，其值越高说明其任务队列越长，处于等待执行的任务越多。

解决方案

您可以通过ps -axjf命令查看是否存在D+状态进程，该状态是指不可中断的睡眠状态。

处于该状态的进程无法终止，也无法自行退出，只能通过恢复其依赖的资源或者重启系统来解决。

案例二：kswapd0进程占用CPU较高

问题现象

ECS实例运行卡顿，使用top命令查看，kswapd0进程占用了99% CPU。

问题原因

出现该问题可能是系统此时在持续进行换页操作，导致占用大量CPU资源。

kswapd0是虚拟内存管理中负责换页的进程，当ECS实例物理内存不足时，kswapd0会执行换页操作，换页操作会消耗大量的CPU资源。

解决方案

您可以通过修改vm.swappiness内核参数来控制交换空间的大小，来解决kswapd0进程占用CPU较高的问题。

  1. 登录Linux实例。具体操作，请参见连接方式概述。
  2. 查看swappiness参数。cat /proc/sys/vm/swappiness系统显示类似如下，表示当物理内存低于60%（100-40）时使用swap空间。说明 swappiness参数越低，表示Linux系统尽量少用swap分区，多用物理内存；swappiness参数值越高，表示使内核更多的去使用swap空间。查看swap
  3. 根据业务需要，修改swappiness参数。
    1. 打开内核参数配置文件sysctl.conf。vi /etc/sysctl.conf
    2. 根据业务需要，修改swappiness参数值。如在sysctl.conf文件中，修改vm.swappiness = 10。
    3. 按Esc键，输入:wq保存修改。
    4. 重新加载sysctl配置文件，使配置生效。sysctl -p若该问题还未解决，建议您升配实例规格。

案例三：CPU使用率过高100%问题排查

问题现象

如果遇到CPU使用率高达100%等异常情况，且无法通过top、htop等命令查询到消耗CPU资源的具体进程。

问题原因

该问题可能是病毒导致。

解决方案

  1. 查看云监控监控数据。
    1. 登录云监控管理控制台。
    2. 在左侧导航栏，单击主机监控。
    3. 找到异常主机，单击操作列的监控图表。
    4. 在操作系统监控页签下，查看该主机的CPU使用率并记录具体时间点。
  2. 查看Linux实例的命令修改记录。
    1. 登录Linux实例。具体操作，请参见连接方式概述。
    2. 执行如下命令，查看当前Linux系统命令最近是否被修改过。stat /usr/bin/top系统显示类似如下，系统命令有被修改。查看更改时间是否和云监控中CPU使用率出现100%的时间点吻合。CommandChanges
  3. 分别执行如下命令，查看ps或top命令是否被修改过。rpm -Vf /bin/ps rpm -Vf /usr/bin/top
    • 正常情况下，系统无返回修改信息。
    • 系统异常情况下，显示类似如下，表示ps和top命令被修改过。CommandQuery
  4. 执行如下命令，查看当前实例是否连接到异常域名。iftop -i [$Device] -n -P说明 [$Device]请替换为当前系统使用的网卡，如eth0。系统显示类似如下，若您没有连接过crypto-pool.fr，则crypto-pool.fr是异常域名。
  5. 综合以上表现，top、ps命令被修改，并且连接到异常域名，判断您的实例已被病毒入侵，可以参考以下方案。
    1. 备份ECS实例数据，
    2. 重新初始化系统盘，然后使用云安全中心对实例进行安全加固。