Linux自动化运维命令和技巧#

自动化运维概述#

自动化运维是现代IT运维的重要组成部分，它可以帮助运维人员减少重复性工作，提高工作效率，降低人为错误的风险。Linux系统提供了丰富的工具和命令，用于实现各种自动化运维任务。本文将介绍Linux系统中常用的自动化运维命令和技巧，帮助运维人员更高效地管理Linux系统。

Shell脚本基础#

Shell脚本编写#

Shell脚本是自动化运维的基础，它可以将一系列命令组合在一起，实现自动化执行。

1
#!/bin/bash
2

3
# 自动化运维脚本示例
4

5
# 设置变量
6
DATE=$(date +"%Y-%m-%d")
7
LOG_FILE="/var/log/automation_$DATE.log"
8

9
# 创建日志文件
10
touch $LOG_FILE
11

12
# 记录日志
13
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 开始执行自动化运维任务" >> $LOG_FILE
14

15
# 执行系统更新
16
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 更新系统" >> $LOG_FILE
17
sudo apt update && sudo apt upgrade -y >> $LOG_FILE 2>&1
18

19
# 清理系统
20
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 清理系统" >> $LOG_FILE
21
sudo apt autoremove -y >> $LOG_FILE 2>&1
22
sudo apt clean >> $LOG_FILE 2>&1
23

24
# 备份关键文件
25
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 备份关键文件" >> $LOG_FILE
26
sudo tar -czvf /backup/etc_$DATE.tar.gz /etc >> $LOG_FILE 2>&1
27

28
# 检查磁盘空间
29
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 检查磁盘空间" >> $LOG_FILE
30
df -h >> $LOG_FILE
31

32
# 检查内存使用情况
33
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 检查内存使用情况" >> $LOG_FILE
34
free -h >> $LOG_FILE
35

36
# 检查系统负载
37
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 检查系统负载" >> $LOG_FILE
38
uptime >> $LOG_FILE
39

40
# 记录日志
41
echo "[$(date +"%Y-%m-%d %H:%M:%S")] 自动化运维任务执行完成" >> $LOG_FILE
42

43
echo "自动化运维任务执行完成，日志文件：$LOG_FILE"

Shell脚本调试#

1
# 调试模式运行脚本
2
bash -x script.sh
3

4
# 检查脚本语法
5
bash -n script.sh
6

7
# 跟踪执行过程
8
bash -v script.sh
9

10
# 在脚本中添加调试信息
11
set -x  # 启用调试
12
# 脚本内容
13
set +x  # 禁用调试

Shell脚本最佳实践#

添加注释：解释脚本的功能和关键步骤
使用变量：提高脚本的可维护性
错误处理：检查命令执行结果，处理错误情况
日志记录：记录脚本执行过程和结果
参数处理：支持命令行参数，提高脚本的灵活性
权限管理：设置适当的执行权限
测试：在不同环境中测试脚本
版本控制：使用Git等版本控制系统管理脚本

计划任务#

crontab命令#

crontab命令用于设置定期执行的任务。

1
# 编辑当前用户的crontab
2
crontab -e
3

4
# 查看当前用户的crontab
5
crontab -l
6

7
# 删除当前用户的crontab
8
crontab -r
9

10
# 编辑指定用户的crontab
11
sudo crontab -u username -e
12

13
# 查看指定用户的crontab
14
sudo crontab -u username -l

crontab格式#

1
* * * * * command
2
- - - - - -
3
| | | | | |
4
| | | | | +-- 命令
5
| | | | +---- 星期几 (0-7) (0和7都表示周日)
6
| | | +------ 月份 (1-12)
7
| | +-------- 日期 (1-31)
8
| +---------- 小时 (0-23)
9
+------------ 分钟 (0-59)

crontab示例#

1
# 每分钟执行一次
2
* * * * * command
3

4
# 每小时执行一次
5
0 * * * * command
6

7
# 每天凌晨执行一次
8
0 0 * * * command
9

10
# 每周日凌晨执行一次
11
0 0 * * 0 command
12

13
# 每月1号凌晨执行一次
14
0 0 1 * * command
15

16
# 每5分钟执行一次
17
*/5 * * * * command
18

19
# 每天8点和18点执行一次
20
0 8,18 * * * command
21

22
# 工作日（周一至周五）8点执行一次
23
0 8 * * 1-5 command
24

25
# 重定向输出到日志文件
26
0 * * * * command >> /var/log/command.log 2>&1
27

28
# 执行脚本
29
0 * * * * /path/to/script.sh >> /var/log/script.log 2>&1

系统crontab#

系统级别的crontab文件位于/etc/crontab，它包含系统级别的计划任务。

1
# 查看系统crontab
2
cat /etc/crontab
3

4
# 编辑系统crontab
5
sudo nano /etc/crontab

anacron命令#

anacron命令用于在系统启动时执行错过的计划任务，适合用于不经常开机的系统。

1
# 查看anacron配置
2
cat /etc/anacrontab
3

4
# 编辑anacron配置
5
sudo nano /etc/anacrontab
6

7
# anacron格式
8
# 周期 延迟 作业名称 命令
9
# 1 5 cron.daily run-parts /etc/cron.daily
10
# 7 10 cron.weekly run-parts /etc/cron.weekly
11
# @monthly 15 cron.monthly run-parts /etc/cron.monthly

配置管理工具#

Ansible#

Ansible是一个开源的配置管理和自动化工具，它使用SSH协议在远程系统上执行任务。

安装Ansible#

1
# 安装Ansible（Debian/Ubuntu）
2
sudo apt install -y ansible
3

4
# 安装Ansible（RHEL/CentOS）
5
sudo yum install -y epel-release
6
sudo yum install -y ansible
7

8
# 验证Ansible安装
9
ansible --version

Ansible配置#

1
# 查看Ansible配置
2
ansible --version
3

4
# 编辑Ansible配置
5
sudo nano /etc/ansible/ansible.cfg
6

7
# 创建主机清单
8
sudo nano /etc/ansible/hosts
9

10
# 主机清单示例
11
#[webservers]
12
#web1 ansible_host=192.168.1.101 ansible_user=ubuntu
13
#web2 ansible_host=192.168.1.102 ansible_user=ubuntu
14
#
15
#[databases]
16
#db1 ansible_host=192.168.1.201 ansible_user=centos

Ansible命令#

1
# 测试主机连接
2
ansible all -m ping
3

4
# 在主机上执行命令
5
ansible webservers -a "ls -la"
6

7
# 在主机上执行特权命令
8
ansible webservers -b -a "apt update"
9

10
# 使用模块执行任务
11
ansible webservers -m apt -a "name=nginx state=present" -b
12

13
# 执行playbook
14
ansible-playbook playbook.yml
15

16
# 检查playbook语法
17
ansible-playbook --syntax-check playbook.yml
18

19
# 列出playbook中的任务
20
ansible-playbook --list-tasks playbook.yml
21

22
# 列出playbook中的主机
23
ansible-playbook --list-hosts playbook.yml
24

25
# 模拟执行playbook
26
ansible-playbook --check playbook.yml

Ansible Playbook示例#

1
---
2
- name: 配置Web服务器
3
  hosts: webservers
4
  become: yes
5
  tasks:
6
    - name: 更新包列表
7
      apt:
8
        update_cache: yes
9

10
    - name: 安装Nginx
11
      apt:
12
        name: nginx
13
        state: present
14

15
    - name: 启动并启用Nginx
16
      service:
17
        name: nginx
18
        state: started
19
        enabled: yes
20

21
    - name: 复制Nginx配置文件
22
      copy:
23
        src: files/nginx.conf
24
        dest: /etc/nginx/nginx.conf
25
      notify: 重启Nginx
26

27
    - name: 创建网站目录
28
      file:
29
        path: /var/www/html
30
        state: directory
31
        mode: '0755'
32

33
    - name: 复制网站文件
34
      copy:
35
        src: files/index.html
36
        dest: /var/www/html/index.html
37

38
  handlers:
39
    - name: 重启Nginx
40
      service:
41
        name: nginx
42
        state: restarted

Puppet#

Puppet是一个开源的配置管理工具，它使用声明式语言定义系统配置。

安装Puppet#

1
# 安装Puppet Server（服务器端）
2
sudo apt install -y puppetserver  # Debian/Ubuntu
3
sudo yum install -y puppetserver  # RHEL/CentOS
4

5
# 安装Puppet Agent（客户端）
6
sudo apt install -y puppet-agent  # Debian/Ubuntu
7
sudo yum install -y puppet-agent  # RHEL/CentOS

Puppet命令#

1
# 启动Puppet Server
2
sudo systemctl start puppetserver
3
sudo systemctl enable puppetserver
4

5
# 启动Puppet Agent
6
sudo systemctl start puppet
7
sudo systemctl enable puppet
8

9
# 运行Puppet Agent手动执行
10
sudo puppet agent --test
11

12
# 查看Puppet Agent状态
13
sudo puppet agent --status
14

15
# 查看Puppet版本
16
puppet --version

Chef#

Chef是一个开源的配置管理工具，它使用Ruby语言定义系统配置。

安装Chef#

1
# 安装Chef Workstation（开发环境）
2
# 从官方网站下载安装包
3

4
# 安装Chef Server（服务器端）
5
# 从官方网站下载安装包
6

7
# 安装Chef Client（客户端）
8
sudo apt install -y chef  # Debian/Ubuntu
9
sudo yum install -y chef  # RHEL/CentOS

Chef命令#

1
# 初始化Chef仓库
2
chef generate repo chef-repo
3

4
# 生成Cookbook
5
chef generate cookbook cookbooks/mycookbook
6

7
# 上传Cookbook到Chef Server
8
knife cookbook upload mycookbook
9

10
# 查看节点
11
knife node list
12

13
# 查看Cookbook
14
knife cookbook list

配置管理最佳实践#

基础设施即代码：将基础设施配置以代码形式管理
版本控制：使用Git等版本控制系统管理配置代码
测试：在不同环境中测试配置变更
自动化：自动化配置部署和更新
监控：监控配置变更和系统状态
回滚：支持快速回滚配置变更
文档：文档化配置管理流程和最佳实践
安全性：保护配置中的敏感信息

远程执行工具#

SSH命令#

SSH是一个用于安全远程登录的协议，它可以在远程系统上执行命令。

1
# 远程登录
2
ssh username@remote_host
3

4
# 远程执行命令
5
ssh username@remote_host "ls -la"
6

7
# 远程执行多个命令
8
ssh username@remote_host "cd /home && ls -la"
9

10
# 使用密钥登录
11
ssh -i ~/.ssh/id_rsa username@remote_host
12

13
# 禁用密码登录，只允许密钥登录
14
# 编辑/etc/ssh/sshd_config
15
# PasswordAuthentication no
16
# PubkeyAuthentication yes
17

18
# 端口转发
19
# 本地端口转发
20
ssh -L 8080:localhost:80 username@remote_host
21
# 远程端口转发
22
ssh -R 8080:localhost:80 username@remote_host
23
# 动态端口转发
24
ssh -D 8080 username@remote_host

scp命令#

scp命令用于在本地和远程系统之间复制文件。

1
# 本地文件复制到远程系统
2
scp local_file.txt username@remote_host:/path/to/destination/
3

4
# 远程文件复制到本地系统
5
scp username@remote_host:/path/to/remote_file.txt /path/to/destination/
6

7
# 复制目录
8
scp -r local_directory/ username@remote_host:/path/to/destination/
9

10
# 使用密钥文件
11
scp -i ~/.ssh/id_rsa local_file.txt username@remote_host:/path/to/destination/
12

13
# 指定端口
14
scp -P 2222 local_file.txt username@remote_host:/path/to/destination/
15

16
# 压缩传输
17
scp -C local_file.txt username@remote_host:/path/to/destination/

rsync命令#

rsync命令用于在本地和远程系统之间同步文件，它只传输变更的部分，效率更高。

1
# 本地目录同步到远程系统
2
rsync -av local_directory/ username@remote_host:/path/to/destination/
3

4
# 远程目录同步到本地系统
5
rsync -av username@remote_host:/path/to/remote_directory/ local_directory/
6

7
# 同步文件
8
rsync -av local_file.txt username@remote_host:/path/to/destination/
9

10
# 删除目标目录中不存在的文件
11
rsync -av --delete local_directory/ username@remote_host:/path/to/destination/
12

13
# 使用压缩
14
rsync -avz local_directory/ username@remote_host:/path/to/destination/
15

16
# 使用密钥文件
17
rsync -av -e "ssh -i ~/.ssh/id_rsa" local_directory/ username@remote_host:/path/to/destination/
18

19
# 显示进度
20
rsync -av --progress local_directory/ username@remote_host:/path/to/destination/

自动化部署工具#

Jenkins#

Jenkins是一个开源的自动化部署工具，它可以自动化构建、测试和部署软件。

安装Jenkins#

1
# 安装Java
2
sudo apt install -y openjdk-11-jdk  # Debian/Ubuntu
3
sudo yum install -y java-11-openjdk  # RHEL/CentOS
4

5
# 安装Jenkins
6
sudo wget -O /usr/share/keyrings/jenkins-keyring.asc https://pkg.jenkins.io/debian-stable/jenkins.io.key
7
echo deb [signed-by=/usr/share/keyrings/jenkins-keyring.asc] https://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/sources.list.d/jenkins.list > /dev/null
8
sudo apt update
9
sudo apt install -y jenkins
10

11
# 启动Jenkins
12
sudo systemctl start jenkins
13
sudo systemctl enable jenkins
14

15
# 访问Jenkins
16
# http://server_ip:8080

Jenkins命令#

1
# 启动Jenkins
2
sudo systemctl start jenkins
3

4
# 停止Jenkins
5
sudo systemctl stop jenkins
6

7
# 重启Jenkins
8
sudo systemctl restart jenkins
9

10
# 查看Jenkins状态
11
sudo systemctl status jenkins
12

13
# 查看Jenkins日志
14
sudo journalctl -u jenkins

GitLab CI/CD#

GitLab CI/CD是GitLab的内置持续集成和持续部署工具。

GitLab CI/CD配置#

1
# .gitlab-ci.yml 示例
2
stages:
3
  - build
4
  - test
5
  - deploy
6

7
build:
8
  stage: build
9
  script:
10
    - echo "Building..."
11
    - make build
12
  artifacts:
13
    paths:
14
      - build/
15

16
 test:
17
  stage: test
18
  script:
19
    - echo "Testing..."
20
    - make test
21

22
 deploy:
23
  stage: deploy
24
  script:
25
    - echo "Deploying..."
26
    - make deploy
27
  environment:
28
    name: production
29
  only:
30
    - master

GitHub Actions#

GitHub Actions是GitHub的内置持续集成和持续部署工具。

GitHub Actions配置#

1
# .github/workflows/ci.yml 示例
2
name: CI
3

4
on:
5
  push:
6
    branches: [ master ]
7
  pull_request:
8
    branches: [ master ]
9

10
jobs:
11
  build:
12
    runs-on: ubuntu-latest
13
    steps:
14
    - uses: actions/checkout@v2
15
    - name: Set up Python
16
      uses: actions/setup-python@v2
17
      with:
18
        python-version: '3.8'
19
    - name: Install dependencies
20
      run: |
21
        python -m pip install --upgrade pip
22
        pip install pytest
23
        if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
24
    - name: Test with pytest
25
      run: |
26
        pytest

自动化监控工具#

Nagios#

Nagios是一个开源的监控工具，它可以监控主机、服务和网络设备。

安装Nagios#

1
# 安装Nagios Core
2
sudo apt install -y nagios3  # Debian/Ubuntu
3
sudo yum install -y nagios  # RHEL/CentOS
4

5
# 安装Nagios插件
6
sudo apt install -y nagios-plugins*  # Debian/Ubuntu
7
sudo yum install -y nagios-plugins*  # RHEL/CentOS
8

9
# 访问Nagios
10
# http://server_ip/nagios3

Zabbix#

Zabbix是一个开源的监控工具，它可以监控主机、服务和网络设备。

安装Zabbix#

1
# 安装Zabbix Server
2
sudo apt install -y zabbix-server-mysql zabbix-frontend-php zabbix-apache-conf zabbix-agent  # Debian/Ubuntu
3

4
# 安装Zabbix Agent
5
sudo apt install -y zabbix-agent  # Debian/Ubuntu
6
sudo yum install -y zabbix-agent  # RHEL/CentOS
7

8
# 访问Zabbix
9
# http://server_ip/zabbix

Prometheus#

Prometheus是一个开源的监控工具，它使用时序数据库存储监控数据。

安装Prometheus#

1
# 下载Prometheus
2
wget https://github.com/prometheus/prometheus/releases/download/v2.30.0/prometheus-2.30.0.linux-amd64.tar.gz
3

4
tar xvfz prometheus-2.30.0.linux-amd64.tar.gz
5
cd prometheus-2.30.0.linux-amd64/
6

7
# 启动Prometheus
8
./prometheus --config.file=prometheus.yml
9

10
# 访问Prometheus
11
# http://server_ip:9090

Grafana#

Grafana是一个开源的可视化工具，它可以与Prometheus等监控工具集成，展示监控数据。

安装Grafana#

1
# 安装Grafana
2
sudo apt install -y grafana  # Debian/Ubuntu
3
sudo yum install -y grafana  # RHEL/CentOS
4

5
# 启动Grafana
6
sudo systemctl start grafana-server
7
sudo systemctl enable grafana-server
8

9
# 访问Grafana
10
# http://server_ip:3000

自动化备份工具#

rsnapshot#

rsnapshot是一个基于rsync的备份工具，它可以创建增量备份。

安装rsnapshot#

1
# 安装rsnapshot
2
sudo apt install -y rsnapshot  # Debian/Ubuntu
3
sudo yum install -y rsnapshot  # RHEL/CentOS
4

5
# 配置rsnapshot
6
sudo nano /etc/rsnapshot.conf
7

8
# 测试rsnapshot配置
9
sudo rsnapshot configtest
10

11
# 执行备份
12
sudo rsnapshot daily
13

14
# 查看备份状态
15
sudo rsnapshot status

Bacula#

Bacula是一个开源的网络备份工具，它可以备份多台服务器。

安装Bacula#

1
# 安装Bacula Server
2
sudo apt install -y bacula-director bacula-sd bacula-console  # Debian/Ubuntu
3
sudo yum install -y bacula-director bacula-storage bacula-console  # RHEL/CentOS
4

5
# 安装Bacula Client
6
sudo apt install -y bacula-fd  # Debian/Ubuntu
7
sudo yum install -y bacula-client  # RHEL/CentOS

自动化运维最佳实践#

标准化：标准化系统配置和部署流程
自动化：尽可能自动化所有重复性任务
监控：实时监控系统状态和性能
告警：及时响应系统异常和故障
备份：定期备份关键数据和配置
恢复：测试和验证备份恢复流程
文档：详细记录系统配置和运维流程
培训：定期培训团队成员，提高技能水平

常见问题及解决方案#

自动化脚本执行失败#

症状：自动化脚本执行时出现错误。

解决方案：

检查脚本语法
检查脚本权限
检查依赖命令是否存在
检查日志文件，查看详细错误信息

计划任务不执行#

症状：crontab中的计划任务没有执行。

解决方案：

检查crontab格式是否正确
检查计划任务的执行权限
检查系统日志，查看详细错误信息
测试计划任务命令是否可以正常执行

配置管理工具连接失败#

症状：Ansible、Puppet等配置管理工具无法连接到目标主机。

解决方案：

检查网络连接
检查SSH配置
检查目标主机防火墙规则
检查目标主机认证配置

自动化部署失败#

症状：Jenkins、GitLab CI/CD等自动化部署工具部署失败。

解决方案：

检查构建日志，查看详细错误信息
检查代码仓库状态
检查目标服务器状态
检查部署脚本

总结#

本文介绍了Linux系统中常用的自动化运维命令和技巧，包括Shell脚本编写、计划任务设置、配置管理工具使用、远程执行命令、自动化部署工具和自动化监控工具等方面的内容。通过掌握这些命令和技巧，运维人员可以更高效地管理Linux系统，减少重复性工作，提高工作效率，降低人为错误的风险。

自动化运维是现代IT运维的发展趋势，它可以帮助运维人员从繁琐的手动操作中解放出来，专注于更有价值的工作。随着技术的不断发展，自动化运维工具和技术也在不断演进，运维人员需要不断学习和更新知识，以适应新的挑战和机遇。

练习#

编写一个自动化运维脚本，实现系统更新、清理、备份等功能。
使用crontab设置定期执行的计划任务。
安装并配置Ansible，使用Ansible管理多台服务器。
使用rsync同步本地和远程系统的文件。
安装并配置Jenkins，实现自动化构建和部署。
安装并配置Prometheus和Grafana，监控系统状态。
编写一个自动化备份脚本，使用rsnapshot创建增量备份。
使用GitLab CI/CD或GitHub Actions实现持续集成和持续部署。
编写一个监控脚本，监控系统资源使用情况并发送告警。
制定一个自动化运维方案，包括标准化、自动化、监控、备份等方面。

溪谷回声

记录每一次探索与抵达

Linux自动化运维命令和技巧

Linux自动化运维命令和技巧#

自动化运维概述#

Shell脚本基础#

Shell脚本编写#

Shell脚本调试#

Shell脚本最佳实践#

计划任务#

crontab命令#

crontab格式#

crontab示例#

系统crontab#

anacron命令#

配置管理工具#

Ansible#

安装Ansible#

Ansible配置#

Ansible命令#

Ansible Playbook示例#

Puppet#

安装Puppet#

Puppet命令#

Chef#

安装Chef#

Chef命令#

配置管理最佳实践#

远程执行工具#

SSH命令#

scp命令#

rsync命令#

自动化部署工具#

Jenkins#

安装Jenkins#

Jenkins命令#

GitLab CI/CD#

GitLab CI/CD配置#

GitHub Actions#

GitHub Actions配置#

自动化监控工具#

Nagios#

安装Nagios#

Zabbix#

安装Zabbix#

Prometheus#

安装Prometheus#

Grafana#

安装Grafana#

自动化备份工具#

rsnapshot#

安装rsnapshot#

Bacula#

安装Bacula#

自动化运维最佳实践#

常见问题及解决方案#

自动化脚本执行失败#

计划任务不执行#

配置管理工具连接失败#

自动化部署失败#

总结#

练习#

支持与分享

评论区

目录