什么是运维
运维(Operations)不是“服务器出故障后去修”,也不是研发、测试不愿意做的杂活。 现代运维是一套围绕生产系统全生命周期开展的工程与管理活动:让业务在可接受的成本内,持续保持可用、可靠、安全、可恢复、可扩展、可观测。
一项线上服务通常会经历规划、设计、开发、测试、发布、运行、扩容、变更、故障处理、复盘和退役。运维并非只在“发布之后”出现,而应从设计阶段就参与容量、监控、备份、容灾、安全、回滚和可维护性评审。
如果把业务系统比作一座持续营业的商场:研发负责建设和改造店铺,测试负责检查功能是否符合预期,运维则要保证供电、网络、消防、客流、安防、应急预案和日常巡检都能支撑商场稳定营业。三者不是前后割裂的工种,而是对同一业务结果共同负责。
一句话概括:运维的价值不是“机器没有报警”,而是用户能稳定地使用服务,团队能安全地交付变化,并且故障发生时能够快速恢复。
现代运维最重要的六个目标
| 目标 | 需要回答的问题 | 常见实践 |
|---|---|---|
| 可靠性 | 服务是否达到用户真正需要的可用水平 | SLI/SLO、错误预算、高可用、容灾、演练 |
| 安全性 | 谁能访问什么,风险能否及时发现和处置 | 最小权限、补丁、堡垒机、审计、漏洞与基线治理 |
| 交付能力 | 变更能否频繁、小批量、可验证、可回退 | CI/CD、灰度发布、变更评审、自动回滚 |
| 可观测性 | 出问题时能否从现象快速定位到原因 | 指标、日志、链路、事件、告警关联 |
| 效率 | 重复劳动能否自动化,复杂度能否被平台吸收 | IaC、脚本、编排、自助服务、标准化 |
| 成本与资源 | 容量是否合理,投入是否产生业务价值 | 容量规划、弹性伸缩、闲置治理、FinOps |
这六个目标需要平衡。例如,一味追求“零故障”可能让发布停滞、成本失控;只追求发布速度又可能造成频繁回滚。SRE 引入 SLO(服务等级目标)和错误预算,就是为了用数据协调可靠性与迭代速度,而不是依靠感觉争论。
运维贯穿系统的整个生命周期
- 规划与设计:明确业务等级、依赖关系、容量目标、SLO、RTO/RPO、安全要求和预算。
- 建设与交付:准备机房、网络、计算、存储、数据库、中间件、云资源与交付流水线。
- 上线前准备:检查监控、日志、告警、备份、回滚、限流降级、值班手册和应急预案。
- 发布与变更:小批量发布,观察核心指标,设置停止条件,异常时回退。
- 日常运行:巡检、告警处置、容量分析、性能优化、补丁和证书管理。
- 故障与恢复:先控制影响、恢复服务,再定位根因;全过程记录时间线和决策。
- 复盘与改进:把故障转化为监控、自动化、架构、流程和文档的改进项。
- 退役与归档:下线服务、回收资源、撤销账号与证书、保留合规数据和变更记录。
运维组织架构及职责
不同规模、行业和技术栈的公司,岗位边界会不同。小团队可能由一人承担多项职责,大型团队则会进一步细分。下面是一张常见的职责地图,而不是必须照搬的组织架构。
服务台与桌面运维
面向员工和终端用户处理账号、办公终端、会议设备、软件安装、权限申请和常见故障。成熟的服务台不只是“接电话”,还会建设知识库、服务目录、工单分级、SLA 和自助服务。
基础设施与网络运维(INFR / NetOps)
负责机房、服务器、存储、网络、专线、防火墙、DNS、NTP、负载均衡、CDN 等基础设施,覆盖选型、交付、监控、容量、配置备份、变更、维修和生命周期管理。
系统、云与容器平台运维
负责 Linux/Windows、虚拟化、公有云、私有云、容器和 Kubernetes 平台,重点是标准镜像、资源编排、身份权限、弹性、补丁、备份和平台稳定性。
应用运维与生产运维
围绕具体业务系统负责部署、配置、监控、容量、发布、故障定位、应急处置和跨团队协调。应用运维既要理解基础设施,也要看懂应用日志、调用链、数据库和中间件。
SRE(站点可靠性工程)
SRE 用软件工程方法解决运维问题,强调 SLI/SLO、错误预算、减少重复性劳动、自动化、容量规划、应急响应和无责复盘。SRE 不是“换了名称的值班运维”,关键在于把可靠性当作可设计、可衡量、可持续改进的工程目标。
DevOps
DevOps 更准确地说是一套让开发、测试、安全和运维共同负责软件全生命周期的方法与文化,而不只是一个岗位名称。 在招聘语境中,“DevOps 工程师”通常负责流水线、配置管理、基础设施即代码、发布平台和研发效能工具,但不能因此把 DevOps 简化成“会写 Jenkins 脚本的人”。
平台工程(Platform Engineering)
平台团队把构建、发布、运行、监控和资源申请等能力做成面向内部用户的产品,通过门户、API、模板和“铺好的道路”提供自助服务。目标是降低研发的认知负担,同时保留必要的安全和治理边界。平台工程不是再造一个工具大杂烩,而是持续理解内部用户需求、衡量平台采用率和交付体验。
数据库、中间件与数据平台运维
DBA 负责数据库架构、表和索引设计、SQL 优化、变更、备份恢复、复制、高可用和容量治理;中间件与数据平台团队负责 Kafka、Redis、Elasticsearch、Nacos、消息队列、网关、任务调度等公共组件的稳定性与服务化。
安全运维(SecOps)
负责安全基线、漏洞与补丁、账号权限、日志审计、终端与边界防护、安全事件响应,并推动安全能力进入设计、开发和交付过程。生产环境的高危操作需要审批、留痕和可追溯。
FinOps 与成本治理
FinOps 不是简单“砍云资源”,而是让工程、财务和业务共同理解技术使用与业务价值。常见工作包括成本分摊、预算告警、闲置识别、规格优化、承诺折扣评估和单位业务成本分析。
运维人员每天到底在做什么
不同岗位的日程差别很大,但工作通常可分为五类:
- 运行保障:值班交接、健康检查、告警确认、备份检查、容量和证书检查。
- 变更交付:上线评审、发布、扩缩容、网络和数据库变更、变更后验证。
- 事件处理:故障分级、止损恢复、通知协同、根因分析和复盘。
- 工程改进:自动化、监控治理、平台建设、性能优化、消除重复劳动。
- 治理协作:资产、权限、安全、成本、文档、演练、供应商和项目沟通。
一个健康团队不会让所有时间都被告警和工单占满。若工程师长期只能救火,就没有时间消除故障源,系统会进入“越忙越不稳定”的循环。应定期统计重复工作,把高频、规则明确、风险可控的操作逐步标准化和自动化。
一个真实故障是怎样处理的
假设订单接口突然出现大量 5xx,正确顺序通常是:
- 确认影响:影响哪些地区、用户、接口和版本,是否仍在扩大。
- 建立事件:确定负责人、沟通频道和记录员,按严重级别通知相关人员。
- 先止损恢复:停止可疑发布,回滚、切流、限流、降级或扩容。
- 保留证据:记录时间线、版本、配置、指标、日志、操作和决策依据。
- 缩小范围:从入口、应用、依赖、数据库、网络和资源逐层验证假设。
- 验证恢复:不仅看进程是否启动,还要看成功率、延迟、订单结果和用户反馈。
- 复盘改进:找出触发因素和系统性原因,形成有负责人和截止日期的改进项。
第一轮排查应尽量使用只读命令,避免为了“试一试”而破坏现场:
# 主机资源与近期异常
uptime
free -h
df -hT
vmstat 1 5
dmesg -T | tail -n 50
# 监听、连接和进程
ss -lntup
ps -eo pid,ppid,cmd,%cpu,%mem --sort=-%cpu | head
# systemd 服务与最近日志
systemctl --failed
journalctl -u order-api --since "30 minutes ago" --no-pager
# 从用户视角检查入口;请替换为实际健康检查地址
curl -sS -o /dev/null -w 'code=%{http_code} time=%{time_total}\n' \
https://example.com/health
不要在信息不全时直接重启所有节点、清空日志、删除数据或同时修改多个变量。恢复服务可以优先,但必须保留证据并记录操作,否则复盘只能停留在猜测。
一份最小事件记录应该包含什么
事件级别: P1
开始时间: 2026-11-08 09:42
用户影响: 订单提交成功率从 99.9% 降至 71%
当前负责人: 张三
最近变化: 09:35 发布 order-api v2.4.1
已执行动作:
- 09:47 暂停继续发布
- 09:50 回滚至 v2.4.0
恢复时间: 2026-11-08 09:56
待确认原因: 新版本连接池配置是否导致数据库连接耗尽
后续事项:
- 增加连接池饱和度告警
- 为发布流程增加配置差异检查
事件、问题、变更和服务请求不要混为一谈
| 类型 | 核心目标 | 例子 |
|---|---|---|
| 事件(Incident) | 尽快恢复正常服务 | 接口大量报错、专线中断 |
| 问题(Problem) | 找出根因并降低复发概率 | 分析为何每次促销都连接池耗尽 |
| 变更(Change) | 受控地修改生产环境 | 发布新版本、调整防火墙策略 |
| 服务请求(Request) | 交付标准化服务 | 开通账号、申请虚拟机 |
事件处理中“恢复”通常优先于“彻底找根因”;问题管理则关注长期修复。变更应尽可能小、可验证、可回退,并提前明确观察指标和停止条件。把四类工作都塞进普通工单,会让优先级、时限和复盘责任变得模糊。
运维怎样衡量工作效果
只统计“关闭了多少告警、处理了多少工单”容易鼓励低价值忙碌。指标要围绕用户体验、交付结果和持续改进建立。
服务可靠性指标
- SLI:对服务行为的度量,例如成功率、延迟、数据新鲜度。
- SLO:在一个时间窗口内希望达到的目标,例如月度请求成功率 99.9%。
- 错误预算:允许未达到目标的空间,用来平衡可靠性和变更速度。
- 告警质量:可行动告警占比、重复告警、误报、漏报和告警响应时间。
以 30 天为统计窗口,单看可用率大致对应以下不可用时间(仅作直观理解,实际应按业务 SLI 计算):
| 可用率目标 | 30 天允许不可用时间约为 |
|---|---|
| 99% | 7 小时 12 分钟 |
| 99.9% | 43 分 12 秒 |
| 99.95% | 21 分 36 秒 |
| 99.99% | 4 分 19 秒 |
故障与恢复指标
- 故障发现时间、确认时间、恢复时间和业务影响时长。
- 同类故障复发率、复盘行动项按期完成率。
- 备份成功率、恢复演练成功率、实际 RTO/RPO 达成情况。
软件交付指标
DORA 当前使用五项软件交付绩效指标:变更前置时间、部署频率、失败部署恢复时间、变更失败率、部署返工率。应在同一应用或服务的上下文中观察自身趋势,不要脱离业务差异拿不同团队做简单排名。
成本与效率指标
- 单位订单、用户或请求的基础设施成本。
- 闲置资源比例、预测与实际容量偏差。
- 手工操作次数、自动化覆盖率、自助服务成功率。
- 值班打扰次数和无效告警占比。
分层观察生产系统
运维监控对象分层
排障时不要只盯着 CPU。用户请求会经过 DNS、网络、负载均衡、应用、缓存、数据库和外部依赖;任何一层都可能让上层表现异常。监控应覆盖资源、组件、服务、业务和用户体验,并能通过统一的服务标识、版本和请求 ID 关联起来。
High-Level 架构图
架构图真正有用的前提是保持更新,并标明入口、关键依赖、数据流、容灾边界、负责人和降级路径。只画产品图标而没有流向、边界和责任人的图,在故障现场帮助有限。
运维需要掌握哪些能力
不必一开始就把所有技术都学完。能力结构可以分成“通用基础 + 岗位专长 + 工程方法”。
| 能力域 | 建议掌握的内容 |
|---|---|
| 操作系统 | Linux/Windows、进程、内存、文件系统、服务管理、权限、日志 |
| 网络 | TCP/IP、DNS、HTTP/TLS、路由交换、VPN、负载均衡、抓包 |
| 存储与数据 | RAID、LVM、块/文件/对象存储、数据库基础、备份恢复 |
| 自动化 | Shell、Python、Git、API、配置管理、任务编排 |
| 云原生 | 云资源、容器、Kubernetes、镜像、网络和存储接口 |
| 可观测性 | 指标、日志、链路、事件、仪表盘、告警设计 |
| 可靠性 | SLI/SLO、容量、高可用、容灾、混沌与恢复演练 |
| 安全 | 身份与权限、补丁、基线、密钥、审计、应急响应 |
| 交付工程 | CI/CD、制品、环境、灰度、回滚、数据库变更 |
| 协作能力 | 文档、交接、事件指挥、复盘、风险沟通、项目推进 |
技术名词不是能力本身。比“会不会 Kubernetes”更重要的是:能否解释故障边界、验证假设、保护数据、设计回退、写清文档,并让下一次处置更快。
新人学习路线:先建立闭环,再扩展工具
第一阶段:能独立维护一台主机
搭建一台 Linux 虚拟机,完成用户权限、SSH、磁盘、systemd、日志、定时任务、防火墙、Nginx 和备份恢复。目标不是记住命令,而是知道系统从启动到提供服务的链路。
第二阶段:能发布并观察一个服务
选择一个简单 Web 应用,配置反向代理、TLS、日志轮转、指标、告警、健康检查和自动部署;故意制造磁盘满、端口冲突、证书过期、进程退出等故障并完成排查记录。
第三阶段:能做高可用和数据保护
增加负载均衡、数据库和缓存,理解超时、重试、连接池、主从、备份、RTO/RPO;至少做一次“从备份恢复到新环境”的演练,而不只是看到备份任务成功。
第四阶段:能把重复工作工程化
使用 Git 管理配置和脚本,以 Ansible、Terraform 或同类工具实现可重复交付;建设流水线、变更记录、回滚路径和基础仪表盘。
第五阶段:从机器视角转向服务视角
为服务定义 SLI/SLO,建立依赖图和运行手册,按用户影响设计告警;从一次真实或模拟故障完成事件记录、复盘和改进闭环。
常见误区
“没有报警就说明系统正常”
监控可能没有覆盖用户真正关心的路径。应同时观察资源、服务和业务结果,并通过外部探测验证用户视角。
“自动化越多越好”
高风险自动化必须具备权限控制、输入校验、预览、审计、幂等、限速和回退。把不稳定流程直接自动化,只会更快地放大错误。
“上了 Kubernetes 就是云原生”
容器编排不能替代容量、监控、备份、安全和服务治理。若团队尚未解决标准化与自动化基础问题,平台复杂度可能反而增加。
“DevOps 就是运维开发”
DevOps 强调跨职能团队对交付和运行结果共同负责。单独设一个 DevOps 岗位可以承担平台和工具工作,但不能代替研发、测试和运维之间的协作方式。
“故障都是某个人操作失误”
人的操作通常只是触发因素。更有价值的问题是:为什么一个动作能造成如此大的影响,为什么没有校验、隔离、灰度、回退或及时告警。无责复盘不是免除责任,而是把注意力放到可修复的系统条件上。
一份可直接使用的运维检查清单
一个准备上线的生产服务,至少应回答这些问题:
- 谁是业务负责人和技术负责人?非工作时间如何联系?
- 用户入口、关键依赖和数据流是什么?依赖失败时如何降级?
- 核心 SLI/SLO 是什么?哪些告警需要立即行动?
- 容量上限在哪里?流量突增时如何限流、扩容或保护下游?
- 发布能否灰度?停止条件是什么?回滚需要多久?
- 数据备份在哪里?最近一次恢复演练何时完成?实际 RTO/RPO 是多少?
- 证书、域名、密钥、账号和许可证是否有到期提醒?
- 高危操作是否最小授权、审批、审计并可追溯?
- 故障时谁负责指挥、操作、沟通和记录?运行手册是否可用?
- 服务退役后,资源、权限、监控、备份和文档如何清理?
总结
运维正在从“看机器、接告警、手工操作”走向以服务可靠性为目标的工程体系。工具会变化,岗位名称也会变化,但核心能力始终是:理解业务目标,识别风险,控制变化,快速恢复,用自动化和平台减少重复劳动,并把每次事件转化为系统改进。
对于个人,最有效的成长方式不是堆积名词,而是完成一个个可验证的闭环:部署一个服务、看见它、弄坏它、恢复它、记录它,再让同类故障不容易重演。
延伸阅读
- Google SRE:Introduction:SRE、错误预算、值班与无责复盘。
- Google SRE:Production Services Best Practices:生产服务可靠性实践。
- DORA 软件交付绩效指标:当前五项交付指标及使用边界。
- CNCF 平台工程术语表:平台工程、平台团队和 DevOps 的关系。
- AWS Well-Architected:Operational Excellence:组织、准备、运行与持续改进。
- FinOps Framework:技术、业务和财务协作的成本与价值治理框架。


