Atlassian 如何实现运营准备

等级 0：关键骨干基础架构

等级 0 服务提供支持基础架构和共享服务组件，是等级 1 服务赖以运行的基础。如果满足以下条件之一，则认为组件是关键组件：

• 它们是等级 1 服务运行或可供其用户访问所必需的
• 它们是客户注册等级 1 服务所必需的
• 工作人员需要它们来支持或执行等级 1 服务的关键操作职能，例如：

- 启动/停止/重启服务
- 执行部署、升级、回滚或热修复
- 确定当前状态（启动/停止/降级）

等级 1：基本服务

等级 1 服务提供重要的业务、客户或产品功能。这些服务是面向客户的服务或业务关键型内部服务。当服务降级或不可用时，公司会蒙受损失，或者无法执行业务关键型功能，和/或失去客户认为核心的功能。等级 1 服务需要全天候支持队伍，关键指标的 SLA 较高，并且有一系列严格的上线要求。

等级 2：非核心服务

等级 2 服务提供不属于核心功能的面向客户的服务。等级 2 服务提供附加价值或额外的用户体验，这些体验可能被视为可有可无或“锦上添花”。

二级服务涵盖以营销功能为主的公共服务，例如企业对外网站等。这类服务不直接向客户提供企业级服务，也不提供团队用来履行其各方面职责的内部服务，例如协作工具、工作跟踪等。

等级 2 服务不一定需要全天候支持队伍，SLA 较低，上线要求较少。

等级 3：仅限内部使用的功能或非关键功能

等级 3 服务为公司或实验性测试服务提供内部功能。该类别还可能包括目前为早期采用者提供的实验性功能服务，这些服务预计在测试期间服务质量可能会下降。此级别为仅尽力支持的服务提供了较低的 SLA 存储桶。

数据丢失 (RPO)

此数字表示发生服务故障时服务将丢失的最大数据量。发生服务故障时，等级 0 服务将丢失少于一小时的数据。

服务恢复 (RTO)

此数字表示服务恢复运行之前的最长时间。等级 0 服务将在不到四小时的时间内完全恢复。

备份

当服务中断时，团队可能需要使用备份将数据还原到某个时间点。因此，定期备份数据、实施还原过程以及定期测试备份和还原过程非常重要。备份和还原过程应该是可靠、有效的。同时，文档和测试也是关键。

完成定义

• 实施备份和恢复流程
• 记录并测试备份和恢复流程
• 定期测试备份和恢复流程
  

产能管理

清楚地概述服务可为消费者提供哪些功能。特别是，确定服务对消费者的任何限制。实施性能测试，确保服务在预期限制内运行。

以下是一些需要测试和提供给消费者的信息示例。

• 服务限制于每秒 X 个要求
• 服务保证 X 的响应时间
• 服务的 X 功能跨区域复制或不跨区域复制
• 消费者不应该 X
  - 使服务超载
  - 上传超过 X 的文件

对于“完成”的定义

• 确定并记录服务限制
• 已执行性能测试来验证是否实施了限制
  

客户意识

可支持性与可靠性和可用性一样是服务质量的重要方面。在服务或服务的新功能上线之前，团队必须为其建立支持流程。可支持性可以包括客户支持流程、变更控制流程、支持运行手册和其他以支持为重点的项目。

客户支持流程

开发人员必须了解当客户联系支持团队寻求支持时会发生什么，他们必须了解他们在支持流程中的责任。这可能包括参与待命轮值或应要求及时解决生产问题。

变更控制流程

并非所有变更都会对客户造成相同的影响。有些变更是客户无法察觉的。例如，一个小小的错误修复。有些变更会导致客户花费大量精力来采用变更，例如完全重写 API。变更控制有助于评估变更可能对客户产生的影响程度。

支持运行手册

运行手册概括介绍服务的工作方式，并详细解释可能出现的问题以及如何解决这些问题。服务会随着时间而变化，因此定期更新运行手册并验证记录的支持程序准确无误，这一点很重要。

对于“完成”的定义

• 记录对大多数问题的回答，支持团队需要该记录来调查问题
• 有效的变更控制流程
  
  

灾难恢复

灾难的一部分是失去可用区域。服务需要有足够的弹性才能在可用区域出现故障时正常运行。灾难恢复由两个部分组成：第一，开发和记录灾难恢复流程，第二，对记录的流程进行持续测试。灾难恢复需要定期测试。使用记录在案的灾难恢复计划测试应对可用区域故障的能力。

对于“完成”的定义

• 灾难恢复计划已记录在案
• 灾难恢复计划已通过测试
• 计划定期对灾难恢复计划进行测试
  

日志记录

日志有多种用处，例如检测异常、在服务中断期间或之后进行调查，以及通过使用唯一标识符在服务之间连接相关事件来跟踪恶意活动。日志有很多种类。大多数服务应包含的几个非常有用的日志是：

• 访问日志
• 错误日志

对于“完成”的定义

• 生成了相应的日志
• 日志存储在易于查找和搜索的地方
  

逻辑访问检查

逻辑访问检查侧重于如何管理内部用户访问、外部用户访问、服务对服务的访问以及数据加密。服务将如何防止未经授权访问功能和数据？用户权限如何定义、验证、更新和弃用？这些控制措施是否为敏感数据提供了足够的保护？

内部用户

需要思考的一些重要问题包括：如何对内部用户进行身份验证？如何授予/配置访问权限？如何撤销权限？权限升级是如何运作的？定期访问审查和审计的流程是什么？

外部用户

如何为客户处理身份认证？如何授予/配置访问权限？如何撤销权限？权限升级是如何运作的？定期访问审查和审计的流程是什么？

服务对服务

这类似于内部和外部用户。团队必须确定服务将如何相互进行身份验证。例如，通过设置 OAuth 2.0。

加密

团队可能希望对静态和传输中的数据进行加密。说明服务如何管理数据加密。团队如何管理密钥？密钥轮换策略是什么？

对于“完成”的定义

• 为内部用户、外部用户和服务对服务的访问记录、实施和测试逻辑访问检查
• 数据静态时加密
• 数据传输中加密
• 已实施并测试了加密
  

发布

部署新版本的服务不得中断超出服务 SLA 中定义的客户流量。所有变更都必须经过同行评审、测试和通过 CI/CD 管道部署。每次部署后，验证部署是否成功且未中断任何功能。最佳做法是部署后自动验证。拥有多个环境，例如测试、试运行、预生产和生产，以便可以测试部署。

对于“完成”的定义

• 该服务采用零停机部署
• 在某些环境中，必须先部署和测试服务，然后才能投入生产
  

安全清单

安全清单是一组用于开发和维护安全基础架构和软件的实践和标准。这些标准可降低隐私侵权和数据泄露的可能性，进而增强了客户的信任。团队必须制定一份安全清单，说明他们正在构建的服务的性质。以下列出了一些示例要求：

对于“完成”的定义

• 有证据证明服务不存在未解决的关键漏洞或高危漏洞
• 对所有数据存储使用静态加密
• 有证据证明服务不允许不安全的 HTTP 连接
  

服务指标

服务指标提供有关服务的基本健康和诊断信息，使团队能够监控和应对事件。首先定义一组针对每项服务进行监控的指标。然后，在 Datadog 或 New Relic 等工具中使用这些指标创建仪表板。当指标超出界限时发出警报，并在出现警报时发出故障单。

对于“完成”的定义
以下是一些需要测量的事项示例：

• 延迟：处理请求所花费的时间
• 流量：外部用户的服务加载量
• 错误：影响错误或失败的用户数量
• 饱和度：服务的繁忙程度以及剩余负荷能力
• 底层资源使用情况：CPU、内存、磁盘
• 应用内部统计信息，例如队列、计时和流量
• 服务的使用和核心功能：活跃用户、每分钟操作次数
  

服务弹性

服务弹性要求决定服务能否处理负载变化和/或各种组件的故障。具有弹性的服务可能会自动扩展并能够承受单节点故障。

自动扩展

如果服务能够自动扩展，请确保自动扩展已正确配置并经过测试。确定哪个指标将触发自动扩展，并进行测试以确保其有效。例如，如果服务需要在磁盘上存储数据，则它可以监控磁盘的可用空间百分比，并在可用空间百分比低于阈值时通过增加存储来自动扩展。

单节点故障测试

最好拥有能够在单节点故障中幸存下来的服务。如果单个服务节点出现故障，该服务应继续运行，但容量可能会减少。要进行此类测试，可终止服务中的至少一个节点，然后观察系统行为。您的服务应该能够应对单节点故障。对于用于模拟单节点故障的环境，必须实施监控。

对于“完成”的定义

• 有证据证明已实施和测试自动扩展
• 有证据证明生产和/或试运行环境运行多个节点
• 有证据证明服务能够承受单节点故障
  

支持

支持是服务发布后提供支持的过程。团队需要在服务上线前准备好运行手册和操作工具，安排好待命轮值，这样服务遇到问题时便有解决问题的流程。

运行手册

运行手册为待命响应人员提供了所需的相关情境和说明，以便快速响应事件和开展补救工作。

操作工具

按照充分的标准运行服务意味着有待命队伍，并且装备了 Opsgenie 等操作工具，以便在服务出现问题时提醒待命人员。

待命

对于等级 2 和等级 3 服务 - 需要待命队伍

对于等级 1 和等级 0 服务 - 需要全天候待命队伍

对于“完成”的定义

• 运行手册由支持人员编写并且可供查找
• 已配置和测试操作工具
• 待命轮换已安排妥当，出现问题时可以联系相关人员
  

等级 3 建议的运营准备检查

• 备份
• 日志记录
• 发布
• 安全清单
• 服务指标
• 支持
  

等级 3 服务从最基本的运营准备要求开始。

等级 2 和等级 1 建议的运营准备检查

• 备份
• 灾难恢复
• 日志记录
• 发布
• 安全清单
• 服务指标
• 服务弹性
• 支持

等级 2 和等级 1 服务增加了灾难恢复和服务弹性运营准备要求。值得注意的是，等级 2 和等级 1 服务可能有不同的运营准备要求。不要求各个等级一定要有不同的要求。如果认为特定服务等级需要其他运营准备要求，则添加该要求。等级 2 和等级 1 可能会根据团队的需求而有所不同。

等级 0 建议的运营准备检查

• 备份
• 产能管理
• 客户意识
• 灾难恢复
• 日志记录
• 逻辑访问检查
• 发布
• 安全清单
• 服务指标
• 服务弹性
• 支持

等级 0 服务增加了容量管理、客户感知和逻辑访问检查。