云原生架构.md · lwsh.95/系统架构设计师

## 摘要
2021年3月，我所在的公司成功承接了某市区生活服务平台的建设项目。该项目以促进消费、推动经济发展为核心目标。我作为系统架构师并深度参与其中，主要职责是负责整个系统的架构设计工作，确保项目顺利推进并实现预期目标。 
本文将基于我在该项目中的实践经验，深入剖析云原生架构在该项目中的具体应用。在云原生架构的实施过程中，我们严格遵循可观测原则，以便能够及时发现并处理问题，从而维持系统的稳定运行。实现资源的按需分配和弹性伸缩，确保系统能够在不同负载条件下保持高性能和高可用性，通过自动化工具和流程提高了开发效率，并最大限度地减少了人为错误。通过云原生架构的应用，我们不仅显著提高了系统的稳定性，还有效降低了运营成本，并提升了整体的效率。 
整个项目历时10个月开发完成，并于2022年12月正式交付并稳定运行至今，各项功能和性能指标均满足了客户要求，得到了客户的一致好评。
## 背景
为了增强居民的购买力并促进内需的增长，某市区决定构建一个全面的生活服务平台。该平台将借助先进的信息技术来增强消费刺激措施。我所在的公司有幸赢得了这一项目的竞标，并于2021年3月正式开启了项目建设。在此期间，我担任了系统架构设计师的角色，肩负起了整个项目系统架构的设计职责。 
本项目的核心建设目标涵盖了便捷支付、任务中心、本地生活以及智慧运营等多个功能模块。便捷支付模块旨在通过支持多种支付方式（例如现金、微信支付、支付宝支付）来保障用户在下单时的方便与安全体验。任务中心模块则通过组织多样化的促销活动（例如趣味抽奖、限时抢购及发放消费券等）。本地生活模块提供生活缴费、服务预订、餐饮娱乐、零售超市等多种消费场景。智慧运营模块则集成了商家管理、消费券发放、消费数据分析等功能，并为消费数据提供精准的市场洞察。 
技术栈方面，选择了Java作为主要开发语言，并基于Spring Cloud Alibaba构建微服务架构体系。选择MySQL系型数据库，Redis 作为分布式缓存。数据仓库选用了Doris，Flink作为实时流处理引擎，RabbitMq作为消息中间件。所有服务组件均在Kubernetes集群上进行部署，确保系统的高效、稳定与可扩展性。
## 正文
在该项目中，需要保证7*24小时稳定运行，系统的稳定性至关重要。面临稳定性的挑战时，确保能够及时发现并处理系统问题，以维持系统的稳定运行；实现在流量高峰时段自动扩容资源，在低谷释放多余资源，以最大化利用资源；实现从代码提交到生产环境部署的全流程自动化，以提高开发效率并减少人为错误。 
经充分讨论，我们采取云原生架构来构建系统应对挑战。云原生架构的实施过程中需要遵循服务化、容器化、弹性、可观测、自动化等原则；服务化将应用程序拆分为多个微服务，每个服务专注于特定的业务功能，并通过轻量级通信机制进行交互，每个微服务可独立开发、部署、运行，提高了系统的灵活性和可维护性；容器化原则指使用容器（如Docker）来打包和隔离应用程序及其依赖，确保应用程序在不同环境中的一致性运行，增强了系统的可移植性和可靠性；弹性原则指应用程序以适应动态变化的负载，通过自动扩展和缩减资源来优化性能和成本，确保系统在各种负载条件下都能保持高效运行；可观测原则指通过日志、监控和跟踪来获取系统运行情况以及各种质量指标，帮助快速定位问题，提升系统的稳定性和可靠性；自动化原则指通过自动化工具和平台（如CI/CD管道、自动化测试、自动化部署）来管理和部署应用程序，减少人为干预，提高效率。 
在该项目中，主要遵循了可观测、弹性、自动化原则，以下将详细阐述这些原则在项目中的具体应用和取得的成果。
### 可观测原则
使用Skywalking跟踪涉及订单处理的多个微服务，包括用户服务、商品服务、库存服务、支付服务等。随着业务量的增长，系统性能和稳定性面临挑战，在高峰期，订单处理速度变慢，通过追踪数据，发现库存服务花费的时间太长，通过优化分布式缓存的业务逻辑，解决了响应时间。通过调用链跟踪提升了系统的可观测性和运维效率。
我们使用ELK日志管理工具帮助团队收集、存储日志，并分析用户行为、排查问题和优化性能，期间通过日志分析发现少量ip极短时间内的大量下单请求，我采取了限流策略，限制单位时间内ip的请求数，并对异常行为的用户，暂停或永久封禁账号。使用ELF帮助我们分析问题，还为后续的优化提供数据支持。
### 弹性原则
我们利用Kubernetes的HPA自动弹性伸缩功能应对流量高峰、优化资源利用率，确保系统的高可用性和稳定性。根据CPU使用率、内存使用率自动调整服务的Pod数量。在每次的领取消费券活动上线时，为关键服务配置了HPA，包括认证鉴权、支付、本地生活等服务。根据服务的实际需求，配置最小副本数为3，确保流量低峰时有足够的实例处理请求，最大副本数设置为10，防止过度消耗资源。设置CPU使用率为60%，当平均CPU使用率超过60%时，HPA会自动增加Pod数量，当低于60%自动减少Pod数量。通过该措施，团队成功解决高负载下的性能问题，在低谷期时降低资源浪费和成本。
### 自动化原则
我们通过CI/CD管道自动化代码、测试和部署过程，使用GitLab作为版本控制管理，当代码提交只特定分支时，管道会自动触发构建任务，编译代码以及自动化测试，确保代码质量和性能符合要求时，构建Dokcer镜像并推送到镜像仓库，使用Kubernetes自动化部署应用，并配合滚动跟新机制实现零停机部署，逐步创建新版本Pod终止旧版本Pod。实现高效、稳定的版本升级，提升系统的 可维护性和用户体验。
### 结尾
通过采用云原生架构，我们显著提高了系统的稳定性，降低了运营成本，并提升了开发效率。经过十个月的努力，该项目于2021年12月顺利完成并成功上线，至今稳定运行，各项功能和性能均达到了客户的预期，获得了客户及各级领导的高度评价。 
尽管项目取得了显著的成功，但也存在一些需要优化和改进的地方。通过引入服务网格替代Spring Cloud微服务组件，使开发人员能够更加专注于业务编码，减少了对基础环境的关注。同时服务网格提供了流量管理、安全、监控等功能，且无需修改服务本身的代码，从而简化了开发流程并提高了系统的整体稳定性。 
通过此次项目的开发，我在系统分析与设计方面积累了宝贵的实践经验。这些经验不仅为我后续的工作提供了重要的借鉴，也激励着我不断学习，丰富自己的知识体系，为将来应对更加复杂的工作任务做好充分准备。

## DevOps
本文将依托我在该项目的实践经验，深入探讨DevOps在该项目中的具体应用。DevOps的实施过程涵盖了自动化构建、自动化测试、自动化部署等关键步骤。我们通过自动化构建，迅速生成稳定的软件版本，确保每次构建都能产生高质量的输出；通过自动化测试，快速识别并修复潜在缺陷，提高了软件的质量和可靠性；通过自动化部署，简化部署流程，显著提升发布效率。通过DevOps的全面应用，我们不仅大幅提高了系统的开发效率，还增强了团队的整体协作能力和响应速度。
### 自动化构建
我们通过自动化实现了软件版本的快速构建。在传统的开发模式下，构建过程往往依赖于开发人员手动执行命令，这种做法潜藏着诸多风险。例如，在接入本地生活服务时，误将数据地址配置为测试环境的地址，导致用户无法完整使用服务。为了有效规避此类问题，我们充分利用了GitLab的CI/CD功能，成功实现了从源代码到可部署镜像的全自动构建流程。
每当有代码提交时，GitLab会自动触发代码检查机制，严格审查代码格式和风格是否符合既定规范。通过这一关卡后，系统会进一步触发单元测试，确保每个模块的功能均能正常运作。随后，构建操作将被自动执行，生成相应的jar包并构建Docker镜像，最终将镜像推送至Docker仓库。我们应用并行构建、容器化、自动化回滚、依赖锁定和安全扫描等解决方案，确保自动化构建的顺利应用。
### 自动化测试
我们通过自动化测试快速发现并修复缺陷。在功能迭代频繁的情况下，手动回归测试变得难以为继。如在本地生活子系统中，涉及到各种促销活动，如打折、满减、消费券等场景，导致测试用例数量庞大，手动测试难以覆盖所有情况。因此使用自动化测试解决这些问题，以今早发现并修复潜在的缺陷。首先，使用pytest构建单元测试验证代码最小功能，以及构建集成测试脚本验证不同模块或服务间的交互；其次使用selenium验证整个因公的功能流程；最后使用jmeter完成性能测试验证应用的性能和负载能力。并最终配合GitLab CI/CD工具，完成与所有的测试工具集成。通过以上配置，我们实现一个完整的自动化测试流程，涵盖单元测试、集成测试、端到端测试、性能测试、回归测试等工作。这有助于确保代码的质量和稳定性，提升开发效率和用户体验。
### 自动化部署
通过自动化部署，我们极大地简化了部署工作，显著提升了应用发布的效率。在引入DevOps理念之前，由于开发环境和生产环境之间的差异，应用发布失败的情况时有发生。此外，手动部署过程繁琐，涉及停止服务、版本备份、部署新版本、启动服务等多个步骤，不仅耗费大量时间，还容易因人为操作失误而导致问题。为了解决这些问题，我们采用了Docker技术来构建容器镜像。这些镜像不仅包含了运行环境，还集成了项目的所有依赖，从而确保了环境的一致性。通过这种方式，我们实现了以下几点改进：1. 环境一致性：Docker镜像确保了开发、测试和生产环境的一致性，减少了因环境差异导致的发布失败风险。2. 简化部署流程：自动化部署流程消除了手动操作的繁琐步骤，减少了部署时间，提高了效率。3. 降低人为错误：自动化部署减少了人为干预，降低了因手动操作失误导致的问题。4. 快速回滚：在出现问题时，可以快速回滚到之前的稳定版本，确保服务的连续性。通过这些改进，我们不仅简化了部署工作，还提高了应用发布的效率和可靠性，为用户提供了更加稳定和高效的服务。

## CloudOps
在项目中，CloudOps 的实施极大地提升了系统的稳定性和效率。结合我的实践经验，我将详细论述 CloudOps 在自动化监控告警、弹性伸缩和灰度发布三个方面的具体应用。首先通过自动化监控告警及时发现和解决系统潜在的问题；其次通过弹性伸缩实现资源的按需分配和应对业务高峰；最后通过灰度发布将新版本逐步推广到生产环境。通过这三个方面的具体实践，我们有效提高了系统的稳定性。
### 自动化监控告警
在项目初期，我们便引入了自动化监控告警机制，包括自动化性能监控与告警、日志处理、链路追踪，这为我们及时发现和解决系统潜在问题提供了有力保障。我们利用Prometheus监控工具，对CPU 使用率、内存占用、网络流量等关键指标进行实时监控，并设置合理的阈值。一旦指标超出预设范围，系统会自动触发告警，通知相关人员进行处理。使用ELK收集存储并分析日志，帮助快速定位问题。引入Skywalking进行链路追踪，可以帮助追踪服务间的依赖关系和调用流程，以及监控和分析系统的性能。
例如，在一次流量高峰期，我们通过监控系统及时发现了数据库连接数异常增长的情况，触发自动化告警，我们迅速定位并解决了问题，避免了系统崩溃，保障了业务的正常运行。
### 弹性伸缩
弹性伸缩是 CloudOps 的另一大优势，它能够根据实际需求动态调整资源分配，有效应对流量激增和业务高峰。
在项目中，我们利用Kubernetes的HPA实现弹性伸缩，根据业务特点和历史数据，制定了详细的弹性伸缩策略。例如，在促销活动期间，我们预估了流量峰值，并提前设置了自动扩容规则。当流量达到预设阈值时，系统会自动增加服务器实例，以满足用户访问需求。活动结束后，系统又会自动缩减资源，避免资源浪费。通过弹性伸缩，我们不仅提高了系统的承载能力，还降低了运营成本，实现了资源的优化配置。 
### 灰度发布
灰度发布是降低新版本发布风险的有效手段。在项目中，我们采用灰度发布策略，将新版本逐步推广到生产环境。
具体来说，我们会先选择一小部分用户进行新版本的测试，收集用户反馈和系统运行数据。在确认新版本稳定可靠后，再逐步扩大用户范围，最终实现全量发布。例如，在最近一次系统升级中，我们采用了灰度发布策略。通过分阶段发布，我们及时发现了新版本中的一些潜在问题，并进行了修复。最终，新版本顺利上线，用户体验也得到了显著提升。

lwsh.95/系统架构设计师

简介

发行版

贡献者

近期动态

lwsh.95/系统架构设计师 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

lwsh.95/系统架构设计师