“十年"不苟且的运维之路
加入腾讯已十年的运维老兵赵建春，回顾这十年：
- 2005年：加入QQ空间开发团队，负责留言版模块；
- 2006年~至今：公司组织架构调整，接触运维工作。
期间，他带领运维团队负责QQ延伸出来的各种社群的运维和维护，包括QQ空间、QQ音乐、QQ会员、QQ秀等一系列的QQ产品。团队89个人，维护了10万家
服务器。经历的大事件有：
- 红米在QQ空间首发时，90 秒卖出 10 万台设备，获得1亿点赞；
- 天津大爆炸事件，把天津 2 亿多活跃用户，从天津快速调到深圳以及上海；
- 春节红包准备工作，2016年比2015年的红包访问量增长了10倍+，快速的扩充了 5000 台设备，最高访问量达到 477 万次/秒。
不要让自己变成一个救火队员
作为运维，最重要的是先保证自己做的系统可靠、不会轻易出错，不要让自己变成一个救火队员。可靠之后，就要用更多时间去解决效率问题，让工作变得更加高效，追求更高的目标。
- 资源管理：把写出来的程序和代码，进行清晰划分和分类，对每个资源采用不同形式进行搭建；
- 容错方案：在维护海量服务、运维过程中出现故障时，确保不能影响项目服务，服务器要做到及时处理；
- 统一架构 CMDBA：把一个业务模块上所有依赖资源全部登记进去；同时如果做快速决策和调度，还需要有效的监控。
- DLP：内部定义的一个非常关键的监控，这个点发生后，可以知道哪里出现故障；
- 入口监控：告知出现故障的根源在哪儿，容错方案的 L5 是用来解决容错、灰度，路由等。
运维团队的五个“杀手锏”
L5 系统
世界上管理服务器最多的系统
运营管理系统管理了上亿服务器，脉络非常清晰，根本不会出现混乱。L5 系统（上图）也类似于 DNS 系统，有一排能提供的服务模块，从而解决的单点问题。
L5 如何做容错？
L5－主机／接口级的容错原理
L5 有由 L5、DNS 和 L5、agent 两部分构成。CGI 通过给模块提 ID，根据模块下设备的成功率和延迟情况，通过 IP+PROT 给 CGI 一个反馈，访问之后，通过成功率和延迟情况，把数据上报给了 L5agent，然后做统计数据。
当发现失败率特别低的时踢掉。当发现成功率和失败率有一定下降，会把访问权重降低，从而达到容错和负载均衡的作用。
可以注册一个模块，加多台设备，形成容错效果。如发现一台机器失败率很高，就把它踢掉。它成功率恢复过来，还可以再加回来。
新加一台服务器设计它的权重为 1，假如之前的是 100，可以逐渐上线。还可以给它一个得分，得分下降的时候，快速把它踢掉。L5 具有灰度、容错、路由、负载均衡的能力。
L5 对运维团队有哪些帮助？
- 不再需要频繁的变更 ip+port（也是故障源）；
本文为授权转载文章，任何人未经原授权方同意，不得复制、转载、摘编等任何方式进行使用，e-works不承担由此而产生的任何法律责任! 如有异议请及时告之，以便进行及时处理。联系方式：editor@e-works.net.cn tel：027-87592219/20/21。
需求中心
AI助手
联系我们
返回顶部