微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?

性能估算方法

微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?

【用户量】

1.2019年月活5.11亿,日活2.24亿

【关键行为】

1、发微博

2、看微博

3、评论微博

用户行为建模和性能需求分析

【发微博】

考虑到微博是一个看得多发的少的业务,假设平均每天每人发1条微博(只考虑文字微博),则微博每天的发送量约为2.5亿条。

大部分的人发微博集中在早上8:00~9:00点,中午12:00~13:00,晚上20:00~22:00,假设这几个时间段发微博总量占比为60%,则这4个小时的平均发微博的 TPS 计算如下:

2.5亿 * 60% / (4 * 3600) ≈ 10000/s

【看微博】

由于绝大部分微博用户看微博的对象是大V和明星,因此我们假设平均一条微博观看人数有100次,则观看微博的次数为:

2.5亿 * 100 = 250亿。

大部分人看微博的时间段和发微博的时间段基本重合,因此看微博的平均 QPS 计算如下:

250亿 * 60% / (4*3600) = 1000K/s。

发微博

【业务特性分析】

发微博是一个典型的写操作,因此不能用缓存,可以用负载均衡。

架构分析】

用户量过亿,应该要用多级负载均衡架构,覆盖 DNS -> F5 -> Nginx -> 网关的多级负载均衡。

【架构设计】

1. 负载均衡算法选择

发微博的时候依赖登录状态,登录状态一般都是保存在分布式缓存中的,因此发微博的时候,将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。

2. 业务服务器数量估算

发微博涉及几个关键的处理:内容审核(依赖审核系统)、数据写入存储(依赖存储系统)、数据写入缓存(依赖缓存系统),因此按照一个服务每秒处理500来估算,完成10K/s的 TPS,需要20台服务器,加上一定的预留量,25台服务器差不多了。

发微博的多级负载均衡架构

微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?


看微博

【业务特性分析】

看微博是一个典型的读场景,由于微博发了后不能修改,因此非常适合用缓存架构,同时由于请求量很大,负载均衡架构也需要。

【架构分析】

1. 用户量过亿,应该要用多级负载均衡架构;

2. 请求量达到250亿,应该要用多级缓存架构,尤其是 CDN 缓存,是缓存设计的核心。

【架构设计】

1.负载均衡算法选择

游客都可以直接看微博,因此将请求发送给任意服务器都可以,这里选择轮询”或者“随机”算法。

2. 业务服务器数量估算

假设 CDN 能够承载90%的用户流量,那么剩下10%的读微博的请求进入系统,则请求 QPS 为1000K/s * 10% = 100K/s,由于读取微博的处理逻辑比较简单,主要是读缓存系统,因此假设单台业务服务器处理能力是1000/s,则机器数量为100台按照20%的预留量,最终机器数量为120台。


看微博的多级负载均衡架构

微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?


看微博的多级缓存架构

微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?

时间局部性是计算机内存访问模式的一种特征,指在一段时间内多次访问同一内存地址的现象。时间局部性是指当程序访问某个内存地址时,其接下来的访问很可能也会再次访问该地址,因此可以利用进程内缓存的方式来提高内存访问的效率。举例来说,如果一个程序需要对一个数组进行多次循环遍历,那么该数组中的数据就会被多次访问,利用进程内缓存可以将该数组中的数据缓存到高速缓存中,从而避免多次访问内存,提高程序的执行效率。

微博热点事件用户行为建模和性能估算

热点事件指某个大V或者明星爆料或者官宣,虽然只有一两条微博,但引起大量用户在短时间内访问,给系统造成很大压力。

【转发微博】

造成热点事件的微博自己只有1~2条,但是用户围观后会有很多转发,假设有10%的围观用户会在事件发生后60分钟内转发。

【看微博】

很难预估,和事件的影响力和影响范围有关

微博热点事件业务特性分析

【业务特性分析】

1. 转发微博

转发微博的业务逻辑基本等同于发微博,但是业务上可以区分是“原创”还是“转发”,转发的微博重要性和影响力不如原微博。

2. 看微博

热点事件发生后,绝大部分请求都落在了导致热点事件发生的那一条微博上面。

微博热点事件计算高可用架构分析

核心架构设计思想:既然无法预估,那就做好预防!

【架构设计分析】

1. 转发微博

转发的微博重要性和影响力不如原微博,可以考虑对“转发微博”限流,由于转发能带来更好的传播,因此尽量少丢弃请求,考虑用“漏桶算法”

2. 看微博

很明显,热点事件微博存在缓存热点问题,可以考虑“多副本缓存”,由于原有的缓存架构已经采用了“应用内的缓存,总体上来看,缓存热点问题其实不一定很突出。

微博热点事件计算高可用架构示意图

微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?

如果微博业务方不希望在热点事件发生的时候做防护,而是希望能够尽量支撑热点事件,应该如何做?

  1. 负载均衡:通过使用负载均衡技术,将用户请求均衡地分配到多个服务器上,从而降低单个服务器的压力,提高系统的承载能力。在热点事件发生时,可以通过增加服务器的数量或者调整负载均衡策略来应对用户流量的剧增。

  2. 异步处理:将部分计算密集型或者I/O密集型的操作转化为异步处理,可以减少对系统资源的占用,提高系统的吞吐量和并发能力。

  3. 数据库优化:对于高访问量的应用,数据库通常是瓶颈所在。因此,可以通过数据库的分片、读写分离等技术来提高数据库的性能和承载能力。

  4. 缓存技术:将常用的数据缓存到内存中,减少数据库的访问次数,提高系统的性能和响应速度。可以通过使用分布式缓存技术,将缓存分布在多台服务器上,提高系统的可扩展性和可用性。


原文始发于微信公众号(二进制跳动):微博的计算架构如何具体落地,它的高可用和高性能分别是怎么计算的 ?

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/167020.html

(0)
小半的头像小半

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!