08_项目需求分析与架构设计

需求分析

业务需求
- 爬虫引擎为基础的推送系统
- 提供
  - 快速的热点事件
  - 事件预警
用户需求
- 快速了解自己感兴趣的最新新闻
- 事件预警机制
- 帮助快速决策
功能需求
- 用户填写或选择自己感兴趣的话题、感兴趣的网站还有消息接受频率
- 用户接收最新热点事件的推送
- 用户通过点击获取与该事件关联的事件，并得到相关的事件预测、预警，甚至可能在网站中进行快速的交易
- 用户可以查看历史记录，可视化呈现某一个事件的来龙去脉，并进行复盘
产品需求
- 前端页面设计
- 用户交互设计
- 后端爬虫引擎设计
  - 爬取数据
  - 数据收集
  - 数据清洗
  - 数据存储
- 数据分析设计
- 数据推送设计

功能性模块分析

数据输入
- 种子网站: 提前规划好的新闻网站与论坛。
- 用户通过界面和 API 接口动态增加或修改的任务。
任务配置和管理
- 读取配置文件中预先制定的任务列表
- 存储后面用户动态新增的任务
- 接口: 任务增删改查
- 接口; 获取任务状态
任务
- 任务要爬取的 URL
- 任务相关规则的描述
  - 抓取页面中的哪一些信息
  - 哪一些网址需要进行爬取
  - 页面爬取的深度
  - 请求超时时间
- 规则引擎模块处理规则: 任务相关的规则可能比较复杂并且有关联，例如 A 网站爬取到 B 网站，B 网站爬取到 C 网站，每一个网站都需要有对应的处理规则。
调度引擎
- 任务均衡分发到采集模块
- 接受任务存储到队列中
采集引擎
- 采集工作: 解析相应的页面信息.
- 访问方式
  - 直接访问
  - 模拟浏览器访问
  - 提前登录
- 采集算法
  - 深度优先搜索
  - 广度优先搜索
- 任务回流调度引擎
辅助任务管理模块
- 限流器: 控制任务的采集频率
- 代理器; 隐藏源IP, 突破服务器反扒机制
- 去重器: 避免重复任务
- 随机UA: 生成随机User-Agent
- 任务优先级队列: 任务分级, 高优先级先执行
- 失败处理器: 处理采集失败后的重试问题
数据清洗和存储
- 缓存队列: 收集一批数据后批量将数据写入数据库中.
- 存储引擎
  - 存储到不同类型的数据库或文件中

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P88iGxhi-1679233104210)(https://assets.b3logfile.com/siyuan/1658627274984/assets/image-20230319210644-zuyxt7f.png)]

非功能性模块设计

扩展性
- 服务能够随着任务数量的增加而扩展, 能够快速增加 Worker 程序的数量
- Worker 服务是无状态的
- 任务可以在任何 Worker 中运行，并且具有相同的行为。
我们的任务将会在 Worker 中长时间存在，因此，我们会遇到许多新的问题：
- 当我们增加一个新的 Worker，该怎么保证任务可以重新分配，或者确保新的任务一定能分配到新的 Worker 呢？
- 每一个任务的负载是不同的，例如一些任务会比另一些任务消耗更多的 CPU 与内存。那么我们要如何合理分配任务，才能让每一个 Worker 负载均衡呢？
- 解决: Master-Worker架构
服务可用性分布式系统容错问题
- Master
  - 主要任务是完成调度工作，本身不需要实现多高的并发量，任务的调度和分配在一个程序中就能搞定。
  - 为了解决故障容错问题，我们需要有多个 Master 随时待命，这会需要对多个 Master 进行选主，客户端只能与 Master 的 Leader 节点进行交互，并且只有 Master 的 Leader 节点能够调度任务到 Worker。
- Worker
  - 当 Worker 崩溃后，运行在其中的任务将无法运行。
  - Master 能够监控到 Worker 的数据变化，并且 Master 能够通过任务的重新分配将崩溃节点的任务分散到其他 Worker 中。
  - 当 Worker 重新恢复后也有类似的过程。不过由于 Worker 无状态，不用考虑 Worker 崩溃之后数据的不一致问题。
分布式系统协调组件 etcd
- 监听Worker节点
- 服务发现
- 任务动态分配
- Master节点选主工作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nasbhVOB-1679233104210)(https://assets.b3logfile.com/siyuan/1658627274984/assets/image-20230319211403-0guhuxa.png)]

架构设计

Mater
- 提供用户操作接口
  - 任务增删改查API
- 任务调度器
  - 任务调度
  - 动态获取和监听Worker节点变化,实现任务动态的负载均衡
- 借助etcd实现选主,实现可用性
- 集群只有一个Leder,其他Master收到的请求会转发到Leader中处理
etcd
- 为Worker与Master实现注册中心功能
- 实现事件的监听和通知机制
- 存储每个Worker需要执行的任务,由Master分配
- 提供Master选主能力
Worker
- 动态监听Worker分配的任务
- 注册服务到etcd
- 完成海量并发任务的爬取、解析、清洗、存储工作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8jtxj71z-1679233104211)(https://assets.b3logfile.com/siyuan/1658627274984/assets/image-20230319211429-agja9xx.png)]