注：当前文档仅草稿，仍然处于draft个人开发调优阶段

模块功能：

• common 通用类
• rss-filter 规则过滤器（待定）
• rss-solver-web 爬虫rss后端服务
• rss-solver-web-frontend 爬虫rss前端服务
• rss-solver-protocal 爬虫插件协议类
• rss-solver-plugin-xhs 爬虫-小红书示例

RSS过滤

rss-filter-*

尚无思路

RSS爬虫

rss-solver-*

搭建环境需求

1. java8+
2. redis

基础设计思路

插件化开发。后端web程序提供基础逻辑实现，负责对爬虫插件的管理和调用。

对于主程序来说，可以从plugins目录下装载合适的插件，一个插件拥有以下几个基础属性：

pluginId: 组件容器注册名

cron：组件定时任务执行表达式

route：组件路由地址

key：用户key（如爬虫页面用户的uid列表，该列表下的数据会一同处理）

config：支持额外的配置，以供组件调用（如cookies等）

主程序

| -> 爬虫1

  -> 用户1

  -> 用户2

| -> 爬虫2

  -> 用户1

  -> 用户2

插件开发指南

插件开发协议指南