mirror of https://gitee.com/dreamcenter/rss.git
1.2 KiB
1.2 KiB
注：当前文档仅草稿，仍然处于draft个人开发调优阶段
模块功能：
- common 通用类
- rss-filter 规则过滤器（待定）
- rss-solver-web 爬虫rss后端服务
- rss-solver-web-frontend 爬虫rss前端服务
- rss-solver-protocal 爬虫插件协议类
- rss-solver-plugin-xhs 爬虫-小红书示例
RSS过滤
rss-filter-*
尚无思路
RSS爬虫
rss-solver-*
搭建环境需求
- java8+
- redis
基础设计思路
插件化开发。后端web程序提供基础逻辑实现，负责对爬虫插件的管理和调用。
对于主程序来说，可以从plugins目录下装载合适的插件，一个插件拥有以下几个基础属性：
pluginId: 组件容器注册名
cron：组件定时任务执行表达式
route：组件路由地址
key：用户key（如爬虫页面用户的uid列表，该列表下的数据会一同处理）
config：支持额外的配置，以供组件调用（如cookies等）
主程序
| -> 爬虫1
-> 用户1 -> 用户2| -> 爬虫2
-> 用户1 -> 用户2