__注:当前文档仅草稿,仍然处于draft个人开发调优阶段__ # 模块功能: - common 通用类 - rss-filter 规则过滤器(待定) - rss-solver-web 爬虫rss后端服务 - rss-solver-web-frontend 爬虫rss前端服务 - rss-solver-protocal 爬虫插件协议类 - rss-solver-plugin-xhs 爬虫-小红书示例 # RSS过滤 > rss-filter-* > 尚无思路 # RSS爬虫 > rss-solver-* ### 搭建环境需求 1. java8+ 2. redis ### 基础设计思路 插件化开发。后端web程序提供基础逻辑实现,负责对爬虫插件的管理和调用。 对于主程序来说,可以从plugins目录下装载合适的插件,一个插件拥有以下几个基础属性: pluginId: 组件容器注册名 cron:组件定时任务执行表达式 route:组件路由地址 key:用户key(如爬虫页面用户的uid列表,该列表下的数据会一同处理) config:支持额外的配置,以供组件调用(如cookies等) > 主程序 > > | -> 爬虫1 > > -> 用户1 > > -> 用户2 > > | -> 爬虫2 > > -> 用户1 > > -> 用户2 > ### 插件开发指南 [插件开发协议指南](rss-solver-protocal/README.md)