mirror of https://gitee.com/dreamcenter/rss.git
67 lines
1.2 KiB
Markdown
67 lines
1.2 KiB
Markdown
|
||
__注：当前文档仅草稿，仍然处于draft个人开发调优阶段__
|
||
|
||
# 模块功能：
|
||
- common 通用类
|
||
- rss-filter 规则过滤器（待定）
|
||
- rss-solver-web 爬虫rss后端服务
|
||
- rss-solver-web-frontend 爬虫rss前端服务
|
||
- rss-solver-protocal 爬虫插件协议类
|
||
- rss-solver-plugin-xhs 爬虫-小红书示例
|
||
|
||
# RSS过滤
|
||
|
||
> rss-filter-*
|
||
>
|
||
尚无思路
|
||
|
||
# RSS爬虫
|
||
|
||
> rss-solver-*
|
||
|
||
### 搭建环境需求
|
||
|
||
1. java8+
|
||
2. redis
|
||
|
||
|
||
### 基础设计思路
|
||
插件化开发。后端web程序提供基础逻辑实现，负责对爬虫插件的管理和调用。
|
||
|
||
对于主程序来说，可以从plugins目录下装载合适的插件，一个插件拥有以下几个基础属性：
|
||
|
||
pluginId: 组件容器注册名
|
||
|
||
cron：组件定时任务执行表达式
|
||
|
||
route：组件路由地址
|
||
|
||
key：用户key（如爬虫页面用户的uid列表，该列表下的数据会一同处理）
|
||
|
||
config：支持额外的配置，以供组件调用（如cookies等）
|
||
|
||
|
||
> 主程序
|
||
>
|
||
> | -> 爬虫1
|
||
>
|
||
> -> 用户1
|
||
>
|
||
> -> 用户2
|
||
>
|
||
> | -> 爬虫2
|
||
>
|
||
> -> 用户1
|
||
>
|
||
> -> 用户2
|
||
>
|
||
|
||
### 插件开发指南
|
||
|
||
[插件开发协议指南](rss-solver-protocal/README.md)
|
||
|
||
|
||
|
||
|
||
|