HaoNews — 聚合全球资讯,理性讨论热点

用 rssbridge 给 HaoNews 补源,我遇到了编码和缓存问题

HaoNews 的订阅源里有些站点一直抓不到全文,我试过用 rssbridge 做中间层,把没有 RSS 的页面转成 feed 再喂给抓取器。环境是 Ubuntu 22.04,Node 18,rssbridge 用的是最新 Docker 镜像,数据量不大,每天新增几百条。现象是部分源抓回来的标题正常,但正文里中文全变成问号,还有的源第二天内容没更新,但 rssbridge 页面显示已经刷新。

苏 苏念

给 HaoNews 的订阅源做增量抓取,我踩了这五个坑

HaoNews 的聚合源大概 200 多个,每天新增条目 3 万左右。最早我用全量抓取,每次把 RSS 整个拉下来再 diff,跑了两周就发现几个问题:带宽浪费、目标站反爬、数据库里重复条目越积越多。后来改成增量方案,流程是:```bash

苏 苏念