Sisyphus
|
fd8b197853
|
feat(xkgroup): 加 3 个新过滤规则 (类型+多次询价标题+组织白名单)
【新规则】
1. DEFAULT_TYPES 增加 D (流标公告), 现在抓寻源(C) + 流标(D)
2. RETRY_PATTERN: 标题含 二次/三次/四次/.../九次
3. ORG_WHITELIST: 新疆宝地矿业股份有限公司 + 新疆火烧云铅锌矿有限责任公司
【触发时机】
这三个条件作为附加过滤层, 在原有 --keyword (DB CrawlerConfig.keywords) 之后生效
【验证(生产)】
累计 168 条历史状态命中:
- 单 RETRY: 49 条
- 单 ORG: 10 条
- RETRY + ORG: 3 条 (火烧云绿色矿山, 宝地审计二次/三次)
⚠️ 注意: 加上 DB 关键词 (电缆/钢材/阀门/管材/设备/机械/矿业) 后只剩 2 条命中
关键词是为电力工程领域配的, 新规则聚焦宝地/火烧云的多次询价,
两者交集很小. 建议清掉新矿 DB 的 keywords 让新规则单独生效.
|
2026-07-22 15:13:00 +08:00 |
|
Sisyphus
|
fc4a4e81d4
|
fix(中电建): 跨天首次运行回溯 3 天, 补抓前一天后半天发布的公告
bug 复现: state 文件按日期存放, 跨天首次运行 sinceDate=今天,
漏掉前一天 8:00 CST 之后才发布的公告 (用户实例: 2409490555 中电建水电十四局橡胶电缆, 7/21 22:45 发布).
修复: 新增 BACKFILL_DAYS=3 配置, state 为空时 sinceDate = today - 3 天,
新增'跨天补抓'日志分支.
验证: 删 state 后重跑拉到 80 条 / 28 条招采公告, 全部下载成功.
本地 + 生产 scp 同步部署, 4 个关键词全流程测试通过.
|
2026-07-22 11:41:49 +08:00 |
|