Sisyphus
|
855d4c3f00
|
feat(xkgroup): 采集器切换到新站 120.70.100.128:8096
- 新站为 layui 服务端渲染(无 JSON API), 抓取层重写为 HTML 列表页解析
(GET /front/notice/cgxx?category=bid|procure|auction 分页, pageNo 从 0 起)
- 旧站 kdcloud getPortalNoticeData API 已失效(302 到登录页)
- 类型标签映射: 默认抓商机类(招标/采购/竞价公告)+流标类(废标/竞价流拍),
--all-types 额外抓结果/变更/其他类, 对应旧版 C+D / +B 语义
- 白名单过滤改为标题+发布单位联合匹配(新站发布单位多为代理机构,
按单位匹配会漏掉白名单组织自己的公告)
- 详情增强改用 requests(新站纯 SSR 无需 Playwright): 存 HTML 源码 +
提取金额/截止/地区 + 下载附件 PDF 直链
- 输出状态文件格式不变, CrawlerService 入库链路零改动(本地+生产端到端验证通过)
- 新增 --max-pages 参数(默认每板块 5 页)
|
2026-10-13 10:20:09 +08:00 |
|
Sisyphus
|
fd8b197853
|
feat(xkgroup): 加 3 个新过滤规则 (类型+多次询价标题+组织白名单)
【新规则】
1. DEFAULT_TYPES 增加 D (流标公告), 现在抓寻源(C) + 流标(D)
2. RETRY_PATTERN: 标题含 二次/三次/四次/.../九次
3. ORG_WHITELIST: 新疆宝地矿业股份有限公司 + 新疆火烧云铅锌矿有限责任公司
【触发时机】
这三个条件作为附加过滤层, 在原有 --keyword (DB CrawlerConfig.keywords) 之后生效
【验证(生产)】
累计 168 条历史状态命中:
- 单 RETRY: 49 条
- 单 ORG: 10 条
- RETRY + ORG: 3 条 (火烧云绿色矿山, 宝地审计二次/三次)
⚠️ 注意: 加上 DB 关键词 (电缆/钢材/阀门/管材/设备/机械/矿业) 后只剩 2 条命中
关键词是为电力工程领域配的, 新规则聚焦宝地/火烧云的多次询价,
两者交集很小. 建议清掉新矿 DB 的 keywords 让新规则单独生效.
|
2026-07-22 15:13:00 +08:00 |
|