F002 平台助手 (NestJS + Next.js + Prisma + SQLite)
Sisyphus
587a09774e
fix(crawler): runGenericScript 支持 DB keywords, 跟 runPowerChina 对齐
【问题】
runGenericScript() 直接 execSync 没拼 --keyword, 导致 DB CrawlerConfig.keywords
对新矿/中核等 generic python 脚本完全失效. 之前 7 月份排查中电建入库少时确认过:
- 中电建: runPowerChina() 会逐 keyword 调用 → DB 关键词生效
- 新矿/中核: runGenericScript() 只调用一次不传 keyword → DB 关键词沦为摆设,
新矿实际是全量抓"寻源公告", 入库量看起来正常但跟 DB 配置不一致
【修复】
照搬 runPowerChina() 的 keyword 循环+去重模式:
- 解析 config.keywords (JSON), 为空默认 ['']
- 逐个 keyword 调用 execSync, 失败继续下一个
- 用 seen Set 跨 keyword 去重
- 只处理 downloaded_at 是今天的记录 (避免历史重复入库)
【验证(生产)】
- 部署后 health 200 OK
- 手动跑 fetch-xkgroup.py --keyword 电缆/钢材/阀门/管材, 4 个全部 0 命中
(新矿寻源公告确实没有电缆/钢材等关键词)
- 关键词确认生效, 新矿后续入库量会大幅下降 (按 DB 关键词配置真实反映)
|
2026-07-22 12:31:23 +08:00 |
|
apps
|
fix(crawler): runGenericScript 支持 DB keywords, 跟 runPowerChina 对齐
|
2026-07-22 12:31:23 +08:00 |
|
docs
|
docs: 更新 AGENTS.md、gitignore（排除上传文件）、开发文档
|
2026-06-26 16:25:24 +08:00 |
|
packages/shared
|
feat(F002): W26 + W29.x + W30 + W31 平台助手全部改动首次 commit
|
2026-06-24 11:07:11 +08:00 |
|
scripts
|
fix(中电建): 跨天首次运行回溯 3 天, 补抓前一天后半天发布的公告
|
2026-07-22 11:41:49 +08:00 |
|
.gitignore
|
chore: 忽略 tsbuildinfo 构建缓存文件
|
2026-07-14 11:57:43 +08:00 |
|
.prettierrc
|
feat(F002): W26 + W29.x + W30 + W31 平台助手全部改动首次 commit
|
2026-06-24 11:07:11 +08:00 |
|
AGENTS.md
|
feat(ui): 前端 UI 组件化重构 + 发布表单增强
|
2026-07-16 15:46:37 +08:00 |
|
docker-compose.yml
|
feat(F002): W26 + W29.x + W30 + W31 平台助手全部改动首次 commit
|
2026-06-24 11:07:11 +08:00 |
|
image_001.jpg
|
feat(F002): W26 + W29.x + W30 + W31 平台助手全部改动首次 commit
|
2026-06-24 11:07:11 +08:00 |
|
package-lock.json
|
feat(F002-P1): Lead 加 notes 字段 + crawler 提取 PDF 6 条要点 (老 GUI 同款)
|
2026-06-24 11:52:59 +08:00 |
|
package.json
|
feat(F002): W26 + W29.x + W30 + W31 平台助手全部改动首次 commit
|
2026-06-24 11:07:11 +08:00 |
|
线索管理操作白皮书.html
|
feat(F002): W26 + W29.x + W30 + W31 平台助手全部改动首次 commit
|
2026-06-24 11:07:11 +08:00 |
