 shangfangjian
|
5de8ffb09d
|
feat: 数据管线架构优化 — Bronze 层 + 死信队列 + 令牌桶 + 血缘追踪
P0: injuries 缓存原子写(tempfile+os.replace) + TTL 分级 + asyncio.Lock 并发安全
P1: 引入 Bronze 层 RawEvent 表(原始事件存档,不可变)
P1: IngestFailure 死信表(失败持久化,支持重试恢复)
P1: understat 改为 xG 覆盖更新模式 + xG 来源追踪字段
P1: 令牌桶限流器(TokenBucket)替换固定 sleep
P1: DataQualityCheck 数据质量监控表
P1: DataLineage 血缘追踪表
P2: 回测并发控制 Semaphore(3)
新增文件:
- src/data/rate_limiter.py (令牌桶限流器)
- alembic/versions/0008 (4 张新表迁移)
- alembic/versions/0009 (MatchStats xG 字段迁移)
|
2026-09-16 14:12:42 +08:00 |
|