mirror of
https://ghfast.top/https://github.com/aeroxw/tick-stock-panel.git
synced 2026-09-12 21:24:16 +08:00
* fix(concurrency): 共享缓存/任务表加锁, 全局限速, depth 原子写, 认证热路径缓存 修复多线程下的竞态与阻塞: - overview/strategy_cache/PanelCache/StrategyMonitor._watching 四处共享状态加锁, 消除 "dict/OrderedDict mutated" 与丢更新/半写读取 - strategy_cache/depth parquet 改临时文件 + os.replace 原子写 - rate_limits 改进程级共享时间轴限速, 并发同步不再聚合超过单能力 rpm; scheduler 令牌账目与 sleep 分离, sleep 不再独占锁串行化其他请求 - auth.is_configured() 内存缓存, 认证中间件不再每请求读盘阻塞事件循环 - api/backtest 任务清理/取消全程持 _jobs_lock, 并用 Semaphore(2) 限并发重回测 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * perf(data): limit_ladder 去 N+1 全市场重算, 指标裁剪, factor 向量化 - limit_ladder 前一日 consecutive 改窄读单日 parquet 存储列 (谓词/投影下推), 替代 range(1,10) 逐日 _load_enriched_for_date 全市场指标重算 (最坏 9x) - compute_indicators 新增可选 needed 裁剪 (默认 None 行为逐位不变, 已对照验证), factor 只算所需因子列 - factor._calc_period_return 用 Polars join 替代 Python 逐行 price_map 循环, _add_groups 去 map_elements 改纯表达式 (输出逐位一致) - screener ext value_map 按 parquet mtime 记忆化, 免每请求磁盘重读 (DuckDB 过滤仍用隔离 :memory: 连接, 不扩大注入面) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * refactor(backend): 报表存储去重, 删死代码, DuckDB 视图重建收敛, 管道失败如实标记 - 三份近乎逐字复制的 *_reports.py 收敛到共享 JsonReportStore (原子写 + 锁), 各模块公有 API/id 格式/上限/落盘 schema 完全保持不变 - 删除 ext_pull.py 中字节相同的死 _run_loop (Python 只绑第二个) 及无用 import - 13 张 DuckDB 视图重建收敛为唯一权威 repository.rebuild_views(), daily_pipeline 与 /api/data/clear 改为调用 (修好 clear 路径漏挂视图的漂移) - daily_pipeline 累积 stage_errors 并在末尾抛出, 部分失败不再误报成功; free/None 模式的能力门控跳过不计入失败 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * feat(frontend): SSE 连接态, 路由代码分割, 查询失效修复, 三态与无障碍 - 实时行情 SSE: 连接态 store + 指数退避 + 断线徽标/toast (避免静默丢告警); 回测 SSE 断线有界重连 + 可重试, 不再永久卡住进度条 - router 全部 React.lazy + Suspense, vite manualChunks 拆图表库 (echarts 变独立 1MB 懒加载 chunk, 首屏包显著减小) - 修 Data 清库后其它页显示旧数据 (改回广域失效); 修 Watchlist kline 失效键 永不匹配; query key 收敛到 QK 工厂 (新增 strategyDetail) - Monitor/Analysis/StockAnalysis/ExtPages/CustomSignals 补 loading 门控与 error/empty 三态区分 - 新增共享 Modal 原语 (焦点陷阱/ESC/焦点还原/aria), 改造 3 个高频弹窗; Toast/AlertToast 加 aria-live 与键盘可达; Watchlist/LimitUpLadder 卡片 memo 修复本轮 review 发现的缺陷: - Modal 焦点 effect 依赖 onClose 致每次输入抢焦点 → 改 ref 只装一次 - StrategySettingsDialog 删除确认框被 Modal 面板裁剪 → 移出作兄弟节点 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * fix(quant): 修正 ST 板块限价套错 与 因子 Sharpe 年化频率 两个不报错但会算错数的领域 bug: 1. ST 5% 涨跌停限幅被无条件套到创业板/科创板 ST 股: 注册制改革后 创业板(300/301)、科创板(688/689) 的风险警示股仍执行 20%, 北交所 30%, 只有主板 ST 才是 5%。原代码 _is_st 先判且覆盖板块限幅, 导致 创业板/科创板 ST 的涨停价按 5% 计算 → +5% 被误报涨停、真 +20% 涨停被漏报, 污染 signal_limit_up / consecutive_limit_ups / 连板梯队 / near_limit_up。 修正: ST 5% 仅在 ~(创业板|科创板|北交所) 时生效 (EOD + 盘中两条路径 + near_limit_up)。 2. 因子回测 Sharpe 一律乘 √252, 但 group_nav 每点是一个调仓周期收益: 月频调仓下是月收益, 乘 √252 会把 Sharpe 高估 √(252/12) ≈ 4.6x (周频 ≈2.2x), 使无效因子显示成明星因子, 废掉"先筛无效指标"的用途。 修正: 年化系数按 config.rebalance 取 √252/√52/√12。 新增 tests/test_st_limit_and_sharpe.py (5 例) 覆盖两处修正。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> --------- Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
127 lines
4.8 KiB
Python
127 lines
4.8 KiB
Python
"""AI 报告类 JSON 存储的共享底座。
|
|
|
|
财务分析 / 个股分析 / 大盘复盘三类报告的持久化机制此前是近乎逐字的三份拷贝
|
|
(_path / list_reports / _save_all / save_report / delete_report / _now_iso 完全一致,
|
|
只差文件名、上限、id 前缀)。这里抽出唯一实现, 三个模块各自实例化并委托, 对外仍保持
|
|
原有函数签名不变。
|
|
|
|
差异通过构造参数固化: filename(存储文件名) / max_reports(保留上限) / id_prefix(id 前缀) /
|
|
id_with_symbol(id 是否带 symbol 后缀 —— 大盘复盘无 symbol)。
|
|
|
|
存储文件: data/user_data/{filename} (数组, 按 created_at 降序), 保留最近 max_reports 条,
|
|
超出自动裁剪最旧的。写入走临时文件 + os.replace 原子替换, 避免进程中断留下半截 JSON。
|
|
读写同时可能来自请求线程与调度线程, 故加实例锁串行化写路径。
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
import json
|
|
import logging
|
|
import os
|
|
import threading
|
|
import time
|
|
from pathlib import Path
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
class JsonReportStore:
|
|
"""一类 AI 报告的 JSON 存储 (原子写 + 实例锁)。"""
|
|
|
|
def __init__(
|
|
self,
|
|
filename: str,
|
|
max_reports: int,
|
|
id_prefix: str,
|
|
id_with_symbol: bool = True,
|
|
) -> None:
|
|
self.filename = filename
|
|
self.max_reports = max_reports
|
|
self.id_prefix = id_prefix
|
|
self.id_with_symbol = id_with_symbol
|
|
# 请求线程 + 调度线程可能并发写, 用实例锁串行化读-改-写
|
|
self._lock = threading.Lock()
|
|
|
|
def _path(self) -> Path:
|
|
from app.config import settings
|
|
p = settings.data_dir / "user_data" / self.filename
|
|
p.parent.mkdir(parents=True, exist_ok=True)
|
|
return p
|
|
|
|
def list_reports(self) -> list[dict]:
|
|
"""返回全部报告(按 created_at 降序)。"""
|
|
p = self._path()
|
|
if not p.exists():
|
|
return []
|
|
try:
|
|
data = json.loads(p.read_text(encoding="utf-8"))
|
|
if isinstance(data, list):
|
|
return sorted(data, key=lambda r: r.get("created_at", ""), reverse=True)
|
|
except Exception as e: # noqa: BLE001
|
|
logger.warning("%s malformed: %s", self.filename, e)
|
|
return []
|
|
|
|
def _save_all(self, reports: list[dict]) -> None:
|
|
"""全量写入(裁剪到 max_reports, 原子替换)。"""
|
|
# 保持降序
|
|
reports.sort(key=lambda r: r.get("created_at", ""), reverse=True)
|
|
if len(reports) > self.max_reports:
|
|
reports = reports[:self.max_reports]
|
|
self._atomic_write(reports)
|
|
|
|
def _atomic_write(self, reports: list[dict]) -> None:
|
|
"""先写临时文件再 os.replace 原子替换, 避免进程中断留下损坏的 JSON。"""
|
|
p = self._path()
|
|
text = json.dumps(reports, indent=2, ensure_ascii=False)
|
|
tmp = p.with_suffix(p.suffix + ".tmp")
|
|
tmp.write_text(text, encoding="utf-8")
|
|
os.replace(tmp, p)
|
|
|
|
def _make_id(self, report: dict) -> str:
|
|
base = f"{self.id_prefix}_{int(time.time() * 1000)}"
|
|
if self.id_with_symbol:
|
|
return f"{base}_{report.get('symbol', 'x')}"
|
|
return base
|
|
|
|
def save_report(self, report: dict) -> dict:
|
|
"""新增一条报告并持久化。返回保存后的报告(含 id / created_at)。
|
|
|
|
自动补全 id 与 created_at(若缺),并裁剪到上限。
|
|
"""
|
|
with self._lock:
|
|
reports = self.list_reports()
|
|
if not report.get("id"):
|
|
report["id"] = self._make_id(report)
|
|
if not report.get("created_at"):
|
|
report["created_at"] = self._now_iso()
|
|
reports.append(report)
|
|
self._save_all(reports)
|
|
total = min(len(reports), self.max_reports)
|
|
logger.info("report saved: %s → %s, total %d", self.filename, report.get("id"), total)
|
|
return report
|
|
|
|
def delete_report(self, report_id: str) -> bool:
|
|
"""删除指定报告。返回是否删除成功。"""
|
|
with self._lock:
|
|
reports = self.list_reports()
|
|
before = len(reports)
|
|
reports = [r for r in reports if r.get("id") != report_id]
|
|
if len(reports) < before:
|
|
self._save_all(reports)
|
|
return True
|
|
return False
|
|
|
|
def clear_reports(self) -> int:
|
|
"""清空全部报告。返回删除数量。"""
|
|
with self._lock:
|
|
reports = self.list_reports()
|
|
n = len(reports)
|
|
if n > 0:
|
|
self._save_all([])
|
|
return n
|
|
|
|
@staticmethod
|
|
def _now_iso() -> str:
|
|
"""当前本地时间 ISO 字符串(带秒精度,前端 toLocaleString 友好)。"""
|
|
from datetime import datetime
|
|
return datetime.now().isoformat(timespec="seconds")
|