aeroxw/easy_tdx_max
1
0
Fork 0
mirror of https://ghfast.top/https://github.com/aeroxw/easy_tdx_max.git synced 2026-09-12 15:44:18 +08:00
Code Issues Packages Projects Releases Wiki Activity
338 Commits 1 Branch 0 Tags
e58de789ab6fc23c3fb60df284610e78aab3139a
Commit Graph
25 Commits
Author SHA1 Message Date
GitHub e58de789ab feat(ws): /ws/realtime 接通 RealtimeDataFeed — 按需轮询 hub + fan-out + 冒烟脚本 
- web/realtime_hub.py：RealtimeStreamHub——订阅集合变化按需启停 RealtimeDataFeed，
  无人订阅完全停止轮询（对齐 QuoteStreamer 节能）；EventBus → 每连接队列
  fan-out（丢最旧保最新）；去重标的上限 80；lifespan 挂载/关闭
- routers/realtime.py 重写：连接即订阅、断开退订、subscribe/unsubscribe 控制帧、
  30s ping 心跳；单一写者泵模型（全部出站帧经队列串行，防并发 send 交错）
- 修复 RealtimeDataFeed stop-before-start 竞态（_stop_requested 标志），
  补 2 个回归用例；hub 单测 10 例（并发订阅/退订竞态、跨标的串扰、背压、
  TestClient 端到端）
- 前端接入选文档方案（api_reference.md 协议+重连/心跳骨架；README 撤「未联动」）：
  SSE 已覆盖看板/自选实时刷新，WS 定位按需单标的 tick，双通道冗余无必要
- scripts/ws_smoke.py：手动冒烟（mock 模式实测 tick 帧与动态订阅确认可见）
 2026-09-01 23:21:42 +08:00
GitHub 211052f0e3 feat(e2e): Playwright E2E 前端测试基建 — 后端合成数据 mock 模式 + 5 用例 + CI 
- web/e2e_mock.py：EASY_TDX_E2E_MOCK=1 时 lifespan 替换 TDX/MAC 客户端为
  确定性合成数据（CRC32 播种随机游走，分页语义对齐真实 /bars）；回测/WF/
  评估/自选/策略库仍走真实后端，SSE 由 QuoteStreamer 真轮询（mock 下 2s 一拍）
- web-ui：@playwright/test + playwright.config.ts（webServer 自动起 serve，
  EASY_TDX_CONFIG_DIR 指向每轮临时目录）；e2e/ 5 用例覆盖看板五指数/SSE、
  自选增删、回测全流程、附加分析（WF 柱状图+一条龙评估卡）、策略库保存
- package.json 加 test:e2e；CI frontend job 追加 E2E；verify_ci.sh 补前端段
- tests/unit/test_e2e_mock.py（11 例）守护 mock 契约；本地 npx playwright test 全绿
 2026-09-01 22:56:38 +08:00
GitHub 917295edaf release: v1.27.0 — 通达信公式解析器三通道 + 轮动组合引擎 + 回测页WF/评估开关 + Docker 部署 
升级计划 P3 + P4（部分）。全量 1252 单测、ruff/mypy strict、前端 vue-tsc+vite build 全绿。

- 通达信公式解析器（formula.py）：自建 tokenizer + 递归下降 AST + 30+ 函数白名单求值
  （不走 Python eval）；命名布尔输出=信号列、数值输出=排名列；除零→NaN、预热期不出信号
- 公式三通道：CLI easy-tdx formula compute|screen|backtest；REST /formula/validate|compute|
  backtest|screen（run/async）；Python API run_formula_backtest（买/卖列自动挑选）
- 轮动组合引擎（rotation.py）：排名定期换仓（打分只用截至当日数据）、槽位等额、
  跌出排名自动补位、日/周/月刷新、槽内止盈止损；momentum_score/formula_score 打分；
  REST /backtest/rotation/run/async
- 回测页附加分析开关（Web UI）：勾选后随回测并行跑 WF（逐窗红涨绿跌柱状图+汇总卡，
  窗口数 2~12）与一条龙评估（评分分项条/高适配徽标/买入持有对比/8 项适配检查）；
  新增 WalkForwardPanel/EvaluatePanel 组件与 store runWalkforward/runEvaluate；
  WF 端点 ?n_windows= 透传；修复报告 numpy 标量 REST 400（源头清洗）
- Docker 部署（Dockerfile + docker-compose.yml，/data 卷 + 健康检查）与
  scripts/verify_ci.sh 一键门禁
- 升级计划文档 docs/upgrade-plan-2026H2.md（四阶段全部完成 + 诚实实测数据）
- 未做（独立排期）：Playwright E2E、WebSocket 实时联动、引擎逐 bar 向量化
 2026-09-01 22:17:57 +08:00
GitHub ac4ac6b2aa feat(cli): serve 新增 --no-ui 纯 API 模式 
- --no-ui：不托管 Web UI 前端（根路径 404），仅 /api/v1/* REST 接口，
  且不自动打开浏览器——给 AI Agent / 程序化调用省去前端资源
- create_app/_create_app 新增 enable_ui 参数（默认 True 行为不变）
- 测试锁定：no-ui 模式无 web-ui Mount 且 API 路由完整；四道门禁全绿
  （ruff / ruff format / mypy / 1079 tests），实测根路径 404 + API 正常
 2026-09-01 18:33:49 +08:00
GitHub 6fe3f0f8c4 fix: 补齐 CI 质量门禁——mypy strict 类型标注 + ruff 行宽/导入排序 
- watchlist_store/routers/watchlist: 裸 dict 补泛型参数 dict[str, object]
- routers/stream: event_gen 返回 AsyncGenerator[str, None] 注解
- app: _watch_symbols 返回类型；teardown 变量改名消除类型冲突
- ruff: 5 处超长行拆行、3 处导入排序自动修复

ruff / mypy (226 files) / 1078 tests 全绿
 2026-09-01 17:52:36 +08:00
GitHub 33d44ba5d6 feat(webui)!: 行情终端重大升级——市场看板/自选/个股与板块弹窗 + SSE 实时推送 
展示层对标专业看盘终端（tick-stock-panel 模式），数据全部来自通达信协议直连：

- 市场看板：五大指数实时条（迷你分时）、涨跌统计、四维情绪雷达、
  全市场涨跌分布直方图（约 5500 只 22 桶、鼠标跟随浮窗）、涨停雷达、
  行业/概念热冷榜（可下钻）、涨幅/跌幅/成交额/换手四联排行榜、异动雷达
- 自选行情：6 位代码即加（symbol-info 自动取名）、SSE 实时全表刷新、
  行内迷你分时；SQLite 持久化（watchlist.db，幂等加删）
- 个股弹窗：五档盘口 + 1/3/5 日分时 + 日K（MA/BOLL/EMA + MACD/KDJ/RSI
  前端本地计算）+ 一键加自选 + 一键全策略寻优
- 板块弹窗：板块分时/日K + 成分股涨跌榜直达个股
- SSE 架构：QuoteStreamer 单循环轮询 fan-out（独立队列 + 背压丢旧、
  无订阅休眠、盘中 8s/盘外 60s 降频）；前端 pinia 单连接指数退避重连
- fix(codec): SH 000 系大盘指数与 881/885 板块指数报价按 2 位小数解析
  （曾缩小 10 倍：科创50 1647.53→164.753）；880 统计指数保持 3 位
- fix: 前端批量五档路径 /security/quotes→/quotes、SSE 五档白名单
  bid1_vol→bid_vol1、MAC 排行 close 列归一化、日K v-if 撑满、
  寻优查看跳转 /→/backtest、FastAPI 0.141 _IncludedRouter 测试适配

新增 27 个单测（streamer/自选/小数位语义），全套 1078 passed
 2026-09-01 17:45:07 +08:00
Justin Gu 14debdb446 feat(web-ui): v1.19.7 服务器设置页面（测速+切换通达信服务器） 
新增 web UI 第六个页面「服务器设置」，让用户在浏览器上：
1. 列出全部 50+ 候选服务器
2. 一键并发测速（显示延迟和可达性）
3. 点选切换到最快或可用的服务器（热重连，无需重启）

解决不同地区/运营商对通达信各服务器连通性不同的问题。

新增:
- AsyncTdxClient.reconnect_to(host) 热切换方法（持锁，关旧建新）
- GET/POST /api/v1/server/hosts|test|switch 三个端点
- ServerSettingsView.vue 页面（列表+测速+切换）
- 导航栏第六个入口

设计: 先reconnect成功再save_best_host（避免污染config），
host校验只允许候选列表内IP，不自动测速避免首屏卡顿。
 2026-07-07 23:08:32 +08:00
Justin Gu d5309454bc fix(packaging): v1.19.5 PyPI wheel 含前端 dist（pip install 后不再 404） 
根因：PyPI wheel 只有 Python 包，不含前端 dist。_resolve_web_dist_dir
三级探测（env/_MEIPASS/仓库根）在 PyPI 安装环境下全失败返回 None，
StaticFiles 不挂载，GET / 返回 404。

修复：
- pyproject.toml hatchling force-include 把 web-ui/dist 映射到包内
  easy_tdx/web/dist
- publish.yml 在 python -m build 前先 npm ci && npm run build
- _resolve_web_dist_dir 新增第 4 级探测：包内 easy_tdx/web/dist

验证：本地构建 wheel 含 4 个前端文件，模拟 PyPI 安装后第 4 级探测
成功找到 dist。907 测试全过。
 2026-07-07 20:46:26 +08:00
Justin Gu 032f5a40c0 fix(web): v1.19.3 K线空body不再500 + SPA路由刷新404 
两个独立问题（日志证据）：

1. K线空body 500：SH600519 等正常股票偶发请求时，通达信返回
   ret_count>0 但 body 完全为空（偏移2 剩余0）。v1.18.3 的容错有
   'if bars:' 条件，bars 为空时 raise → 500。移除该条件，始终 return
   （空列表让前端分页重试比 500 友好）。GetIndexBarsCmd 同改。

2. SPA fallback 缺失：/optimize /portfolio 等前端路由刷新时 404。
   子类化 StaticFiles 为 SPAStaticFiles，404 时返回 index.html。
   API 路径不受影响。

测试：更新 test_security_bars_truncated_first_record（原断言 raise，
现断言返回空列表）+ 新增空 body 回归测试。902 全过。
 2026-07-07 20:13:39 +08:00
Justin Gu ecd6e298f5 fix(packaging): v1.19.2 修复干净 Windows 上 EXE 页面纯黑（MIME 类型） 
根因：干净 Windows（无开发环境）注册表里没有 .js 的 Content Type 映射，
mimetypes.guess_type('.js') 返回 None，StaticFiles 回退到 text/plain。
浏览器 <script type="module"> 启用严格 MIME 检查，拒绝执行 text/plain
的 JS → Vue 不挂载 → 页面纯黑（/docs 不受影响因为它是 API 路由）。

修复：mount 前用 mimetypes.add_type 强制注册 .js/.mjs/.css/.svg 的正确
MIME，无论机器装没装开发工具都生效。

同时改 easy_tdx.spec：datas 用 pathlib.rglob 逐文件展开，更可靠。
 2026-07-07 15:18:53 +08:00
Justin Gu 0b4ed9af62 feat(packaging): v1.19.1 支持 Windows 单 EXE 打包 + 系统托盘 + 自动发版 
面向零基础老年用户，easy-tdx 可打包成单一 Windows EXE，双击即用。

新增:
- 后端同源托管前端 dist（app.py 三级探测：env → _MEIPASS → web-ui/dist）
- easy-tdx serve 默认 --open-browser，启动后自动开浏览器
- PyInstaller 打包入口（__main__.py）+ spec 配置（easy_tdx.spec）
- 系统托盘（tray.py）：右下角图标，右键"打开浏览器/退出"
  解决老人不会用任务管理器关闭的问题
- GitHub Actions release.yml：打 v* tag 自动构建并发布 EXE 到 Releases
- docs/packaging.md 打包使用文档

修复:
- K 线残缺尾记录导致 500（security_bars.py）：通达信服务器偶发
  ret_count 与 body 长度不匹配，改为 try/except 优雅降级丢弃残缺尾，
  返回已解析的完整记录。GetIndexBarsCmd 同改。加 4 个回归测试。
- PyInstaller frozen 模式三个坑：
  1. console=False 下 stdout/stderr 为 None → 重定向到日志文件
  2. multiprocessing spawn 子进程重新 import __main__ → freeze_support + 子进程检测
  3. 系统托盘需主线程消息泵 → uvicorn 挪到后台线程

文档:
- README/手册改为三档分流：EXE（零基础）/ Python（一条命令）/ 源码（打包）
- 删除 npm run dev / 5173 / 两个终端的过时说明
- 手册补虚拟环境配置 + EXE 打包附录 + EXE 排错 FAQ
 2026-07-07 01:48:07 +08:00
Justin Gu c9d80617e8 revert: 移除拼音声母搜索，回到 6 位代码输入 
拼音搜索的底层依赖（首次需爬沪深 A 股 5000 条全名单，几十次 TDX 协议
往返，慢机器几十秒到超时）太重，反复优化（按需加载/遮罩/单飞/预热）
都无法兼顾'不阻塞核心行情请求'与'首次可用'。用户决定放弃此功能，
回到简单稳定的 6 位代码输入。

回退 e2bf29e..2523605 共 6 个 commit 的全部改动：
- 删除 StockSearchInput / AppInitOverlay / useStockSearch
- 移除 pypinyin 依赖、/security/search-index 端点、lifespan 预热
- SymbolPicker / StocksPicker 恢复为纯 6 位代码输入
- README / CHANGELOG 同步回退

代码状态等同 v1.18.1（一键寻优多进程并发）发布后的干净基线
 2026-07-06 02:50:51 +08:00
Justin Gu 25236056f7 fix(web): 单飞改用轮询解耦，预热超时不再波及端点请求 
问题：上一版单飞用 asyncio.Future 共享，lifespan 预热用 wait_for(120s)
超时会 cancel 整个 Future，导致同时等待的 /security/search-index 端点
请求收到 CancelledError 返回 500。日志显示预热 TimeoutError + 端点 500。

修复：
- _build_search_index 改用轮询设计：后台 _do_build task 独立运行
  （fire-and-forget），调用方通过轮询 _SEARCH_INDEX 每 0.5s 检查结果
- 调用方被 cancel（预热超时）只退出轮询，不影响后台构建 task
- lifespan 预热去掉 wait_for，改为纯 best-effort 触发，无权取消构建
- 冒烟验证：预热被 cancel 后，端点请求仍能正常拿到结果（5206 条）

另外从日志看慢机器爬全名单 >120s，轮询上限提到 300s 兜底
 2026-07-06 02:39:02 +08:00
Justin Gu 04fd720a05 fix(web-ui): 搜索索引前端超时 15s→120s + 后端单飞去重 
问题：另一台机器首次加载报 'signal is aborted without reason'——
不是取不到数据，是前端 AbortController 15 秒就掐断了请求，但遮罩
却告诉用户等 30-60 秒，自相矛盾。

修复:
- 前端 fetchSearchIndex 超时 15s → 120s：遮罩本就是要等的，不能自己掐断
- 后端 _build_search_index 单飞去重：用 asyncio.Future 让 lifespan 预热
  与 /security/search-index 端点请求共享同一任务，避免并发各爬一次全名单
  （两个任务抢同一把 _execute_lock 反而互相拖慢）
- lifespan 预热改为调 _build_search_index（复用单飞），加 120s 超时保护
 2026-07-06 02:31:20 +08:00
Justin Gu 6b01c0687c feat(web-ui): 股票搜索索引加载期间全站遮罩 + 后端启动预热 
新机器首次打开页面时，拼音搜索索引构建要走全量 get_security_list_all
（几十秒），期间无任何反馈，体验极差。本次双管齐下解决：

前端:
- 新增 AppInitOverlay 全局遮罩：加载期间全屏灰底 + blur + spinner +
  诚实文案（预计 30-60 秒）。就绪后 fade-out；失败也消失（不卡死）
- useStockSearch 改为模块级响应式状态，App 根 setup 时 eagerLoad 触发
- 方案 A：无跳过按钮强制等待（一次性代价），失败时降级为可手输代码

后端:
- lifespan 启动钩子加后台预热：asyncio.create_task 触发一次
  get_security_list_all('all')，不阻塞服务启动，让本地缓存提前建立
- 用户打开页面时后端缓存大概率已就绪，遮罩可秒消失
 2026-07-06 02:20:12 +08:00
Justin Gu 05dc9a74af release: v1.17.11 — Web UI 策略库（SQLite 持久化）+ 多策略资金分仓组合回测 
新增两层能力：
1. 策略库：单标的/组合回测结果可保存到本地 SQLite 单文件
   (~/.easy_tdx/strategies.db)，策略库页可载入回填、重跑、删除。
2. 多策略组合回测：勾选 N 个单标的策略，各拿 1/N 资金、各跑原标的，
   净值曲线按日期并集对齐求和，组合结果含 19 项完整绩效指标 + 持仓表。

后端：strategy_store.py(SQLite CRUD) + multi_strategy_engine.py(资金分仓引擎)
+ routers/strategies.py + /backtest/multi-strategy/run/async。
前端：StrategiesView.vue + 保存策略按钮 + 复用组合页图表组件。

895 单测全绿（+24 新增），ruff/mypy strict/前端 vue-tsc 全通过。
 2026-07-04 20:40:57 +08:00
Justin Gu 38731114b6 feat(backtest): 回测 REST API + 策略注册表 + 组合回测引擎 
后端回测系统完整实现：

策略注册表（backtest/strategies/）：
- Param schema 声明机制，支持动态表单渲染
- 5 个内置策略：MA交叉/MACD/布林/RSI/KDJ
- 参数校验（含 NaN/Inf 拦截、范围检查、类型强制转换）

REST API（web/routers/backtest.py）：
- GET  /backtest/strategies  策略枚举 + 参数 schema
- POST /backtest/run         同步回测（内联 OHLCV）
- POST /backtest/run/async   后台任务回测（含 symbol 取行情）
- POST /backtest/portfolio/run/async  组合回测（多标的）
- GET  /backtest/tasks/{id}  任务轮询

后台任务执行器（web/task_runner.py）：
- ThreadPoolExecutor + 进程内 LRU 任务表
- status-aware 淘汰（不淘汰 running 任务）
- 线程安全单例 + lifespan shutdown 接入

组合回测引擎改造（portfolio_engine.py）：
- 接受策略实例，参数透传到每个标的
- 新增组合净值曲线（按日期并集 forward-fill 对齐求和）

审计修复（/check 三轮）：
- Param.validate 拦截 NaN/Inf/giant-int（防 DoS）
- ohlcv max_length=2000（防内存耗尽）
- LRU 淘汰跳过 running 任务（修复结果丢失竞态）
- get_runner double-checked locking（修复单例竞态）
- shutdown 接入 lifespan（修复资源泄漏）

测试：808 passed（含 39 回测路由 + 8 组合引擎 + 安全回归）
 2026-07-03 03:34:34 +08:00
Justin Gu b49cfd66f8 feat(sina): 新增新浪财报三表 — 三层接入（API/CLI/Web），独立数据源 2026-06-15 00:31:13 +08:00
Justin Gu 4b439920fc feat(cninfo): 新增巨潮公告检索 — 三层接入（API/CLI/Web），独立数据源 2026-06-14 23:29:19 +08:00
GitHubandClaude de2b37e1e3 fix(web): use redoc@2.2.0 standalone bundle (v3 is ESM-only) 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-12 17:06:54 +08:00
GitHubandClaude 79c81cc3b6 fix(web): override redoc endpoint with pinned JS v3.0.0-rc.0 
FastAPI does not accept redoc_js_url as a constructor param — the old
approach silently ignored it, leaving the default redoc@next CDN URL
(which returns 404). Manually register /redoc with get_redoc_html()
using the fixed v3.0.0-rc.0 bundle URL.

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-12 17:05:25 +08:00
GitHubandClaude 9848d754a8 fix(web): use redoc@3.0.0-rc.0 bundle 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-12 16:55:21 +08:00
GitHubandClaude 0d673f1972 fix(web): pin ReDoc JS to v2.1.3 (cdn redoc@next returns 404) 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-12 16:54:03 +08:00
GitHubandClaude d17895e92b feat(web): full Web API parity with CLI — 18 new endpoints (v1.10.2) 
- Board analysis: list/members/belong/summary/ranking/change-ranking (6)
- Capital flow, symbol info, server info (3)
- Quote list, auction, unusual (3)
- Extended market: bars/quote/minute/transaction (4)
- Technical indicators: list + compute (2)
- Multi-client DI: AsyncMacClient + AsyncExTdxClient lifecycle
- 6 MAC enum converters, DictResponse, ComputeIndicatorsRequest schemas
- Web API endpoints: 22 → 40

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-12 16:46:48 +08:00
Justin Gu eb8a7a5675 feat(web): add FastAPI app factory, all routers, CLI serve command, and tests 
- App factory with lifespan management and CORS middleware
- Market router: security list, quotes, market stat, fund-flow
- Bars router: kline, index kline, minute, transaction
- Finance router: xdxr, finance, company info, financial records
- Block router: block file parsing
- Chanlun router: POST /chanlun/analyze
- Realtime router: WebSocket /ws/realtime/{symbol}
- CLI: easy-tdx serve command
- 16 unit tests, all passing offline (no network)
 2026-06-12 03:08:12 +08:00