mirror of
https://ghfast.top/https://github.com/aeroxw/tick-stock-panel.git
synced 2026-09-12 19:04:15 +08:00
线上曾出现并发 LazyFrame.collect 触发 polars streaming 执行器死锁, 叠加 _write_lock 区间内做重活, 放大为全站请求冻结。本次按触发缩小、 爆炸半径收缩、自动恢复三层布防: - polars_guard: BoundedSemaphore 并发闸 (总闸 4 + 后台车道 2, 后台 先拿子闸再拿总闸防死锁); repository 18 处 collect 按交互/后台分级接入 - repository 写锁区间收缩: 分区合并移出锁外, 锁内 (mtime_ns,size) 指纹校验 + 3 次乐观重试, 失败回退锁内合并; 5 处 _write_lock 重构 - watchdog: 周期探测 collect 闸与全局写锁, 连续 2 次失败退出交由 supervisor 拉起 (可配置, 默认开) - polars >=1.44,<1.45 (1.44.1); 附并发压测脚本 scripts/stress_polars_concurrency.py 供复现验证 另: config 新增 polars_collect_permits / watchdog_* / strategy_run_all_workers / strategy_run_all_first_return_s 旋钮 (后两者供后续 run_all 优化提交使用, 默认保持旧行为基准)。
190 lines
8.6 KiB
Python
190 lines
8.6 KiB
Python
"""全局配置 — 从环境变量 / .env 读取。"""
|
|
from __future__ import annotations
|
|
|
|
import os
|
|
import sys
|
|
from pathlib import Path
|
|
|
|
from pydantic import Field, model_validator
|
|
from pydantic_settings import BaseSettings, SettingsConfigDict
|
|
|
|
# ── 运行环境检测 ──────────────────────────────────────────
|
|
# PyInstaller 打包后: __file__ 指向临时解压目录 _MEIPASS, 不能作为路径基准。
|
|
# 此时:
|
|
# - 只读资源 (tiers.yaml / 前端 dist) 放在 _MEIPASS 内
|
|
# - 可写用户数据 (data_dir) 放在可执行文件旁的用户目录
|
|
# 非 frozen 模式 (开发/Docker): 保持原有 __file__ 推导, 行为完全不变。
|
|
_IS_FROZEN = getattr(sys, "frozen", False)
|
|
|
|
|
|
def _user_data_root() -> Path:
|
|
"""桌面版用户数据根目录。
|
|
|
|
定位策略 (按优先级):
|
|
1. 环境变量 DATA_DIR (pydantic-settings 自动注入到 settings.data_dir, 不在此处理)
|
|
2. 打包桌面版: exe 同级的 data/ 子目录 (<安装目录>/data/)
|
|
—— 与程序同处一个总目录 (用户选择的安装目录), 视觉直观, 便于备份/迁移。
|
|
3. 非 frozen (开发模式): 项目根 data/
|
|
|
|
为什么不用 platformdirs 默认 (%LOCALAPPDATA%) 作为主路径:
|
|
- 落在 C 盘系统目录, 用户不易察觉, 占系统盘空间
|
|
- 用户期望「数据跟随程序」(便于备份/迁移)
|
|
为什么放 {app}/data (exe 旁的 data/) 而非 {app} 外的兄弟目录:
|
|
- 用户体验: 用户选了安装目录, 自然期望「程序和数据都在这」, 单一总目录更直观。
|
|
- 数据安全: Inno Setup 覆盖安装(升级)时只往 {app} 写新程序文件, 不会清空
|
|
目录里不在安装清单上的运行时文件 (data/ 即此类), 故覆盖安装不丢数据。
|
|
(注意: 卸载时需在 .iss 中豁免 data/, 见 packaging/tickflow.iss 的 [UninstallDelete]。)
|
|
旧版本数据迁移: 见 DataStore._migrate_legacy_data_dir(), 老用户首次启动自动搬迁。
|
|
"""
|
|
# 打包桌面版: exe 同级的 data/ 子目录 (与程序同一总目录, 覆盖安装不丢数据)
|
|
if _IS_FROZEN:
|
|
exe_dir = Path(sys.executable).resolve().parent
|
|
return exe_dir / "data"
|
|
|
|
# 开发模式: 项目根 data/
|
|
return _PROJECT_ROOT / "data"
|
|
|
|
|
|
def _resource_root() -> Path:
|
|
"""只读资源根目录。
|
|
|
|
frozen: PyInstaller 解压目录 (_MEIPASS)
|
|
非 frozen: 项目根目录 (源码树)
|
|
"""
|
|
if _IS_FROZEN:
|
|
# sys._MEIPASS 是 PyInstaller 注入的解压根
|
|
return Path(getattr(sys, "_MEIPASS", Path(sys.executable).resolve().parent))
|
|
return Path(__file__).resolve().parent.parent.parent
|
|
|
|
|
|
def _project_root() -> Path:
|
|
"""项目根目录 (非 frozen 用)。"""
|
|
return Path(__file__).resolve().parent.parent.parent
|
|
|
|
|
|
_PROJECT_ROOT = _project_root()
|
|
_RESOURCE_ROOT = _resource_root()
|
|
_ENV_FILE = Path(
|
|
os.environ.get(
|
|
"TICKFLOW_ENV_FILE",
|
|
str(_RESOURCE_ROOT / ".env") if not _IS_FROZEN else ".env",
|
|
)
|
|
)
|
|
|
|
|
|
class Settings(BaseSettings):
|
|
model_config = SettingsConfigDict(
|
|
env_file=str(_ENV_FILE),
|
|
env_file_encoding="utf-8",
|
|
extra="ignore",
|
|
)
|
|
|
|
# TickFlow
|
|
tickflow_api_key: str = Field(default="", description="留空启用 free 模式")
|
|
|
|
# AI
|
|
ai_provider: str = "openai_compat"
|
|
ai_base_url: str = "https://api.zhaji.dev/v1"
|
|
ai_api_key: str = ""
|
|
ai_model: str = "gpt-5.5"
|
|
ai_codex_command: str = "codex"
|
|
ai_codex_reasoning_effort: str = ""
|
|
# 默认浏览器风格 UA,绕过 Cloudflare 等 CDN/WAF 的 Bot 拦截(Issue #8)。
|
|
# 用户可在 AI 设置页按需修改。
|
|
ai_user_agent: str = (
|
|
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
|
|
"AppleWebKit/537.36 (KHTML, like Gecko) "
|
|
"Chrome/131.0.0.0 Safari/537.36"
|
|
)
|
|
# AI 输出上限 (max_tokens) 与输入上下文窗口上限 (约 token)。
|
|
# 任务级 max_tokens 会被钳制到 ai_max_output_tokens; 输入估算超出上下文窗口时给出明确报错。
|
|
# 默认 8192 高于所有现有任务 (最多 4500), 避免默认配置反而截断长报告; 可在 AI 设置里调整。
|
|
ai_max_output_tokens: int = 8192
|
|
ai_context_window: int = 64000
|
|
|
|
# Server
|
|
host: str = "0.0.0.0"
|
|
port: int = 3018
|
|
log_level: str = "INFO"
|
|
backtest_range_guard: bool = False
|
|
backtest_matrix_disk_cache_enabled: bool = True
|
|
backtest_matrix_cache_max_mb: int = 512
|
|
backtest_matrix_cache_prewarm: bool = True
|
|
backtest_matrix_cache_prewarm_years: int = 5
|
|
|
|
# polars collect 并发闸 — polars 共享执行器在多线程并发 collect 下存在死锁
|
|
# (上游 #24448/#25754 同族), 限流并发是社区验证的缓解手段。background 限额
|
|
# 保证预热/增量等后台计算不占满闸位饿死页面读请求。
|
|
polars_collect_permits: int = 4
|
|
polars_collect_background_permits: int = 2
|
|
|
|
# 后端自愈看门狗 — 探测 collect 闸与全局写锁, 连续失败即退出交由
|
|
# supervisor 拉起 (见 app/watchdog.py)。误伤防护靠保守阈值。
|
|
watchdog_enabled: bool = True
|
|
watchdog_interval_s: float = 30.0
|
|
watchdog_probe_timeout_s: float = 15.0
|
|
watchdog_failure_threshold: int = 2
|
|
|
|
# 策略批量执行 (run_all / 策略页全量跑) 的并发 worker 上限。实测 2026-09-07:
|
|
# polars eager 操作内部已多线程并行, 外层再并发 4 worker 属超订, 41 策略
|
|
# 299.6s 慢于串行 — 默认 1 (串行)。保留开关供配合 POLARS_MAX_THREADS 调优实验。
|
|
strategy_run_all_workers: int = 1
|
|
|
|
# run_all 渐进式返回: HTTP 同步等待时限 (秒)。策略按历史耗时升序执行,
|
|
# 到点后已算完的随响应返回, 未算完的转后台继续算并逐个写入策略缓存,
|
|
# 前端轮询 cached-summary 点亮卡片。0 = 关闭 (整段阻塞, 旧行为)。
|
|
strategy_run_all_first_return_s: float = 15.0
|
|
|
|
# Auth — 首次启动时预置访问密码(明文, 仅用于初始化, 详见 services/auth.bootstrap_from_env)
|
|
# 公网服务器部署时免去 SSH 端口转发设密码的麻烦。写入 auth.json(哈希)后即不再读取。
|
|
auth_password: str = ""
|
|
|
|
# Data — frozen: exe 同级 data/ 子目录; 非 frozen: 项目根 data/
|
|
# (均可被环境变量 DATA_DIR 覆盖, pydantic-settings 自动注入)
|
|
data_dir: Path = _user_data_root()
|
|
|
|
# tiers.yaml 路径 — frozen: 资源目录内; 非 frozen: 项目根目录
|
|
tiers_yaml: Path = _RESOURCE_ROOT / "tiers.yaml" if _IS_FROZEN else _PROJECT_ROOT / "tiers.yaml"
|
|
|
|
# 静态文件(前端 dist) — frozen: 资源目录的 static/; 非 frozen: frontend/dist
|
|
static_dir: Path = _RESOURCE_ROOT / "static" if _IS_FROZEN else (_PROJECT_ROOT / "frontend" / "dist")
|
|
|
|
@model_validator(mode="after")
|
|
def _resolve_paths(self) -> Settings:
|
|
"""确保 data_dir 是绝对路径(环境变量传入的相对路径基于项目根目录解析)。"""
|
|
if not self.data_dir.is_absolute():
|
|
# 相对路径基于项目根目录解析,而非 CWD
|
|
self.data_dir = (_PROJECT_ROOT / self.data_dir).resolve()
|
|
if self.backtest_matrix_cache_max_mb <= 0:
|
|
raise ValueError("backtest_matrix_cache_max_mb must be positive")
|
|
if self.backtest_matrix_cache_prewarm_years <= 0:
|
|
raise ValueError("backtest_matrix_cache_prewarm_years must be positive")
|
|
if self.ai_max_output_tokens <= 0:
|
|
raise ValueError("ai_max_output_tokens must be positive")
|
|
if self.ai_context_window <= 0:
|
|
raise ValueError("ai_context_window must be positive")
|
|
if self.polars_collect_permits < 2:
|
|
raise ValueError("polars_collect_permits must be >= 2")
|
|
if not 1 <= self.polars_collect_background_permits < self.polars_collect_permits:
|
|
raise ValueError(
|
|
"polars_collect_background_permits must be in [1, polars_collect_permits)"
|
|
)
|
|
if self.watchdog_interval_s <= 0 or self.watchdog_probe_timeout_s <= 0:
|
|
raise ValueError("watchdog intervals must be positive")
|
|
if self.watchdog_failure_threshold < 1:
|
|
raise ValueError("watchdog_failure_threshold must be >= 1")
|
|
if self.strategy_run_all_workers < 1:
|
|
raise ValueError("strategy_run_all_workers must be >= 1")
|
|
if self.strategy_run_all_first_return_s < 0:
|
|
raise ValueError("strategy_run_all_first_return_s must be >= 0")
|
|
return self
|
|
|
|
@property
|
|
def use_free_mode(self) -> bool:
|
|
"""是否走 Free 模式。优先看 secrets.json,其次看 .env。"""
|
|
from app import secrets_store
|
|
return not secrets_store.get_tickflow_key()
|
|
|
|
|
|
settings = Settings()
|