Files
shy3130 5618b4ef1d perf(polars): 并发闸+写锁收缩+看门狗三层防死锁, 升级 polars 1.44
线上曾出现并发 LazyFrame.collect 触发 polars streaming 执行器死锁,
叠加 _write_lock 区间内做重活, 放大为全站请求冻结。本次按触发缩小、
爆炸半径收缩、自动恢复三层布防:

- polars_guard: BoundedSemaphore 并发闸 (总闸 4 + 后台车道 2, 后台
  先拿子闸再拿总闸防死锁); repository 18 处 collect 按交互/后台分级接入
- repository 写锁区间收缩: 分区合并移出锁外, 锁内 (mtime_ns,size)
  指纹校验 + 3 次乐观重试, 失败回退锁内合并; 5 处 _write_lock 重构
- watchdog: 周期探测 collect 闸与全局写锁, 连续 2 次失败退出交由
  supervisor 拉起 (可配置, 默认开)
- polars >=1.44,<1.45 (1.44.1); 附并发压测脚本
  scripts/stress_polars_concurrency.py 供复现验证

另: config 新增 polars_collect_permits / watchdog_* /
strategy_run_all_workers / strategy_run_all_first_return_s 旋钮
(后两者供后续 run_all 优化提交使用, 默认保持旧行为基准)。
2026-09-07 15:25:41 +08:00

190 lines
8.6 KiB
Python

"""全局配置 — 从环境变量 / .env 读取。"""
from __future__ import annotations
import os
import sys
from pathlib import Path
from pydantic import Field, model_validator
from pydantic_settings import BaseSettings, SettingsConfigDict
# ── 运行环境检测 ──────────────────────────────────────────
# PyInstaller 打包后: __file__ 指向临时解压目录 _MEIPASS, 不能作为路径基准。
# 此时:
# - 只读资源 (tiers.yaml / 前端 dist) 放在 _MEIPASS 内
# - 可写用户数据 (data_dir) 放在可执行文件旁的用户目录
# 非 frozen 模式 (开发/Docker): 保持原有 __file__ 推导, 行为完全不变。
_IS_FROZEN = getattr(sys, "frozen", False)
def _user_data_root() -> Path:
"""桌面版用户数据根目录。
定位策略 (按优先级):
1. 环境变量 DATA_DIR (pydantic-settings 自动注入到 settings.data_dir, 不在此处理)
2. 打包桌面版: exe 同级的 data/ 子目录 (<安装目录>/data/)
—— 与程序同处一个总目录 (用户选择的安装目录), 视觉直观, 便于备份/迁移。
3. 非 frozen (开发模式): 项目根 data/
为什么不用 platformdirs 默认 (%LOCALAPPDATA%) 作为主路径:
- 落在 C 盘系统目录, 用户不易察觉, 占系统盘空间
- 用户期望「数据跟随程序」(便于备份/迁移)
为什么放 {app}/data (exe 旁的 data/) 而非 {app} 外的兄弟目录:
- 用户体验: 用户选了安装目录, 自然期望「程序和数据都在这」, 单一总目录更直观。
- 数据安全: Inno Setup 覆盖安装(升级)时只往 {app} 写新程序文件, 不会清空
目录里不在安装清单上的运行时文件 (data/ 即此类), 故覆盖安装不丢数据。
(注意: 卸载时需在 .iss 中豁免 data/, 见 packaging/tickflow.iss 的 [UninstallDelete]。)
旧版本数据迁移: 见 DataStore._migrate_legacy_data_dir(), 老用户首次启动自动搬迁。
"""
# 打包桌面版: exe 同级的 data/ 子目录 (与程序同一总目录, 覆盖安装不丢数据)
if _IS_FROZEN:
exe_dir = Path(sys.executable).resolve().parent
return exe_dir / "data"
# 开发模式: 项目根 data/
return _PROJECT_ROOT / "data"
def _resource_root() -> Path:
"""只读资源根目录。
frozen: PyInstaller 解压目录 (_MEIPASS)
非 frozen: 项目根目录 (源码树)
"""
if _IS_FROZEN:
# sys._MEIPASS 是 PyInstaller 注入的解压根
return Path(getattr(sys, "_MEIPASS", Path(sys.executable).resolve().parent))
return Path(__file__).resolve().parent.parent.parent
def _project_root() -> Path:
"""项目根目录 (非 frozen 用)。"""
return Path(__file__).resolve().parent.parent.parent
_PROJECT_ROOT = _project_root()
_RESOURCE_ROOT = _resource_root()
_ENV_FILE = Path(
os.environ.get(
"TICKFLOW_ENV_FILE",
str(_RESOURCE_ROOT / ".env") if not _IS_FROZEN else ".env",
)
)
class Settings(BaseSettings):
model_config = SettingsConfigDict(
env_file=str(_ENV_FILE),
env_file_encoding="utf-8",
extra="ignore",
)
# TickFlow
tickflow_api_key: str = Field(default="", description="留空启用 free 模式")
# AI
ai_provider: str = "openai_compat"
ai_base_url: str = "https://api.zhaji.dev/v1"
ai_api_key: str = ""
ai_model: str = "gpt-5.5"
ai_codex_command: str = "codex"
ai_codex_reasoning_effort: str = ""
# 默认浏览器风格 UA,绕过 Cloudflare 等 CDN/WAF 的 Bot 拦截(Issue #8)。
# 用户可在 AI 设置页按需修改。
ai_user_agent: str = (
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/131.0.0.0 Safari/537.36"
)
# AI 输出上限 (max_tokens) 与输入上下文窗口上限 (约 token)。
# 任务级 max_tokens 会被钳制到 ai_max_output_tokens; 输入估算超出上下文窗口时给出明确报错。
# 默认 8192 高于所有现有任务 (最多 4500), 避免默认配置反而截断长报告; 可在 AI 设置里调整。
ai_max_output_tokens: int = 8192
ai_context_window: int = 64000
# Server
host: str = "0.0.0.0"
port: int = 3018
log_level: str = "INFO"
backtest_range_guard: bool = False
backtest_matrix_disk_cache_enabled: bool = True
backtest_matrix_cache_max_mb: int = 512
backtest_matrix_cache_prewarm: bool = True
backtest_matrix_cache_prewarm_years: int = 5
# polars collect 并发闸 — polars 共享执行器在多线程并发 collect 下存在死锁
# (上游 #24448/#25754 同族), 限流并发是社区验证的缓解手段。background 限额
# 保证预热/增量等后台计算不占满闸位饿死页面读请求。
polars_collect_permits: int = 4
polars_collect_background_permits: int = 2
# 后端自愈看门狗 — 探测 collect 闸与全局写锁, 连续失败即退出交由
# supervisor 拉起 (见 app/watchdog.py)。误伤防护靠保守阈值。
watchdog_enabled: bool = True
watchdog_interval_s: float = 30.0
watchdog_probe_timeout_s: float = 15.0
watchdog_failure_threshold: int = 2
# 策略批量执行 (run_all / 策略页全量跑) 的并发 worker 上限。实测 2026-09-07:
# polars eager 操作内部已多线程并行, 外层再并发 4 worker 属超订, 41 策略
# 299.6s 慢于串行 — 默认 1 (串行)。保留开关供配合 POLARS_MAX_THREADS 调优实验。
strategy_run_all_workers: int = 1
# run_all 渐进式返回: HTTP 同步等待时限 (秒)。策略按历史耗时升序执行,
# 到点后已算完的随响应返回, 未算完的转后台继续算并逐个写入策略缓存,
# 前端轮询 cached-summary 点亮卡片。0 = 关闭 (整段阻塞, 旧行为)。
strategy_run_all_first_return_s: float = 15.0
# Auth — 首次启动时预置访问密码(明文, 仅用于初始化, 详见 services/auth.bootstrap_from_env)
# 公网服务器部署时免去 SSH 端口转发设密码的麻烦。写入 auth.json(哈希)后即不再读取。
auth_password: str = ""
# Data — frozen: exe 同级 data/ 子目录; 非 frozen: 项目根 data/
# (均可被环境变量 DATA_DIR 覆盖, pydantic-settings 自动注入)
data_dir: Path = _user_data_root()
# tiers.yaml 路径 — frozen: 资源目录内; 非 frozen: 项目根目录
tiers_yaml: Path = _RESOURCE_ROOT / "tiers.yaml" if _IS_FROZEN else _PROJECT_ROOT / "tiers.yaml"
# 静态文件(前端 dist) — frozen: 资源目录的 static/; 非 frozen: frontend/dist
static_dir: Path = _RESOURCE_ROOT / "static" if _IS_FROZEN else (_PROJECT_ROOT / "frontend" / "dist")
@model_validator(mode="after")
def _resolve_paths(self) -> Settings:
"""确保 data_dir 是绝对路径(环境变量传入的相对路径基于项目根目录解析)。"""
if not self.data_dir.is_absolute():
# 相对路径基于项目根目录解析,而非 CWD
self.data_dir = (_PROJECT_ROOT / self.data_dir).resolve()
if self.backtest_matrix_cache_max_mb <= 0:
raise ValueError("backtest_matrix_cache_max_mb must be positive")
if self.backtest_matrix_cache_prewarm_years <= 0:
raise ValueError("backtest_matrix_cache_prewarm_years must be positive")
if self.ai_max_output_tokens <= 0:
raise ValueError("ai_max_output_tokens must be positive")
if self.ai_context_window <= 0:
raise ValueError("ai_context_window must be positive")
if self.polars_collect_permits < 2:
raise ValueError("polars_collect_permits must be >= 2")
if not 1 <= self.polars_collect_background_permits < self.polars_collect_permits:
raise ValueError(
"polars_collect_background_permits must be in [1, polars_collect_permits)"
)
if self.watchdog_interval_s <= 0 or self.watchdog_probe_timeout_s <= 0:
raise ValueError("watchdog intervals must be positive")
if self.watchdog_failure_threshold < 1:
raise ValueError("watchdog_failure_threshold must be >= 1")
if self.strategy_run_all_workers < 1:
raise ValueError("strategy_run_all_workers must be >= 1")
if self.strategy_run_all_first_return_s < 0:
raise ValueError("strategy_run_all_first_return_s must be >= 0")
return self
@property
def use_free_mode(self) -> bool:
"""是否走 Free 模式。优先看 secrets.json,其次看 .env。"""
from app import secrets_store
return not secrets_store.get_tickflow_key()
settings = Settings()