常数基线
7 / 89 笔事件
- 精确率 / Precision
- 0.70%
- 事件捕获率 / Capture
- 7.87%
复核名单外仍有 82 笔事件。
2-minute case / observed SBA loans
同样的复核名额，
看到不同的结果。
模型的概率更准，复核名单就一定更好吗？从 35,000 笔真实 SBA 贷款中，用同一批测试记录比较原始模型与独立校准，保留变差的结果。
10,000 笔跨期测试贷款89 笔记录核销事件24 个月观察窗口免登录 · 无需安装
01 / keep the workload equal
给每种方法同样的复核名额
当前比较：每种方法复核 1,000 / 10,000 笔贷款。
Logistic 原始模型
26 / 89 笔事件
- 精确率 / Precision
- 2.60%
- 事件捕获率 / Capture
- 29.21%
复核名单外仍有 63 笔事件。
独立保序校准
24 / 89 笔事件
- 精确率 / Precision
- 2.40%
- 事件捕获率 / Capture
- 26.97%
复核名单外仍有 65 笔事件。
原始模型找到 26 笔事件：精确率是 26 / 1,000 = 2.60%，事件捕获率是 26 / 89 = 29.21%。两个比例回答不同的问题。
这里展示历史记录中的事件集中程度，不能解读为避免了多少坏账。三个容量在研究协议中预先固定；切换只读取已核验结果，不重新训练或选择部署阈值。常数分数按记录 ID 打破并列，名单仅是任意排序。
02 / probability ≠ ranking
校准改善概率误差，
排序仍可能变差。
| 固定方法 | AUC ↑ | Brier ↓ |
|---|---|---|
| 常数基线 | 0.5000 | 0.009838 |
| Logistic 原始模型 | 0.6723 | 0.009011 |
| 独立保序校准 | 0.6584 | 0.008819 |
Brier 衡量逐笔概率的平方误差；AUC 衡量正负样本的排序。保序校准会产生并列分数，因此概率误差、排序和固定名单的捕获率需要分别检查。只有 89 笔测试事件，不能把单次差异当成未来保证；完整报告保留配对月份 Bootstrap 区间。
03 / dates before models
先让历史结果成熟，
再进入下一个阶段。
- 训练：20,000 笔，2006–2010 放款。预处理和 Logistic 只在训练样本拟合；最晚 24 月表现于 2012 年末成熟。
- 独立校准：5,000 笔，2013 放款。只用这组标签拟合保序校准；最晚表现于 2015 年末成熟。
- 测试：10,000 笔，2016–2017 放款。固定模型与容量后评估；不拿测试结果调整特征或超参数。
来源是真实日期的最终公开快照，缺少历史首次公开时间与修订记录。因此这是回溯放款队列验证，不能证明过去决策时已获得全部特征，也不能直接代表当前中国零售信贷。
展开全部 9 组固定容量结果 / All retained comparisons
| 方法 | 容量 | 复核笔数 | 捕获 / 总事件 | 精确率 | 事件捕获率 |
|---|---|---|---|---|---|
| 常数基线 | 5% | 500 | 4 / 89 | 0.80% | 4.49% |
| 常数基线 | 10% | 1,000 | 7 / 89 | 0.70% | 7.87% |
| 常数基线 | 20% | 2,000 | 16 / 89 | 0.80% | 17.98% |
| Logistic 原始模型 | 5% | 500 | 14 / 89 | 2.80% | 15.73% |
| Logistic 原始模型 | 10% | 1,000 | 26 / 89 | 2.60% | 29.21% |
| Logistic 原始模型 | 20% | 2,000 | 38 / 89 | 1.90% | 42.70% |
| 独立保序校准 | 5% | 500 | 17 / 89 | 3.40% | 19.10% |
| 独立保序校准 | 10% | 1,000 | 24 / 89 | 2.40% | 26.97% |
| 独立保序校准 | 20% | 2,000 | 37 / 89 | 1.85% | 41.57% |
横向滑动可查看完整表格。所有按钮和表格来自同一份已重拟合核验的证据，不包含新增训练或筛选。
04 / follow a number back to its source
沿着一个数字，核查整个项目。
固定容量 CSV → 10,000 笔测试预测 → 训练与核验实现 → 冻结研究协议。本页只含汇总数据；查看速览数据与来源摘要。
Python 3.12+，在虚拟环境中安装。安装需要网络，之后可离线重跑已发布的 v0.8.1 研究；交互速览由当前网站构建生成。
python -m pip install https://github.com/dev-belly/CreditVintage/releases/download/v0.8.1/creditvintage_research-0.8.1-py3-none-any.whl python -m creditvintage sba-benchmark --out outputs/sba-credit python -m creditvintage verify-sba outputs/sba-credit
选择尚不存在的输出目录。成功核验显示 status: verified、refitted: true；这说明证据在当前实现内一致，不等于独立采用或业务收益。