# MingLi-Bench - 用全球算命师大赛考题评测大模型命理推理

> 评测 LLM 在八字与紫微斗数领域的推理能力，160 道全球算命师大赛真题，支持思维链和预排盘注入，覆盖 OpenAI/Claude/Gemini/DeepSeek/豆包等主流模型

## MingLi-Bench — 用全球算命师大赛考题评测大模型的命理推理能力

[MingLi-Bench](https://github.com/DestinyLinker/MingLi-Bench)（Chinese Fortune Telling Bench）是一个专注于评测大语言模型在中国传统命理领域推理能力的基准测试框架。题目全部来自 **全球算命师大赛**（2022–2025 年），覆盖八字与紫微斗数两大体系。

### 核心特点

- **160 道选择题** — 来源于全球算命师大赛真实赛题，精确匹配标准答案评分
- **十二大类别** — 事业、健康、外貌、婚姻、子女、学业、官非、家庭、性格、灾劫、财运、运势
- **排盘与推理解耦** — 通过 `--astro` 注入预计算的八字/紫微命盘（基于 [iztro](https://github.com/SylarLong/iztro)），单独评测模型的推理能力
- **思维链支持** — `--cot` 开关让模型逐步推演命盘，而非直接给答案

### 数据集结构

| 文件 | 说明 |
|------|------|
| `data/data.json` | 160 道标准化选择题，含命主信息、问题、选项和标准答案 |
| `data/fortune_api_results.json` | 预计算的八字和紫微斗数命盘，按 `case_id` 关联题目 |
| `data/raw/` | 全球算命师大赛原始赛题 |

### 支持的模型服务商

通过 OpenRouter 一键调用主流模型，也支持原生 API 直连：

```bash
# OpenRouter（一个 Key 调大多数模型）
python -m mingli_bench.cli --model openai/gpt-4o --year 2025 --cot --astro
python -m mingli_bench.cli --model anthropic/claude-sonnet-4-6 --year 2025 --cot --astro
python -m mingli_bench.cli --model google/gemini-2.5-pro --year 2025 --cot --astro
python -m mingli_bench.cli --model deepseek/deepseek-r1 --year 2025 --cot --astro

# 原生豆包/火山引擎
python -m mingli_bench.cli --platform doubao --model doubao-seed-2-0-pro-260215 --year 2025 --cot --astro
```

### 提示词示例

以真实题目为例，启用 `--cot --astro` 后的完整提示词结构：

```
命主信息：男命：1974年4月28日下午4:40分 出生地点：usa

八字命盘信息：
八字：甲寅 戊辰 己亥 壬申
时辰：申时 · 五行局：金四局 · 生肖：虎

紫微命盘信息：
命宫：天同 火星 · 兄弟：七杀 天马 · 夫妻：天梁 左辅 右弼 天钺 地劫
...

结合中国传统命理学，请先分析推理过程，然后给出答案。
问题：此命1996年发生何事？
A. 患上严重抑郁痴  B. 回港认识现任妻子
C. 交通意外，撞车，人平安  D. 得到一笔意外之财
```

### 快速上手

```bash
git clone https://github.com/DestinyLinker/MingLi-Bench.git
cd MingLi-Bench
pip install -r requirements.txt
cp .env.example .env   # 填入 API Key

# 查看数据集统计
python -m mingli_bench.cli --stats

# 开始评测
python -m mingli_bench.cli --model openai/gpt-4o --year 2025 --cot --astro
```

### 项目信息

| | |
|---|---|
| 许可证 | MIT |
| Stars | 865 |
| Python | 3.9+ |
| 题目年份 | 2022–2025 |

---

**分类**：软件
**标签**：全球 · 算命师 · 大赛
**作者**：Xiao.Xi
**链接**：https://octohz.com/p/1661