MingLi-Bench - 用全球算命师大赛考题评测大模型命理推理

MingLi-Bench — 用全球算命师大赛考题评测大模型的命理推理能力

MingLi-Bench（Chinese Fortune Telling Bench）是一个专注于评测大语言模型在中国传统命理领域推理能力的基准测试框架。题目全部来自 全球算命师大赛（2022–2025 年），覆盖八字与紫微斗数两大体系。

核心特点

• 160 道选择题 — 来源于全球算命师大赛真实赛题，精确匹配标准答案评分
• 十二大类别 — 事业、健康、外貌、婚姻、子女、学业、官非、家庭、性格、灾劫、财运、运势
• 排盘与推理解耦 — 通过 --astro 注入预计算的八字/紫微命盘（基于 iztro），单独评测模型的推理能力
• 思维链支持 — --cot 开关让模型逐步推演命盘，而非直接给答案

数据集结构

支持的模型服务商

通过 OpenRouter 一键调用主流模型，也支持原生 API 直连：

# OpenRouter（一个 Key 调大多数模型）
python -m mingli_bench.cli --model openai/gpt-4o --year 2025 --cot --astro
python -m mingli_bench.cli --model anthropic/claude-sonnet-4-6 --year 2025 --cot --astro
python -m mingli_bench.cli --model google/gemini-2.5-pro --year 2025 --cot --astro
python -m mingli_bench.cli --model deepseek/deepseek-r1 --year 2025 --cot --astro

# 原生豆包/火山引擎
python -m mingli_bench.cli --platform doubao --model doubao-seed-2-0-pro-260215 --year 2025 --cot --astro

提示词示例

以真实题目为例，启用 --cot --astro 后的完整提示词结构：

命主信息：男命：1974年4月28日下午4:40分 出生地点：usa

八字命盘信息：
八字：甲寅 戊辰 己亥 壬申
时辰：申时 · 五行局：金四局 · 生肖：虎

紫微命盘信息：
命宫：天同 火星 · 兄弟：七杀 天马 · 夫妻：天梁 左辅 右弼 天钺 地劫
...

结合中国传统命理学，请先分析推理过程，然后给出答案。
问题：此命1996年发生何事？
A. 患上严重抑郁痴  B. 回港认识现任妻子
C. 交通意外，撞车，人平安  D. 得到一笔意外之财

快速上手

git clone https://github.com/DestinyLinker/MingLi-Bench.git
cd MingLi-Bench
pip install -r requirements.txt
cp .env.example .env   # 填入 API Key

# 查看数据集统计
python -m mingli_bench.cli --stats

# 开始评测
python -m mingli_bench.cli --model openai/gpt-4o --year 2025 --cot --astro

项目信息