benchmarks.py

"""内置精简基准集（自包含，CI 不依赖下载）。

覆盖：hellaswag / arc / piqa / mmlu / winogrande / triviaqa / cmmlu / ceval。
每项含少量代表性 MCQ（question + choices + answer_index）。
正式评测可替换为官方 dev 全集；此处用于趋势对比 + 自包含必绿。
"""

BENCH = {}

BENCH["hellaswag"] = [
    ("他在炎热的夏天里跑步，跑完后他感到非常疲惫，于是他", ["去洗了个冷水澡降温", "开始生火取暖", "穿上了厚棉袄"], 0),
    ("她把书放在桌上，然后拿起笔，准备", ["开始写作业", "把桌子吃掉", "跳上天花板"], 0),
    ("小猫看到毛线球，它立刻", ["扑上去玩耍", "躲到床底睡觉", "飞到了树上"], 0),
]

BENCH["arc"] = [
    ("下列哪种动物是哺乳动物？", ["鲸鱼", "鲨鱼", "鳄鱼"], 0),
    ("水在标准大气压下沸腾的温度是？", ["100摄氏度", "0摄氏度", "50摄氏度"], 0),
    ("植物进行光合作用主要吸收哪种气体？", ["二氧化碳", "氧气", "氮气"], 0),
]

BENCH["piqa"] = [
    ("要打开一个罐头，你应该", ["用开罐器", "用牙刷", "用枕头"], 0),
    ("为了把衣服弄干，你会", ["把它们晾在太阳下", "泡在水里", "埋进土里"], 0),
    ("想切面包，最合适的是", ["用刀", "用勺子", "用梳子"], 0),
]

BENCH["mmlu"] = [
    ("光在真空中的速度约为多少？", ["3×10^8 米/秒", "3米/秒", "3×10^2 米/秒"], 0),
    ("下列哪个是质数？", ["7", "9", "15"], 0),
    ("地球绕什么天体公转？", ["太阳", "月亮", "火星"], 0),
]

BENCH["winogrande"] = [
    ("小明把礼物给了小华，因为___更想要它。", ["小华", "小明"], 0),
    ("猫追老鼠，但没抓到，___跑得更快。", ["老鼠", "猫"], 0),
]

BENCH["triviaqa"] = [
    ("法国的首都是哪里？", ["巴黎", "伦敦", "柏林"], 0),
    ("《蒙娜丽莎》的作者是谁？", ["达芬奇", "毕加索", "梵高"], 0),
    ("一年中哪个月有最少的天数？", ["二月", "一月", "三月"], 0),
]

BENCH["cmmlu"] = [
    ("中国的首都是哪座城市？", ["北京", "上海", "广州"], 0),
    ("下列哪一项是中国的四大发明之一？", ["造纸术", "蒸汽机", "电话"], 0),
    ("“床前明月光”的下一句是？", ["疑是地上霜", "低头思故乡", "举头望明月"], 0),
]

BENCH["ceval"] = [
    ("下列哪个朝代在唐朝之后？", ["宋朝", "汉朝", "秦朝"], 0),
    ("“三人行，必有我师焉”出自哪部经典？", ["论语", "道德经", "诗经"], 0),
    ("中国最长的河流是？", ["长江", "黄河", "珠江"], 0),
]


def get_benchmark(name):
    return BENCH.get(name, [])