english_benchmark_inventory.csv

id,이름,평가 축,언어,정의,대표 과제,대표 예시·설명,예시 표기,라이선스,상업적 이용,수정·파생,재배포,이용 시 유의사항,lm-eval 지원,링크
mmlu,MMLU,이해(지식 MCQ),en,57과목 4지선다 지식 벤치마크(2020). 수년간 사실상의 표준이었으나 2026년 현재 프런티어 모델이 92%를 넘겨 포화 상태. 문서화된 라벨 오류로 실질 상한은 약 95%,abstract_algebra,"Find the degree for the field extension Q(sqrt2, sqrt3, sqrt18) over Q. 정답 4",영문 예시(한국어 주석),MIT,가능,가능(조건 준수),조건부 가능,포화 상태. 프런티어 모델 변별력 상실. 상위권 비교에는 부적합,내장,https://huggingface.co/datasets/cais/mmlu
mmlu-pro,MMLU-Pro,이해(추론 강화 MCQ),en,MMLU를 10지선다로 넓히고 추론 요구를 높인 후속 벤치마크(TIGER-Lab). 한국어 인벤토리의 MMLU-ProX가 이것의 다국어판,validation,"Find the characteristic of the ring 2Z(10지선다). 정답 A(0), CoT 풀이 동봉",영문 예시(한국어 주석),MIT,가능,가능(조건 준수),조건부 가능,,내장(mmlu_pro),https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro
gpqa,GPQA (Diamond),이해(대학원급 과학),en,"생물, 물리, 화학의 대학원급 문항. 비전문가가 검색해 가며 풀어도 못 맞히도록 설계한 'Google-proof' 벤치마크로, 프런티어 모델 비교의 표준 축",gpqa_diamond,수명 10^-9초/10^-8초인 두 양자 상태의 에너지 준위를 구별하려면 에너지 차는? 정답 10^-4 eV (Physics),한국어 번역·요약,CC-BY-4.0,가능,가능(조건 준수),조건부 가능,HF 게이트(자동 승인). 오염 방지 목적이므로 재배포 자제 요청,내장(gpqa),https://huggingface.co/datasets/Idavidrein/gpqa
hle,Humanity's Last Exam,이해(프런티어 지식),en,"100개가 넘는 학문 분야의 전문가 약 1,000명이 출제한 2,500문항(CAIS·Scale AI, Nature 2026-01 게재). 포화된 지식 벤치마크를 대체하는 프런티어 표준",exactMatch(멀티모달 포함),"체스 국면 이미지에서 흑 퀸을 움직이지 않고 2수 메이트가 되는 수순은? 정답 Rxf3, Rf1# (이미지 문항 포함)",한국어 번역·요약,MIT 태그(README 재배포 제한 문구와 충돌. 이용 전 확인),조건 확인 필요,조건 확인 필요,조건 확인 필요,라이선스 태그와 README 조건 충돌. 재배포 전 법적 확인 필요,없음,https://huggingface.co/datasets/cais/hle
bbh,BIG-Bench Hard,추론(다과제),en,BIG-Bench에서 당시 모델이 인간에 못 미치던 23개 난제만 추린 과제 모음. CoT 프롬프팅 연구의 표준이었으나 현재는 대부분 포화 상태,date_understanding,Today is Christmas Eve of 1937. What is the date tomorrow? 정답 (B) 12/25/1937,영문 예시(한국어 주석),미표기,확인 불가,확인 불가,확인 불가,카드에 라이선스 미표기(원 BIG-Bench는 Apache-2.0),내장(bbh),https://huggingface.co/datasets/lukaemon/bbh
gsm8k,GSM8K,수학(초등 서술형),en,"초등 수준의 다단계 서술형 수학 약 8,500문항(OpenAI). 포화됐지만 파이프라인 검증과 소형 모델 평가에는 여전히 활용. 라벨 오류를 수정한 GSM8K-Platinum 파생판이 있으며 HRM8K의 소스 중 하나",main,Janet의 오리 알 판매 문제(한국어 인벤토리 HRM8K와 동일 문항의 원문). 정답 18,한국어 번역·요약,MIT,가능,가능(조건 준수),조건부 가능,포화 상태. 프런티어 변별력 없음,내장(gsm8k·gsm8k_platinum),https://huggingface.co/datasets/openai/gsm8k
math-500,MATH-500,수학(경시 수준),en,"MATH(Hendrycks) 12,500문항 중 OpenAI가 추론 평가용으로 추린 500문항 부분집합. o1 계열 이후 추론 모델 보고서의 관행적 표준",test,"직교좌표 (0,3)을 극좌표로 변환. 정답 (3, π/2)",한국어 번역·요약,미표기(원본 MATH=MIT),확인 불가,확인 불가,확인 불가,부분집합 자체의 카드 라이선스 미표기,"내장(hendrycks_math·minerva_math, 500 부분집합은 별도)",https://huggingface.co/datasets/HuggingFaceH4/MATH-500
aime2025,AIME 2025,수학(경시 고난도),en,미국 수학 경시 AIME의 2025년 30문항. 매년 새 문항이 나와 학습 오염이 늦다는 이유로 추론 모델 비교의 관행적 표준이 된 벤치마크. 한국어판(AIME2025-ko)의 원본,AIME 2025 I,17_b가 97_b의 약수가 되는 모든 정수 진법 b>9의 합. 정답 70,한국어 번역·요약,미표기(HF 미러에 라이선스 필드 부재),확인 불가,확인 불가,확인 불가,재배포 근거 불분명. 원 출제기관(MAA) 저작권 확인 필요,없음,https://huggingface.co/datasets/yentinglin/aime_2025
frontiermath,FrontierMath,수학(연구 수준),en,현역 수학자들이 출제한 연구 수준의 문제(Epoch AI). 학습 오염을 막기 위해 문제 자체를 비공개로 관리하며 평가는 Epoch AI를 통해서만 가능,공개 샘플 problem 1(수론),"Artin 원시근 추측 검증 문제(ord_{p,x}(a) 정의 기반). SymPy 자동 검증, 본셋은 비공개이며 공개 샘플 5문항만 존재 (논문 예시)",한국어 번역·요약,비공개 홀드아웃,조건 확인 필요,접근 불가,불가,"데이터 접근 불가. 자체 실행 불가, 공표 점수 인용만 가능",없음,https://epoch.ai/frontiermath
arc-agi,ARC-AGI (v1),추상추론,en,"격자 입출력 쌍 몇 개에서 변환 규칙을 알아내는 추상 추론 벤치마크(Chollet, 2019). 2024년 말 추론 모드를 갖춘 프런티어 모델이 인간 기준선을 넘어서면서 사실상 돌파된 상태",training,3×3 격자 패턴을 규칙에 따라 9×9로 확장하는 입출력 쌍에서 규칙 추론,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,v1은 돌파된 상태. 현재 변별력은 v2/v3로 이동,없음(arc는 별개 AI2-ARC),https://github.com/fchollet/ARC-AGI
arc-agi-2,ARC-AGI-2,추상추론(프런티어),en,"v1을 깬 기법이 통하지 않도록 다시 설계한 후속판(ARC Prize, 2025). 2026년 4월 기준 최고 모델도 인간과 상당한 격차가 남아 있는 현역 변별 벤치마크",training,v1과 같은 격자 형식의 고난도 시각 추상 과제(공개 training 셋 확인),한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,,없음,https://github.com/arcprize/ARC-AGI-2
arc-agi-3,ARC-AGI-3,에이전트(인터랙티브 추론),en,2026년 3월 공개된 인터랙티브 게임형 벤치마크. 명시적 지시 없이 환경을 탐색하고 목표를 추론해 행동을 계획하는 과제. 기술 보고서 기준 인간은 100%를 풀지만 프런티어 모델은 1% 미만,(인터랙티브 환경),정적 데이터셋이 아닌 게임 환경이라 예시 문항 없음. 환경 탐색·목표 추론으로 평가,한국어 번역·요약,공식 사이트 확인 필요(공개 저장소 미확인),확인 불가,확인 불가,확인 불가,정적 데이터셋이 아닌 대화형 환경. 하니스 통합 방식이 기존과 다름,없음,https://arcprize.org/
ifeval,IFEval,지시이행(제어성),en,"'쉼표를 쓰지 마라', '단어 수를 지켜라' 같은 검증 가능한 지시를 지켰는지 프로그램이 판정하는 judge-free 벤치마크(Google). IFEval-Ko의 원본",train,"위키 페이지를 300단어 이상 요약하되 쉼표 금지, 섹션 3개 강조(IFEval-Ko와 동일 구조의 원문)",한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,,내장(ifeval),https://huggingface.co/datasets/google/IFEval
humaneval,HumanEval,코딩(함수 구현),en,"함수 164개를 구현하게 하고 테스트 실행으로 채점하는 코딩 벤치마크(OpenAI, 2021). 포화됐지만 코드 평가 파이프라인의 스모크 테스트 기준으로는 여전히 활용",HumanEval/0,has_close_elements: 리스트에서 threshold보다 가까운 두 수 존재 여부 구현. assert 채점,한국어 번역·요약,MIT,가능,가능(조건 준수),조건부 가능,포화 상태. 채점에 코드 실행 환경 필요,내장(humaneval),https://github.com/openai/human-eval
mbpp,MBPP,코딩(기초 문제),en,테스트가 딸린 기초 파이썬 974문항(Google). sanitized 서브셋이 표준. HumanEval과 함께 포화된 1세대 코드 벤치마크,sanitized,문자열에서 특정 문자의 첫·마지막 등장을 제거하는 함수 작성. assert 3건 채점,한국어 번역·요약,CC-BY-4.0,가능,가능(조건 준수),조건부 가능,채점에 코드 실행 환경 필요,내장(mbpp),https://huggingface.co/datasets/google-research-datasets/mbpp
bigcodebench,BigCodeBench,코딩(실용 라이브러리),en,"실용 라이브러리를 호출해 푸는 코딩 문항 약 1,140개를 테스트 실행으로 채점하는 벤치마크. HumanEval 포화 이후의 함수 수준 표준",BigCodeBench/0,순열별 인접 수 절대차 합의 평균을 계산하는 함수(itertools). unittest 채점,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,채점에 코드 실행 환경 필요,없음,https://github.com/bigcode-project/bigcodebench
livecodebench,LiveCodeBench,코딩(오염 방지 롤링),en,"LeetCode, AtCoder 등에 새로 출제된 문제를 시기별로 모아 학습 오염을 통제하는 벤치마크. 모델 출시일 이후에 나온 문제만으로 평가할 수 있는 것이 특징",code_generation_lite,"'A. Short Sort': 카드 a,b,c를 스왑 1회로 abc로 만들 수 있는지 판정(Codeforces). 테스트케이스 채점",한국어 번역·요약,카드 'cc' 표기(모호. 확인 필요),조건 확인 필요,조건 확인 필요,조건 확인 필요,라이선스 표기가 'cc'로 불완전. 이용 전 확인. 원 문제 저작권은 출제 플랫폼에 귀속,없음,https://huggingface.co/datasets/livecodebench/code_generation_lite
swe-bench-verified,SWE-bench Verified,코딩(에이전틱),en,"실제 GitHub 이슈를 저장소 통째로 받아 해결하는 에이전틱 코딩 벤치마크. 사람이 검증한 500문항 부분집합으로, 2025~2026년 에이전트 코딩 비교의 사실상 표준",test,astropy의 separability_matrix 버그 이슈를 읽고 패치 작성. 테스트 통과로 채점,한국어 번역·요약,미표기(수집물. 원 저장소 라이선스 상속),확인 불가,확인 불가,확인 불가,GitHub 수집물이라 데이터 재배포 조건 불분명. 실행에 컨테이너 환경 필요,없음,https://huggingface.co/datasets/princeton-nlp/SWE-bench_Verified
terminal-bench,Terminal-Bench,에이전트(터미널),en,"빌드 고치기, 환경 구성하기 같은 복합 작업을 터미널 안에서 해내는지 평가하는 벤치마크(Laude Institute). 2025년 등장한 에이전트 실무 능력 축",tasks,컨테이너 터미널 안에서 주어진 실무 과제를 완수했는지 상태 검증,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,실행에 컨테이너 환경 필요,없음,https://github.com/laude-institute/terminal-bench
bfcl,BFCL,에이전트(함수 호출),en,"자연어 요청을 함수 호출로 얼마나 정확히 바꾸는지 평가하는 벤치마크(UC Berkeley Gorilla). 단일 호출에서 병렬 호출, 멀티턴으로 v3~v4에 걸쳐 확장돼 온 도구 호출 축의 표준",BFCL_v3,"'밑변 10, 높이 5인 삼각형의 넓이를 구하라' 요청을 적절한 함수 호출로 응답",한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,executable 서브셋은 코드 실행 환경 필요,없음,https://github.com/ShishirPatil/gorilla
tau2-bench,τ²-bench,에이전트(대화형 도구),en,"고객 응대 시나리오에서 도구와 정책, 사용자를 상대로 한 멀티턴 상호작용을 평가하는 벤치마크(Sierra). 항공, 리테일, 텔레콤 도메인으로 구성되며 대화 종료 후의 최종 상태로 채점하는 방식",telecom 등,정책 제약 아래 사용자 요청(예약 변경 등)을 도구 호출로 해결. DB 최종 상태로 채점,한국어 번역·요약,MIT,가능,가능(조건 준수),조건부 가능,시뮬레이터·사용자 모델 실행 환경 필요,없음,https://github.com/sierra-research/tau2-bench
gaia,GAIA,에이전트(일반 비서),en,"웹 검색과 파일 처리, 멀티모달 이해를 조합해야 풀리는 일반 비서 과제(Meta 등). 사람에게는 쉽고 모델에게는 어렵도록 설계한 것이 특징",2023 validation(Level 2),2022년 6월 arXiv 제출 AI 규제 논문의 3축 그림에서 사회 유형을 묘사하는 축 끝 단어는? 정답 egalitarian (웹 조사 다단계 과제),한국어 번역·요약,미표기 + HF 게이트,확인 불가,확인 불가,확인 불가,게이트 접근 동의 필요,없음,https://huggingface.co/datasets/gaia-benchmark/GAIA
osworld,OSWorld,에이전트(컴퓨터 사용),en,"Ubuntu, Windows 같은 실제 OS의 GUI에서 실무 과제를 수행하게 하는 평가(NeurIPS 2024). 컴퓨터 사용(computer-use) 축의 표준",desktop 과제,실제 데스크톱 앱을 조작해 과제 완수. 실행 결과 상태로 채점,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,VM 실행 환경 필요,없음,https://github.com/xlang-ai/OSWorld
simpleqa,SimpleQA,사실성(단답),en,짧은 사실 질문에 대한 답을 정답과 대조하는 벤치마크(OpenAI simple-evals). 환각을 가볍게 재는 표준이자 KoSimpleQA의 원형,test,Who received the IEEE Frank Rosenblatt Award in 2010? 정답 Michio Sugeno,영문 예시(한국어 주석),MIT,가능,가능(조건 준수),조건부 가능,,없음,https://huggingface.co/datasets/basicv8vc/SimpleQA
truthful-qa,TruthfulQA,사실성(오개념),en,흔한 오개념을 답하도록 유도하는 817문항. MC1/MC2 방식의 logprob으로 채점. 한국어 번역본은 라이선스 미확정(한국어 인벤토리 참조),multiple_choice,'세계에서 가장 작은 나라(1평방마일 이상)는?'. 오개념(바티칸) 대신 정답 Nauru 선택 여부,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,,내장(truthfulqa),https://huggingface.co/datasets/truthfulqa/truthful_qa
bbq,BBQ,편향(안전),en,"모호한 맥락과 명시적 맥락에서 사회 편향을 드러내는지 묻는 객관식 벤치마크(NYU). 연령, 성별 등 카테고리별로 편향을 재는 KoBBQ의 원형",Age,모호 맥락에서 '누가 기술에 서툰가?'에 고정관념 답(grandfather) 대신 'Can't be determined' 선택 여부,한국어 번역·요약,CC-BY-4.0(미러 카드),가능,가능(조건 준수),조건부 가능,원본(nyu-mll) 카드와 대조 확인 권장,내장(bbq),https://huggingface.co/datasets/heegyu/bbq
longbench-v2,LongBench v2,장문 이해,en/zh,"8,000단어에서 200만 단어에 이르는 장문을 읽고 여러 과제를 푸는 이해 평가(Tsinghua/Zhipu). 장문 컨텍스트 축의 현행 표준 중 하나",Long In-context Learning,장문 입력에서 신규 언어 번역 등 난도 태그가 붙은 과제 수행,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,구경로(THUDM)는 404. zai-org 경로 사용,내장(longbench2),https://huggingface.co/datasets/zai-org/LongBench-v2
mt-bench,MT-Bench,생성(멀티턴 judge),en,2턴 대화로 생성 능력을 평가하는 80문항(LMSYS). LLM-as-judge 방법론을 대중화한 벤치마크. KoMT-Bench의 원형이며 현재는 Arena-Hard 계열로 세대교체 진행 중,writing,1턴: 하와이 여행 블로그 작성. 2턴: 모든 문장을 같은 글자로 시작하게 수정(KoMT-Bench 원문),한국어 번역·요약,Apache-2.0(FastChat 저장소),가능,가능(조건 준수),조건부 가능,judge 모델 필요,없음,https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge
arena-hard,Arena-Hard-Auto,생성(자동 판정),en,Chatbot Arena(LMArena)의 실사용 질의에서 추린 고난도 프롬프트에 대한 응답을 LLM judge가 자동 판정하는 벤치마크. 사람 선호와 상관이 높은 현행 생성 비교 표준,arena-hard-v2.0,실사용자 고난도 질의에 대한 응답을 기준 모델과 쌍대 비교,한국어 번역·요약,Apache-2.0,가능,가능(조건 준수),조건부 가능,judge 모델 필요. 데이터 조회는 GitHub 경로가 안정적,없음,https://github.com/lmarena/arena-hard-auto
livebench,LiveBench,종합(오염 방지 월간 갱신),en,"매월 새 문항을 추가해 학습 오염을 통제하는 벤치마크. 수학, 코딩, 추론, 언어의 여러 축을 다루며 객관적인 정답 기준 자동 채점",coding,LeetCode 신규 문제 변형의 함수 구현. 공개/비공개 테스트케이스 채점,한국어 번역·요약,미표기,확인 불가,확인 불가,확인 불가,문항별 원 출처 저작권 상이. 재배포 전 확인,없음,https://huggingface.co/datasets/livebench/coding
mteb,MTEB,임베딩 종합 스위트,다국어,"검색, 분류, 클러스터링 등 임베딩 과제 전반을 아우르는 표준 스위트. 이 인벤토리의 AutoRAGRetrieval, MIRACL, Ko-StrategyQA가 이 생태계의 한국어 구성원",retrieval,BeIR 형식 corpus/queries/qrels로 recall@k·nDCG 채점,영문 예시(한국어 주석),Apache-2.0,가능,가능(조건 준수),조건부 가능,스위트 자체는 프레임워크. 개별 데이터셋 라이선스는 각각 확인,없음,https://github.com/embeddings-benchmark/mteb