MMLU(Massive Multitask Language Understanding)覆盖 STEM、人文、社科等
AI测评
Open LLM Leaderboard 用统一基准和公开提交结果,帮助开发者比较开源语言模型的综合能力。
C-Eval 由上海交通大学、清华大学和爱丁堡大学等联合推出,用中文考试题评估模型的知识理解与推理能力。
FlagEval 采用能力、任务、指标三维框架,覆盖语言、多模态等方向,并提供开放榜单和评测工具。
SuperCLUE 由 CLUE 团队维护,用统一题库和评分体系对比中文大模型的综合表现。
AGI-Eval 由上海交通大学、同济大学、华东师范大学和 DataWhale 等联合维护,通过公开题库和人类评估推动模
CMMLU 覆盖自然科学、人文科学、社会科学和中国生活常识等 67 个主题,并提供公开榜单与数据集。
MMBench 由 OpenCompass 社区主导,从感知到认知细分 20 项能力,评估多模态模型的视觉理解与推理。
Helm Lite 用统一接口在多个场景上运行语言模型,输出可复现的指标和对比结果。
Chatbot Arena 让用户对不同模型进行盲测投票,并通过统计模型生成动态排行榜。
H2O Eval Studio 面向企业 RAG/LLM 应用,提供测试集管理、指标评估和安全检查。
PubMedQA 提供生物医学研究问题与答案,常用于训练和评估模型的医学推理能力。
AI Ping 汇集多家模型服务,提供性能评测、统一调用接口和按任务智能路由能力。