首页 AI测评 C-Eval
C-Eval

C-Eval

C-Eval 由上海交通大学、清华大学和爱丁堡大学等联合推出，用中文考试题评估模型的知识理解与推理能力。

AI测评 11 浏览 0 评论 2026-10-23 收录
直达官网

站点信息

SEO 查询

百度收录 谷歌收录 必应收录 搜狗收录

网站介绍

一句话总结：C-Eval 是面向中文大模型的多学科评测基准，覆盖 52 个学科的多选题。

C-Eval 由上海交通大学、清华大学和爱丁堡大学等联合推出，用中文考试题评估模型的知识理解与推理能力。

主要功能

C-Eval 的功能主要集中在多学科覆盖、多层次评估、标准化评测、防止过拟合、社区互动等方向，适合中文知识、学科推理和模型排名。

  • 多学科覆盖：C-Eval涵盖了广泛的学科领域，包括STEM（科学、技术、工程和数学）、社会科学和人文科学。这种多样化的题目设计使其能够全面评估模型在不同领域的表现。

  • 多层次评估：评估分为中学、高中、大学以及一个专门为高级推理设计的子集C-Eval Hard。这种分层设计有助于深入了解模型在不同难度下的表现。

  • 标准化评测：C-Eval采用客观题评测方式，避免了主观判断的影响，确保评测结果的客观性和可靠性。它支持零样本（zero-shot）和少样本（few-shot）两种模式，为研究者提供了灵活的评估选项。

  • 防止过拟合：C-Eval在构造题目时尽可能选择非公开来源的试题，并避免使用真题，以减少模型过拟合的风险。

  • 社区互动：C-Eval提供了一个公开透明的排行榜，用户可以提交模型预测结果，系统会自动计算分数并更新排名。这种社区化的互动方式促进了模型的迭代和优化。

C-Eval 官网界面：中文知识、学科推理和模型排名。
C-Eval 官网界面：中文知识、学科推理和模型排名。

适合哪些人

  • 学术研究：研究人员可以利用C-Eval评估不同语言模型的性能，推动自然语言处理（NLP）领域的研究进展

  • 企业开发：企业在开发智能客服、内容生成等应用时，可以通过C-Eval选择最适合的语言模型，提高产品质量

  • 教育培训：教育机构可以使用C-Eval评估学生在语言理解和生成方面的能力，帮助制定个性化的学习计划

  • 技术评测：技术公司可以利用C-Eval对其开发的语言模型进行评测，确保其在市场中的竞争力

  • 社区互动：用户可以参与模型的提交和评估，分享评估经验，获取其他用户的反馈

评测结果受数据版本、提示词和运行环境影响，不能单独作为模型选型依据。

价格与免费额度

免费使用，API/评测服务按官网。

怎么用

  • 注册账户：访问C-Eval官网，注册一个用户账户。

  • 获取数据集：C-Eval的数据集可以通过Hugging Face平台直接下载。用户也可以通过lm-evaluation-harness框架获取数据。

  • 准备模型：将待评估的模型准备好，并确保其能够处理C-Eval提供的测试题目。

  • 运行评估：使用lm-evaluation-harness框架运行评估。例如，可以通过以下命令行操作完成评估： bash复制 lm_eval --model vllm \ --model_ar…

  • 提交结果：将评估结果整理成指定的JSON格式，并通过C-Eval官网提交。

常见问题

C-Eval支持哪些评估模式？

零样本（Zero-shot）：模型在没有任何额外上下文的情况下直接回答问题。 少样本（Few-shot）：模型在少量示例的辅助下回答问题。

如何提交评估结果？

用户需要将模型的预测结果整理成指定的JSON格式，并通过C-Eval官网提交。

C-Eval的评测结果如何呈现？

评测结果会根据模型的答题正确率进行排名和打分，并在排行榜中实时更新。

C-Eval是否支持多种语言模型？

是的，C-Eval支持多种语言模型，包括但不限于GPT-4、ChatGLM、MiniMax等。

C-Eval的题目来源是什么？

C-Eval的题目主要来源于非公开的试题库，避免使用真题，以减少模型过拟合的风险。

总结

C-Eval 适合中文知识、学科推理和模型排名。优势是「多学科覆盖」和「多层次评估」；涉及商用或引用时，以官网和原始论文条款为准。

注：以上信息整理自公开资料，具体功能、价格、免费额度与授权政策请以 C-Eval 官方最新说明为准。

C-Eval

评论 0

友善发言，共建温暖社区

发表评论