AGI-Eval
AGI-Eval 由上海交通大学、同济大学、华东师范大学和 DataWhale 等联合维护，通过公开题库和人类评估推动模型评测透明化。
站点信息
- 网站名称AGI-Eval
- 官方网址https://agi-eval.cn/mvp/home
- 所属分类AI测评
- 收录时间2026-10-23
- 累计浏览14 次
- 收录者管理员
SEO 查询
网站介绍
AGI-Eval 由上海交通大学、同济大学、华东师范大学和 DataWhale 等联合维护，通过公开题库和人类评估推动模型评测透明化。
主要功能
AGI-Eval 的功能主要集中在大模型榜单、人机评测比赛、评测集、Data Studio、多语言支持等方向，适合社区评测、人类对齐和模型对比。
大模型榜单：基于通用评测方案，AGI-Eval 提供业内大语言模型的能力得分排名榜单，涵盖综合评测和各能力项评测。榜单数据透明、权威，能够帮助用户深入了解每个模型的优缺点，并定期更新以确保信息的时效性。
人机评测比赛：AGI-Eval 提供人机协同评测方案，用户可以通过与大模型的协作，深入体验模型的性能，并为技术发展贡献力量。
评测集：公开学术评测集：提供行业公开的学术评测集，支持用户下载和使用。 官方评测集：包含官方自建的多领域模型评测集。 用户自建评测集：支持用户上传个人评测集，共建开源社区，同时提供高校大牛私有数据集托管服务。
Data Studio：高活跃度用户平台：拥有超过 3 万名众包用户，能够回收高质量的真实数据。 多类型数据：提供多维度、多领域的专业数据，满足不同评测需求。 多元化数据收集：支持单条数据、扩写数据、Arena 数据等多种数据收集方式。…
多语言支持：AGI-Eval 整合了中英文双语任务，为 AI 模型的语言能力提供全面的评估平台。
适合哪些人
模型性能评估：AGI-Eval 提供完整数据集、基线系统评估和详细评估方法，是衡量 AI 模型综合能力的权威工具
语言评估：通过中英文双语任务，AGI-Eval 为 AI 模型的语言能力提供全面的评估平台
NLP 算法开发：开发者可以使用 AGI-Eval 测试和优化文本生成模型的效果，提高生成文本的质量
科研实验：学者可以利用 AGI-Eval 作为评估新方法性能的工具，推动自然语言处理（NLP）领域的研究进步
企业应用：商业公司可以利用 AGI-Eval 对自家聊天机器人、内容自动生成等产品进行质量控制
评测结果受数据版本、提示词和运行环境影响，不能单独作为模型选型依据。
价格与免费额度
免费参与，定制评测按社区规则。
怎么用
访问官方网站：通过浏览器访问 AGI-Eval 的官方网站（https://agi-eval.cn/）[^35^]。
注册账号：注册 AGI-Eval 账号，以便使用平台的各项功能。
选择评测任务：根据需求选择相应的评测任务，如语言能力评测、逻辑推理评测等。
提交模型：将需要评测的 AI 模型提交到平台上。
查看评测结果：等待评测完成后，查看详细的评测结果并进行分析。
常见问题
AGI-Eval 是否支持多语言评测？
是的，AGI-Eval 支持中英文双语任务，能够对 AI 模型的语言能力进行全面评估。
AGI-Eval 的评测数据是否公开？
AGI-Eval 提供公开学术评测集，用户可以下载并使用这些数据集。此外，平台还支持用户上传个人评测集，共建开源社区。
AGI-Eval 的评测结果如何呈现？
AGI-Eval 提供详细的评测报告和能力得分排名榜单，用户可以通过这些信息深入了解每个模型的优缺点。
AGI-Eval 是否支持用户自定义评测任务？
是的，AGI-Eval 支持用户上传个人评测集，并根据特定需求进行自定义评测。
AGI-Eval 的评测周期是多久？
评测周期取决于评测任务的复杂性和数据量。一般来说，标准评测任务可以在较短时间内完成，但复杂的多领域评测可能需要更长时间。
总结
AGI-Eval 适合社区评测、人类对齐和模型对比。优势是「大模型榜单」和「人机评测比赛」；涉及商用或引用时，以官网和原始论文条款为准。
注：以上信息整理自公开资料，具体功能、价格、免费额度与授权政策请以 AGI-Eval 官方最新说明为准。
评论 0
友善发言，共建温暖社区