自己维护一个 LLM Benchmark 的想法
问题描述:目前的算法竞赛方面的 Benchmark 都存在一些问题,LiveCodeBenchPro 只有 CF 题目,且维护不积极,模型较少;vals.ai 上的 LiveCodeBench 分数已经饱和,IOI 缺乏部分模型的测试结果
共收录2篇相关文章
问题描述:目前的算法竞赛方面的 Benchmark 都存在一些问题,LiveCodeBenchPro 只有 CF 题目,且维护不积极,模型较少;vals.ai 上的 LiveCodeBench 分数已经饱和,IOI 缺乏部分模型的测试结果
问题描述:本帖子用于汇总所有LLM的鉴定特征,比如某个系列模型的词表固有缺陷、某个渠道模型特定输出等特征,用于分辨模型系列或者型号。人人可编辑,请使用下面的模板:鉴定方法:简要写名称详细输入/鉴定方法:用于鉴定的prompt或者其他具体方