hard_output_pass_at_k.json

{
  "pass@1": 0.18243243243243243,
  "model": "hard_output.jsonl",
  "split": "average",
  "subset": "hard",
  "calibrated": true,
  "gt_pass_rate": 0.7364864864864865,
  "failed_tasks": [
    "BigCodeBench/34",
    "BigCodeBench/82",
    "BigCodeBench/99",
    "BigCodeBench/37",
    "BigCodeBench/101",
    "BigCodeBench/108",
    "BigCodeBench/177",
    "BigCodeBench/187",
    "BigCodeBench/227",
    "BigCodeBench/287",
    "BigCodeBench/302",
    "BigCodeBench/313",
    "BigCodeBench/341",
    "BigCodeBench/360",
    "BigCodeBench/374",
    "BigCodeBench/401",
    "BigCodeBench/409",
    "BigCodeBench/418",
    "BigCodeBench/417",
    "BigCodeBench/501",
    "BigCodeBench/502",
    "BigCodeBench/530",
    "BigCodeBench/579",
    "BigCodeBench/583",
    "BigCodeBench/587",
    "BigCodeBench/590",
    "BigCodeBench/618",
    "BigCodeBench/655",
    "BigCodeBench/657",
    "BigCodeBench/826",
    "BigCodeBench/845",
    "BigCodeBench/865",
    "BigCodeBench/916",
    "BigCodeBench/917",
    "BigCodeBench/964",
    "BigCodeBench/1003",
    "BigCodeBench/1008",
    "BigCodeBench/1015",
    "BigCodeBench/1019"
  ]
}