LONGCODEU leaderboard

{
  • "headers": [
    • "Model",
    • "Type",
    • "Model Size",
    • "Context Size",
    • "0~8K",
    • "8~16K",
    • "16~32K",
    • "32~64K",
    • "64~128K"
    ],
  • "data": [
    • [
      • "CodeLlama",
      • "Code Model",
      • " 33.7B",
      • " 16K",
      • "73.24",
      • "62.25",
      • "_",
      • "_",
      • "_"
      ],
    • [
      • "Mistral-v0.3",
      • "General Model",
      • " 7.3B",
      • " 32K",
      • "77.04",
      • "55.17",
      • "37.26",
      • "_",
      • "_"
      ],
    • [
      • "Phi-3.5",
      • "General Model",
      • " 3.8B",
      • " 128K",
      • "75.89",
      • "56.90",
      • "45.34",
      • "27.56",
      • "10.23"
      ],
    • [
      • "DeepSeek-Coder-V2",
      • "Code Model",
      • " 15.7B",
      • " 128K",
      • "85.56",
      • "63.66",
      • "40.30",
      • "20.22",
      • " 4.80"
      ],
    • [
      • "Qwen2.5-Coder",
      • "Code Model",
      • " 7.6B",
      • " 128K",
      • "80.02",
      • "61.34",
      • "51.81",
      • "25.63",
      • "15.00"
      ],
    • [
      • "DeepSeek-V2.5",
      • "General Model",
      • "236B",
      • " 128K",
      • "87.38",
      • "72.09",
      • "72.42",
      • "53.26",
      • "_"
      ],
    • [
      • "Gemini-1.5-Flash",
      • "General Model",
      • "_",
      • "1000K",
      • "84.68",
      • "70.84",
      • "65.51",
      • "47.13",
      • "36.09"
      ],
    • [
      • "Claude-3-5-Sonnet",
      • "General Model",
      • "_",
      • " 200K",
      • "88.22",
      • "55.51",
      • "46.39",
      • "27.48",
      • "15.54"
      ],
    • [
      • "GPT-4o",
      • "General Model",
      • "_",
      • " 128K",
      • "85.43",
      • "68.19",
      • "61.63",
      • "48.57",
      • "31.37"
      ]
    ],
  • "metadata": null
}