LONGCODEU leaderboard
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "73.24",
- "62.25",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "77.04",
- "55.17",
- "37.26",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "75.89",
- "56.90",
- "45.34",
- "27.56",
- "10.23"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "85.56",
- "63.66",
- "40.30",
- "20.22",
- " 4.80"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "80.02",
- "61.34",
- "51.81",
- "25.63",
- "15.00"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "87.38",
- "72.09",
- "72.42",
- "53.26",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "84.68",
- "70.84",
- "65.51",
- "47.13",
- "36.09"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "88.22",
- "55.51",
- "46.39",
- "27.48",
- "15.54"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "85.43",
- "68.19",
- "61.63",
- "48.57",
- "31.37"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "88.00",
- "74.44",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "73.00",
- "67.11",
- "43.67",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "62.00",
- "63.33",
- "48.37",
- "49.40",
- "39.33"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "80.00",
- "76.00",
- "56.83",
- "50.20",
- "17.00"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "76.00",
- "79.33",
- "84.97",
- "76.07",
- "61.67"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "94.00",
- "84.89",
- "72.55",
- "70.33",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "84.00",
- "85.11",
- "79.50",
- "77.60",
- "79.67"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "92.00",
- "66.67",
- "48.00",
- "40.32",
- "22.67"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "92.00",
- "90.22",
- "88.00",
- "85.60",
- "87.11"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "60.35",
- "68.57",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "66.00",
- "65.24",
- "52.21",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "55.75",
- "58.22",
- "44.30",
- "34.38",
- "32.07"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "68.39",
- "73.92",
- "70.24",
- "53.44",
- "34.34"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "71.76",
- "74.95",
- "69.12",
- "69.61",
- "64.98"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "79.86",
- "83.80",
- "80.74",
- "85.38",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "76.15",
- "85.17",
- "83.02",
- "83.46",
- "84.54"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "81.19",
- "38.34",
- "36.61",
- "21.44",
- "22.12"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "80.45",
- "86.36",
- "87.72",
- "90.69",
- "81.82"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "72.66",
- "64.47",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "37.43",
- "48.33",
- "52.87",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "45.44",
- "47.67",
- "43.07",
- "22.46",
- "17.27"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "56.51",
- "57.08",
- "56.18",
- "43.93",
- "37.54"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "44.96",
- "36.01",
- "32.59",
- "15.54",
- "33.70"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "79.03",
- "76.25",
- "77.13",
- "75.04",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "68.63",
- "71.96",
- "74.89",
- "66.94",
- "76.92"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "68.14",
- "27.59",
- "47.91",
- "25.50",
- " 9.95"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "65.37",
- "73.97",
- "75.58",
- "67.34",
- "74.58"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "40.66",
- "28.49",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "14.85",
- "16.90",
- "24.09",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "16.39",
- "23.65",
- "13.46",
- " 3.57",
- " 4.73"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "20.45",
- "30.74",
- "27.59",
- "28.12",
- "17.26"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- " 4.16",
- " 7.30",
- " 7.22",
- " 7.00",
- "18.31"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "57.65",
- "60.40",
- "62.87",
- "57.61",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "42.23",
- "48.82",
- "51.61",
- "39.90",
- "49.98"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "60.01",
- "46.77",
- "36.18",
- "19.51",
- "12.98"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "44.39",
- "52.08",
- "48.29",
- "45.48",
- "52.35"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "49.60",
- "36.54",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "46.07",
- "37.43",
- "20.37",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "41.57",
- "29.84",
- "21.76",
- "13.75",
- " 3.99"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "52.35",
- "39.69",
- "24.78",
- "20.32",
- " 6.22"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "52.77",
- "41.55",
- "20.98",
- "13.99",
- "11.90"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "72.54",
- "61.98",
- "38.42",
- "38.17",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "69.94",
- "58.87",
- "30.76",
- "35.36",
- "25.64"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "66.39",
- "58.82",
- "23.05",
- "11.65",
- " 5.04"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "72.47",
- "60.29",
- "36.18",
- "36.98",
- "34.41"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "43.01",
- "26.00",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "48.69",
- "34.03",
- "16.87",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "33.72",
- "25.69",
- "15.81",
- " 8.76",
- " 2.56"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "53.01",
- "45.55",
- "25.79",
- "21.99",
- " 6.80"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "50.89",
- "39.33",
- "17.64",
- "12.86",
- " 8.45"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "70.90",
- "60.46",
- "38.09",
- "37.18",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "70.40",
- "58.13",
- "28.83",
- "31.11",
- "26.37"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "70.04",
- "53.96",
- "18.36",
- "15.28",
- "10.35"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "73.34",
- "58.78",
- "37.04",
- "36.68",
- "29.62"
- [
- "metadata": null
{
- "headers": [
- "Model",
- "Type",
- "Model Size",
- "Context Size",
- "0~8K",
- "8~16K",
- "16~32K",
- "32~64K",
- "64~128K"
- "data": [
- [
- "CodeLlama",
- "Code Model",
- " 33.7B",
- " 16K",
- "65.34",
- "33.99",
- "_",
- "_",
- "_"
- [
- "Mistral-v0.3",
- "General Model",
- " 7.3B",
- " 32K",
- "76.61",
- "59.70",
- "48.86",
- "_",
- "_"
- [
- "Phi-3.5",
- "General Model",
- " 3.8B",
- " 128K",
- "30.66",
- "47.19",
- "49.85",
- "21.93",
- "23.38"
- [
- "DeepSeek-Coder-V2",
- "Code Model",
- " 15.7B",
- " 128K",
- "84.51",
- "73.27",
- "58.91",
- "43.82",
- " 8.17"
- [
- "Qwen2.5-Coder",
- "Code Model",
- " 7.6B",
- " 128K",
- "59.99",
- "35.21",
- "15.95",
- "11.80",
- " 8.27"
- [
- "DeepSeek-V2.5",
- "General Model",
- "236B",
- " 128K",
- "87.47",
- "85.29",
- "89.62",
- "82.51",
- "_"
- [
- "Gemini-1.5-Flash",
- "General Model",
- "_",
- "1000K",
- "88.12",
- "83.64",
- "82.70",
- "77.23",
- "80.13"
- [
- "Claude-3-5-Sonnet",
- "General Model",
- "_",
- " 200K",
- "80.67",
- "66.58",
- "46.70",
- "20.12",
- "22.19"
- [
- "GPT-4o",
- "General Model",
- "_",
- " 128K",
- "93.32",
- "85.56",
- "90.63",
- "85.72",
- "84.71"
- [
- "metadata": null
Welcome to LONGCODEU leadbeboard!
We introduce LONGCODEU(https://longcodeu.github.io) to comprehensively evaluate LCLMs' long code understanding ability from four aspects: code unit perception, intra-code unit understanding, inter-code unit relation understanding, and long documentation understanding.
More results will be released soon. Please check the leaderboard for the latest updates.