AI Proxy · benchmark

Benchmark — 40 configurations

2026-08-03 12:55 · proxy 0.2.0

GPU NVIDIA GB10 · 122 GB
Configurations 40
Requests 3,480
Graded suite coding-v2

DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 1 leads: 86% fully correct at 17.7 tok/s out, 31 s to load.

Ranked by correctness first, then output rate. 40 configurations measured across 3 backends.

Run this — 70/30 weighted

gemma4:26b

85% correct · 36.1 tok/s · 16.8 GB · answers in 7.1s · score 63

Runner-up

DeepSeek-V4-Flash-0731-UD-IQ2_XXS

86% correct · 17.7 tok/s · 84.6 GB · answers in 8.9s · score 62

Don't be fooled by

qwen3:0.6b

301 tok/s and only 5% correct

The trade-off

Every configuration, placed by correctness and output rate. A point below and to the left of another is beaten on both counts at once, so the dashed frontier is the shortlist — everything off it is dominated by something on it. Hover any point for its name.

0%20%40%60%80%100%31030100300output tokens/sec (log)better ↗TASKS FULLY CORRECT ↑DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 1 — 86% correct at 17.7 tok/sgemma4:26b · ollama · 4 — 85% correct at 36.1 tok/sgemma4:26b · 4gemma4:26b · 16.8 GB · ollama · 1 — 83% correct at 63.5 tok/sgemma4:26b · 1qwen3-coder-next · NVFP4 · vllm · 4 — 82% correct at 41.4 tok/sqwen3-coder-next · NVFP4 · vllm · 1 — 79% correct at 62.1 tok/sDeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4 — 79% correct at 12.4 tok/sornith-nvfp4 · NVFP4 · vllm · 4 — 78% correct at 48.6 tok/sqwen3.6:35b-a3b · 22.3 GB · ollama · 1 — 76% correct at 75.0 tok/sqwen3.6:35b-a3b · 1qwen3.6:35b-a3b · ollama · 4 — 76% correct at 75.0 tok/sornith-nvfp4 · NVFP4 · vllm · 1 — 76% correct at 65.4 tok/sqwen3-coder-next · ollama · 4 — 76% correct at 51.3 tok/sqwen3-coder-next · 48.2 GB · ollama · 1 — 76% correct at 51.2 tok/sqwen3-coder:tuned · ollama · 4 — 76% correct at 50.8 tok/sqwen3-coder:tuned · 48.2 GB · ollama · 1 — 76% correct at 50.7 tok/sgemma3:27b · 16.2 GB · ollama · 1 — 76% correct at 11.5 tok/sdevstral-2:123b · 69.8 GB · ollama · 1 — 76% correct at 2.7 tok/sqwen3-coder:30b · ollama · 4 — 75% correct at 41.0 tok/sdevstral-2:123b · 69.8 GB · ollama · 4 — 75% correct at 2.4 tok/sqwen3.6:27b · ollama · 4 — 72% correct at 12.2 tok/sqwen3.6:27b · 16.2 GB · ollama · 1 — 72% correct at 12.2 tok/sgemma3:27b · ollama · 4 — 72% correct at 10.4 tok/sqwen3-coder:30b · 17.3 GB · ollama · 1 — 71% correct at 84.5 tok/sqwen3-coder:30b · 1devstral-small-2:24b · ollama · 4 — 71% correct at 12.6 tok/sdevstral-small-2:24b · 14.1 GB · ollama · 1 — 68% correct at 13.8 tok/sllama4 · 62.8 GB · ollama · 1 — 62% correct at 18.0 tok/sllama4 · ollama · 4 — 62% correct at 11.0 tok/sgemma4 · 8.9 GB · ollama · 1 — 54% correct at 56.1 tok/sllama3:70b-instruct · 37.2 GB · ollama · 1 — 52% correct at 5.5 tok/sllama3:70b-instruct · ollama · 4 — 51% correct at 5.3 tok/sgemma4 · ollama · 4 — 48% correct at 42.6 tok/sgpt-oss:120b · 60.9 GB · ollama · 1 — 43% correct at 37.9 tok/sgpt-oss:120b · ollama · 4 — 43% correct at 20.6 tok/scodellama:70b · 36.2 GB · ollama · 1 — 26% correct at 5.7 tok/scodellama:70b · ollama · 4 — 23% correct at 5.5 tok/sminicpm-v4.5 · 5.7 GB · ollama · 1 — 22% correct at 40.5 tok/sminicpm-v4.5 · ollama · 4 — 20% correct at 35.1 tok/sqwen3:4b · 2.3 GB · ollama · 1 — 7% correct at 73.1 tok/sqwen3:0.6b · 0.5 GB · ollama · 1 — 5% correct at 301.1 tok/sqwen3:0.6b · ollama · 4 — 5% correct at 190.5 tok/sqwen3:4b · ollama · 4 — 5% correct at 61.8 tok/sDeepSeek-V4-Flash-0731-UD-IQ2_XXS86% correct at 18 tok/son 84.6 GB of memoryqwen3:0.6b17× the winner's speed —and wrong 95% of the time

Held constant

Think

off

Cache

cached

Temp

0.0

Results

TTFT is the first token of any kind; TTFC the first content token — the gap between them is time the model spent reasoning. Decode rate is measured from the first token onward, so reasoning tokens count as generated work. Best value in each column is highlighted.

ConfigurationLoadResidentTTFT p50Decode p50TokensTotal p50Fully correctCasesvs bestOK
DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 131 s0.4 GB143 ms17.71908,906 ms86%85%17.8x87/87
gemma4:26b · ollama · 49 s17.9 GB843 ms36.12377,085 ms85%90%14.1x87/87
gemma4:26b · 16.8 GB · ollama · 124 s17.9 GB496 ms63.52473,920 ms83%88%7.8x87/87
qwen3-coder-next · NVFP4 · vllm · 48 s385 ms41.42084,388 ms82%85%8.7x87/87
qwen3-coder-next · NVFP4 · vllm · 19 s0.1 GB160 ms62.12112,943 ms79%84%5.9x87/87
DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 429 s1,233 ms12.418212,541 ms79%80%25.0x87/87
ornith-nvfp4 · NVFP4 · vllm · 48 s326 ms48.62363,887 ms78%83%7.7x87/87
qwen3.6:35b-a3b · 22.3 GB · ollama · 131 s22.0 GB385 ms75.02784,117 ms76%82%8.2x87/87
qwen3.6:35b-a3b · ollama · 47 s22.0 GB4,781 ms75.02787,460 ms76%82%14.9x87/87
ornith-nvfp4 · NVFP4 · vllm · 18 s0.1 GB120 ms65.42293,184 ms76%83%6.3x87/87
qwen3-coder-next · ollama · 410 s48.7 GB5,599 ms51.32198,839 ms76%81%17.6x87/87
qwen3-coder-next · 48.2 GB · ollama · 173 s48.7 GB290 ms51.22193,801 ms76%81%7.6x87/87
qwen3-coder:tuned · ollama · 410 s50.6 GB5,716 ms50.82158,603 ms76%82%17.2x87/87
qwen3-coder:tuned · 48.2 GB · ollama · 166 s50.6 GB267 ms50.72153,671 ms76%82%7.3x87/87
gemma3:27b · 16.2 GB · ollama · 158 s17.9 GB643 ms11.523818,462 ms76%76%36.8x87/87
devstral-2:123b · 69.8 GB · ollama · 1490 s92.9 GB661 ms2.718957,047 ms76%85%113.7x87/87
qwen3-coder:30b · ollama · 46 s24.0 GB440 ms41.01904,290 ms75%87%8.6x87/87
devstral-2:123b · 69.8 GB · ollama · 4497 s92.9 GB2,655 ms2.418964,218 ms75%85%128.0x87/87
qwen3.6:27b · ollama · 443 s16.5 GB24,219 ms12.225039,924 ms72%76%79.6x87/87
qwen3.6:27b · 16.2 GB · ollama · 164 s16.5 GB491 ms12.225016,566 ms72%76%33.0x87/87
gemma3:27b · ollama · 445 s17.9 GB1,101 ms10.423823,780 ms72%76%47.4x87/87
qwen3-coder:30b · 17.3 GB · ollama · 121 s24.0 GB224 ms84.51881,994 ms71%84%4.0x87/87
devstral-small-2:24b · ollama · 438 s24.7 GB830 ms12.617512,413 ms71%85%24.7x87/87
devstral-small-2:24b · 14.1 GB · ollama · 149 s24.7 GB349 ms13.817410,677 ms68%83%21.3x87/87
llama4 · 62.8 GB · ollama · 1194 s64.0 GB541 ms18.01528,701 ms62%75%17.3x87/87
llama4 · ollama · 430 s64.0 GB3,133 ms11.014914,611 ms62%76%29.1x87/87
gemma4 · 8.9 GB · ollama · 121 s4.0 GB471 ms56.13678,217 ms54%54%16.4x87/87
llama3:70b-instruct · 37.2 GB · ollama · 1145 s42.4 GB433 ms5.513021,611 ms52%72%43.1x87/87
llama3:70b-instruct · ollama · 494 s42.4 GB1,124 ms5.312722,715 ms51%72%45.3x87/87
gemma4 · ollama · 410 s4.0 GB753 ms42.636911,462 ms48%48%22.8x87/87
gpt-oss:120b · 60.9 GB · ollama · 1146 s60.4 GB508 ms37.943513,924 ms43%37%27.8x87/87
gpt-oss:120b · ollama · 414 s60.4 GB1,279 ms20.643223,443 ms43%38%46.7x87/87
codellama:70b · 36.2 GB · ollama · 1107 s37.8 GB279 ms5.729345,484 ms26%42%90.7x87/87
codellama:70b · ollama · 464 s37.8 GB960 ms5.529147,884 ms23%41%95.5x87/87
minicpm-v4.5 · 5.7 GB · ollama · 122 s14.7 GB240 ms40.51803,362 ms22%51%6.7x87/87
minicpm-v4.5 · ollama · 413 s14.7 GB412 ms35.11794,017 ms20%48%8.0x87/87
qwen3:4b · 2.3 GB · ollama · 112 s12.6 GB229 ms73.15037,220 ms7%8%14.4x87/87
qwen3:0.6b · 0.5 GB · ollama · 16 s8.5 GB203 ms301.1122502 ms5%38%1.0x87/87
qwen3:0.6b · ollama · 42 s8.5 GB323 ms190.5124732 ms5%38%1.5x87/87
qwen3:4b · ollama · 47 s12.6 GB446 ms61.85058,767 ms5%8%17.5x87/87

Weighted standings

Correctness alone is not a ranking — one point of correctness is not worth half the speed. Each model's best cell scores 70% × correctness + 30% × relative speed, where relative speed is decode rate against the fastest model in this report (qwen3:0.6b, 301.1 tok/s = 1.0). The bar is the weighting made visible: correctness · speed. Drag to change what you value; the ranking recomputes.

all correctness all speed70 / 30
#Model Correcttok/sScore
1gemma4:26b85%36.1
63
2DeepSeek-V4-Flash-0731-UD-IQ2_XXS86%17.7
62
3qwen3-coder-next82%41.4
61
4qwen3.6:35b-a3b76%75.0
61
5ornith-nvfp478%48.6
60
6qwen3-coder:tuned76%50.8
58
7qwen3-coder:30b75%41.0
56
8gemma3:27b76%11.5
54
9devstral-2:123b76%2.7
53
10qwen3.6:27b72%12.2
52
11devstral-small-2:24b71%12.6
51
12llama462%18.0
45
13gemma454%56.1
43
14llama3:70b-instruct52%5.5
37
15gpt-oss:120b43%37.9
34
16qwen3:0.6b5%301.1
33
17minicpm-v4.522%40.5
19
18codellama:70b26%5.7
19
19qwen3:4b7%73.1
12

Time to a finished answer

SECONDS UNTIL THE FULL ANSWER HAS ARRIVED (median task) →qwen3:0.6b0.5s · 5%minicpm-v4.53.4s · 22%ornith-nvfp43.9s · 78%qwen3.6:35b-a3b4.1s · 76%qwen3-coder:30b4.3s · 75%qwen3-coder-next4.4s · 82%gemma4:26b7.1s · 85%qwen3:4b7.2s · 7%gemma48.2s · 54%qwen3-coder:tuned8.6s · 76%llama48.7s · 62%DeepSeek-V4-Flash-0731-U8.9s · 86%top 12 of 19 models — the full field is in the table

What memory buys

Position is footprint against correctness; bubble area is output speed. Models whose size cannot be read — vLLM checkpoints live inside their containers — are absent, not zero.

0%25%50%75%100%1020406080GIGABYTES THE MODEL OCCUPIES → bubble area = output speedTASKS FULLY CORRECT ↑DeepSeek-V4-Flash-0731-UD-IQ2_XXS — 84.6 GB, 86%, 17.7 tok/sdevstral-2:123b — 69.8 GB, 76%, 2.7 tok/sllama4 — 62.8 GB, 62%, 18.0 tok/sgpt-oss:120b — 60.9 GB, 43%, 37.9 tok/sqwen3-coder-next — 48.2 GB, 82%, 41.4 tok/sqwen3-coder:tuned — 48.2 GB, 76%, 50.8 tok/sllama3:70b-instruct — 37.2 GB, 52%, 5.5 tok/scodellama:70b — 36.2 GB, 26%, 5.7 tok/sqwen3.6:35b-a3b — 22.3 GB, 76%, 75.0 tok/sqwen3-coder:30b — 17.3 GB, 75%, 41.0 tok/sgemma4:26b — 16.8 GB, 85%, 36.1 tok/sqwen3.6:27b — 16.2 GB, 72%, 12.2 tok/sgemma3:27b — 16.2 GB, 76%, 11.5 tok/sdevstral-small-2:24b — 14.1 GB, 71%, 12.6 tok/sgemma4 — 8.9 GB, 54%, 56.1 tok/sminicpm-v4.5 — 5.7 GB, 22%, 40.5 tok/sqwen3:4b — 2.3 GB, 7%, 73.1 tok/sqwen3:0.6b — 0.5 GB, 5%, 301.1 tok/sgpt-oss:120bllama4devstral-2:123bDeepSeek-V4-Flash-0731 — the buy

Same weights, two engines

The only controlled engine comparison a run can contain: identical weights reachable through more than one backend, paired by cache state. When output rates tie, the wait for the first token is what an engine buys.

TIME TO FIRST TOKEN, MS →qwen3-coder-next · cachedvllm: 160 ms160ollama: 290 ms290qwen3-coder-next · cached · 4×vllm: 385 ms385ollama: 5,599 ms5,599ollamavllm

Prompt cache — warm-up vs measured

The warm-up sends the same prompt the measured runs use, so its first-token time is that prompt’s cold prefill; everything after it is served warm. A backend whose prefix caching is off or unsupported shows no gap between these two columns.

ConfigurationPromptCold TTFTCached TTFTFaster by
DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 101,253 ms143 ms9x
gemma4:26b · 16.8 GB · ollama · 1016,138 ms496 ms33x
qwen3-coder-next · NVFP4 · vllm · 10437 ms160 ms3x
qwen3.6:35b-a3b · 22.3 GB · ollama · 1024,671 ms385 ms64x
ornith-nvfp4 · NVFP4 · vllm · 10223 ms120 ms2x
qwen3-coder-next · 48.2 GB · ollama · 1062,884 ms290 ms217x
qwen3-coder:tuned · 48.2 GB · ollama · 1056,133 ms267 ms210x
gemma3:27b · 16.2 GB · ollama · 1013,444 ms643 ms21x
devstral-2:123b · 69.8 GB · ollama · 10295,064 ms661 ms446x
devstral-2:123b · 69.8 GB · ollama · 40300,909 ms2,655 ms113x
qwen3.6:27b · 16.2 GB · ollama · 1022,023 ms491 ms45x
qwen3-coder:30b · 17.3 GB · ollama · 1014,950 ms224 ms67x
devstral-small-2:24b · 14.1 GB · ollama · 1011,850 ms349 ms34x
llama4 · 62.8 GB · ollama · 10164,683 ms541 ms304x
gemma4 · 8.9 GB · ollama · 1011,385 ms471 ms24x
llama3:70b-instruct · 37.2 GB · ollama · 1051,159 ms433 ms118x
gpt-oss:120b · 60.9 GB · ollama · 10131,971 ms508 ms260x
codellama:70b · 36.2 GB · ollama · 1023,614 ms279 ms85x
minicpm-v4.5 · 5.7 GB · ollama · 109,129 ms240 ms38x
qwen3:4b · 2.3 GB · ollama · 105,013 ms229 ms22x
qwen3:0.6b · 0.5 GB · ollama · 104,179 ms203 ms21x

Correctness by tier

The core tier confirms a model is not broken; it saturates for anything capable, which is exactly why the hard tier exists. Compare two models on the hard row when both score 100% on core.

ConfigurationCoreHard
DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 187%86%
gemma4:26b · ollama · 478%93%
gemma4:26b · 16.8 GB · ollama · 176%90%
qwen3-coder-next · NVFP4 · vllm · 484%79%
qwen3-coder-next · NVFP4 · vllm · 180%79%
DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 480%79%
ornith-nvfp4 · NVFP4 · vllm · 476%81%
qwen3.6:35b-a3b · 22.3 GB · ollama · 180%71%
qwen3.6:35b-a3b · ollama · 480%71%
ornith-nvfp4 · NVFP4 · vllm · 169%83%
qwen3-coder-next · ollama · 473%79%
qwen3-coder-next · 48.2 GB · ollama · 173%79%
qwen3-coder:tuned · ollama · 473%79%
qwen3-coder:tuned · 48.2 GB · ollama · 173%79%
gemma3:27b · 16.2 GB · ollama · 180%71%
devstral-2:123b · 69.8 GB · ollama · 180%71%
qwen3-coder:30b · ollama · 469%81%
devstral-2:123b · 69.8 GB · ollama · 480%69%
qwen3.6:27b · ollama · 467%79%
qwen3.6:27b · 16.2 GB · ollama · 167%79%
gemma3:27b · ollama · 473%71%
qwen3-coder:30b · 17.3 GB · ollama · 164%79%
devstral-small-2:24b · ollama · 473%69%
devstral-small-2:24b · 14.1 GB · ollama · 171%64%
llama4 · 62.8 GB · ollama · 160%64%
llama4 · ollama · 464%60%
gemma4 · 8.9 GB · ollama · 160%48%
llama3:70b-instruct · 37.2 GB · ollama · 147%57%
llama3:70b-instruct · ollama · 449%52%
gemma4 · ollama · 453%43%
gpt-oss:120b · 60.9 GB · ollama · 151%33%
gpt-oss:120b · ollama · 449%36%
codellama:70b · 36.2 GB · ollama · 129%24%
codellama:70b · ollama · 427%19%
minicpm-v4.5 · 5.7 GB · ollama · 120%24%
minicpm-v4.5 · ollama · 418%21%
qwen3:4b · 2.3 GB · ollama · 17%7%
qwen3:0.6b · 0.5 GB · ollama · 10%10%
qwen3:0.6b · ollama · 42%7%
qwen3:4b · ollama · 47%2%

Per-task correctness

Share of responses that passed every case for that task. A model strong everywhere except one task and a model mediocre throughout can share an overall average.

TaskPerfect inConfigurations that missed it
balanced_depthMax bracket nesting depth, -1 if unbalanced36 of 40qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
base_convertInteger between bases 2-36 with validation17 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gemma4:26b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
card_gridResponsive auto-fill card grid38 of 40qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4
clamp_addSaturating int addition — overflow trap30 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
clamp_mulSaturating int multiplication29 of 40llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3-coder-next · NVFP4 · vllm · 1, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
count_wordsCount words split on spaces and tabs33 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
csv_escapeRFC 4180 CSV field quoting31 of 40gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
csv_lineSplit one CSV record honouring quotes6 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · NVFP4 · vllm · 4, qwen3-coder-next · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
data_tableRevenue table with caption and scoped headers36 of 40minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
glob_matchGlob matching with ? and *32 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
group_rangesCollapse consecutive integers into range strings24 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
interval_intersectIntersect two interval lists31 of 40gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
json_pointerResolve an RFC 6901 JSON Pointer27 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
justifyFull text justification21 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · NVFP4 · vllm · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
login_formLogin form with labels bound to their inputs8 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 1, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gemma4:26b · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · NVFP4 · vllm · 4, qwen3-coder-next · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
lru_opsLRU cache with eviction order26 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma3:27b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
mid_floorFloor midpoint of two i64s — overflow and negatives3 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gemma4:26b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
ordinalEnglish ordinal suffix — the 11th/12th/13th trap11 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 1, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · NVFP4 · vllm · 4, qwen3-coder-next · ollama · 4, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
parse_queryParse a URL query string into an object22 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
path_normNormalise a POSIX path with . and ..27 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
pluckColumn from associative rows — null vs missing key25 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
roman_strictRoman to int, rejecting non-canonical forms2 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 1, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · NVFP4 · vllm · 4, qwen3-coder-next · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
round_toRound to nearest multiple, halves away from zero17 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
semver_cmpSemantic versions incl. pre-release precedence0 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · llamacpp · 1, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 1, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma3:27b · 16.2 GB · ollama · 1, gemma3:27b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gemma4:26b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · NVFP4 · vllm · 4, qwen3-coder-next · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:27b · 16.2 GB · ollama · 1, qwen3.6:27b · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
slugifyURL slug: symbol runs become one hyphen26 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
snake_to_camelsnake_case to camelCase — digits stop capitalisation11 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gemma4:26b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · 62.8 GB · ollama · 1, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, ornith-nvfp4 · NVFP4 · vllm · 1, ornith-nvfp4 · NVFP4 · vllm · 4, qwen3-coder-next · 48.2 GB · ollama · 1, qwen3-coder-next · ollama · 4, qwen3-coder:30b · 17.3 GB · ollama · 1, qwen3-coder:30b · ollama · 4, qwen3-coder:tuned · 48.2 GB · ollama · 1, qwen3-coder:tuned · ollama · 4, qwen3.6:35b-a3b · 22.3 GB · ollama · 1, qwen3.6:35b-a3b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
theme_varsDark-mode token inside a media query35 of 40codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · ollama · 4
tokenize_exprTokenise arithmetic, None on invalid input20 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, gemma4 · 8.9 GB · ollama · 1, gemma4 · ollama · 4, gemma4:26b · 16.8 GB · ollama · 1, gemma4:26b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, llama3:70b-instruct · 37.2 GB · ollama · 1, llama3:70b-instruct · ollama · 4, llama4 · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3-coder-next · NVFP4 · vllm · 1, qwen3-coder-next · NVFP4 · vllm · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4
topo_lexSmallest topological order, None on cycle25 of 40DeepSeek-V4-Flash-0731-UD-IQ2_XXS · IQ2_XXS · 84.6 GB · llamacpp · 4, codellama:70b · 36.2 GB · ollama · 1, codellama:70b · ollama · 4, devstral-2:123b · 69.8 GB · ollama · 4, devstral-small-2:24b · 14.1 GB · ollama · 1, devstral-small-2:24b · ollama · 4, gpt-oss:120b · 60.9 GB · ollama · 1, gpt-oss:120b · ollama · 4, minicpm-v4.5 · 5.7 GB · ollama · 1, minicpm-v4.5 · ollama · 4, qwen3-coder-next · NVFP4 · vllm · 4, qwen3:0.6b · 0.5 GB · ollama · 1, qwen3:0.6b · ollama · 4, qwen3:4b · 2.3 GB · ollama · 1, qwen3:4b · ollama · 4

What the failures actually looked like

The first failing case per configuration: the call that was made, what came back, and what should have — or the compile error or timeout that stopped it. This is what a percentage point of correctness is made of.

semver_cmp — Semantic versions incl. pre-release precedence · 4 examples
roman_strict — Roman to int, rejecting non-canonical forms · 4 examples
mid_floor — Floor midpoint of two i64s — overflow and negatives · 4 examples
csv_line — Split one CSV record honouring quotes · 4 examples
login_form — Login form with labels bound to their inputs · 4 examples
ordinal — English ordinal suffix — the 11th/12th/13th trap · 4 examples
snake_to_camel — snake_case to camelCase — digits stop capitalisation · 4 examples
base_convert — Integer between bases 2-36 with validation · 4 examples
round_to — Round to nearest multiple, halves away from zero · 4 examples
tokenize_expr — Tokenise arithmetic, None on invalid input · 4 examples
justify — Full text justification · 4 examples
parse_query — Parse a URL query string into an object · 4 examples
group_ranges — Collapse consecutive integers into range strings · 4 examples
topo_lex — Smallest topological order, None on cycle · 4 examples
pluck — Column from associative rows — null vs missing key · 4 examples
lru_ops — LRU cache with eviction order · 4 examples
slugify — URL slug: symbol runs become one hyphen · 4 examples
json_pointer — Resolve an RFC 6901 JSON Pointer · 4 examples
path_norm — Normalise a POSIX path with . and .. · 4 examples
clamp_mul — Saturating int multiplication · 4 examples
clamp_add — Saturating int addition — overflow trap · 4 examples
csv_escape — RFC 4180 CSV field quoting · 4 examples
interval_intersect — Intersect two interval lists · 4 examples
glob_match — Glob matching with ? and * · 4 examples
count_words — Count words split on spaces and tabs · 4 examples
theme_vars — Dark-mode token inside a media query · 4 examples
data_table — Revenue table with caption and scoped headers · 4 examples
balanced_depth — Max bracket nesting depth, -1 if unbalanced · 4 examples
card_grid — Responsive auto-fill card grid · 2 examples

Hardware

GPU

NVIDIA GB10 · 122 GB

Unified memory

122 GB

CPU

Cortex-X925

Cores

20

OS

Ubuntu 24.04.4 LTS (aarch64)

Kernel

6.17.0-1018-nvidia

Proxy

0.2.0

CPU, OS and kernel read from the host at report time — this run predates their capture, and they do not change between runs.

What was tested

Every task asks for one answer in the task's language — Python, JavaScript under node, C and C++ under gcc, Rust, C#, or PHP, each run in a separate process under a timeout with the return value compared against the expected one. HTML and CSS tasks are graded structurally: the answer is parsed and checked against required structure (bindings, attributes, declarations in the right context) — a claim about the markup, not about how a browser renders it. Tasks whose toolchain is absent on the machine are skipped and listed here, never scored as zero. Fully correct counts only responses where every case for that task passed; cases is the share of individual cases that passed, so a near-miss still scores there. A response with no extractable code block scores zero — that measures instruction-following, not coding.

Suite

coding-v2

Tasks

29

Cases

194

Repeats

3 per task

Languages

9

Core — 15 tasks, 97 cases

  • group_ranges Collapse consecutive integers into range strings · js
  • clamp_add Saturating int addition — overflow trap · c
  • count_words Count words split on spaces and tabs · c
  • csv_escape RFC 4180 CSV field quoting · cpp
  • snake_to_camel snake_case to camelCase — digits stop capitalisation · rust
  • clamp_mul Saturating int multiplication · csharp
  • slugify URL slug: symbol runs become one hyphen · php
  • login_form Login form with labels bound to their inputs · html
  • card_grid Responsive auto-fill card grid · css
  • semver_cmp Semantic versions incl. pre-release precedence
  • csv_line Split one CSV record honouring quotes
  • lru_ops LRU cache with eviction order
  • path_norm Normalise a POSIX path with . and ..
  • base_convert Integer between bases 2-36 with validation
  • interval_intersect Intersect two interval lists

Hard — 14 tasks, 97 cases

  • parse_query Parse a URL query string into an object · js
  • round_to Round to nearest multiple, halves away from zero · c
  • balanced_depth Max bracket nesting depth, -1 if unbalanced · cpp
  • mid_floor Floor midpoint of two i64s — overflow and negatives · rust
  • ordinal English ordinal suffix — the 11th/12th/13th trap · csharp
  • pluck Column from associative rows — null vs missing key · php
  • data_table Revenue table with caption and scoped headers · html
  • theme_vars Dark-mode token inside a media query · css
  • glob_match Glob matching with ? and *
  • roman_strict Roman to int, rejecting non-canonical forms
  • topo_lex Smallest topological order, None on cycle
  • justify Full text justification
  • json_pointer Resolve an RFC 6901 JSON Pointer
  • tokenize_expr Tokenise arithmetic, None on invalid input

Cold-start cost

Time for the discarded warm-up request — the price of making the model resident, excluded from every measurement above.

SECONDS TO LOAD BEFORE THE FIRST USEFUL TOKEN →devstral-2:123b · 69.8 GB · ol497sdevstral-2:123b · 69.8 GB · ol490sllama4 · 62.8 GB · ollama · 1194sgpt-oss:120b · 60.9 GB · ollam146sllama3:70b-instruct · 37.2 GB 145scodellama:70b · 36.2 GB · olla107sllama3:70b-instruct · ollama ·94sqwen3-coder-next · 48.2 GB · o73sqwen3-coder:tuned · 48.2 GB · 66sqwen3.6:27b · 16.2 GB · ollama64s
ConfigurationCold start
devstral-2:123b · 69.8 GB · ollama · 4496.7 s
devstral-2:123b · 69.8 GB · ollama · 1489.5 s
llama4 · 62.8 GB · ollama · 1194.0 s
gpt-oss:120b · 60.9 GB · ollama · 1145.8 s
llama3:70b-instruct · 37.2 GB · ollama · 1144.9 s
codellama:70b · 36.2 GB · ollama · 1107.4 s
llama3:70b-instruct · ollama · 494.2 s
qwen3-coder-next · 48.2 GB · ollama · 173.2 s
qwen3-coder:tuned · 48.2 GB · ollama · 166.5 s
qwen3.6:27b · 16.2 GB · ollama · 164.0 s

+ 30 more under 64.0 s.

The trade-off — explore

Screen-only companion to the annotated chart above: hover a dot for its numbers, drag a box to zoom into the crowded band, double-click to reset. Hovering a model anywhere on this page highlights it everywhere. The printed report keeps the annotated version.