OpenAI varuje, že SWE-Bench Pro má príliš veľa rozbitých úloh
OpenAI zverejnil audit benchmarku SWE-Bench Pro a tvrdí, že približne tretina úloh môže skresľovať hodnotenie kódovacích agentov. Pre vývojárov modelov je to pripomienka, že rast skóre nestačí bez kontroly kvality dát.