METR otestoval Claude Opus 5.5: zlepšenie je citeľné, úplnú automatizáciu výskumu nevidí

Organizácia METR zverejnila predbežné hodnotenie modelu Claude Opus 5.5 zamerané na jeho schopnosť urýchliť výskum a vývoj umelej inteligencie. Jej záver je podstatne opatrnejší než predstava modelu, ktorý by dokázal samostatne prevziať celý výskumný proces. Opus 5.5 podľa hodnotiteľov pravdepodobne predstavuje citeľné, ale postupné zlepšenie oproti porovnávaciemu systému Fable 5.1. Môže zvýšiť produktivitu výskumníkov a automatizovať obmedzené časti práce, no dostupné dôkazy nepodporujú tvrdenie, že by už dokázal plne automatizovať výskum a vývoj AI.

Desať dní prístupu a päť rôznych úloh

METR dostal prístup k modelu cez API počas desiatich pracovných dní. Hodnotenie zahŕňalo päť úloh s rozdielnym charakterom. Budget NanoGPT Speedrun skúmal schopnosť optimalizovať tréning modelu v obmedzenom rozpočte. Train a Program vyžadoval vytvorenie modelu napodobňujúceho správanie existujúceho programu. Gaming Bot testoval napísanie programu ovládajúceho hru prostredníctvom nevizuálneho rozhrania. Súbor LMCA sa sústredil na konceptuálnu argumentáciu a úloha Sunlight na otvorený výskum zakončený písomnou správou. Kombinácia mala zachytiť overiteľné technické výsledky aj menej jednoznačné činnosti, pri ktorých záleží na kvalite úsudku.

Hodnotitelia uvádzajú zlepšenie oproti Fable 5.1 pri úlohách s automaticky kontrolovateľným výsledkom aj pri otvorenejších zadaniach. Rozdiel však označujú za inkrementálny, nie za náhly skok. Model má naďalej kvalitatívne slabiny, ktoré skúsený človek pri náročnej dlhodobej úlohe pravdepodobne nevykazuje. METR osobitne upozorňuje na predvídanie ďalšieho vývoja, vytváranie vlastných spätných väzieb a výskumný úsudok či „vkus“. Práve tieto schopnosti považuje za možné prekážky úplnej automatizácie a v dostupných výsledkoch nevidí dôkaz, že by sa v nich Opus 5.5 dramaticky posunul.

Správa nemala overovať splnenie konkrétnych prahov z bezpečnostných pravidiel spoločnosti Anthropic a neposudzuje ani všetky vlastnosti zosúladenia modelu. Jej záber je užší: aký vplyv môže mať nový systém na tempo výskumu AI a do akej miery už AI urýchlila jeho vlastný vývoj. Takéto vymedzenie je dôležité, pretože dobrý výsledok v programovaní alebo otvorenom výskume sám osebe nehovorí, ako spoľahlivo model odmieta nebezpečné požiadavky, ako sa správa pri strategickom tlaku alebo ako sa dá kontrolovať v produkčnom prostredí.

Produktivita rastie, no odhad sprevádza veľká neistota

METR očakáva, že Opus 5.5 môže výskumníkov zrýchliť o niečo viac než Fable 5.1 a prevziať vybrané časti ich práce. Zároveň pripomína, že séria malých zlepšení môže v súčte viesť k rýchlemu pokroku, hoci jednotlivá verzia nepredstavuje prelom. Súčasné dáta však nestačia na rozlíšenie, či sa tempo rastu schopností zrýchľuje, zostáva stabilné alebo spomaľuje. Nie je známe ani to, koľko podobných kvantitatívnych posunov by bolo potrebných, aby sa kvalitatívne zmenil celý spôsob vykonávania výskumu.

Pri otázke, ako AI prispela k vývoju samotného modelu, správa pracuje s predbežným interným odhadom približne 1,5-násobného zrýchlenia a s asi 30-percentnou pravdepodobnosťou dvojnásobného zrýchlenia. METR však výslovne uvádza zásadnú neistotu: podklad neurčil obdobie, na ktoré sa odhad vzťahuje, a jeho podporné dôkazy nemohli byť zverejnené tímu pripravujúcemu verejný súhrn. Tento údaj preto nemožno interpretovať ako presne zmeraný výsledok vývoja Opus 5.5. Bez definovaného východiskového obdobia, metodiky a rozdelenia práce medzi ľudí a nástroje ide skôr o orientačný signál.

Dôležitá je aj povaha nezávislosti hodnotenia. METR uvádza, že išlo o neplatenú dohodu na posúdenie výskumu a vývoja AI. Organizácia pripravila pôvodný text, no Anthropic dostal možnosť ho skontrolovať a upraviť; METR následne konečné znenie schválil. Správa tiež čerpala z dotazníka, rozhovoru s výskumníkom Anthropicu a z predbežného interného hodnotenia s vyššou úrovňou prístupu. Výsledok teda prináša externý pohľad, ale nejde o úplne oddelený test vykonaný iba z verejne dostupných údajov. Pri interpretácii treba brať do úvahy aj krátke testovacie obdobie a malý počet hlavných úloh.

Model už vstupuje do vývojárskeho ekosystému

GitHub sprístupnil Claude Opus 5.5 v Copilote pre plány Pro+, Max, Business a Enterprise. Model možno postupne vybrať vo Visual Studio Code, Visual Studiu, Copilot CLI, cloudovom programátorskom agentovi, aplikácii Copilot, na GitHub.com aj v prostrediach JetBrains, Xcode a Eclipse. GitHub ho odporúča na agentické programovanie, dlhšie autonómne úlohy a znalostnú prácu. Vo vlastných skorých testoch platforma pozorovala porovnateľné riešenie úloh s predchádzajúcim Opusom 5 pri menšom počte krokov a tokenov a rýchlejšie zotavenie z chýb. Ide však o meranie GitHubu, nie o výsledok METR, a chýba podrobný verejný protokol.

GitHub zároveň uvádza, že textové výstupy Opus 5.5 obsahujú vodoznak, ktorý podľa platformy nemení význam, čitateľnosť ani cenu výstupu. Pre podnikové nasadenie je to nový faktor, ktorý si vyžaduje praktické preskúmanie: organizácie budú potrebovať vedieť, ako sa vodoznak zachová pri úpravách, preklade, kombinovaní textov a ukladaní do interných systémov. Správcovia Copilot Business a Enterprise môžu dostupnosť modelu riadiť prostredníctvom modelových politík. Keďže nasadzovanie je postupné, model sa nemusí zobraziť všetkým oprávneným používateľom naraz.

Podpora sa už objavila aj v agentickom frameworku PydanticAI 2.48.0, ktorý pridal identifikátor claude-opus-5-5. Táto zmena sama osebe nehodnotí schopnosti modelu, ale ukazuje, že integrácia rýchlo preniká mimo rozhrania Anthropicu. Vývojári môžu nový model zaradiť do existujúcich agentov, no kompatibilita názvu ešte nezaručuje rovnaké správanie nástrojov, štruktúrovaných výstupov či obnovy po chybe. Pred výmenou produkčného modelu je potrebné zopakovať vlastné testy celého pracovného postupu vrátane limitov, časových oneskorení a spotreby tokenov.

Čo by mali tímy merať vo vlastnej prevádzke

Pre slovenské výskumné a vývojárske tímy je najužitočnejším záverom rozdiel medzi zrýchlením človeka a úplnou autonómiou. Model môže pomôcť s experimentálnym kódom, kontrolou hypotéz, čítaním dokumentácie či prípravou správ, ale dlhodobé plánovanie a posudzovanie vedeckej hodnoty výsledku zostávajú slabšie overené. Interný pilot by mal sledovať úspešnosť dokončených úloh, čas odbornej kontroly, počet chybných odbočení, reprodukovateľnosť experimentov a celkové náklady. Osobitne treba testovať prácu so slovenskými zadaniami a lokálnymi dátami, ktoré verejné hodnotenie METR nepokrývalo.

Otvorené zostávajú presné hranice samostatnosti Opus 5.5, jeho výkon mimo piatich skúmaných úloh aj miera, do akej sa výsledky menia s nástrojmi, promptom a výpočtovým rozpočtom. METR avizuje ďalšie verejné výstupy zo samostatného skúmania zrýchlenia výskumu vo vnútri Anthropicu. Dovtedy je najpresnejšie hovoriť o sľubnom produktívnom nástroji s postupne rastúcimi schopnosťami, nie o automatickom výskumníkovi. Správa je zároveň pripomienkou, že pri frontier modeloch nestačí sledovať iba skóre: rozhodujúce bude, či si systém dokáže vytvárať spoľahlivú spätnú väzbu a udržať správny smer počas dlhých, otvorených úloh.