Microsoftin ja City University of Hong Kongin tutkijat ovat koonneet Taste-Bench-nimisen benchmarkin. Se mittaa, osaako malli valita pitkän agenttitehtävän keskellä kahdesta jatkosuunnasta paremman. The Decoder kertoi 18.10. tutkimuksesta, joka on julkaistu esijulkaisuna arXiv-palvelussa. Lehden mukaan paras 14 testatusta mallista, GPT-5.6 Sol, sai keskimäärin 59,7 prosenttia.

Tekoälyagentti on ohjelma, joka tekee monivaiheista työtä mallin avulla. Työn aikana se joutuu jatkuvasti valitsemaan esimerkiksi, minkä hypoteesin se testaa tai minkä koodin päälle se rakentaa. Huono valinta kostautuu usein vasta myöhemmin. Tutkijat kutsuvat kykyä tehdä nämä valinnat hyvin agentin ”mauksi” (taste).

Kysymykset on poimittu tallennetuista agenttiajoista niistä kohdista, joissa ratkaisuyritykset erkanevat toisistaan. Ajo pysäytetään haarakohtaan, ja myöhempi työ piilotetaan. Testattava malli näkee tehtävän, siihenastisen ajon ja kaksi vaihtoehtoista seuraavaa askelta. Oikean vastauksen ratkaisee se, miten haarat lopulta päättyivät, ei asiantuntijan arvio.

Haarakohtia on kahta tyyppiä. Rinnakkaisessa haarassa kaksi erillistä yritystä lähtee samasta tilanteesta. Kiertotiessä sama agentti poikkeaa eteenpäin vievältä polulta ja korjaa suuntaa myöhemmin. Silloin testattavan mallin pitää huomata virhe ennen kuin agentti itse huomasi sen.

Hugging Facessa julkaistun aineistokuvauksen mukaan kysymyksiä on 502. Niistä 390 tulee ohjelmistokehityksestä, jossa agentit ratkoivat SWE-bench- ja SWE-bench Pro -tehtäviä, ja 112 koneoppimistutkimuksesta METR:n julkaisemien MALT-ajojen pohjalta. Kysymykset ja vaihtoehdot on tuotettu mallin avulla. The Decoderin mukaan ihmistarkastajat vahvistivat lähes kaikki automaattisesti tuotetut vastaukset.

Jokainen kysymys esitetään kahdesti, toisella kerralla vaihtoehdot päinvastaisessa järjestyksessä. Vastaus lasketaan oikeaksi vain, jos malli vastaa oikein molemmilla kerroilla. Arvaamalla saa 25 prosenttia, ja malli, joka vastaa aina samoin, esimerkiksi aina A, saa nollan. Aineistokuvauksen mukaan pääluku on ohjelmistokehitys- ja tutkimuskysymysten tarkkuuksien painottamaton keskiarvo, joten se ei ole suoraan oikeiden vastausten osuus kaikista 502 kysymyksestä.

The Decoder kuvaa kärkimallien tulosta tuskin kolikonheittoa paremmaksi, mutta tällä mittarilla 59,7 prosenttia on yli kaksi kertaa arvaustaso. GPT-5.5 sai 59,5 prosenttia, ja muut mallit jäivät selvästi alemmas. Kiertotiet olivat johdonmukaisesti vaikeampia kuin rinnakkaiset haarat.

Tulos riippui siitä, milloin ratkaiseva vihje tuli näkyviin. Jos vihje näkyi jo aiemmissa askelissa, mallien keskimääräinen tarkkuus oli 62,3 prosenttia. Jos se ilmeni vasta paljon myöhemmin tehdyssä työssä, tarkkuus putosi 21 prosenttiin. Kahdella mallilla kokeiltiin kolmea päättelytasoa, eikä tarkkuus juuri muuttunut. Tutkijoiden tulkinnan mukaan tällaisissa haarakohdissa valintaan tarvittavaa vihjettä ei vielä ole näkyvissä.

The Decoderin mukaan tutkijat myös opettivat valintakykyä toiselle mallille. Opettajamalli tunsi oikean polun, ja sen arviot siirrettiin Qwen3.6-27B-pohjaiseen oppilasmalliin, joka näki vain kysymyksen. Uusissa tehtävissä oppilaan tarkkuus nousi 30 prosentista 47,9 prosenttiin. Kun oppilasmallin neuvo lisättiin haarakohdissa toisen agentin kontekstiin, agentti ratkaisi 41 SWE-bench Pro -tehtävästä 33,7 prosenttia. Ilman neuvoja osuus oli 14,6 prosenttia. Täysin oikeilla neuvoilla osuus olisi ollut 39 prosenttia. Nämä luvut kertovat ratkaistujen tehtävien osuuden, eivät Taste-Benchin tarkkuutta.

Aineisto on Hugging Facessa CC BY 4.0 -lisenssillä. Sen saa käyttöönsä vasta, kun hyväksyy ehdot, jotka kieltävät kysymysten uudelleenjulkaisun. Arviointikoodi on GitHubissa.