Zhongguancun Academyn ja University of Science and Technology of Chinan tutkijat julkaisivat 13. lokakuuta arXivissa esijulkaisun, joka jäsentää, miten tekoälyagentti voi parantaa harnessiaan omien kokemustensa perusteella. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Muutokset kohdistuvat kehotteisiin, muistiin, työnkulkuihin ja koodiin, mutta mallin painot pysyvät samoina. Työtä ei ole vertaisarvioitu.

Kirjoittajien kuvaamassa kierroksessa nykyinen harness ajaa ensin joukon tehtäviä. Sen jälkeen päivitysvaihe etsii ajojen kulun ja palautteen perusteella virheitä, ehdottaa muutoksia, arvioi ne ja päättää, hyväksytäänkö ne. Hyväksytty muutos tallennetaan ja otetaan käyttöön seuraavissa ajoissa. Jos mitään ei hyväksytä, vanha harness jää voimaan. Ehdotukset eivät saa muuttaa lopullista arviointia, joka pisteyttää tulokset. Paperin mukaan pelkkä lokien kerääminen tai kontekstin tiivistys kiinteillä säännöillä ei vielä tarkoita harnessin muuttamista.

Kirjoittajat jakavat muutokset kahteen ryhmään. Ensimmäisen ryhmän muutokset muokkaavat ohjeita, tallennettua kokemusta tai valmiiden osien järjestystä. Toisen ryhmän muutokset koskevat suoritettavaa koodia, kuten työkaluja, ohjauslogiikkaa (esimerkiksi kontekstin kokoamista ja virheistä toipumista) tai sitä, mikä liitännäinen hoitaa minkin palvelun. Kirjoittajat varoittavat, että esimerkiksi jaetun kontekstin muutos voi muuttaa myös niiden osien toimintaa, joita ei ole muokattu.

Teoriaosassa kirjoittajat kuvaavat muutosten etsinnän evoluutioalgoritmina. Luotettavuutta he arvioivat PAC-oppimisteorialla. Se on tilastollinen viitekehys, jolla arvioidaan, toimiiko opittu myös uusissa tapauksissa. Paperissa esitetyt rajat sille, miten muutokset yleistyvät ja aiemmat parannukset säilyvät, pätevät vain paperissa nimetyillä oletuksilla, ja hyväksymissääntö edellyttää tuoretta, riippumatonta validointiaineistoa. Kirjoittajien mukaan validointia on jatkettava käytön aikana, kun tehtävät ja arvioijat muuttuvat, ja oppimiselle, ajonaikaisille oikeuksille ja seurauksiltaan merkittäville toimille tarvitaan erilliset suojaukset.

Vastaava kirjoittaja Yifei Shen kirjoittaa Hugging Facen paperisivulla, että raportoitu parannus voi perustua neljään eri väitteeseen, joista kukin vaatii omanlaisensa näytön: arvio ei riipu hausta tai se ottaa valinnan huomioon, hyväksytty muutos oli käytössä pisteytetyissä ajoissa, muutos aiheutti eron kontrolloiduissa oloissa ja ero säilyy muissakin kuin sen tuottaneissa tehtävissä.

Esimerkkinä paperi referoi SkillOpt-Lite-tutkimusta, jossa HarnessOpt-menetelmä paransi sitä, miten agentti esikatselee taulukoita, tarkistaa tulokset ja toipuu työkaluvirheistä. Taulukkotehtävien SpreadsheetBench-testissä GPT-5.4-nano ylsi HarnessOptilla ja skillillä 77,58 prosentin tarkkuuteen, kun taas GPT-5.5 sai SkillOptilla 76,20 prosenttia. Kirjoittajien mukaan tämä ei osoita, että ensin mainittu olisi samalla kustannuksella parempi.

SpreadsheetBench-tarkkuus prosentteina. Lähde: esijulkaisun taulukko 2, jossa SkillOpt-Lite-tutkimuksen osuudet on muunnettu prosenteiksi.

Toisessa referoidussa kokeessa Codex-agentti teki simuloidussa toimistotyössä itselleen haku- ja yhteenvetotyökaluja. Ensimmäisessä tehtävässä agentti tarvitsi kolme työkalukutsua, kun vertailuajossa ilman itse tehtyjä työkaluja niitä tarvittiin 13. Aikaa kului kuitenkin 54,9 prosenttia ja tokeneita 15,7 prosenttia enemmän kuin vertailuajossa. Erikseen raportoidun sarjan mukaan viidessä tehtävässä säästyi yhteensä 110 351 tokenia ja 22,97 sekuntia. Sarjan ensimmäinen rivi ei kuitenkaan vastaa ensimmäisen tehtävän lukuja, joten kirjoittajien mukaan lukuja ei voi tulkita yhtenäiseksi kustannuskehitykseksi.