Google Harness²: agentti paranee ilman uudelleenkoulutusta

Google Cloud AI Research julkaisi lokakuun puolivälissä avoimen kehyksen nimeltä Harness². Se ei ole uusi kielimalli eikä uusi tuote, vaan työkalu joka parantaa sitä järjestelmää mallin ympärillä. Julkaisu on Apache-2.0-lisenssillä ja teknisen raportin numero on arXiv 2610.14224.

Ajatus on yksinkertainen mutta helposti ohitettu: mallin suorituskyky riippuu yhtä paljon siitä mitä sen ympärille on rakennettu kuin siitä kuinka monta parametria sillä on.

Mitä Google julkaisi?

Kehyksessä erotetaan kaksi asiaa. Harness on kaikki se mikä tekee mallista agentin: kehotteet, työkalut, muisti, taidot ja orkestrointi. Harnessing on sen järjestelmän parantamista. Harness² tekee jälkimmäistä niin, että mallin painoihin ei kosketa lainkaan.

Tämä on olennainen ero muihin tapoihin parantaa tuloksia. Hienosäätö vaatii dataa, laskentaa ja aikaa. Harness²:n lähtökohta on, että sama malli voi toimia selvästi paremmin kun sen ympärillä oleva järjestelmä korjataan tehtävän mukaiseksi.

Miten Propose–Probe–Compose toimii?

Jokaisen tehtävän kohdalla kehys tekee kolme asiaa. Ensin se ehdottaa muutoksia harnessiin: uusi kehote, uusi työkalu, erilainen muistin käyttö. Sitten se ajaa ehdotukset samalla tehtävällä ja katsoo mitä käyttäytymisessä muuttui. Lopuksi se kokoaa parhaat palat yhdeksi korjatuksi harnessiksi.

Se mikä tässä on teknisesti kiinnostavaa: järjestelmä ei tarvitse oikeita vastauksia. Vertailu tehdään käyttäytymiserojen välillä, ei oikein/väärin-palautteen avulla. Menetelmä ei siis vaadi merkittyä dataa, ja juuri se tekee siitä käyttökelpoisen tilanteissa joissa oikeaa vastausta ei ole tarjolla.

Raportissa verrataan menetelmää aiempiin tapoihin, kuten DSPyyn, STOPiin ja ReasoningBankiin. Ero on siinä, että Harness² parantaa sekä itse tehtävän harnessia että sitä mekanismia jolla parannuksia ehdotetaan.

Toinen kierros: parannuskehys parantaa itseään

Tehtävätason lisäksi kehyksessä on toinen taso. Jokaisen tehtävän jälkeen se kerää kirjastoon ne harness-versiot jotka otettiin käyttöön, ja oppitunnit siitä miksi ne toimivat. Seuraava tehtävä alkaa puhtaalta pöydältä, mutta parannusmekanismi on edellisen kierroksen verran viisaampi.

Tämä ratkaisee ongelman joka on helppo havaita mutta vaikea korjata: yhdelle tehtävälle räätälöity harness ei siirry seuraavaan, ja liian tiukasti kohdennettu versio voi jopa heikentää tulosta kun tehtävät muuttuvat.

Mitä luvut kertovat?

Kolme ammattimaista testistöä ja neljä mallin ja harnessin yhdistelmää. Yksi parannuskierros paransi tulosta kaikissa yhdistelmissä:

• WorkBuddy-Bench: jopa 11,5 pistettä
• JobBench: 4,5 pistettä
• LAB-testistön osittainen läpäisy: 11,8 prosenttiyksikköä

Kokeissa käytettiin kahta avointa ajomoottoria, OpenCode ja Codex, ja kahta kiinteää mallia, GLM-5 ja Gemini 3.5 Flash. Raportin mukaan kaikki viisi testattua mallia paranivat jokaisessa testistössä, Claude Opus 5 mukaan lukien. Kierrosmäärän kasvattaminen viiteen toi lisää parannusta.

Ja se lause jonka takia tämä kannattaa noteerata: heikompi malli paremmalla harnessilla voi voittaa vahvemman mallin sen omalla harnessilla. Jos se pitää yleisesti, mallin vaihtaminen isompaan ei ole aina se paras ensimmäinen siirto.

Missä se toimii — ja missä ei

Toimii parhaiten ammattimaisissa tehtävissä joissa on selkeä lopputulos, kuten toimistotyö ja työhakemukset. Menetelmä ei vaadi merkittyä dataa, ja se paransi tulosta jokaisessa testatussa yhdistelmässä.

Rajat: julkaisu tukee vain kahta ajomoottoria ja kolmea testistöä, joten se ei kytkeydy mihin tahansa agenttijärjestelmään. Yksi tehtävä ajetaan monta kertaa, eli tokenia kuluu moninkertaisesti. Lisäksi julkaisua läpikäynyt arvioija huomautti, että kokeiluohjeissa ajomoottorin verkkoyhteyttä ei rajoiteta ja Codex ajetaan ilman hiekkalaatikkoa. Sitä ei siis ajeta tuotantoympäristössä ilman omaa eristystä.

Miltä se näyttäisi tavallisessa yrityksessä?

Otetaan esimerkki jossa tekoäly kirjoittaa tuotekuvauksia. Sama malli tuottaa tekstin, mutta laatu vaihtelee sen mukaan mitä sille annetaan: onko mukana tuotteen mitat ja materiaalit, saako se esimerkin hyväksytystä tekstistä, saako se tarkistusvaiheen joka lukee oman tuotoksensa läpi. Nämä ovat harnessin osia, eivät mallin ominaisuuksia.

Harness²:n menetelmä sanoo, että näitä osia kannattaa kokeilla järjestelmällisesti eikä arvaamalla. Kirjoita kolme versiota ohjeesta, aja sama tehtävä jokaisella, ja vertaa lopputuloksia keskenään. Se on halvempaa kuin uuden mallin hankkiminen ja usein hyödyllisempää.

Se mitä menetelmä ei korjaa: jos lähtötiedoissa on virhe, parempi harness tuottaa virheen vakuuttavammin. Jos tehtävä vaatii tietoa jota mallilla ei ole, kehys ei sitä keksi. Työkalu parantaa tapaa käyttää mallia, ei mallin tietoja.

Mitä tämä tarkoittaa sinulle?

Jos tekoälytyökalu tuottaa huonoa jälkeä, syy ei aina ole malli. Usein syy on se kehote, ne työkalut ja se muisti joita työkalun ympärille on rakennettu. Harness²:n tulos on mitattu muistutus siitä, että sama malli voi olla yhdessä järjestelmässä hyvä ja toisessa huono.

Yritykselle tämä tarkoittaa kahta käytännön asiaa. Ennen kuin vaihdat kalliimpaan malliin, kokeile parantaa sitä mitä mallille syötetään ja mitä työkaluja sillä on käytettävissään. Ja kun testaat kahta työkalua, testaa niitä omilla tehtävilläsi etkä yleisillä vertailuluvuilla, koska juuri harnessin istuvuus ratkaisee.

Mitä mieltä me olemme?

Tämä on tylsä mutta merkittävä julkaisu. Se ei lupaa uutta älyä, vaan osoittaa että merkittävä osa suorituskyvystä on kiinni järjestelmästä mallin ympärillä — ja että sitä järjestelmää voi parantaa ilman uudelleenkoulutusta.

Kaksi varausta kannattaa silti pitää mielessä. Luvut ovat valmistajan omista testistöistä, eikä niitä ole toistettu riippumattomasti. Ja menetelmä vaatii monta ajoa per tehtävä, joten halvalla sitä ei ajeta.

Jos haluat lukea siitä miten arvioimme työkaluja ja mitä pidämme todisteena, se on selitetty sivulla miten arvostelemme. Vertailuja tekoälytyökaluista löydät parhaat AI-työkalut yrittäjälle -oppaasta.

UKK

Mitä Harness² tarkoittaa?

Se on Googlen avoimen lähdekoodin kehys, joka parantaa mallin ympärillä olevaa järjestelmää: kehotteita, työkaluja, muistia ja orkestrointia. Mallin painoihin ei kosketa.

Parantaako se mallia vai työkalua?

Se parantaa työkalua eli harnessia. Sama malli voi siis toimia paremmin, koska sen ympärillä oleva järjestelmä korjataan tehtävän mukaiseksi.

Tarvitaanko siihen merkittyä dataa?

Ei. Menetelmä vertaa eri versioiden käyttäytymistä keskenään, ei oikeita vastauksia vasten. Siksi se toimii myös tehtävissä joissa oikeaa vastausta ei ole etukäteen tiedossa.

Voiko sitä käyttää omassa työssä?

Kehys tukee vain OpenCode- ja Codex-ajomoottoreita, joten se ei kytkeydy mihin tahansa järjestelmään. Idea on silti sovellettavissa: aja sama tehtävä usealla kehoteversiolla ja valitse se joka käyttäytyy parhaiten.

Korvaako tämä isomman mallin?

Joskus. Raportin mukaan heikompi malli paremmalla harnessilla voi voittaa vahvemman mallin sen omalla harnessilla. Käytännössä kannattaa kokeilla kehyksen parantamista ennen kuin maksaa isommasta mallista.

Aiheeseen liittyvää

• ChatGPT vs Claude vs Gemini 2026
• Paras AI-työkalu yrittäjälle 2026
• Paras AI-kuvageneraattori 2026
• Kaikki arvostellut tekoälytyökalut