Podtyper on verkkopalvelu, joka tekee podcastjaksosta tekstin julkisen linkin perusteella. Palvelu julkaisi 18. lokakuuta blogissaan oman mittauksensa siitä, kuinka tarkasti sen käyttämä xAI:n puheentunnistusmalli grok-voice-transcribe-2.0 tunnistaa puheen. Perustaja Berke Atac kertoo, että selkeillä englanninkielisillä äänitteillä sanavirhesuhde oli 1,23 prosenttia ja vaikeammilla 4,48 prosenttia.

Mittauksen taustalla on palvelun aiempi markkinointiteksti, joka lupasi puhtaalla äänellä yli 99 prosentin sanatarkkuutta, vaikka mittausta ei ollut julkaistu. Yhtiö kertoo korvanneensa väitteen varovaisemmalla tekstillä. Atac kirjoittaa itse, ettei tulos osoita yli 99 prosentin tarkkuutta podcasteissa. Kyse on yhtiön omasta testistä, ei riippumattomasta arviosta.

Sanavirhesuhteessa (word error rate, WER) mallin tuottamaa tekstiä verrataan ihmisen tekemään viitetekstiin. Väärin tunnistetut, puuttuvat ja ylimääräiset sanat lasketaan yhteen ja jaetaan viitetekstin sanamäärällä. Podtyper laski kunkin koeasetelman kaikkien klippien virheet yhteen eikä käyttänyt klippikohtaisten prosenttien keskiarvoa.

Äänitteet ovat LibriSpeech-aineistosta, joka on äänikirjoista koottua englanninkielistä luettua puhetta. Podtyper valitsi ennen ajoa kiinteällä kaavalla sekä selkeästä että vaikeammasta testiosiosta 12 tasavälein sijaitsevaa klippiä. Mukana oli yhteensä 24 puhujaa, 467 sanaa ja noin 174 sekuntia ääntä. Lisäksi Podtyper ajoi selkeät klipit toisen kerran sekä erikseen keinotekoisen kohinan kanssa.

Lähde: Podtyper, ajo 18.10.2026, 12 pyyntöä koeasetelmaa kohden, ei epäonnistuneita kutsuja eikä uusintoja.

Toisessa ajossa malli tuotti samat sanat ja virhemäärät, vain välimerkit vaihtelivat. Kohina lisäsi yhden virheen. Otos on niin pieni, että yksi virhe muuttaa selkeiden äänitteiden tulosta noin 0,41 prosenttiyksikköä, eikä Atac esitä eroja tilastollisesti merkitsevinä. Hän ei myöskään voi sulkea pois, että julkiset äänikirjat ovat olleet mallin koulutusaineistossa.

Osa virheistä oli kirjoitusasun eroja: viitetekstin MISSUS oli mallin tekstissä Mrs. Osa virheistä muutti merkitystä: vaikeammassa klipissä sana destinies muuttui mallin tekstissä muotoon death’s needs.

Mittaus koski vain puheentunnistusrajapinnan palauttamaa tekstiä. Siihen eivät kuuluneet Podtyperin linkkien käsittely, puhujien erottelu, aikaleimat, tiivistelmät tai lopullinen muotoilu. Keskustelupodcasteja, päällekkäistä puhetta, muita kieliä, erikoissanastoa ja pitkiä jaksoja ei testattu.

Viitetekstit, mallin vastaukset ja toistopaketti ovat ladattavissa ilman tiliä. Pisteet voi laskea uudelleen ilman API-avainta. Uuden ajon tekijä tarvitsee oman API-avaimen xAI:n palveluun ja maksaa palveluntarjoajan tavallisen hinnan. Atac huomauttaa, että palveluntarjoajan malli voi muuttua, vaikka sen nimi pysyy samana. Podtyperin litteroinnista ensimmäiset 30 minuuttia ovat ilmaisia.