Det nordiske AI-selskapet Klang.ai lanserer nå sin første åpne tale-til-tekst-modell for dansk. Modellen, som heter Pianissimo, overgår de ledende alternativene i hastighet og nøyaktighet, både åpne, lokale modeller og kommersielle alternativer fra teknologigiganter som Google, OpenAI og ElevenLabs.
Pianissimo bygger på Nvidia Parakeet, en åpen tale-til-tekst-modell utviklet for effektiv og rask transkribering, som Klang har optimalisert for dansk. I testene har Pianissimo lavere feilrate enn samtlige sammenlignede alternativer og er samtidig raskere enn de fleste.
Vi utvikler stadig mer teknologi som krever transkribering i sanntid, men de skandinaviske språkene har inntil relativt nylig vært nedprioritert. Nå har vi utviklet den modellen vi selv mener vi trenger, både når det gjelder hastighet og nøyaktighet, sier Mattias Fält, Head of AI, medgründer og ansvarlig for Pianissimo i Klang AI.
Lanseringen skjer i en periode med rask utvikling innen dansk taleteknologi, preget av flere nye åpne modeller og et voksende økosystem av forskere, selskaper og utviklere. Ved å lansere Pianissimo som en åpen modell vil Klang bidra til en fortsatt utvikling med flere høytytende modeller.
Hvis nordiske selskaper skal kunne utvikle konkurransedyktig AI, må vi bli flinkere til å bygge videre på hverandres arbeid. Med Pianissimo vil vi bidra til den utviklingen og samtidig skape flere alternativer til de store internasjonale modelleverandørene, for å styrke Nordens og Europas teknologiske uavhengighet, fortsetter Mattias Fält.
Testet med autentisk dansk tale og 3 600 ganger sanntid
Klang har selv utformet testene for å måle modellenes evne til å transkribere autentisk tale som ikke har inngått i kjente treningsdata. I testene har Pianissimo en feilrate som er henholdsvis 10 og 11 prosent lavere enn de åpne danske modellene Edda og Saga, og 4 prosent lavere enn den kommersielle modellen ElevenLabs Scribe v2. Resultatene måles i Word Error Rate (WER), der en lavere verdi betyr færre transkriberingsfeil.
Pianissimo er samtidig utviklet for rask og ressurseffektiv transkribering og når en hastighet på cirka 3 600 ganger sanntid, som betyr at en times innspilt lyd kan behandles på omtrent ett sekund. Modellen kan også kjøres lokalt og offline på vanlig forbrukermaskinvare, uten at lyd eller data må sendes til en ekstern tjeneste.
Neste steg i en nordisk satsing
Etter lanseringen av den svenske versjonen av Pianissimo i september er dansk neste steg i Klangs satsing på åpen taleteknologi for de skandinaviske språkene. En norsk versjon er planlagt om kort tid, i tillegg til flere modeller optimalisert for enten hastighet eller nøyaktighet.
Mer om Klang Pianissimo
- Teknologi: Basert på Nvidia Parakeet. Kan kjøres lokalt og offline på forbrukermaskinvare.
- Nøyaktighet: 11,83 % WER, det beste resultatet blant modellene i Klangs benchmark.
- Benchmark: Tre separate datasett med autentisk dansk tale fra Europaparlamentet, dansk TV og språkforskning ved Københavns universitet (DanPASS).
- Hastighet: Cirka 3 600 ganger sanntid, tilsvarende 40 timer lyd på under ett minutt.
- Bruksområder: Modellen er utviklet for bruksområder der det trengs høy kvalitet og hastighet, for eksempel direktetranskribering, tilgjengelighetsløsninger og andre tjenester som må kunne følge en samtale mens den pågår.
- Tilgjengelighet: Modellen lanseres med åpne modellvekter under lisensen CC BY 4.0, som betyr at den fritt kan brukes, modifiseres og videreutvikles, også kommersielt, med angivelse av kilde og lisens.
Klang Pianissimo er tilgjengelig via Hugging Face fra 3. november.
Test Pianissimo selv