Klang släpper nu sin första öppna speech to text-modell för svenska. Modellen, som kallas Pianissimo, är tränad för svenska och svenska dialekter och tillräckligt effektiv för att kunna köras lokalt på en vanlig laptop. Modellen släpps Open Source, fritt tillgänglig för andra att använda och bygga vidare på.
Pianissimo bygger på Nvidia Parakeet, en öppen speech-to-text-modell utvecklad för effektiv och snabb transkribering, som har optimerats av Klang för svenska och svenska dialekter. I Klangs tester har modellen jämförbar träffsäkerhet med KB Whisper Large, Kungliga bibliotekets bästa öppna svenska modell, men med cirka 60 gånger högre hastighet.
Klangs transkriberingsmodell når omkring 3600x realtime, vilket innebär att modellen kan bearbeta motsvarande drygt 1 timmes ljud på en sekund. Den höga hastigheten gör det möjligt att transkribera tal löpande under ett pågående samtal med mycket kort fördröjning, vilket gör modellen särskilt lämpad för realtidstranskribering och andra tjänster där stora mängder ljud behöver behandlas snabbt.
Vi bygger själva allt mer teknik som kräver transkribering i realtid, men har saknat en öppen modell anpassad för svenska, som kombinerar hög kvalitet med den hastighet vi behöver. Att Pianissimo kan köras på vanlig konsumenthårdvara öppnar också för helt nya typer av tjänster. Nu ser vi fram emot att se vad andra kan bygga vidare på modellen, säger Mattias Fält, Head of AI, medgrundare och ansvarig för Pianissimo på Klang AI.
Vill att fler svenska bolag bygger vidare på varandras teknik
Klang väljer att släppa modellen öppet och fritt tillgängligt för alla och ser detta som en viktig del i att bygga ett starkare svenskt och europeiskt AI-ekosystem, där företag i högre grad kan bygga vidare på teknik som redan utvecklats.
Om svenska och europeiska företag ska kunna bygga konkurrenskraftig AI behöver vi bli bättre på att bygga ovanpå varandras arbete med interoperabilitet som kärna. Genom att öppna modellen kan andra lägga sin tid på nästa lager av innovation. För oss handlar det också om att minska beroendet av såväl externa modelleverantörer som utomeuropeisk infrastruktur, fortsätter Mattias Fält.
Pianissimo kan köras direkt lokalt och offline, men erbjuds även via svenska Berget AI:s API och infrastruktur i Sverige. Därmed kan företag som vill använda modellen som en hostad tjänst göra det via en svensk leverantör.
Vi tror starkt på det svenska ekosystemet och det här visar vad som blir möjligt när svenska aktörer samarbetar öppet och nära. Vi är väldigt glada över att ta nästa steg i samarbetet med Klang och kunna erbjuda nya möjligheter för live-transkribering på svenska. Precis som tidigare kan vi garantera att data behandlas helt inom Sverige och att inget sparas, något som är avgörande för många verksamheter med krav på hög datasäkerhet, säger Andreas Lundmark, VD, Berget AI.
Första modellen i en större satsning
Pianissimo är den första av flera AI-modeller som Klang planerar att släppa öppet. Fler modeller planeras inom en snar framtid, där vissa kommer att optimeras för hastighet och andra för ännu högre träffsäkerhet. Klang planerar även versioner för fler språk, där danska och norska står först på tur med ambitionen att därefter utveckla fler specialiserade modeller för den europeiska marknaden.
Mer info om Klang Pianissimo
- Modellen är utvecklad för användningsområden där svensk taligenkänning behöver fungera i realtid, exempelvis live transkribering, tillgänglighetslösningar och andra tjänster som behöver följa ett samtal medan det pågår.
- Modellen kan köras lokalt och offline på vanlig konsumenthårdvara, utan att ljud eller data behöver skickas till en extern AI tjänst.
- Pianissimo når omkring 3600x realtime i Klangs tester, vilket motsvarar cirka 40 timmars ljud som bearbetas på under en minut.
- Modellen släpps som en öppen modell vilket innebär att den får användas & modifieras och byggas vidare på.
- Jämförelserna kring träffsäkerhet och hastighet har gjorts på standardiserade dataset som Common Voice och FLEURS samt på Klangs eget dataset för svenska dialekter.
Klang Pianissimo finns tillgänglig från 23 september via Hugging Face och som API via Berget AI.
Testa Pianissimo själv