Det nordiska AI-bolaget Klang.ai släpper nu sin första öppna tal-till-text-modell för danska. Modellen, som heter Pianissimo, överträffar de ledande alternativen i hastighet och träffsäkerhet, både öppna, lokala modeller och kommersiella alternativ från techjättar som Google, OpenAI och ElevenLabs.
Pianissimo bygger på Nvidia Parakeet, en öppen tal-till-text-modell utvecklad för effektiv och snabb transkribering, som Klang har optimerat för danska. I testerna har Pianissimo lägre felfrekvens än samtliga jämförda alternativ och är samtidigt snabbare än de flesta.
Vi utvecklar allt mer teknik som kräver transkribering i realtid, men de skandinaviska språken har fram till relativt nyligen varit nedprioriterade. Nu har vi utvecklat den modell som vi själva anser att vi behöver, både när det gäller hastighet och träffsäkerhet, säger Mattias Fält, Head of AI, medgrundare och ansvarig för Pianissimo på Klang AI.
Lanseringen sker i en period av snabb utveckling inom dansk talteknik, präglad av flera nya öppna modeller och ett växande ekosystem av forskare, företag och utvecklare. Genom att släppa Pianissimo som en öppen modell vill Klang bidra till en fortsatt utveckling med fler högpresterande modeller.
Om nordiska företag ska kunna utveckla konkurrenskraftig AI behöver vi bli bättre på att bygga vidare på varandras arbete. Med Pianissimo vill vi bidra till den utvecklingen och samtidigt skapa fler alternativ till de stora internationella modelleverantörerna, för att stärka Nordens och Europas tekniska oberoende, fortsätter Mattias Fält.
Tester med autentiskt danskt tal och 3 600 gånger realtid
Klang har själva utformat testerna för att mäta modellernas förmåga att transkribera autentiskt tal som inte ingått i kända träningsdata. I testerna har Pianissimo en felfrekvens som är 10 respektive 11 procent lägre än de öppna danska modellerna Edda och Saga, och 4 procent lägre än den kommersiella modellen ElevenLabs Scribe v2. Resultaten mäts i Word Error Rate (WER), där ett lägre värde betyder färre transkriberingsfel.
Pianissimo är samtidigt utvecklad för snabb och resurseffektiv transkribering och når en hastighet på cirka 3 600 gånger realtid, vilket innebär att en timmes inspelat ljud kan bearbetas på ungefär en sekund. Modellen kan också köras lokalt och offline på vanlig konsumenthårdvara, utan att ljud eller data behöver skickas till en extern tjänst.
Nästa steg i en nordisk satsning
Efter lanseringen av den svenska versionen av Pianissimo i september är danska nästa steg i Klangs satsning på öppen talteknik för de skandinaviska språken. En norsk version planeras inom kort, liksom fler modeller optimerade för antingen hastighet eller träffsäkerhet.
Mer info om Klang Pianissimo
- Teknik: Baserad på Nvidia Parakeet. Kan köras lokalt och offline på konsumenthårdvara.
- Träffsäkerhet: 11,83 % WER, det bästa resultatet bland modellerna i Klangs benchmark.
- Benchmark: Tre separata dataset med autentiskt danskt tal från Europaparlamentet, dansk tv och språkforskning vid Köpenhamns universitet (DanPASS).
- Hastighet: Cirka 3 600 gånger realtid, vilket motsvarar 40 timmars ljud på under en minut.
- Användningsområden: Modellen är utvecklad för användningsområden där det behövs hög kvalitet och hastighet, till exempel livetranskribering, tillgänglighetslösningar och andra tjänster som behöver följa ett samtal medan det pågår.
- Tillgänglighet: Modellen släpps med öppna modellvikter under licensen CC BY 4.0, vilket innebär att den fritt får användas, modifieras och vidareutvecklas, även kommersiellt, med angivande av källa och licens.
Klang Pianissimo finns tillgänglig via Hugging Face från den 3 november.
Testa Pianissimo själv