Automatisk gjenkjenning gjetter feil: fest språket ditt

Dikterer du på mer enn ett språk, har du sett svikten. Du sier en setning på rumensk, og transkripsjonen kommer tilbake som fonetisk mishandlet engelsk — ekte ord, ingen av dem dine. Eller den snur midt i setningen: første halvdel på riktig språk, andre halvdel på noe modellen bestemte at du hadde byttet til. Eller, min personlige favoritt, alfabetsuppe — latinske tegn med noen kyrilliske drysset innimellom, som om modellen sikret seg bokstav for bokstav.

Dette er ikke en klage på ett produkt. Det er en forutsigbar feilmodus ved automatisk språkgjenkjenning, inkludert Keebyes engelsktilpassede standard. Den rammer folk med aksentpreget engelsk og alle som veksler språk gjennom dagen. En tospråklig utvikler med Slack på polsk og commit-meldinger på engelsk gir automatisk gjenkjenning nøyaktig de blandede signalene den håndterer dårligst.

Den andre halvdelen av klagen er stillere, men like reell: når en språkinnstilling finnes, er den ofte begravd. Tre menyer ned, bak en motorvelger, forbi en bryter hvis navn ikke nevner språk i det hele tatt. Bytter du språk tjue ganger om dagen, er en begravd innstilling i praksis ingen innstilling.

Jeg vil forklare hvorfor vinglingen skjer — med mitt eget produkts krigshistorie, for Keebye hadde dette problemet før den hadde løsningen — og så vise hvordan en faktisk løsning ser ut.

Hvorfor automatisk gjenkjenning vingler (og hvorfor det ikke helt er en feil)

Her er den ærlige mekanikken. Moderne talemodeller gjør språkidentifikasjon stille, som en del av dekodingen. Modellen lytter, danner en intern gjetning om hvilket språk den hører, og dekoder mot den gjetningen. Når lyden er ren, aksentfri og enspråklig, fungerer dette så godt at du aldri tenker på det.

Mat den så med ekte tale. En aksent forskyver vokalene mot et annet språks fonemer. En setning inneholder tre engelske låneord — det gjør enhver teknisk samtale. Det er et barn i bakgrunnen, eller du sitter på en laptop-mikrofon. Hver av disse gjør modellens interne språkgjetning mindre sikker, og en usikker gjetning kan snu mellom rammer. Når den snur, snur dekodingen med den, og du får en transkripsjon som bytter språk midt i tanken.

Det avgjørende: i de fleste verktøy finnes det ingenting som forankrer den gjetningen. Modellen bestemmer, stille, per ytring, og du har ingen overstyring. Det er ikke en feil i én enkelt app — det er hva stille automatisk gjenkjenning er. En modell som tar en skjønnsvurdering du ikke kan korrigere.

Jeg kjenner dette godt, for Keebyes standardmotor har nøyaktig denne egenskapen. Parakeet, vår engelsktilpassede standard, ignorerer ethvert språkhint i dekodingslaget — du kan ikke fortelle den hva du er i ferd med å si. På tydelig engelsk er den utmerket, og derfor er den standard. På utydelig lyd kan den vingle mellom språk som alt annet i kategorien. Jeg forteller deg dette om mitt eget produkt først, fordi løsningen bare gir mening når du godtar at problemet bor i arkitekturen, ikke i en konkurrents slurv.

Hva gjør det egentlig å feste et språk?

Løsningen er å slutte å be modellen gjette. Keebye leverer en annen motor på enheten — NVIDIAs Canary 1B v2, kvantisert til int8 — som dekker nøyaktig 25 språk: bulgarsk, kroatisk, tsjekkisk, dansk, nederlandsk, engelsk, estisk, finsk, fransk, tysk, gresk, ungarsk, italiensk, latvisk, litauisk, maltesisk, polsk, portugisisk, rumensk, slovakisk, slovensk, spansk, svensk, russisk og ukrainsk. I motsetning til standardmotoren tar Canary imot en språkinstruksjon og respekterer den.

Keebye eksponerer det som en festing: en eksplisitt språkinnstilling som sendes til Canary-motoren for hver ytring. Fest rumensk, så bruker dekoderen rumensk i stedet for å ta et automatisk språkvalg. Gjenkjenningen kan fortsatt ta feil, særlig rundt låneord og støyete lyd, men språkvalget er ikke lenger en ukontrollert gjetning.

Innstillingen leses live, per diktering. Endrer du den, bruker neste hold-inne-diktering det nye språket uten omstart av appen. Det betyr mer enn det høres ut som: en språkkontroll er langt mer nyttig når det å bytte den ikke avbryter arbeidet.

Og fordi Canary kjører på enheten som alt annet i Keebye, koster festingen deg ikke personvernhistorien. Modellen er på rundt 1,3 GB og lastes ned én gang; etter det forlater aldri rumensken din, polsken din eller ukrainsken din maskinen. (Hvorfor vi mener lokal flerspråklig diktering betyr noe i det hele tatt, er sitt eget innlegg — diktering for utviklere bør ikke bare være på engelsk. Dette er den praktiske oppfølgeren: det innlegget argumenterer for språkene, dette handler om å gjøre dem faktisk brukbare.)

To klikk, ikke tre menyer ned

En festing du ikke rekker, er en festing du ikke bruker, så bryteren bor i menylinjen. Keebyes ikon i menylinjen har en meny som heter «Dictation Language», med en kuratert kortliste på 11 språk — engelsk, rumensk, fransk, tysk, spansk, italiensk, portugisisk, nederlandsk, polsk, russisk, ukrainsk. To klikk fra hvilken som helst app: klikk på ikonet, klikk på språket. Du åpner ikke Innstillinger, og du forlater ikke vinduet du jobbet i.

Den fulle listen på 25 språk bor i Innstillinger, for språkene utenfor kortlisten. Men kortlisten dekker den daglige virkeligheten i det meste av tospråklig arbeid: du skriver til teamet ditt på ett språk og til en kunde eller en AI-agent på et annet, og du trenger at vekslingen ikke koster noe.

Det er ett alternativ til som er verdt å vite om, fordi det endrer hvordan noen bruker festingen fullstendig: en bryter for oversettelse til engelsk. Snakk ditt språk, og engelsk lander ved markøren — samme motor, samme kjøring på enheten. Hvis den indre monologen din går på rumensk mens det du leverer må være på engelsk (commit-meldinger, prompter til en kodeagent, svar til et internasjonalt team), kollapser dette oversettelsessteget du gjorde inni hodet. Jeg bruker det mer enn jeg forventet.

Hva festingen koster deg

25 språk er 25 språk. Skybaserte dikteringsverktøy lister opp langt flere, fordi det å sende lyd til en stor modell på tjenersiden er den billige måten å legge til språk på. Det er den reelle avveiningen ved å kjøre på enheten: en modell som får plass på Mac-en din, dekker mindre av verden enn en modell som fyller et datasenter. Er ikke språket ditt på listen over 25, dekker ikke Keebyes flerspråklige motor deg i dag, og jeg sier det heller enn å runde opp.

En festing betyr en festing. Dette er baksiden av determinisme, og jeg vil være tydelig på det: fester du rumensk og så snakker engelsk, vil Keebye trofast feildekode engelsken din som rumensk til du bytter. Motoren gjør nøyaktig det du ba den om. Hele lokkemiddelet ved automatisk gjenkjenning var at du aldri skulle måtte tenke på dette — festingen bytter den bekvemmeligheten mot forutsigbarhet. Etter min erfaring er byttet verdt det, fordi en feil gjetning du ikke kan styre, er verre enn en feil innstilling du kan fikse med to klikk. Men det er et bytte, ikke en gratis lunsj.

Kortlisten i menylinjen er 11 språk, ikke 25. Hvis det daglige paret ditt inneholder for eksempel finsk eller gresk, går du gjennom Innstillinger for den ene siden av det. Kuratering betyr at noens språk ikke kom med i hurtigmenyen.

Hvor dette etterlater klagen

Klagen på kategorinivå — «dikteringen min kommer stadig ut på feil språk» — er egentlig en klage på stille beslutninger. Modellen gjettet, gjetningen var feil, og det fantes ingen måte å si fra på. Enhver løsning som beholder gjettingen (bedre gjenkjenning, lengre lydvinduer, konfidensterskler), gjør bare svikten sjeldnere og rarere. Løsningen som faktisk avslutter klagen, er å gi brukeren avgjørelsen tilbake.

Lever du dette med et annet verktøy nå, er sammenligningssidene våre ærlige om hvor hvert verktøy passer — Keebye vs. Superwhisper og Keebye vs. Wispr Flow dekker begge språkspørsmålet blant andre. Vil du prøve selve festingen, start den gratis prøveperioden nedenfor, spill av på nytt den rumenske eller polske setningen fra starten av denne artikkelen, og se hvor mye av vinglingen som kom fra en ukontrollert gjetning snarere enn fra aksenten din.