Kenapa Aplikasi Imlak Memakan Perkataan Pertama Anda

Tekan hotkey. Mula bercakap. Perhatikan transkrip bermula pada perkataan kedua anda — kadangkala yang ketiga. “Refactor logik retry itu” keluar sebagai “logik retry itu.” “Jangan merge itu dulu” keluar sebagai “merge itu dulu,” satu ayat yang benar-benar berbahaya untuk ditaip bagi pihak anda. Kegagalan ini mudah dihasilkan semula merentas pipeline mikrofon cold-start, daripada ciri terbina dalam OS hinggalah ke alat imlak khusus.

Orang menggambarkannya dengan pelbagai cara — “ia memotong permulaan,” “saya kena berhenti sekejap sebelum bercakap,” “perkataan pertama sentiasa hilang” — tetapi ia satu fenomena yang sama, dan setelah anda terkena sekali, anda membentuk penyelesaian sementara yang dibentuk semua orang: tekan kekunci, tunggu seketika, kemudian bercakap. Yang bermakna anda kini melakukan satu ritual tahyul kecil berpuluh-puluh kali sehari untuk menampung alat anda, dan alat itulah yang telah melatih anda, bukan sebaliknya.

Saya melakukan ritual itu selama berbulan-bulan dalam alat lain. Semasa membina Keebye, membunuhnya adalah antara perkara pertama dalam senarai, kerana penyelesaiannya ternyata memerlukan satu tolak ansur yang tidak selesa yang kebanyakan aplikasi enggan lakukan — dan saya mahu bercakap tentang tolak ansur itu sejelas saya bercakap tentang penyelesaiannya.

Kenapa perkataan pertama terpotong?

Ini masalah peringkat kategori, bukan kecuaian satu vendor, dan fiziknya mudah: mikrofon tidak serta-merta.

Apabila sebuah aplikasi imlak memulakan rakaman dengan cara naif — tekan hotkey, kemudian buka mikrofon — satu rantaian penuh perlu berjalan sebelum sampel pertama pertuturan anda ditangkap. Sesi audio OS perlu dimulakan. Peranti input perlu bangun, yang bagi sesetengah perkakasan bermakna masa pemanasan yang sebenar. Format strim dirundingkan, penimbal diperuntukkan, dan penimbal pertama yang tiba selalunya sampah yang terus dibuang. Bergantung pada mesin dan peranti, rantaian itu mengambil masa antara “sekelip mata” dan beberapa saat.

Sementara itu, anda — manusia dengan fikiran yang sudah terbentuk — mula bercakap pada saat jari anda mengenai kekunci. Biasanya sedikit sebelum saat itu, sebenarnya: niat untuk menekan dan niat untuk bercakap meninggalkan otak anda serentak, dan permulaan pertuturan lazimnya mendahului kesediaan aplikasi. Segala yang anda sebut sebelum strim itu hidup tidak pernah wujud dari sudut pandangan aplikasi. Model tidak boleh mentranskrip audio yang tidak pernah ditangkap. Maka: “logik retry itu.”

Kenapa aplikasi memulakan mikrofon atas permintaan dan bukannya membiarkannya sedia? Kebanyakannya kerana adab. Membiarkan mikrofon terbuka menelan sedikit kuasa, dan — yang jauh lebih penting — ia menyalakan penunjuk mikrofon OS, yang secara munasabah dibaca pengguna sebagai “aplikasi ini sedang mendengar saya.” Membuka mikrofon hanya atas permintaan memastikan penunjuk itu jujur dan aplikasi kelihatan sopan. Kosnya ialah risiko cold-start pada permulaan setiap rakaman.

Penyelesaiannya: mikrofon yang sudah mendengar sebelum anda menekan kekunci

Keebye menyerang ini dari kedua-dua hujung, dan dua mekanisme itu wajar diasingkan kerana ia menyelesaikan dua separuh masalah yang berbeza.

Mikrofon panas. Selepas rakaman pertama anda dalam sesuatu sesi, Keebye membiarkan strim input audio terbuka. Ini bermakna rantaian cold-start — permulaan sesi, kebangkitan peranti, rundingan strim — sudah pun berlaku sebelum imlak yang kemudian, selagi strim itu kekal sihat. Strim itu hidup sebelum jari anda bergerak.

Pre-roll. Strim yang panas membaiki kelewatan aplikasi, tetapi bukan kelewatan anda — ingat, permulaan pertuturan anda boleh mendahului tekanan kekunci anda. Jadi Keebye menyimpan penimbal bergolek 500 milisaat bagi audio terkini (8,000 sampel pada 16 kHz, dalam satu ring). Apabila anda menekan hotkey, setengah saat audio sejurus-sebelum-itu dicurahkan ke hadapan ucapan tersebut. Audio yang bermula di dalam penimbal itu tersedia untuk pentranskrip dan bukannya dibuang sebelum tekanan kekunci.

Hasil gabungannya: pada imlak berulang, strim panas dan pre-roll 500 ms merangkumi kes lazim di mana pertuturan bermula sejurus sebelum atau serentak dengan tekanan kekunci. Jeda ritual itu menjadi tidak perlu di dalam sempadan tersebut. Ia tidak boleh memulihkan perkataan yang disebut lebih daripada setengah saat sebelum rakaman bermula, dan imlak pertama dalam sesuatu sesi masih membayar latensi permulaan strim yang biasa.

Tolak ansurnya, dinyatakan terus terang

Inilah bahagian yang saya enggan sembunyikan, kerana ia harga jujur bagi reka bentuk ini: memandangkan strim audio kekal terbuka antara imlak, macOS menunjukkan mikrofon sebagai aktif walaupun anda tidak sedang mengimlak. Titik oren itu menyala. Jika anda melihat Control Center, Keebye disenaraikan sebagai sedang menggunakan mikrofon, pada waktu itu juga, sementara anda tidak melakukan apa-apa.

Apa yang sebenarnya berlaku dalam tempoh itu: audio mengalir ke dalam ring buffer 500 ms dan dibuang secara berterusan. Tiada apa yang ditranskrip. Tiada apa yang disimpan. Tiada apa yang keluar dari penimbal itu sehingga anda menekan kekunci — dan segala yang lebih lama daripada setengah saat hilang selama-lamanya, ditulis ganti oleh ring itu. Tetapi saya tidak akan berpura-pura bahawa penunjuk itu berbohong, kerana ia tidak: strim itu terbuka, dan “berkemampuan-sentiasa-mendengar” ialah gambaran yang adil tentang senibinanya, walaupun tiada apa yang mendengar dalam erti kata yang bermakna sehingga anda meminta.

Saya membuat tolak ansur ini dengan sengaja, dengan mata terbuka, dan inilah alasannya. Membuka mikrofon atas permintaan memperkenalkan risiko cold-start setiap kali: perkataan terpotong, ayat yang salah, jeda yang terlatih itu. Reka bentuk strim panas mempunyai kos yang jatuh pada keselesaan anda dengan satu titik oren, disokong oleh senibina yang boleh anda fikirkan sendiri: sejarah setempat yang teks sahaja (yang telah kami tulis dalam imlak anda tidak sepatutnya hilang begitu sahaja), transkripsi on-device, tiada audio disimpan langsung, setengah saat memori ring. Saya sanggup terima titik itu. Jika anda tidak — itu pendirian yang sah, dan ia mungkin benar-benar menjadikan alat lain pilihan yang betul untuk anda; halaman Keebye vs Superwhisper dan Keebye vs Wispr Flow kami ditulis untuk membantu tepat pada keputusan itu.

Dua sempadan, supaya tiada siapa terkejut

Imlak yang pertama sekali dalam sesuatu sesi masih mempunyai latensi permulaan strim yang biasa. Mikrofon itu panas kerana satu rakaman sudah berlaku; yang pertama masih membayar kos persediaan. Imlak yang kemudian mendapat manfaat selagi strim itu kekal terbuka.

Pre-roll ialah 500 milisaat, dan 500 milisaat itu satu detik, bukan satu ayat. Penimbal itu merangkumi kes semula jadi — satu perkataan yang bermula sedikit sebelum tekanan kekunci. Jika anda menyampaikan satu ayat penuh dan kemudian baru teringat untuk menekan kekunci, perkataan yang lebih awal itu hilang, memang begitu reka bentuknya: ring itu hanya pernah menyimpan setengah saat, tepatnya supaya aplikasi tidak menyimpan audio yang bermakna semasa melahu. Pre-roll yang lebih panjang akan menangkap lebih banyak permulaan anda yang leka dan menyimpan lebih banyak audio persekitaran anda dalam memori. Setengah saat ialah tempat saya melukis garisan itu.

Kenapa setengah saat lebih penting daripada bunyinya

Perkataan pertama yang terpotong kelihatan seperti pepijat kecil. Dalam aliran kerja lane selari yang menjadi sebab Keebye dibina — suara sebagai saluran kawalan bagi beberapa agent AI dan beberapa perbualan manusia serentak, hari kerja yang digambarkan dalam dua anak, tiga startup, satu suara — imlak berlaku berpuluh-puluh kali sehari, dalam letusan, di tengah pertukaran konteks. Alat yang menuntut jeda ritual mengenakan cukai pada setiap letusan dan, lebih buruk lagi, sekali-sekala menterbalikkan maksud anda dan menghantarnya. “Merge itu dulu” hanya lucu sekali sahaja.

Kebolehpercayaan dalam kategori ini bukan satu ciri besar. Ia pengumpulan perlindungan yang lebih kecil: pre-roll untuk audio pembukaan, sejarah di sebalik transkrip, dan laluan penyisipan yang boleh dipulihkan. Artikel ini tentang yang pertama; artikel tentang sejarah merangkumi yang kedua.

Keebye berada dalam akses awal untuk macOS. Mulakan percubaan percuma anda di bawah, sebut “Jangan merge itu dulu” pada satu imlak ulangan, dan periksa sama ada perkataan pertama itu terselamat. Itulah keseluruhan ujiannya.