ทำไมแอปพิมพ์ด้วยเสียงถึงกินคำแรกของคุณ

กด hotkey เริ่มพูด แล้วมองข้อความที่ถอดได้เริ่มต้นที่คำที่สองของคุณ — บางทีก็คำที่สาม "รีแฟกเตอร์ตรรกะ retry" ออกมาเป็น "ตรรกะ retry" "อย่า merge อันนั้นตอนนี้" ออกมาเป็น "merge อันนั้นตอนนี้" ซึ่งเป็นประโยคที่อันตรายจริง ๆ ที่จะถูกพิมพ์แทนคุณ ความล้มเหลวนี้เกิดซ้ำได้ง่ายทั่วไปป์ไลน์ไมโครโฟนที่เริ่มแบบเย็น ตั้งแต่ตัวที่มีมาให้ในระบบปฏิบัติการไปจนถึงเครื่องมือพิมพ์ด้วยเสียงเฉพาะทาง

คนอธิบายมันต่างกันไป — "มันตัดตอนต้น" "ฉันต้องหยุดก่อนพูด" "คำแรกหายทุกที" — แต่มันคือปรากฏการณ์เดียวกัน และเมื่อคุณโดนเข้าสักครั้ง คุณก็จะพัฒนาวิธีแก้ขัดแบบที่ทุกคนพัฒนา: กดปุ่ม รอสักจังหวะ แล้วค่อย พูด ซึ่งแปลว่าตอนนี้คุณกำลังทำพิธีกรรมงมงายเล็ก ๆ วันละหลายสิบครั้งเพื่อชดเชยให้เครื่องมือ และเครื่องมือได้ฝึกคุณ แทนที่จะเป็นทางกลับกัน

ผมทำพิธีกรรมนั้นอยู่หลายเดือนในเครื่องมืออื่น ตอนสร้าง Keebye การฆ่ามันทิ้งเป็นเรื่องแรก ๆ ในรายการ เพราะทางแก้กลายเป็นว่าต้องแลกกับข้อแลกเปลี่ยนที่ชวนอึดอัด ซึ่งแอปส่วนใหญ่ไม่ยอมแลก — และผมอยากพูดถึงข้อแลกเปลี่ยนนั้นให้ตรงพอ ๆ กับทางแก้

ทำไมคำแรกถึงถูกตัดหายไป

นี่คือปัญหาระดับหมวดหมู่ ไม่ใช่ความหละหลวมของผู้ให้บริการรายใด และฟิสิกส์ของมันก็ง่าย: ไมโครโฟนไม่ได้ทำงานทันที

เมื่อแอปพิมพ์ด้วยเสียงเริ่มบันทึกด้วยวิธีซื่อ ๆ — กด hotkey แล้วค่อย เปิดไมโครโฟน — มีโซ่ทั้งสายที่ต้องรันก่อนตัวอย่างเสียงแรกของคำพูดคุณจะถูกจับได้ เซสชันเสียงของระบบปฏิบัติการต้องเริ่มต้น อุปกรณ์อินพุตต้องตื่น ซึ่งสำหรับฮาร์ดแวร์บางตัวหมายถึงเวลาอุ่นเครื่องจริง ๆ รูปแบบสตรีมต้องถูกเจรจา บัฟเฟอร์ต้องถูกจอง และบัฟเฟอร์แรก ๆ ที่มาถึงมักเป็นขยะที่ถูกทิ้ง ขึ้นกับเครื่องและอุปกรณ์ โซ่นั้นใช้เวลาอยู่ระหว่าง "สักจังหวะ" กับ "สองสามวินาที"

ขณะเดียวกัน คุณ — มนุษย์ที่มีความคิดก่อตัวเสร็จแล้ว — เริ่มพูดในวินาทีที่นิ้วแตะปุ่ม จริง ๆ แล้วมักจะเป็นเสี้ยววินาที_ก่อน_ นั้นด้วยซ้ำ: เจตนาที่จะกดกับเจตนาที่จะพูดออกจากสมองคุณพร้อมกัน และการเริ่มเปล่งเสียงก็เอาชนะความพร้อมของแอปเป็นประจำ ทุกอย่างที่คุณพูดก่อนสตรีมจะเริ่มทำงานไม่เคยมีอยู่จริงในสายตาของแอป โมเดลถอดเสียงที่ไม่เคยถูกจับไว้ไม่ได้ ฉะนั้นจึงได้: "ตรรกะ retry"

ทำไมแอปถึงเปิดไมค์ตอนต้องใช้แทนที่จะเก็บมันให้พร้อมไว้ ส่วนใหญ่เพราะเป็นพลเมืองที่ดี การเปิดไมโครโฟนค้างไว้กินพลังงานนิดหน่อย และ — สำคัญกว่านั้นมาก — มันทำให้ตัวบ่งชี้ไมโครโฟนของระบบปฏิบัติการสว่างขึ้น ซึ่งผู้ใช้ก็เข้าใจได้ว่าอ่านมันว่า "แอปนี้กำลังฟังฉันอยู่" การเปิดไมค์เฉพาะตอนต้องใช้ทำให้ตัวบ่งชี้ซื่อสัตย์และแอปดูสุภาพ ต้นทุนคือความเสี่ยงจากการเริ่มเย็นตอนต้นของการบันทึก

ทางแก้: ไมค์ที่ฟังอยู่แล้วตอนคุณกดปุ่ม

Keebye เข้าโจมตีเรื่องนี้จากทั้งสองด้าน และกลไกสองอย่างนี้ควรถูกแยกออกจากกัน เพราะมันแก้คนละครึ่งของปัญหา

ไมค์ที่อุ่นอยู่ หลังการบันทึกครั้งแรกของเซสชัน Keebye เปิดสตรีมอินพุตเสียงค้างไว้ นั่นแปลว่าโซ่การเริ่มเย็น — การเริ่มเซสชัน การปลุกอุปกรณ์ การเจรจาสตรีม — เกิดขึ้นไปแล้วก่อนการพูดครั้งถัดไป ตราบใดที่สตรีมนั้นยังปกติดี สตรีมทำงานอยู่ก่อนนิ้วคุณจะขยับ

pre-roll สตรีมที่อุ่นแล้วแก้ความสายของแอป แต่ไม่ได้แก้ความสายของคุณ — จำได้ไหมว่าการเริ่มเปล่งเสียงของคุณเอาชนะการกดปุ่มได้ Keebye จึงเก็บบัฟเฟอร์แบบวนของเสียงล่าสุดไว้ 500 มิลลิวินาที (8,000 ตัวอย่างที่ 16 kHz ในวงแหวน) เมื่อคุณกด hotkey เสียงครึ่งวินาทีก่อนหน้านั้นจะถูกดันเข้าไปไว้ที่หัวของการพูด เสียงที่เริ่มขึ้นภายในบัฟเฟอร์นั้นจึงพร้อมให้ตัวถอดเสียงใช้ แทนที่จะถูกทิ้งไปก่อนการกดปุ่ม

ผลรวม: ในการพูดครั้งถัดจากครั้งแรก สตรีมที่อุ่นแล้วกับ pre-roll 500 ms ครอบคลุมกรณีทั่วไปที่คำพูดเริ่มขึ้นก่อนหรือพร้อมกับการกดปุ่มพอดี การหยุดตามพิธีกรรมกลายเป็นเรื่องไม่จำเป็นภายในขอบเขตนั้น มันกู้คำที่พูดก่อนการบันทึกเริ่มเกินครึ่งวินาทีไม่ได้ และการพูดครั้งแรกของเซสชันก็ยังต้องจ่ายค่าหน่วงเวลาเริ่มสตรีมตามปกติ

ข้อแลกเปลี่ยน พูดกันชัด ๆ

นี่คือส่วนที่ผมไม่ยอมกลบ เพราะมันคือราคาที่ตรงไปตรงมาของการออกแบบนี้: เนื่องจากสตรีมเสียงเปิดค้างไว้ระหว่างการพูดแต่ละครั้ง macOS จึงแสดงว่าไมโครโฟนทำงานอยู่แม้ตอนคุณไม่ได้พูด จุดสีส้มติดอยู่ ถ้าคุณดูใน Control Center Keebye จะอยู่ในรายการว่ากำลังใช้ไมค์ ณ ตอนนั้นเลย ขณะที่คุณไม่ได้ทำอะไร

สิ่งที่เกิดขึ้นจริงในช่วงเวลานั้น: เสียงไหลเข้าบัฟเฟอร์วงแหวน 500 ms และถูกทิ้งอย่างต่อเนื่อง ไม่มีอะไรถูกถอดเสียง ไม่มีอะไรถูกเก็บ ไม่มีอะไรออกจากบัฟเฟอร์จนกว่าคุณจะกดปุ่ม — และทุกอย่างที่เก่ากว่าครึ่งวินาทีหายไปตลอดกาล ถูกวงแหวนเขียนทับ แต่ผมจะไม่แกล้งทำเป็นว่าตัวบ่งชี้โกหก เพราะมันไม่ได้โกหก: สตรีมเปิดอยู่จริง และ "มีศักยภาพจะฟังตลอดเวลา" ก็เป็นคำบรรยายสถาปัตยกรรมที่เป็นธรรม แม้ว่าจะไม่มีอะไรฟังในความหมายที่มีนัยสำคัญจนกว่าคุณจะสั่งก็ตาม

ผมแลกเรื่องนี้อย่างจงใจ ลืมตาแลก และนี่คือเหตุผล การเปิดไมค์ตอนต้องใช้นำความเสี่ยงจากการเริ่มเย็นมาทุกครั้ง: คำถูกตัด ประโยคผิด การหยุดที่ถูกฝึกมา ส่วนการออกแบบแบบสตรีมอุ่นมีต้นทุนที่ตกอยู่ที่ความสบายใจของคุณกับจุดสีส้ม โดยมีสถาปัตยกรรมที่คุณคิดตามได้หนุนอยู่: ประวัติในเครื่องที่เป็นข้อความล้วน (ซึ่งเราเขียนไว้ใน สิ่งที่คุณพูดไม่ควรหายไปเฉย ๆ) การถอดเสียงบนเครื่อง ไม่มีการเก็บเสียงไว้เลย และหน่วยความจำวงแหวนครึ่งวินาที ผมเลือกรับจุดนั้น ถ้าคุณไม่รับ — นั่นคือจุดยืนที่ชอบธรรม และมันอาจทำให้เครื่องมือตัวอื่นเป็นตัวเลือกที่ถูกต้องสำหรับคุณจริง ๆ หน้า Keebye เทียบกับ Superwhisper และ Keebye เทียบกับ Wispr Flow ของเราเขียนขึ้นเพื่อช่วยการตัดสินใจแบบนั้นพอดี

สองขอบเขต เพื่อไม่ให้ใครแปลกใจ

การพูดครั้งแรกสุดของเซสชันยังมีค่าหน่วงเวลาเริ่มสตรีมตามปกติ ไมค์อุ่นเพราะมีการบันทึกเกิดขึ้นไปแล้ว ครั้งแรกจึงยังต้องจ่ายค่าตั้งต้น ครั้งต่อ ๆ ไปได้ประโยชน์ตราบใดที่สตรีมยังเปิดอยู่

pre-roll คือ 500 มิลลิวินาที และ 500 มิลลิวินาทีคือหนึ่งจังหวะ ไม่ใช่หนึ่งประโยค บัฟเฟอร์ครอบคลุมกรณีธรรมชาติ — คำที่เริ่มขึ้นก่อนการกดปุ่มนิดหน่อย ถ้าคุณพูดจนจบประโยค แล้วค่อย นึกได้ว่าต้องกดปุ่ม คำก่อนหน้านั้นก็หายไป โดยการออกแบบ: วงแหวนเก็บได้แค่ครึ่งวินาทีเสมอ ตรง ๆ ก็เพื่อไม่ให้แอปเก็บเสียงที่มีความหมายไว้ตอนว่าง pre-roll ที่ยาวกว่านี้จะจับการเริ่มพูดแบบใจลอยของคุณได้มากขึ้น และเก็บเสียงรอบตัวคุณไว้ในหน่วยความจำมากขึ้นด้วย ครึ่งวินาทีคือจุดที่ผมขีดเส้นนั้นไว้

ทำไมครึ่งวินาทีถึงสำคัญกว่าที่ฟังดู

คำแรกที่ถูกตัดดูเหมือนบั๊กเล็ก ๆ ในเวิร์กโฟลว์แบบเลนขนานที่ Keebye ถูกสร้างมาเพื่อมัน — เสียงในฐานะช่องทางควบคุมของ AI agent หลายตัวและบทสนทนากับมนุษย์หลายสายพร้อมกัน วันทำงานที่บรรยายไว้ใน สองลูก สามสตาร์ตอัป หนึ่งเสียง — การพิมพ์ด้วยเสียงเกิดขึ้นวันละหลายสิบครั้ง เป็นชุด ๆ กลางการสลับบริบท เครื่องมือที่เรียกร้องให้หยุดตามพิธีกรรมเก็บภาษีทุกชุด และที่แย่กว่านั้น บางครั้งมันกลับความหมายของคุณแล้วส่งออกไป "merge อันนั้นตอนนี้" ตลกได้แค่ครั้งเดียวพอดี

ความน่าเชื่อถือในหมวดหมู่นี้ไม่ใช่ฟีเจอร์ใหญ่ชิ้นเดียว มันคือการสะสมของมาตรการป้องกันชิ้นเล็ก ๆ: pre-roll สำหรับเสียงตอนเปิด ประวัติที่อยู่หลังข้อความ และเส้นทางการแทรกข้อความที่กู้คืนได้ โพสต์นี้ว่าด้วยข้อแรก ส่วนโพสต์เรื่องประวัติครอบคลุมข้อที่สอง

Keebye อยู่ในช่วงเข้าถึงล่วงหน้าสำหรับ macOS เริ่มทดลองใช้ฟรีได้ด้านล่าง พูดว่า “อย่า merge อันนั้นตอนนี้” ในการพูดครั้งที่สอง แล้วตรวจดูว่าคำแรกรอดไหม นั่นคือการทดสอบทั้งหมด