▲Speak以「AI家教」推出語言學習App，幫助多數用戶練習外語。（圖／Speak提供）
記者楊絡懸／台北報導
人工智慧語言學習平台Speak宣布與OpenAI合作，利用全新Realtime API結合Speak的學習引擎，推出「即時角色扮演」新功能，將可進一步提供多種場景中的沉浸式、逼真的語言練習體驗。換句話說，用戶可以直接和AI練習外語，並在感受上幾乎接近於真人回饋，還能針對自己的語言能力加強練習。
大多數語言學習者無法流利使用外語，主要是因為嘗試過各種方法卻忽略「將語言說出來」，而且極少有機會可以和外語的母語者進行交流、練習對話。為此，Speak團隊在2年前，推出了全球首個AI驅動的角色扮演對話練習體驗，不但成為語言學習行業的標竿，也從輔助口語練習工具、轉變為真正輔導體驗的第一步。
然而，這其中仍存在許多限制，例如語音轉文字的處理、基於文本的大型語言模型（LLM）工作流程、再到合成到AI角色的語音，這些過程仍然讓人覺得很笨拙、緩慢，導致對話感覺不夠自然流暢，也讓每一步都有著延遲和錯誤。
如今，這些問題都解決了，Speak利用OpenAI訓練的多語言、多模態GPT大型語言模型「GPT-4o」，透過這模型的Realtime API應用，Speak的AI家教的反應速度不僅更快，甚至可以媲美「現實生活中的外語老師」。
▲人工智慧語言學習平台Speak宣布與OpenAI合作，利用全新Realtime API結合Speak的學習引擎，推出「即時角色扮演」新功能。（圖／Speak提供）
Speak的AI家教經過「GPT-4o」後，能理解並通過回饋、超越純文本轉錄的語音特徵，像是語調、發音、語速等。事實上，語言學習和即時對話的練習，就是「語音轉語音技術」（speech-to-speech）的應用場景。
Speak團隊表示，除了這項全新的「語音轉語音模型」，Speak也專注在模型產品化，運用在既有的學習引擎，結合最佳技術、產品設計和教學方法，打造出合適的用戶語言學習的體驗。
在即時角色扮演功能中的重要特色，包括：
1、當用戶在App上進行對話時，Speak將運用熟練度圖表（proficiency graph）系統來追蹤語言知識狀態，確保對話符合用戶的口說水準，並使用最合適的句型和詞彙。
2、為用戶提供具體的學習目標，協助在角色扮演中有效練習並達成任務。
3、當用戶卡住時，將提供適當的提示，以幫助繼續對話。
整體來說，Speak透過獨有的學習引擎支持，隨著即時對話動態更新，角色扮演的對話將能變得更加沉浸、自然且有助於提升流利度。
儘管如此，Speak也表示，目前仍有一些限制，這些全新的「語音轉語音模型」在指令跟隨上並不如文本模型，而且在一些語言學習特定的任務上，例如發音指導和回饋，表現仍有不足，目前正在改善這些問題，也會持續與OpenAI深度合作，將技術嵌入核心體驗，實現這些目標。
據了解，Speak即時角色扮演功能，將在接下來幾周內限量推出給部分用戶，並預計於今年底全面開放。Speak也將在整個學習體驗中，持續使用OpenAI的Realtime API推出其他新功能。
讀者迴響