視點！能聽懂口音的開源語音系統來了：OpenAI出品 支持99種語言
逼近人類水平的語音識別系統來了？沒錯，OpenAI新開源了一個名為「Whisper」的新語音識別系統，據稱在英文語音識別方面擁有接近人類水平的魯棒性和準確性！不僅如此，對于不同口音、專業術語的識別效果也是杠杠的！一經發布就在推特上收獲4800+點贊，1000+轉發。
訪問：
Parallels Desktop 18 今年首次促銷：限時75折
【資料圖】
網友們紛紛對它意料之外的強大功能表示驚訝。
不僅是英文，有人用法國詩人波德萊爾的《惡之花》進行了語音測試，得到的文本幾乎與原文一致。
OpenAI聯合創始人&首席科學家Ilya Sutskever就表示：
終于有一個靠譜的語音識別系統能聽懂我的口音了。
前任特斯拉人工智能總監Andrej Karpathy甚至轉發評論：OpenAI正處于最好的狀態中。
話不多說，讓我們看看這個被“好評如潮”的語音系統究竟是怎么回事。
逼近人類水平的語音識別系統
首先，Whisper最大特點是它使用的超大規模訓練集：
它使用從網絡上收集的68萬小時的多語言、多任務監督數據進行訓練。
這導致數據集的內容非常多元化，涵蓋了許多不同環境、不同錄音設備下、不同語言的音頻。
具體而言，65%(438218小時)是英語音頻和匹配的英語文本，大約18%(125739小時)是非英語音頻和英語文本，而最后17%(117113小時)則是非英語音頻和相應的文本。
其中，非英語部分共包含98種不同語言。
不過，雖然音頻質量的多樣性可以幫助提高訓練模型的魯棒性，但轉錄文本質量的多樣性并不是同樣有益的。
初步檢查顯示，原始數據集中有大量不合格的、現有自動語音識別(ASR)系統生成的轉錄文本。
而以往的研究表明，在人工和機器混合生成的數據集上進行訓練，會顯著損害翻譯系統的性能。
為了解決這個問題，研究團隊開發了幾種自動過濾方法來識別和刪除低質量的數據源。
但值得一提的是，沒有說話內容的片段會被留下，作為語音活動檢測的訓練數據。
其次，Whisper體系結構是一種簡單的端到端方法，具體來說就是Transformer的編碼器-解碼器格式。
輸入音頻被分成30秒的片段，再轉換成log-Mel譜圖，然后傳入編碼器。
解碼器被訓練來預測相應的文本標題，并混合特殊標記，指示單一模型執行諸如語言識別、多語言語音轉錄和英語語音翻譯等任務。
除此之外，研究人員還為Whisper設置了5種不同的型號，以下是各模型大致的內存需求和相對速度，使用者可以自行選擇。
但需要注意的是，只有“large”型號支持多語言，前4個模型都只支持英語。
不過不需要擔心，與其他模型相比，英文語音識別正是Whisper的核心競爭力。
實驗結果證明，Whisper在Librispeech test-clean測試的錯誤率達到2.7%。
雖然這一數值與Wav2vec 2.0一樣，但在零樣本性能上，Whisper明顯更穩健，平均誤差減少了55%。
甚至零樣本Whisper模型還縮小了與人類魯棒性之間的差距。
可以看出，與人類Alec相比，LibriSpeech模型的錯誤率大約是人類的兩倍，而Whisper模型的魯棒性邊界則包括Alec95%的置信區間。
研究團隊
Whisper的研究團隊來自OpenAI，共同一作有兩位：Alec Radford、Jong Wook Kim。
Alec Radford，OpenAI的機器學習研究員，也是indico.io的聯合創始人。
Jong Wook Kim，在紐約大學獲得了音樂技術專業的博士學位，研究方向包括多模態深度學習和音樂理解，目前是OpenAI的研究人員。
值得一提的是，研究團隊指出，雖然目前Whisper還沒有實時功能，但它的運行速度和內存大小表明，在這一基礎上搭建實時語音識別和翻譯功能是可行的。
他們希望Whisper的高精度和易用性，將允許開發人員將語音接口添加到更廣泛的應用程序中。
論文和GitHub鏈接附在文末，感興趣的小伙伴們可以自取～
論文鏈接：
https://cdn.openai.com/papers/whisper.pdf
GitHub鏈接：
https://github.com/openai/whisper#approach
參考鏈接：
[1]https://colab.research.google.com/github/openai/whisper/blob/master/notebooks/LibriSpeech.ipynb
[2]https://techcrunch.com/2022/09/21/openai-open-sources-whisper-a-multilingual-speech-recognition-system/?guccounter
[3]https://news.ycombinator.com/item?id=32927360
[4]https://twitter.com/alecrad
[5]https://jongwook.kim/
推薦
-
-
與亞馬遜Audible展開競爭 Spotify在美國推出有聲讀物服務
已在美國推出有聲讀物服務，此舉欲與亞馬遜的 Audible 展開競爭。Spotify 稱，用戶可在 Spotify Ap...
來源：TechWeb -
YouTube視頻網站中“不感興趣”按鈕幾乎沒有任何作用 類似相關視頻還會出現
有一項新的研究發現，即使用戶對 YouTube 中某些類型視頻選擇了不感興趣，但是類似相關的視頻還會出現...
來源：鳳凰科技 -
-
-
Instagram短視頻功能發展正趨于停滯 觀看時長不及TikTok十分之一
幾個月來 Instagram 一直在努力發展其短視頻項目 Reels，但據一份內部報告顯示，短視頻功能的發展正...
來源：TechWeb -
-
-
-
直播更多》
-
2022無錫（北京）科技合作洽談會74個重大項目簽約 總金額達到202.34億
在近日舉行的2022無錫(北京)科技合作洽...
-
2022無錫（北京）科技合作洽談會74個重大項目簽約 總金額達到202.34億
在近日舉行的2022無錫(北京)科技合作洽...
-
構建網絡安全保障體系 天津濱海高新區在信創安全領域持續發力
9月上旬，天津濱海高新區內企業麒麟軟件...
-
解放大量人力物力 智慧漁政網絡為執法插上科技翅膀
有人正在長江非法垂釣!近日，武漢市農業...
-
將加強政策引導 廣西管局推進自貿區工業企業工業互聯網建設
近日，廣西信息通信業與中國(廣西)自由...
-
快手高級副總裁帶隊國際化業務一個多月 對部門組織架構進行調整
快手高級副總裁馬宏彬在帶隊國際化業務...
資訊更多》
焦點
- 補齊訓練短板 科學組訓助力獵鯊海天
- 廈門國家火炬高新區專精特新企業培育項目開班 50名備企業高管開啟研學之旅
- 為禁捕退捕裝上“數字眼” 中國聯通助力長江黃河流域水域治理
- 順豐同城寄丟20克黃金保價8000元只賠2000元 當事人質疑保價意義何在
- SK明年將在韓國投資73萬億韓元提升產能 未來5年還將投入25萬億韓元
- 大理州首個文旅行業5G應用 5G智慧文旅項目落戶銀都水鄉
- 德國柏林國際消費電子展全面恢復線下舉辦 大量“智慧家居”類產品吸引眼球
- 中俄邊境地區無線電頻率協調工作組及專家組會談 近日以線上視頻形式召開
- 浙江移動物聯網連接數突破1億 率先邁入萬物智聯時代
- 全力構建數據出境的“安全屏障” 9月1日起《數據出境安全評估辦法》正式施行