云從科技語音技術刷新多項世界紀錄

　　讓AI聽得出、聽得清，聽得懂，成為每個人的真正“知音”，是云從人機協同戰略讓機器從知音到知心邁出的重要一步。

　　近日，云從科技語音技術取得多項重大突破，在語音識別、語義糾錯、深度學習降噪等領域刷新多項國際、國內語音識別權威紀錄，超越亞馬遜、搜狗等企業創下的此前最好成績，夯實業界領先的技術地位。

　　此次云從創新提出的新模型，對應語音技術不同角度的突破，包含巨大的應用價值，推動技術朝更智能地“聽”邁進了一大步：

　　語義糾錯技術：在權威中文語音識別數據集Aishell和清華大學語音Thchs30測試集上，將字錯率(Character Error Rate，CER)第一遍WFST解碼以及第二遍RNN重打分結果分別相對降低21.7%和10.3%。

　　這意味著讓AI“聽得懂”：字錯率降低代表使語音更準確地轉換文字，糾正語義的錯誤。

　　語音識別技術：刷新Aishell紀錄，將字錯率降低到4.34%，較過去最好成績降低了8%;云從團隊提出的新模型，巧妙融合了語音識別和說話人識別，提高識別率的同時，極大提升了在不同說話人場景下的魯棒性。

　　這意味著讓AI“聽得出”：將每個人同“指紋”一樣獨有的“聲紋”識別出來，指標提升意味著更精準識別出說話者。

　　深度學習降噪模型：在國際頂會Interspeech2020 DNS Challenge比賽數據集上取得了目前最好的結果。

　　這意味著讓AI“聽得清”：針對在嘈雜環境去除噪聲，使語音更清晰。

　　在語音技術高度發展的基礎上，每提升1個百分點的準確率，都如同征服一座高山。此次云從一舉在三項語音技術上取得新突破、新模型，不僅展現出深厚的科研基礎與強大創新能力，同時也彰顯出云從技術實力的全面性與綜合性。近年來語音技術已經廣泛應用于人們的生活，但大多是依托智能語音設備在室內安靜環境下的單人交互，云從團隊提出的多個創新模型，對于突破業界瓶頸，攻克嘈雜環境、多人對話等復雜應用難題，具有重大意義。

　　在人工智能第二浪背景下，全鏈技術形成行業價值閉環、AI工程學的重要性日益突顯。云從科技在視覺、語音等技術頻頻突破，再次夯實核心技術閉環實力，為行業打造更全面、更有價值的智能化方案，為每個人構筑更流程靈活的交互體驗。

　　創新研究模型 直擊技術難點

　　此前云從的語音技術已取得刷新全球最大開源語音識別數據集Librispeech紀錄、發表多篇頂會論文、發表多篇新型發明專利等成績。盡管近年來整個人工智能語音領域有了快速發展，但目前常見語音交互場景多是在安靜環境下的單人交互，在日常應用仍有諸多問題亟待突破：例如在多人場景的語音、噪聲混合中，如何追蹤并識別至少一個聲音、正常在嘈雜環境下正常交流，也就是“雞尾酒會問題”，仍是研究者們致力解決的難題。

　　針對這些技術難點，云從在語音識別、語義糾錯、深度學習降噪等多個方向上，創新性提出新模型，并在多個數據集上刷新最優成績。

　　語義糾錯：

　　針對常見的語法糾錯、拼寫糾錯與語音識別系統轉寫的錯誤分布差異較大、傳統模型不適合直接使用等問題，云從科技提出一種基于BART預訓練模型的語義糾錯技術方案，不僅可以對數據中常見的拼寫錯誤進行糾正，還可以對一些常識錯誤、語法錯誤，甚至一些需要推理的錯誤進行糾正。

　　在云從科研團隊一萬小時語音數據的實驗中，糾錯模型可以將基于3gram WFST解碼結果的錯字率相對降低21.7%，取得與RNN重打分相近的效果。在RNN重打分的基礎上使用糾錯，可以進一步取得10.3%的CER相對降低。

　　部分糾錯示例如下：

　　語音識別：

　　云從科研團隊結合聲紋識別x-vector embedding以及自研multi-stream TDNNF結構的XmasNet，刷新Aishell的紀錄，在測試集Aishell-test上CER指標提高到4.34%，相比于SOTA，提升了8%。這種方法結合了最新的說話人識別技術，進一步提高了語音識別在口音環境下的識別率。

　　值得一提的是，本次云從團隊提出新模型結構，在訓練數據固定(原始178小時音頻)的情況下，僅通過優化模型結構，取得識別率的提升。

　　該結構巧妙融合了語音識別和說話人識別，提高識別率的同時，極大提升了在不同說話人場景下的魯棒性。

　　x-vector embedding(上)以及XmasNet網絡結構(下)

　　深度學習降噪：

　　云從科研團隊提出一種基于U-Net和注意力機制attention的深度學習神經網絡模型CARN模型，在DNS Challenge比賽數據集上取得了目前最好的結果。

　　該數據集中，亞馬遜PoCoNet模型、西北工業大學和搜狗合作的DCCRN模型等在具有混響的仿真場景和真實場景下，只能得到中等品質的音頻;相比之下，云從CARN模型在各類場景下均有優秀表現，無論是沒有混響的仿真場景(no_reverb)、還是具有混響的仿真場景和真實場景下，都能大幅減少音頻中的噪音，處理取得清晰的優質音頻，提升音頻的清晰度。

　　堅持以人為核心 共創人機協同智能體驗

　　在人工智能行業，取得單點技術的領先實屬不易，但從人工智能產業發展角度來看，經歷了對計算機視覺、語音識別等單點技術的狂熱追捧，客戶逐漸發現自身的復雜需求難以得到快速響應。

　　這個時候產業開始需要多點技術的支持：客戶轉向尋求獲取人工智能綜合解決方案，以實現對全業務鏈條的 AI 賦能，形成行業價值閉環。

　　云從科技將人工智能技術整合為端到端的綜合解決方案，在了解客戶業務流程的基礎上，將算法平臺、AIoT設備和專家知識服務整合為場景化解決方案，定義和打造客戶智慧化藍圖。

　　同時，云從科技創新性提出了AI工程學的概念，首先提升人工智能技術自身的生產效率，實現算法模型的批量化產出，將AI產業帶入工業化大生產時代。

　　在此階段，云從科技提供綜合了聽說讀寫等感知能力的全鏈人工智能技術，基于多項技術構建全面解決方案。例如，云從的智慧網點解決方案，綜合視覺、語音、自然語言處理等多項技術，應用于智慧迎賓、用戶身份核驗、AI雙錄等多個場景。目前云從已攜手多家銀行落地方案，共同為用戶帶來流暢、完整的智能體驗。