Microsoft Azure 認知服務(wù)和NVIDIA AI提升Microsoft Teams實時字幕和轉(zhuǎn)錄功能

    Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能，幫助全球?qū)W生和職場人士順利進行在線會議。用于訓(xùn)練的NVIDIA AI計算技術(shù)和用于推理語音識別模型的NVIDIA Triton推理服務(wù)器進一步提升了這兩個功能。

    Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近2.5億活躍用戶。Microsoft Azure 認知服務(wù)為Teams提供28種語言的字幕和轉(zhuǎn)錄，并將很快能夠在NVIDIA GPU上運行關(guān)鍵的計算密集型神經(jīng)網(wǎng)絡(luò)推理。

    實時字幕功能幫助與會者實時跟蹤對話，轉(zhuǎn)錄功能方便與會者在日后回顧當(dāng)時的創(chuàng)意或回看未能參與的會議。

    實時字幕對聾啞人、聽力障礙者，或者異國與會者特別有用。

    NVIDIA Triton開源推理服務(wù)軟件能夠幫助Teams使用認知服務(wù)優(yōu)化語音識別模型。

    使用Triton，認知服務(wù)能夠支持高度先進的語言模型，以極低的延遲實時提供高度準確、個性化的語音轉(zhuǎn)文本結(jié)果。同時，可以保證運行這些語音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力，在消耗更少計算資源的同時，為客戶提供更高的吞吐量，進而降低成本。

    底層語音識別技術(shù)作為認知服務(wù)中的一個API，開發(fā)人員可以使用它定制和運行自己的應(yīng)用程序——客服電話轉(zhuǎn)錄、智能家居控制或為急救人員提供AI助手。

    字字達意的AI

    認知服務(wù)會生成Teams的轉(zhuǎn)錄和字幕，將語音轉(zhuǎn)換為文本，并識別說話人。同時也能夠識別專業(yè)術(shù)語 、姓名和其他會議背景，提高字幕的準確性。

    Microsoft Teams的通話、會議及設(shè)備首席項目經(jīng)理Shalendra Chhabra表示：“這樣的AI模型非常復(fù)雜，需要數(shù)千萬個神經(jīng)網(wǎng)絡(luò)參數(shù)才能識別幾十種不同的語言。但模型越大，就越難以經(jīng)濟高效地實時運行�！�

    NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下，通過強大的神經(jīng)網(wǎng)絡(luò)，實現(xiàn)高準確性，確保語音-文本的實時轉(zhuǎn)換。

    當(dāng)啟用轉(zhuǎn)錄功能時，與會者可以在會議結(jié)束后輕松補上錯過的內(nèi)容。

    Triton三大功能推動效率提升

    NVIDIA Triton有助于簡化AI模型部署，并解鎖高性能推理。用戶甚至可以為自己的應(yīng)用開發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴展到更多會議和用戶，包括：

    流推理：新型流推理功能——通過跟蹤語音上下語境，提高延遲、敏感性字幕的準確度，它助力NVIDIA和Azure認知服務(wù)合作定制語音轉(zhuǎn)文本的應(yīng)用程序。

    動態(tài)合批：批大小指神經(jīng)網(wǎng)絡(luò)同時處理的輸入樣本數(shù)量。通過Triton的動態(tài)合批，單項推理請求被自動組合成一個批次，因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

    并發(fā)模型執(zhí)行：實時字幕和轉(zhuǎn)錄需要同時運行多個深度學(xué)習(xí)模型。Triton使開發(fā)人員能夠在單個GPU上同時完成這些工作，包括使用不同深度學(xué)習(xí)框架的模型。

    即刻啟程，借助Azure 認知服務(wù)，在您的應(yīng)用中使用語音轉(zhuǎn)文本的功能，并進一步了解NVIDIA Triton 推理服務(wù)軟件如何幫助團隊大規(guī)模部署AI模型。