作者: 記者 倪偉波 來(lái)源: 發(fā)布時(shí)間:2021-3-16 2:8:51
讓AI“聽(tīng)懂”所有語(yǔ)言

   對(duì)于很多人而言,將電話號(hào)碼添加到手機(jī)上是一件再普通不過(guò)的事了。沒(méi)想到的是,這卻讓來(lái)自西非幾內(nèi)亞農(nóng)村的Aissatou格外為難。

   “我不會(huì),因?yàn)槲覜](méi)上過(guò)學(xué),不認(rèn)識(shí)字。”她低聲說(shuō)道。由于缺乏正規(guī)教育,Aissatou不會(huì)用法語(yǔ)閱讀或書(shū)寫(xiě)。本以為這并不會(huì)妨礙她使用手機(jī)的基本服務(wù),然而,正如呈現(xiàn)在眼前的:Aissatou的手機(jī)“聽(tīng)不懂”她的當(dāng)?shù)卣Z(yǔ)言。

   這不由得讓人產(chǎn)生疑問(wèn):人工智能(AI)系統(tǒng)應(yīng)該理解人們使用語(yǔ)言的方式嗎?

 

無(wú)法識(shí)別的語(yǔ)言

 

   西非人使用自己的語(yǔ)言已有數(shù)千年的歷史,他們創(chuàng)造了豐富的口述歷史傳統(tǒng),即通過(guò)將祖先的故事和歷史觀點(diǎn)生動(dòng)地呈現(xiàn)出來(lái),并傳遞知識(shí)和道德,為社區(qū)服務(wù)。

   計(jì)算機(jī)可以輕松地支持這種口述傳統(tǒng)。盡管計(jì)算機(jī)通常是為使用書(shū)面語(yǔ)言而設(shè)計(jì)的,但基于語(yǔ)音的技術(shù)確實(shí)存在。

   然而,語(yǔ)音技術(shù)并不能“說(shuō)”非洲人使用的2000種語(yǔ)言和方言中的任何一種。即便是蘋(píng)果的Siri、谷歌助手和亞馬遜的Alexa都不會(huì)“說(shuō)”非洲語(yǔ)言。

   事實(shí)上,世界上7億文盲中的大多數(shù)人都無(wú)法享受移動(dòng)技術(shù)帶來(lái)的好處,除了接聽(tīng)電話等簡(jiǎn)單用途之外,他們無(wú)法使用像聯(lián)系人管理或短信這樣的簡(jiǎn)單功能。由于文盲往往與缺乏教育有關(guān),因此他們無(wú)法使用一種通用的世界語(yǔ)言。

   最需要語(yǔ)言技術(shù)的人無(wú)法獲得語(yǔ)言技術(shù),對(duì)他們來(lái)說(shuō),語(yǔ)音識(shí)別技術(shù)可以幫助縮小文盲與其他能從農(nóng)業(yè)信息到醫(yī)療保健等獲得有價(jià)值的信息及服務(wù)的人之間的差距。

   為什么語(yǔ)音技術(shù)產(chǎn)品不能在非洲和其他當(dāng)?shù)卣Z(yǔ)言中使用?這是因?yàn)槿丝谳^少的語(yǔ)言往往是商業(yè)優(yōu)先權(quán)的犧牲品。而且,在技術(shù)產(chǎn)品和服務(wù)上擁有權(quán)力的群體常常會(huì)說(shuō)同樣的幾種語(yǔ)言,這很容易讓人忽視具有不同背景的其他群體。此外,在歷史上開(kāi)發(fā)過(guò)語(yǔ)音識(shí)別技術(shù)的研究實(shí)驗(yàn)室、公司和大學(xué)里,使用西非廣泛使用的語(yǔ)言的人數(shù)嚴(yán)重不足。

 

多重挑戰(zhàn)

 

   眾所周知,數(shù)字技術(shù)可能會(huì)對(duì)不同種族的人產(chǎn)生不同的影響,技術(shù)系統(tǒng)可能無(wú)法為不同用戶提供相同質(zhì)量的服務(wù)。

   與此同時(shí),商業(yè)優(yōu)先級(jí)、權(quán)力和代表性不足都加劇了另一個(gè)關(guān)鍵性挑戰(zhàn):缺乏數(shù)據(jù)。

   語(yǔ)音識(shí)別技術(shù)的發(fā)展需要大量的標(biāo)注數(shù)據(jù)集。不識(shí)字的人從語(yǔ)音識(shí)別技術(shù)中受益最多,他們所使用的語(yǔ)言往往屬于“資源匱乏”的類別,與“資源豐富”的語(yǔ)言相比,這類語(yǔ)言可使用的數(shù)據(jù)集很少。

   目前,解決數(shù)據(jù)短缺問(wèn)題最先進(jìn)的方法是“遷移學(xué)習(xí)”,即將從資源豐富的語(yǔ)言學(xué)習(xí)到的知識(shí),轉(zhuǎn)移到資源匱乏語(yǔ)言的機(jī)器學(xué)習(xí)任務(wù)上。

   然而,人們對(duì)實(shí)際遷移知之甚少,因此需要對(duì)遷移學(xué)習(xí)中使用的數(shù)據(jù)集的相關(guān)性、大小和質(zhì)量之間的權(quán)衡進(jìn)行更嚴(yán)格的調(diào)查。就目前的技術(shù)水平而言,未來(lái)10年,數(shù)以億計(jì)的上網(wǎng)用戶將不會(huì)使用其設(shè)備所提供的語(yǔ)言。 

   如果這些用戶設(shè)法訪問(wèn)在線服務(wù),他們無(wú)疑將無(wú)法享受使用通用世界語(yǔ)言的人所能享有的自動(dòng)內(nèi)容審核和其他保護(hù)措施帶來(lái)的好處。

 

擴(kuò)展語(yǔ)音識(shí)別的“語(yǔ)言”

 

   科研人員目前正在努力解決這些問(wèn)題。

   最近,美國(guó)斯坦福大學(xué)計(jì)算機(jī)科學(xué)專業(yè)的研究人員專門(mén)為尼日爾—剛果語(yǔ)系的Maninka、Pular和Susu這三種資源匱乏的語(yǔ)言(7個(gè)國(guó)家總共有1000萬(wàn)人使用這些語(yǔ)言,其中高達(dá)68%的人是文盲)開(kāi)發(fā)了第一個(gè)語(yǔ)音識(shí)別模型。

   為了應(yīng)對(duì)資源匱乏語(yǔ)言的挑戰(zhàn),研究人員使用了即便在資源匱乏語(yǔ)言中也可以使用的大量語(yǔ)音數(shù)據(jù):無(wú)線電廣播檔案庫(kù)。

   他們?yōu)榇隧?xiàng)研究收集了兩個(gè)數(shù)據(jù)集:一個(gè)是西非無(wú)線電語(yǔ)料庫(kù),包含了超過(guò)10種語(yǔ)言的142個(gè)小時(shí)的音頻,并帶有一個(gè)標(biāo)記的驗(yàn)證子集;另一個(gè)是西非虛擬助理語(yǔ)音識(shí)別語(yǔ)料庫(kù),由1萬(wàn)段標(biāo)注了4種語(yǔ)言的音頻片段組成。

   隨后,研究人員創(chuàng)建了“西非wav2vec”,這是一種在嘈雜的無(wú)線電語(yǔ)料庫(kù)上訓(xùn)練的語(yǔ)音編碼器,并將其與作為基線的臉書(shū)(Facebook)語(yǔ)音編碼器進(jìn)行了比較,后者接受了6倍以上高質(zhì)量數(shù)據(jù)的訓(xùn)練。比較結(jié)果表明,盡管西非無(wú)線電語(yǔ)料庫(kù)規(guī)模小且噪音大,但全新的語(yǔ)音編碼器在多語(yǔ)言語(yǔ)音識(shí)別任務(wù)中的表現(xiàn)與基線相似,并且顯著優(yōu)于基線在西非語(yǔ)言識(shí)別任務(wù)中的表現(xiàn)。

   最后,研究人員為不識(shí)字且使用Maninka、Pular和Susu三種語(yǔ)言的人設(shè)計(jì)了一個(gè)多語(yǔ)言智能虛擬助手原型。他們目前正在將其所有的數(shù)據(jù)集、代碼和訓(xùn)練過(guò)的模型發(fā)布給研究界,希望它能促進(jìn)這些領(lǐng)域的進(jìn)一步發(fā)展。

   “我們的目的在于為有道德的人工智能研究提供一條前進(jìn)的道路,以服務(wù)于那些因數(shù)字鴻溝而處于最不利地位的人的需求。”研究人員如是表示。

 

未來(lái)可期

 

   早期的計(jì)算機(jī)專家們知道,為了讓編程能夠?yàn)榇蟊娝邮,他們需要(jiǎng)?chuàng)建出便于人們學(xué)習(xí)的編程語(yǔ)言。即使在那時(shí),第一批高級(jí)編程語(yǔ)言也還是高度技術(shù)化的。

   如今,用戶從多層抽象中受益:你不需要理解JavaScript就能在計(jì)算機(jī)上閱讀文章,而且人工智能研究人員也不需要與匯編代碼進(jìn)行交互來(lái)推動(dòng)計(jì)算機(jī)科學(xué)領(lǐng)域的發(fā)展。

   不過(guò),計(jì)算機(jī)還沒(méi)有充分發(fā)展到能在某些社會(huì)中發(fā)揮作用的程度。

   目前,語(yǔ)音識(shí)別模型僅能識(shí)別有限的聯(lián)系人管理詞匯。下一步,研究人員計(jì)劃進(jìn)一步擴(kuò)大其詞匯量,提供覆蓋小額信貸、農(nóng)業(yè)或教育等領(lǐng)域的詞匯。不僅如此,他們還希望將其功能擴(kuò)展到尼日爾—剛果語(yǔ)系及其他地區(qū)的更多語(yǔ)言,這樣讀寫(xiě)能力或說(shuō)外語(yǔ)的能力將不再成為享受技術(shù)優(yōu)勢(shì)的先決條件。

   大量無(wú)線電數(shù)據(jù)使得將編碼器擴(kuò)展到其他語(yǔ)言變得非常簡(jiǎn)單。“通過(guò)對(duì)語(yǔ)言家族進(jìn)行更多語(yǔ)言的培訓(xùn),這個(gè)語(yǔ)音識(shí)別模型可能會(huì)表現(xiàn)得更好。”研究人員充滿信心地表示。

   毋庸置疑,要?jiǎng)?chuàng)造出能理解成千上萬(wàn)種有豐富口語(yǔ)特征(比如語(yǔ)氣和其他高級(jí)語(yǔ)義)的語(yǔ)言的計(jì)算機(jī)是很有挑戰(zhàn)性的。不過(guò),研究人員堅(jiān)持不懈地探索、突破,讓人們對(duì)未來(lái)充滿期待。

   畢竟,創(chuàng)新、獲取和安全都要求技術(shù)能夠使用世界上所有的語(yǔ)言。■

 

 

《科學(xué)新聞》 (科學(xué)新聞2021年2月刊 AI)
發(fā)E-mail給:      
| 打印 | 評(píng)論 |