今日頭條
官方微信
官方抖音
資訊頻道 如何讓計算機認識人、認識字、認識圖,而且不會認錯,這個中華文化在現代新技術條件下傳承發展的難關,被清華大學丁曉青教授帶領的智能圖文信息處理研究室攻克了。他們賦予了計算機與人相似的“識圖認字”能力與“視覺感知”功能,成為世界這一領域的領跑者。
攀登智能文字識別之巔
2008年,有一套大型出版物問世:總計19億漢字,全套132卷,這就是《人民日報圖文電子版縮印本(1946—2006)》。它的文字量遠遠超過約8.9億字的《四庫全書》,而電子版卻凝縮在19張DVD光盤中。這是由青蘋果數據中心應用丁曉青教授自主研發的“THOCR基于識別的原文重現系統”歷時5年制作完成的。
丁曉青拿出其中一本告訴記者:“它是經版面分析、識別、理解,最后自動精確重構為原式原樣的標準格式電子出版物,實現了文本和版面數據的雙平臺閱讀、檢索、下載和打印功能。”青蘋果數據中心在清華大學文字識別技術的支持下,已經完成幾百種報紙、文獻、雜志的數字化,覆蓋中日韓文,達3500億萬字。
上世紀80年代,漢字能否進入計算機成為關乎中華文化傳承的大問題。“當時形勢非常嚴峻,如果不能實現這個突破,就只能使用拼音。我們中華民族的五千年文明,難道要在計算機時代敗下陣來?”責任心的驅使,讓丁曉青走進了文字識別這一領域,一干就是20多年。
漢文字識別之難,莫過于讓計算機認字,而且保證它不會認錯字。當時的研究者往往采用提取漢字筆劃的結構識別方法,但是,筆劃提取和結構描述十分困難,有限筆劃和特征的漢字描述,無法獲得必要的識別信息量。字型一旦出現細微差別,固執的計算機就會翻臉不認“字”。
在經歷了拆筆劃識別算法等嘗試后,丁曉青獨辟蹊徑,提出模式識別信息熵理論,最早成功解決了多字體印刷漢字識別這一難題。簡單地說,就是讓計算機通過圖像來進行“全局性”認字,就和我們認字往往憑借視覺的感知一樣,讓計算機也懂得通過對文字整體結構的判斷來認字。多字體印刷漢字識別系統獲1992年國家科技進步獎三等獎。
隨后,他們研發了高性能的綜合集成(印刷、脫機手寫和聯機手寫)漢字識別系統,獲1998年國家科技進步二等獎,居于國際領先水平。難度最大的手寫文檔——如手寫報表、支票、信封地址,以及數碼相機拍攝的文字,都可以被計算機成功識別。高性能東方文字(中日韓)文檔智能全信息數字化系統,獲2003年國家科技進步二等獎,在國際競標中奪標,授權美國微軟公司推廣使用。
丁曉青總是說,科研成果不應束之高閣,而應在實際應用中大顯身手。自1992年以來,他們的研究成果迅速產業化。TH-OCR系列軟件產品已在自主版權軟件出口、增值稅發票防偽識別、電子出版物制作上發揮著重要的作用。其中,防偽稅控識別系統應用于全國數萬稅務局、50萬企業用戶,有效防止了稅收流失。
神奇的人臉識別認證
在丁曉青的工作室,她展示了主動視頻人臉檢測—跟蹤—識別監控系統。當攝像頭對準記者的時候,屏幕上會出現“stranger”(陌生人)的提示;當對準丁教授時,屏幕上出現她的名字和基本信息。
人臉識別系統是這個團隊多年的心血結晶。它能適應人臉姿態、表情、飾物變化,包括人臉檢測、眼睛定位、姿態估計、活體檢測、三維人臉識別和人體跟蹤。2005年6月,集成了丁曉青研發的TH-FaceID人臉驗證系統的“旅客自助查驗通道”在世界第一大陸路口岸深圳羅湖口岸投入使用。目前,深圳、珠海、北京、上海、廣州等地的邊檢口岸共已開通了400多條自助通道,驗放旅客超過2.5億人次,通過率98%,通關時間小于5秒/人。此舉節省了大量的人力物力,實現了旅客通關的自動化、電子化和人性化,是世界人臉識別技術大規模成功應用的范例。
目前,我國在人臉識別領域的研究已達到了國際領先水平。在2004年國際模式識別會議組織的國際高水平人臉驗證國際評測中,清華大學研發的TH-FaceID,以全部三項評測均第一,測試誤差低于第二50%的極大優勢,獲“全面性能最優成就”獎。他們研制的人臉識別系統參加國際工業界最權威的人臉識別測試FRVT2006,也取得了國際領先的成績,是全部性能優于人眼認證的領先算法。
說到人臉識別技術的應用,丁曉青說:“凡是需要身份認證的地方都可以利用該技術。人臉識別技術可以代替用賬號、密碼登錄計算機的方式,用戶只需在開機后看一下攝像頭,經識別認證就能成功登錄了;過海關不再需要專人來查驗護照,只要刷一下卡,看一下攝像頭就可以了;另外還可以利用人臉識別技術查身份證的真偽、嫌疑犯查詢、公共場所敏感人物監控。”
人臉識別遠程監控報警系統等已經成功應用于北京、天津、石家莊等地鐵路公安系統、ATM機監控系統、北京和西藏等機場、安全系統、技防系統以及2010年上海世博會籌備工作,即便被識別者采用了戴眼鏡、貼胡須等易容手段,系統也能準確地判定識別。
首創多民族文字識別系統
我國的少數民族文字字形不規則、連筆書寫,文檔的切分識別遇到極大困難。據丁曉青介紹,少數民族文字信息化的困難主要集中在利用智能化模式識別技術解決文字和文檔自動計算機輸入問題。讓電腦認識少數民族文字,通過掃描儀把大量的蒙文、藏文、維文等民族文字輸入電腦,變成可以任意編輯、多次復制和能在網絡上快速傳播的電子文檔,這是少數民族文字實現信息化的關鍵。
這有相當大的難度。由于民族文字信息化基礎薄弱,有的民族文字的基本字符集合和字符編碼標準尚不完善,相關語言資源庫較為匱乏,在收集用于訓練識別器的字符樣本、用于測試的標準實際文檔樣本庫、以及用于建立語言模型的語料庫、詞典庫方面都要付出更多努力。
歷時8年,歷盡艱辛。在丁曉青團隊的努力下,計算機終于能夠認出在我們看來像“天書”一般的少數民族文字。丁曉青提出的蒙藏維哈柯朝多民族語言的、基于不同字符基元的切分和基元統計識別方法,解決了困難的多民族文檔識別問題,實現了統一支持漢、英、日、韓、阿、蒙、藏、維、哈、柯、朝等主要文字文檔識別綜合系統。他們研制的“統一平臺民族文字(蒙藏維哈柯朝)文檔識別系統”獲2008年“錢偉長中文信息處理科學技術獎”一等獎——中文信息處理領域最高科技獎。該系統實現了將蒙古文等六種少數民族文字的紙質出版物轉換成電子出版物,文檔識別綜合集成在統一的平臺系統中,不再依靠人工錄入,印刷文檔的掃描圖像就會自動生成可編輯檢索的電子文檔。
目前,這一系統已在北京、西藏、新疆、內蒙古、甘肅、四川、青海、云南等地推廣應用。它對于促進少數民族的文化交流,促進我國少數民族地區的信息化建設以及促進我國與阿拉伯國家的合作、交流,都具有重要意義。
北京市公安局海淀分局備案號：11010802023656號