能在文本精準檢測地址和號碼 谷歌是怎么做到的

　　8月10日消息，據國外媒體報道，谷歌本周發(fā)布了最新版的移送操作系統Android Pie，其中的亮點功能之一就是Smart Linkify。這是一個應用程序編程接口，可在文本中檢測到地址、電話號碼和其他類似信息并調用可點擊鏈接。雖然這聽起來很炫酷，但事實上一切都是人工智能在背后作用的結果。

　　“在文本中識別出電話號碼和地址往往是一個難題，”谷歌人工智能軟件工程師盧卡斯齊卡(Lukas Zilka)在一篇博客文章中寫道。“這不僅是因為人們在編寫文本時有很多變化，而且文本中的組合代表什么樣的信息也經常是模棱兩可(例如：’確認號碼:857-555-3556’并不是一個電話號碼,即使它采用了類似于電話號碼的形式)。”

　　齊卡解釋說，Smart Linkify是對現有Android Linkify API的改進，其底層由兩個緊湊的、低延遲的前饋神經網絡組成——由稱為節(jié)點的簡單處理單元層組成的機器學習算法——其中借用了前版移動操作西戎Android Oreo的智能文本選擇功能。

　　這兩個神經網絡都依賴第三個模型生成的數據。該模型從網絡中提取電話號碼、地址、產品、地點和商業(yè)名稱，并隨機添加“文本上下文”和短語(例如“確認號碼”和“ID”)。谷歌人工智能團隊針對拉丁文字語言(英語、德語、波蘭語和捷克語)使用一種算法，而針對日語、韓語、泰語、阿拉伯語和俄語等語種分別使用了完全不同的算法。

　　整個處理過程是這樣的:要分析的文本被拆分為單詞，然后從這些單詞中生成所有可能的最大長度子序列。然后，系統中的第一個神經網絡為每個子序列分配一個值(在0到1之間)，表示它對自己的身份(例如給定的一串數字是密碼還是電話號碼)的置信度。

　　得分最低的子序列從列表中刪除，然后第二個神經網絡介入，按類型對子序列進行分類——即電話號碼、地址或非實體信息。

　　“(網絡)需要知道實體周圍的上下文(除了實體本身的文本字符串之外)。在機器學習中，這是通過將這些部分表示為單獨的特性來實現的。”齊卡表示，“實際上輸入文本被拆分成幾部分，分別饋送到神經網絡。”

　　為此，單詞被轉換成n-gram模型(有時也稱為N元模子，是大詞匯連續(xù)語音識別中常用的一種語言模型)，這種技術“將(詞匯)表示為一定長度的所有字符子序列的集合”。而一個神經網絡辨識這些單詞是否以大寫字母開頭——這是郵政地址的一個顯著特征。

　　在實踐中，假設句子“約翰應該在周二打電話1- 800-9444-9494”這句話，Smart Linkify首先會將“John應該撥打”與“1- 800-9444-9494”分開，然后將“John應該撥打”和“1-800-944-9494”分類為非實體電話號碼和電話號碼，最后在網絡瀏覽器或應用程序中通過這個電話號碼創(chuàng)建一個可點擊的鏈接。

　　在智能手機硬件的限制下，這種工作對人工智能團隊來說是一個額外的挑戰(zhàn)。他們通過量化(一種將連續(xù)范圍的值轉換為有限范圍離散值的壓縮技術)以及在系統兩個神經網絡之間共享某些數值表示等其他技術來解決這個問題。

　　在不久的將來，這個團隊希望為日期和時間創(chuàng)建機器學習模型——尤其是識別文本中的非正式短語，如“下周四”或“三周后”。

　　“我們相信這種架構可以擴展到其他設備上的文本注釋問題，我們期待看到新的用例，”齊卡寫道。