分析圖像，提取特征，還得靠通用架構

京東公司成立二十年，在線商城已經(jīng)運行了十四年。這么多年下來，京東積累了一個龐大的在售產(chǎn)品目錄，產(chǎn)品圖像多達數(shù)億張。它們都保存在分布式大數(shù)據(jù)存儲庫 Apache Hbase 中，用 Hadoop 框架加以處理。為了滿足客戶在各種場景下的不同需求，京東希望可以匹配、提取不同產(chǎn)品圖像中的特征。比如，客戶逛街時發(fā)現(xiàn)一款自己喜歡的咖啡杯，只要拍下來，京東就可以根據(jù)照片為客戶找到滿足他要求的咖啡杯。對于京東自己來說，還可以利用圖像識別和匹配功能，與其他網(wǎng)站上的產(chǎn)品進行匹配，京東就可以調(diào)整自己的定價策略，強化自己的競爭力。此外，京東還對外提供公共云服務，類似功能還可以提供給公共云的客戶，幫助他們開發(fā)符合自己需求的全新圖像分析應用云平臺?，F(xiàn)在，在京東對外開放的技術能力中，「圖片質量檢測」和「以圖搜圖」功能已經(jīng)可以對外提供給其他開發(fā)團隊使用了。

京東的技術團隊接下圖像分析這個任務后，一開始，他們曾嘗試使用圖形處理單元（GPU）創(chuàng)建特征匹配應用，然而并不順利，因為在擴展性上遇到很多問題，必須手工管理眾多設備和系統(tǒng)，手工處理負載均衡和容錯；而且在數(shù)據(jù)處理過程中還出現(xiàn)很多延遲，不足以支持生產(chǎn)環(huán)境需求。

后來，京東決定基于現(xiàn)有的服務器和通用處理器架構開展工作，而且取得了顯著成效。他們的圖像數(shù)據(jù)存儲服務器基于英特爾至強處理器 E5 家族，技術團隊使用 BigDL 深度學習庫來部署 Caffe 模型，性能提升了 3.83 倍，這讓京東將來可以更快捷地提供基于圖片的全新服務。

在大數(shù)據(jù)分析領域，Apache Spark 項目已經(jīng)成為事實上的標準。該項目起始于加州大學伯克利分校，幾個創(chuàng)始人后來成立了 Databricks 公司，成立五年來，專門提供大數(shù)據(jù)分析服務。在分布式機器學習領域，他們也選擇了 BigDL 項目，與本身的原生 Spark 技術集成，提升 Spark 在模型訓練，預測和調(diào)優(yōu)方面的表現(xiàn)。

京東在基于英特爾至強處理器 E5-2650 v4 的服務器上運行 BigDL，完成深度學習提取圖片特征過程。Big DL 同時支持橫向擴展，只要添加新的標準英特爾至強處理器服務器，就能夠實現(xiàn)高效橫向擴展，延展到數(shù)百乃至數(shù)千臺服務器。京東使用了帶有 1200 個邏輯內(nèi)核的高度并行架構，大幅加快了從數(shù)據(jù)庫中讀取圖像數(shù)據(jù)的流程，整體性能提高了 3.83 倍。性能的提升，也要歸功于英特爾在核心算法層面的優(yōu)化。BigDL 使用英特爾數(shù)學核心函數(shù)庫 MKL 和并行計算技術，充分發(fā)揮了至強處理器的性能。

借助 BigDL 框架，京東還在自己已有的通用硬件上使用 Caffe、Torch 和 TensorFlow 等框架中的預訓練模型，這讓他們以更快的速度測試和推出新服務，同時無需投入專用硬件。也就是說，不需要購買、運行獨立的 GPU 集群。京東可以重復使用現(xiàn)有的硬件資源，從而降低了總體擁有成本。結合 Apache Hadoop 和 Spark 框架來處理資源管理工作，未來能夠更輕松地開發(fā)新應用，同時保持高效性能。

家門口刷臉購物不是夢

毫無疑問，京東是中國零售領域的領軍企業(yè)，技術上，京東同樣具有前瞻性思維，前文提到的京東的無人商店和無人超市刷臉完成購物, 就是一個很好的證明。

《福布斯》專門撰文報道：京東希望使用當今最先進的技術創(chuàng)新開發(fā)新的解決方案，創(chuàng)建面向未來的零售運營體系；京東正在推動人工智能、大數(shù)據(jù)和機器人技術的發(fā)展，為第四次工業(yè)革命建立零售業(yè)的基礎設施。到那一天，你在家門口的便利店和超市里面就能直接刷臉買東西啦。