本文分析了新零售下智能貨柜的現(xiàn)狀與未來(lái)發(fā)展，主要包括這5點(diǎn)：新零售與智能貨柜概述、智能貨柜發(fā)展路線和市場(chǎng)分析、智能貨柜技術(shù)核心、系統(tǒng)結(jié)構(gòu)、貨柜運(yùn)營(yíng)核心與用戶體驗(yàn)，供大家一起學(xué)習(xí)和參考。

目前新零售風(fēng)刮的蠻大，筆者進(jìn)入該領(lǐng)域近一年，負(fù)責(zé)過(guò)無(wú)人便利店、智能貨柜、智慧商超等產(chǎn)品，在這個(gè)階段不斷去學(xué)習(xí)AI技術(shù)、積累新零售領(lǐng)域經(jīng)驗(yàn)。該篇文章作為第一篇AI產(chǎn)品設(shè)計(jì)復(fù)盤文章，為大家從行業(yè)、技術(shù)、產(chǎn)品設(shè)計(jì)三個(gè)點(diǎn)去介紹視覺(jué)識(shí)別智能貨柜。

文章也許會(huì)衍生成新零售系列，主要目的有：

1. 帶來(lái)客觀的新零售+AI領(lǐng)域結(jié)合的行業(yè)和智能貨柜產(chǎn)品動(dòng)向；
2. 真正以一個(gè)PM角色以綜合視覺(jué)去看待：趨勢(shì)、行業(yè)、產(chǎn)品、技術(shù)的結(jié)合，在加強(qiáng)自身的綜合能力同時(shí)，給其他PM帶來(lái)實(shí)際性的疑惑和思考。

ps：涉及商業(yè)限制，文章不會(huì)出現(xiàn)具體硬件型號(hào)或算法版本。

文章目錄：

一、新零售與智能貨柜概述

1.1 新零售背景

2016年10月的阿里云棲大會(huì)上，阿里巴巴馬云在演講中第一次提出了新零售，“未來(lái)的十年、二十年，沒(méi)有電子商務(wù)這一說(shuō)，只有新零售”。

當(dāng)時(shí)的大背景是：線上電商零售流量紅利見(jiàn)底，新中產(chǎn)階級(jí)和對(duì)應(yīng)的消費(fèi)升級(jí)觀念崛起，移動(dòng)支付等技術(shù)普及，整個(gè)傳統(tǒng)零售行業(yè)急需向歐美地區(qū)企業(yè)學(xué)習(xí)數(shù)字化謀求更好的發(fā)展，加上國(guó)家政策推動(dòng)，因此新零售風(fēng)口正式來(lái)臨。

1.2 新零售與智能貨柜

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在于更高效率、更好的服務(wù)，“零售”的本質(zhì)鏈接是“人”與“貨”的“場(chǎng)”。

《新零售：低價(jià)高效的數(shù)據(jù)賦能之路》：一張圖了解新零售

在智能貨柜這個(gè)產(chǎn)品中：

1. 智能貨柜即一個(gè)最小型的“場(chǎng)”，有了“場(chǎng)”，便產(chǎn)生了交易的可能。智能貨柜占地面積不到1平方米，幾乎是所有“場(chǎng)”中的最小單位。其成本低，布點(diǎn)位置靈活，可作為前置倉(cāng)使用，十分有利于零售商家對(duì)自己的零售生態(tài)整體布局。同時(shí)依靠視覺(jué)識(shí)別等AI技術(shù)(下文會(huì)詳細(xì)介紹)，加強(qiáng)了線下商品的即得性，提升了用戶體驗(yàn)；
2. 智能貨柜上的“貨”，通過(guò)數(shù)據(jù)驅(qū)動(dòng)，在消費(fèi)者端做到千柜千面?？煞聪蝌?qū)動(dòng)供應(yīng)鏈端和產(chǎn)品設(shè)計(jì)端(即供給端)，零售商家可做到高性價(jià)比的精細(xì)化運(yùn)營(yíng)，用更短更直接的路線和體驗(yàn)打動(dòng)消費(fèi)者；
3. 在“場(chǎng)”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關(guān)鍵指標(biāo)為流量*轉(zhuǎn)化率*客單價(jià)*復(fù)購(gòu)率，對(duì)不同用戶畫像進(jìn)行精細(xì)化運(yùn)營(yíng)，提高坪效。

最終，利用AI數(shù)據(jù)、用戶畫像、商品推薦等技術(shù)實(shí)現(xiàn)智能貨柜“人”、“貨”、“場(chǎng)”的消費(fèi)生態(tài)閉環(huán)，這便是智能貨柜在新零售時(shí)代的運(yùn)營(yíng)思路(也可以稱作軌跡)。

對(duì)于企業(yè)來(lái)說(shuō)，理解產(chǎn)品處于什么位置是及其重要的，“當(dāng)前位置”決定了發(fā)展方向和目標(biāo)的確立，是增長(zhǎng)路上的重要前提條件。智能貨柜在零售生態(tài)下作為獲取線下流量入口，在技術(shù)方案趨向成熟和數(shù)字化明確的背景下，是許多零售商和技術(shù)服務(wù)商值得投入資源去做的一個(gè)點(diǎn)。

市面上最好的點(diǎn)位營(yíng)業(yè)額日超四位數(shù)，假設(shè)一個(gè)零售商有1000臺(tái)貨柜布點(diǎn)，那么一天的僅靠貨柜營(yíng)業(yè)額可達(dá)到1，000×1，000=￥1，000，000，一個(gè)龐大的數(shù)字。

二、智能貨柜發(fā)展路線和市場(chǎng)分析

2.1 智能貨柜發(fā)展路線

智能貨柜目前一共經(jīng)歷了三個(gè)階段。

（1） 自動(dòng)售賣機(jī)階段：

1993年自動(dòng)販賣機(jī)從歐美、日本地區(qū)傳入中國(guó)，傳統(tǒng)自動(dòng)售賣機(jī)主要是硬件驅(qū)動(dòng)，用戶使用紙幣、硬幣支付，貨柜通過(guò)彈簧彈出商品，但傳統(tǒng)售貨機(jī)企業(yè)未能有效解決成本，質(zhì)量，運(yùn)營(yíng)等諸多問(wèn)題，所以導(dǎo)致國(guó)內(nèi)市場(chǎng)上的自動(dòng)售貨機(jī)不僅數(shù)量少，且品種非常單一，主要以瓶罐裝飲料售貨機(jī)為主。

（2） 無(wú)人貨架階段：

2017年，在新零售趨勢(shì)加持下，無(wú)人貨架迎來(lái)風(fēng)口。無(wú)人貨架大部分由互聯(lián)網(wǎng)公司進(jìn)行運(yùn)營(yíng)，以幾百元的成本在辦公室等較封閉場(chǎng)景快速搭建貨架，用戶通過(guò)微信、支付寶掃碼支付，從貨架拿取商品。但因?yàn)闆](méi)有構(gòu)建消費(fèi)閉環(huán)場(chǎng)景，導(dǎo)致商品貨損率極高，所以在運(yùn)營(yíng)一年后，大部分無(wú)人貨架項(xiàng)目都已暫停運(yùn)營(yíng)。

（3） 智能貨柜階段：

市場(chǎng)一直在驅(qū)動(dòng)企業(yè)創(chuàng)新，無(wú)人貨架風(fēng)口過(guò)后，以RFID和視覺(jué)識(shí)別為核心技術(shù)的智能貨柜時(shí)代正式走上歷史舞臺(tái)，與無(wú)人貨架相比，智能貨柜形成了消費(fèi)閉環(huán)，用戶掃碼開(kāi)門拿取商品，關(guān)門即扣費(fèi)，貨損率可控95%以上，同時(shí)點(diǎn)位達(dá)到一定規(guī)模后，智能技術(shù)賦能運(yùn)營(yíng)及補(bǔ)貨過(guò)程，銷售和品牌的規(guī)模效益便能逐步產(chǎn)生。

2.2 智能貨柜技術(shù)解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術(shù)好處是沒(méi)有SKU和擺放限制，但相應(yīng)的會(huì)增加人力成本和商品成本，識(shí)別準(zhǔn)確率大概是95~98%，由于不是本篇主要內(nèi)容，故不多介紹；
2. 視覺(jué)識(shí)別解決方案：以圖像識(shí)別為技術(shù)核心，攝像頭、主板為硬件核心，對(duì)消費(fèi)圖/視頻進(jìn)行目標(biāo)檢測(cè)和分類，極大的提高購(gòu)買和補(bǔ)貨體驗(yàn)，同時(shí)識(shí)別準(zhǔn)確率可到到99%~99。9%；
3. 重力感應(yīng)與視覺(jué)識(shí)別混合解決方案：以重力感應(yīng)為主，視覺(jué)識(shí)別為輔，或者以視覺(jué)識(shí)別為主，重力感應(yīng)為輔的形式，進(jìn)一步提高準(zhǔn)確率。

2.3 智能貨柜市場(chǎng)分析

目前智能貨柜市場(chǎng)的公司分類主要有以下三種：

（1） 無(wú)人貨架轉(zhuǎn)型公司：

從無(wú)人貨架賽道上轉(zhuǎn)戰(zhàn)的公司。該類公司有運(yùn)營(yíng)基礎(chǔ)自己運(yùn)營(yíng)貨柜，但是還需尋求硬件資源和組建圖像算法團(tuán)隊(duì)。

代表公司有：猩便利、小e微店。

（2） AI科技技術(shù)公司：

本身具備視覺(jué)識(shí)別技術(shù)能力，為傳統(tǒng)行業(yè)和領(lǐng)域賦能的公司，該類公司都擁有算法團(tuán)隊(duì)和AI核心技術(shù)基礎(chǔ)支持，一般不做運(yùn)營(yíng)，只為零售商提供硬件和軟件技術(shù)支持。

代表公司有：深蘭科技、海深科技、云拿科技。

（3） 傳統(tǒng)自動(dòng)售賣機(jī)企業(yè)：

意識(shí)到以視覺(jué)識(shí)別技術(shù)為核心的智能貨柜是新一輪增長(zhǎng)動(dòng)力的傳統(tǒng)自動(dòng)售賣機(jī)企業(yè)，該類企業(yè)有運(yùn)營(yíng)基礎(chǔ)和硬件基礎(chǔ)，資金量也充足可以很快的組建算法團(tuán)隊(duì)，研發(fā)出貨柜自運(yùn)營(yíng)或者批量售賣。

代表公司有：友寶。

部分智能貨柜公司列表

智能貨柜核心指標(biāo)對(duì)比

2.4 瓶頸與機(jī)會(huì)

智能貨柜的發(fā)展瓶頸主要是技術(shù)瓶頸：經(jīng)過(guò)2018~2019的快速發(fā)展，智能貨柜的發(fā)展到一定階段，市面上的智能貨柜技術(shù)服務(wù)商統(tǒng)稱自家的識(shí)別準(zhǔn)確率在99%以上，則100單最多只會(huì)識(shí)別錯(cuò)1單，但是距離真正成熟階段還差一定距離，識(shí)別技術(shù)瓶頸在未來(lái)會(huì)一直存在。

做到“千柜千面”，多場(chǎng)景全渠道售賣，兼容各類商家和商品，會(huì)出現(xiàn)各種各樣的復(fù)雜場(chǎng)景，對(duì)圖像識(shí)別的精準(zhǔn)度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問(wèn)題，都需要通過(guò)優(yōu)化算法以及配合其他方案解決。目前解決方案是使用動(dòng)態(tài)識(shí)別和重力感應(yīng)，但這也會(huì)增加成本。除了識(shí)別精度，還有許多待解決優(yōu)化的技術(shù)挑戰(zhàn)。

商品識(shí)別已知的工程挑戰(zhàn)問(wèn)題

從智能貨柜的普及率來(lái)看市場(chǎng)機(jī)會(huì)：在美國(guó)，平均35人擁有一臺(tái)自動(dòng)販賣機(jī)、在日本則是平均23人就擁有一臺(tái)、而在中國(guó)是4500人。

自動(dòng)販賣機(jī)大國(guó)日本目前的自助販賣機(jī)數(shù)量是250萬(wàn)臺(tái)，而國(guó)內(nèi)自助販賣機(jī)總量也不足20萬(wàn)臺(tái)，并且售賣的商品種類單一，分布不均衡，市場(chǎng)遠(yuǎn)未達(dá)到飽和?？偟膩?lái)說(shuō)，智能貨柜瓶頸與機(jī)會(huì)并存。

三、智能貨柜技術(shù)核心

介紹完宏觀層面，接下來(lái)，我們從微觀技術(shù)層面的角度讓大家更深入的了解智能貨柜。涉及到的技術(shù)核心主要是AI算法、數(shù)據(jù)源、硬件。

3.1 AI算法

（1） 識(shí)別云服務(wù)器

AI模型的訓(xùn)練十分依賴服務(wù)器運(yùn)算能力，GPU服務(wù)器比一般云服務(wù)器更適合深度學(xué)習(xí)項(xiàng)目，通常企業(yè)選擇租用GPU云服務(wù)器或購(gòu)買GPU服務(wù)主機(jī)進(jìn)行項(xiàng)目訓(xùn)練。

（2） 深度學(xué)習(xí)開(kāi)源框架

如TensorFlow，該框架由Google研發(fā)開(kāi)源，因種種原因，是目前最火的深度學(xué)習(xí)框架之一。

通過(guò)使用它可以快速的進(jìn)行神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)，大大降低了開(kāi)發(fā)成本。官方網(wǎng)站上有詳細(xì)的說(shuō)明以及機(jī)器學(xué)習(xí)中文社區(qū)，對(duì)ML學(xué)習(xí)十分有幫助(http：//www。tensorfly。cn/)。

（3） 識(shí)別算法

在智能貨柜運(yùn)營(yíng)場(chǎng)景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識(shí)別定位出每一層貨柜的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購(gòu)物訂單生成和其他場(chǎng)景盤判斷。要執(zhí)行該任務(wù)我們需要使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)為基礎(chǔ)的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運(yùn)行過(guò)程包括四個(gè)步驟(具體不做詳細(xì)解釋)：

1. 卷積層提取圖片初步特征；
2. 池化層提取圖片主要特征；
3. 全連接層將各部分特征匯總；
4. 產(chǎn)生分類器，進(jìn)行預(yù)測(cè)識(shí)別。

現(xiàn)在算法發(fā)展十分快速，作為AIPM，可以學(xué)習(xí)經(jīng)典算法的發(fā)展歷史和運(yùn)算原理，與算法工程師為產(chǎn)品選擇最合適的能力(算法)，甚至有新算法開(kāi)源，PM先下載跑一遍模型，不僅提高了工作效率，也加強(qiáng)了自身的技術(shù)能力。

圖像識(shí)別算法發(fā)展歷史

3.2 商品數(shù)據(jù)源和標(biāo)注

有了算法和模型，就需要喂數(shù)據(jù)，標(biāo)注流程規(guī)范和數(shù)據(jù)源質(zhì)量是兩大相輔相成的關(guān)鍵，智能貨柜售賣的商品最常見(jiàn)的是飲料和盒裝零食。

一般數(shù)據(jù)標(biāo)注可利用第三方標(biāo)注工具進(jìn)行標(biāo)注，為了提高標(biāo)注效率和標(biāo)注質(zhì)量，筆者在所在公司也從0-1設(shè)計(jì)了圖片標(biāo)注平臺(tái)。構(gòu)建標(biāo)注平臺(tái)前，需要了解機(jī)器學(xué)習(xí)中正負(fù)樣本的概念，對(duì)數(shù)據(jù)采集流程有清晰的認(rèn)知，熟悉標(biāo)注人員標(biāo)注和管理標(biāo)注的流程。筆者設(shè)計(jì)的標(biāo)注平臺(tái)公開(kāi)商用后，將會(huì)針對(duì)如何設(shè)計(jì)標(biāo)注平臺(tái)專門輸出一篇文章。

數(shù)據(jù)源質(zhì)量：眾所周知，數(shù)據(jù)質(zhì)量低會(huì)極大的影響模型的效果，容易造成模型的欠擬合或過(guò)擬合，影響模型效果和用戶體驗(yàn)，若出現(xiàn)這種情況，一般需要重新投入新的健康數(shù)據(jù)源重新訓(xùn)練，成本較大。對(duì)于保證數(shù)據(jù)源的質(zhì)量，我們通常關(guān)注以下兩點(diǎn)。

1. 標(biāo)注流程是否規(guī)范。一般每個(gè)標(biāo)注任務(wù)數(shù)據(jù)都會(huì)有專門審核流程，避免把亂標(biāo)、標(biāo)錯(cuò)不健康的數(shù)據(jù)源投放進(jìn)模型學(xué)習(xí)。這個(gè)主要是靠標(biāo)注流程的管理和人力資源調(diào)配，好的標(biāo)注平臺(tái)也是避免數(shù)據(jù)質(zhì)量參差不齊的因素之一，屬于可控范圍；
2. 標(biāo)注人員是否專業(yè)。標(biāo)注人員通常是實(shí)習(xí)生，需要經(jīng)過(guò)專門培訓(xùn)才可開(kāi)始標(biāo)注工作，有時(shí)候PM和算法工程師也要參與標(biāo)注工作。

數(shù)據(jù)標(biāo)注：投放訓(xùn)練流程圖

3.3 關(guān)鍵硬件

智能貨柜像廠商定制硬件能力，同時(shí)需要有專門的LOT后臺(tái)對(duì)硬件的健康狀態(tài)進(jìn)行監(jiān)控、硬件管理小程序或者APP為一線運(yùn)營(yíng)人員提供硬件管理支持。其中關(guān)鍵硬件有主板、攝像頭、門鎖、 物聯(lián)卡，由于涉及內(nèi)容較多，暫不做詳細(xì)介紹。

四、系統(tǒng)結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)主要分為用戶端、貨柜硬件端、識(shí)別服務(wù)端、邏輯服務(wù)端。

1. 用戶端：用戶用于購(gòu)物的小程序或APP。
2. 貨柜硬件端：實(shí)際控制貨柜上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設(shè)備，與服務(wù)端通信，平時(shí)負(fù)責(zé)將心跳數(shù)據(jù)和圖片打包上傳至服務(wù)端，并且解析服務(wù)端發(fā)過(guò)來(lái)的指令實(shí)現(xiàn)控制貨柜硬件。
3. 邏輯服務(wù)端：主要任務(wù)是接受貨柜硬件端數(shù)據(jù)，把照片數(shù)據(jù)放到隊(duì)列中供識(shí)別服務(wù)端讀取、修改貨柜訂單狀態(tài)、推送消息、更新庫(kù)存等。
4. 識(shí)別服務(wù)端：主要是實(shí)時(shí)檢測(cè)隊(duì)列讀取照片，運(yùn)行識(shí)別服務(wù)，生成訂單明細(xì)。

五、貨柜運(yùn)營(yíng)核心與用戶體驗(yàn)

綜合歷史經(jīng)驗(yàn)，筆者認(rèn)為在智能貨柜發(fā)展前期與用戶體驗(yàn)和商業(yè)標(biāo)準(zhǔn)最貼合的兩個(gè)維度是：

1. 對(duì)于貨柜運(yùn)營(yíng)客戶：收到錢、收對(duì)錢；
2. 對(duì)于購(gòu)物用戶：能買到、能買對(duì)。

零售的本質(zhì)不會(huì)變化，智能貨柜只是一個(gè)新型交易行為的媒介。商家的需求永遠(yuǎn)是賣的更多賺的更多，用戶的需求永遠(yuǎn)是買到性價(jià)比高的商品。

基于該前提，如何保證貨柜實(shí)際運(yùn)營(yíng)中穩(wěn)定性，對(duì)關(guān)鍵數(shù)據(jù)指標(biāo)進(jìn)行建模，繼而監(jiān)測(cè)貨柜整體和單體運(yùn)營(yíng)情況，以及考慮梳理因算法識(shí)別限制、各種現(xiàn)實(shí)異常場(chǎng)景的對(duì)應(yīng)的解決方案，去確保用戶購(gòu)物體驗(yàn)，是需要PM負(fù)責(zé)重點(diǎn)關(guān)注不斷去做方案優(yōu)化的，是也是本篇文章的重點(diǎn)，筆者最近的很多精力也是花在了該部分。

5.1 構(gòu)建貨柜運(yùn)營(yíng)穩(wěn)定性指標(biāo)

從算法模型的維度上評(píng)估識(shí)別識(shí)別模型的穩(wěn)定性，我們關(guān)注準(zhǔn)確率、召回率、IOU、平均檢測(cè)精度等指標(biāo)。

在智能貨柜購(gòu)物場(chǎng)景下，用戶一般會(huì)有明確的購(gòu)物目標(biāo)，效率和確定性對(duì)于用戶十分重要。所以從實(shí)際運(yùn)營(yíng)的維度上評(píng)估運(yùn)營(yíng)穩(wěn)定性，最主要關(guān)注用戶平均購(gòu)物時(shí)長(zhǎng)和訂單準(zhǔn)確率。其中購(gòu)物時(shí)長(zhǎng)與用戶體驗(yàn)成負(fù)相關(guān)，訂單準(zhǔn)確率與用戶體驗(yàn)成正相關(guān)。用戶購(gòu)物體驗(yàn)好才會(huì)有復(fù)購(gòu)率，實(shí)現(xiàn)貨柜布局的規(guī)模效應(yīng)。

購(gòu)物時(shí)長(zhǎng)等于用戶開(kāi)門到訂單完成扣費(fèi)的時(shí)間，通常是5s~20s。用戶關(guān)門后成功扣費(fèi)的時(shí)間越長(zhǎng)，證明用戶的等待和不確定的感受時(shí)間越長(zhǎng)，體驗(yàn)也就越差。影響時(shí)間主要的因素通常是圖片上傳速度和識(shí)別服務(wù)速度，前者通過(guò)服務(wù)邏輯優(yōu)化提升，后者通過(guò)迭代模型和采用更優(yōu)算法解決。

現(xiàn)實(shí)還會(huì)出現(xiàn)因網(wǎng)絡(luò)波動(dòng)圖像上傳失敗或者識(shí)別服務(wù)不順暢的情況 ，這個(gè)時(shí)候就要有溫馨的交互提示用戶可以先離開(kāi)購(gòu)物場(chǎng)景，等待訂單正確扣費(fèi)。PM需要持續(xù)關(guān)注用戶平均購(gòu)物時(shí)長(zhǎng)，獲取數(shù)據(jù)支持，檢測(cè)整體購(gòu)物體驗(yàn)穩(wěn)定性，永遠(yuǎn)以用戶為中心。

訂單準(zhǔn)確率是衡量一次購(gòu)物健康程度的核心指標(biāo)。訂單的準(zhǔn)確率對(duì)銷售客單價(jià)、用戶復(fù)購(gòu)率等核心購(gòu)買指標(biāo)都有極大的影響。不過(guò)因拍攝環(huán)境影響、模型迭代、算法受限種種原因，對(duì)訂單商品的識(shí)別很難達(dá)到100%的準(zhǔn)確率。但致力達(dá)到99。9%應(yīng)該是所有智能貨柜公司的目標(biāo)。

提高訂單準(zhǔn)確率的方向有先處理和后處理：

1. 先處理定義為可以在識(shí)別發(fā)生前實(shí)現(xiàn)的優(yōu)化，如對(duì)提高數(shù)據(jù)源質(zhì)量、數(shù)量;對(duì)模型升級(jí)和分組;更換更優(yōu)算法等等；
2. 后處理定義為在識(shí)別發(fā)生后實(shí)現(xiàn)的優(yōu)化。如通過(guò)像素對(duì)比、距離對(duì)比、IOU過(guò)濾等后糾正算法優(yōu)化，或?qū)⒂唵蝿澾M(jìn)異常訂單池，用更優(yōu)但更慢的模型處理甚至是人工處理等等。

5.2 常見(jiàn)識(shí)別異常場(chǎng)景介紹

穩(wěn)定的圖像識(shí)別模型能支持90%以上情況，但是因?yàn)橹悄茇浌竦膯吸c(diǎn)運(yùn)營(yíng)性質(zhì)，貨柜擺放的場(chǎng)景是十分任意的，售賣商品的范圍也很廣泛。這決定了圖像識(shí)別需適應(yīng)各種各樣的識(shí)別環(huán)境，如艷陽(yáng)高照的戶外、燈光昏暗的樓道。

同時(shí)識(shí)別模型自身穩(wěn)定性原因，在某個(gè)時(shí)間點(diǎn)開(kāi)始趨向不穩(wěn)定。這種時(shí)候就會(huì)出現(xiàn)識(shí)別異常情況。以筆者的經(jīng)驗(yàn)來(lái)說(shuō)，目前識(shí)別異常在實(shí)際運(yùn)營(yíng)中是不可避免的，AI技術(shù)還沒(méi)有達(dá)到能提供100%完美準(zhǔn)確率的能力。

識(shí)別異常場(chǎng)景通常有漏識(shí)別商品、識(shí)別多余商品、識(shí)別錯(cuò)誤商品。

（1） 漏識(shí)別場(chǎng)景

該種情況是商品存在于貨柜中，但是卻沒(méi)有被識(shí)別模型定位分類到。通常是因?yàn)閿?shù)據(jù)集樣本缺失導(dǎo)致模型訓(xùn)練不足欠擬合或者因攝像頭起霧、陽(yáng)光直射等拍攝環(huán)境問(wèn)題，導(dǎo)致圖片質(zhì)量差。

（2） 識(shí)別多余商品場(chǎng)景

該種情況是商品并沒(méi)有存在于貨柜中，但是被識(shí)別模型定位分類到。識(shí)別出多余商品，相對(duì)于漏識(shí)別場(chǎng)景，通常是因?yàn)橛?xùn)練數(shù)據(jù)集樣本質(zhì)量差或者模型訓(xùn)練過(guò)擬合，或者某一些商品瓶身反光，包裝復(fù)雜導(dǎo)致的。

（3） 識(shí)別錯(cuò)誤場(chǎng)景

該種情況是商品存在于貨柜中，但是被識(shí)別模型定位分類為錯(cuò)誤商品分類。頻發(fā)在模型存在兩個(gè)以上外形相近的商品。單個(gè)模型商品label越多，即便同個(gè)模型在訓(xùn)練測(cè)試時(shí)得出的指標(biāo)無(wú)太大差異，但因?yàn)橛写罅康南嘟唐方诲e(cuò)，可能實(shí)際運(yùn)穩(wěn)定性差異很大，SKU數(shù)量與運(yùn)營(yíng)穩(wěn)定性非線性關(guān)系(至少在一般沒(méi)有對(duì)模型優(yōu)化的情況下)。

若在識(shí)別異常發(fā)生的時(shí)候有顧客購(gòu)物，會(huì)出現(xiàn)幾種異常情況：

1. 顧客剛好買了漏識(shí)別的商品，則不會(huì)產(chǎn)生訂單，商家需承受貨損；
2. 顧客買了商品，但是識(shí)別錯(cuò)誤，導(dǎo)致扣錯(cuò)顧客的錢(可能扣多可能扣少)；
3. 顧客沒(méi)有購(gòu)物，但是因?yàn)槁┳R(shí)別或者識(shí)別錯(cuò)誤系統(tǒng)認(rèn)為顧客購(gòu)買了商品，導(dǎo)致扣多顧客的錢；
4. 因?yàn)樽R(shí)別異常場(chǎng)景交錯(cuò)，對(duì)于用戶感知來(lái)說(shuō)購(gòu)物流程正常，沒(méi)有發(fā)生以上漏扣、扣多、扣錯(cuò)的情況。

識(shí)別異常情況多了以后對(duì)于貨柜運(yùn)營(yíng)商家來(lái)說(shuō)承受的貨損和運(yùn)營(yíng)成本就會(huì)增加，商家就會(huì)懷疑技術(shù)能力甚至撤離該貨柜；也會(huì)造成顧客認(rèn)為機(jī)器經(jīng)常亂扣錢，導(dǎo)致其不會(huì)回歸購(gòu)物場(chǎng)景。

一定要折衷的話，前期會(huì)偏向“寧愿扣款錯(cuò)誤，后續(xù)退款給用戶，也不讓商家承受損失”，畢竟用戶只要在一定時(shí)間內(nèi)能及時(shí)退款，感知上問(wèn)題不大。但是商家(特別是小商家)對(duì)貨損十分敏感。識(shí)別異常無(wú)法100%解決，但是可以從通過(guò)物理方案把識(shí)別環(huán)境的變量降到最低、增加訓(xùn)練數(shù)量集、減少模型復(fù)雜度、使用后處理算法等方案優(yōu)化減少。

六、復(fù)盤總結(jié)

智能貨柜產(chǎn)品基本介紹完畢，該段主要分為智能貨柜產(chǎn)品發(fā)展方向、AIPM的工作內(nèi)容、AI產(chǎn)品設(shè)計(jì)思考，是筆者近一年以來(lái)的簡(jiǎn)單復(fù)盤總結(jié)。

6.1 智能貨柜產(chǎn)品發(fā)展方向

1. 基于視頻動(dòng)態(tài)識(shí)別技術(shù)的智能貨柜。本篇文章介紹的是以靜態(tài)圖片識(shí)別技術(shù)為主的智能貨柜，基于動(dòng)態(tài)識(shí)別，智能貨柜產(chǎn)品的生態(tài)運(yùn)營(yíng)和影響范圍又會(huì)拓展。相應(yīng)的成本和技術(shù)難度也進(jìn)一步增加，但筆者認(rèn)為是必經(jīng)之路，有需求則會(huì)有供給，技術(shù)的限制只會(huì)給人一次又一次打破，這是歷史不變的進(jìn)程；
2. 利用AI技術(shù)提供更多的貨柜終端體驗(yàn)方案。如人臉識(shí)別，商品推薦，用戶畫像，精細(xì)化運(yùn)營(yíng)；
3. 用戶前端購(gòu)買方案成熟和規(guī)模放大后，反向引導(dǎo)供應(yīng)鏈變革，企業(yè)重構(gòu)基于數(shù)字化的智能采購(gòu)、庫(kù)存管理供應(yīng)鏈系統(tǒng)；
4. 更多的傳統(tǒng)互聯(lián)網(wǎng)C端黑客增長(zhǎng)運(yùn)營(yíng)方案，提高零售購(gòu)物流程趣味性。如通過(guò)GPS定位，衍生戶外社交玩法，達(dá)到傳播裂變的效果。

6.2 AIPM工作內(nèi)容與流程

該部分主要復(fù)盤筆者作為AIPM的工作內(nèi)容，希望能給其他PM一個(gè)認(rèn)識(shí)。

智能貨柜項(xiàng)目分為技術(shù)定型、試運(yùn)營(yíng)、穩(wěn)定迭代三個(gè)階段。在不同階段，PM的工作流程和所需關(guān)鍵能力都不同。以AI算法流程“輸入-訓(xùn)練-輸出”為思考基礎(chǔ)，每個(gè)階段的工作流程也各自分為三步曲。

（1） 技術(shù)定型階段：

該階段的理解標(biāo)準(zhǔn)是公司還沒(méi)有成型產(chǎn)品，但通過(guò)與客戶的洽談對(duì)接考察，已確定具體的業(yè)務(wù)需求。PM需要重點(diǎn)與需求客戶多次反復(fù)溝通，思考清楚業(yè)務(wù)場(chǎng)景，構(gòu)建購(gòu)物(場(chǎng))空間形成與閉環(huán)。隨后與開(kāi)發(fā)一起選用適合的技術(shù)以及算法，開(kāi)始投入資源研發(fā)。

為什么存在技術(shù)選型流程：

1. 在前期不是所有場(chǎng)景的實(shí)現(xiàn)的唯一途徑都需要AI解決；
2. 若不是BAT級(jí)別，一個(gè)新項(xiàng)目的啟動(dòng)的成本評(píng)估十分重要，涉及到AI資源的開(kāi)發(fā)成本更需要可控

在技術(shù)定型階段，PM關(guān)鍵能力是業(yè)務(wù)對(duì)接能力和技術(shù)理解能力，業(yè)務(wù)指對(duì)接客戶，場(chǎng)景分析，商業(yè)計(jì)劃，技術(shù)指前后端，數(shù)據(jù)庫(kù)，cv/nlp算法和對(duì)應(yīng)解決方案等。時(shí)間分配上50%在對(duì)接業(yè)務(wù)，50%在對(duì)接技術(shù)。

（2） 試運(yùn)營(yíng)階段：

產(chǎn)品雛形上線后，可在可控制的范圍內(nèi)進(jìn)行產(chǎn)品試運(yùn)營(yíng)。

以視覺(jué)識(shí)別智能貨柜為例：第一版運(yùn)用靜態(tài)識(shí)別技術(shù)貨柜研發(fā)完成后，在客戶公司布點(diǎn)供內(nèi)部員工體驗(yàn)。經(jīng)過(guò)一定的試運(yùn)營(yíng)時(shí)間不斷的優(yōu)化產(chǎn)品的技術(shù)和體驗(yàn)，解決常見(jiàn)BUG。待產(chǎn)品穩(wěn)定后，客戶簽訂更大合同，開(kāi)始擴(kuò)大運(yùn)營(yíng)范圍并對(duì)外開(kāi)始商業(yè)運(yùn)營(yíng)。

這個(gè)時(shí)候，可能會(huì)出現(xiàn)因技術(shù)選型失誤或者技術(shù)的識(shí)別難關(guān)導(dǎo)致研發(fā)周期不可控的風(fēng)險(xiǎn)，所以在試運(yùn)營(yíng)階段，PM關(guān)鍵能力是項(xiàng)目管理能力和需求分析能力，對(duì)研發(fā)周期的可控和客戶提需求的過(guò)濾分析特別重要，同時(shí)也需要能幫助算法同事解決技術(shù)和業(yè)務(wù)的沖突，如決策放棄某些需求場(chǎng)景，協(xié)調(diào)增加算法資源，參與算法重選等。時(shí)間分配上60%處理項(xiàng)目和需求，40%跟進(jìn)和深入技術(shù)迭代。

（3） 穩(wěn)定迭代階段：

關(guān)于如何將項(xiàng)目視為進(jìn)入穩(wěn)定迭代階段，我們可以從兩個(gè)方面去看：

1. 產(chǎn)品能力上，相關(guān)的技術(shù)和關(guān)鍵業(yè)務(wù)指標(biāo)達(dá)到商用標(biāo)準(zhǔn)；
2. 團(tuán)隊(duì)上，有專門負(fù)責(zé)的產(chǎn)品開(kāi)發(fā)和售前售后團(tuán)隊(duì)，銷售反饋處理的主流程已基本搭建完成。

在本階段，負(fù)責(zé)的內(nèi)容與普通產(chǎn)品PM大徑相同，關(guān)鍵能力是對(duì)項(xiàng)目和產(chǎn)品整體的管理，相對(duì)需要關(guān)心技術(shù)方面的內(nèi)容會(huì)少一些(但是一個(gè)新場(chǎng)景進(jìn)來(lái)又會(huì)重新進(jìn)入第一階段)。但關(guān)注數(shù)據(jù)源的健康，關(guān)鍵技術(shù)指標(biāo)和業(yè)務(wù)指標(biāo)、思考如何從技術(shù)和其他維度上優(yōu)化模型依然是工作重心之一。

6.3 AI產(chǎn)品設(shè)計(jì)思考

筆者選擇往AI方向發(fā)展，除了趨勢(shì)還因?yàn)閷?duì)未來(lái)智能強(qiáng)烈的好奇心。

PM所有的輸出基于底層能力結(jié)構(gòu)，結(jié)構(gòu)包含兩部分內(nèi)容：第一部分是專業(yè)化知識(shí)，如體驗(yàn)、戰(zhàn)略、商業(yè)、技術(shù)等專業(yè)知識(shí)和技能，主要在工作中體現(xiàn)；第二部分則是個(gè)人的人文修養(yǎng)、靈魂素養(yǎng)、情緒、驅(qū)動(dòng)力、潛意識(shí)等。

所以我個(gè)人理解，在AI產(chǎn)品時(shí)代，一個(gè)崗位所需的底層能力是不會(huì)變化，只是崗位難度的變化。所以，保持產(chǎn)品初心不變，認(rèn)識(shí)到產(chǎn)品的本質(zhì)不變，把AI技術(shù)當(dāng)作更高效率的技能工具運(yùn)用在產(chǎn)品上，是我當(dāng)前階段的認(rèn)知也是對(duì)PM讀者的建議。

#感謝以下文章及作者#

• 無(wú)人貨架哀鴻遍野，智能貨柜浪潮來(lái)襲，無(wú)人零售終端未來(lái)走向如何？
• 新零售的風(fēng)口：無(wú)人便利店和販賣機(jī)的現(xiàn)狀及對(duì)比分析
• CNN卷積神經(jīng)網(wǎng)絡(luò)原理講解+圖片識(shí)別應(yīng)用（附源碼）

作者：zain ；微信號(hào)：gdn1016756845；公眾號(hào)：五百桶戶（ID：zainosl），交流是最好的進(jìn)步途徑之一。

本文由 @123456 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議。