分析:關(guān)于蘋果WWDC 2018 的AI人工智能技術(shù)及直播應(yīng)用
這篇文章是從產(chǎn)品經(jīng)理的角度,去淺談一下對(duì)WWDC大會(huì)所涉及的人工智能。也是當(dāng)時(shí)面試歡聚 YY AI產(chǎn)品經(jīng)理其中六輪面試中第三輪中一些問題的梳理總結(jié),后面得了Offer。(由于利益關(guān)系去掉了一些內(nèi)容)對(duì)AI產(chǎn)品經(jīng)理的相關(guān)面試和準(zhǔn)備有興趣的小伙伴,歡迎關(guān)注~
目錄:
一、蘋果發(fā)布會(huì)-涉及智能科技
1. ARKit 2
USDZ
Measure
樂高+ARkit2(多人共享)
2. 人臉識(shí)別升級(jí)——Memoji動(dòng)畫表情
3. Facetime
4. 照片應(yīng)用
圖像識(shí)別
For You
5. Siri-Shorcut
二、AI 產(chǎn)品經(jīng)理面試談到的技術(shù)
1. 游戲直播
2. 對(duì)戰(zhàn)游戲
3. 戶外尋寶
談這個(gè)和AI PM有什么關(guān)系呢?
因?yàn)锳I PM是需要將AI技術(shù)與現(xiàn)有業(yè)務(wù)場景結(jié)合、落地產(chǎn)品化的,而2018 WWDC大會(huì)是恰逢app store 10周年,從大會(huì)內(nèi)容及開發(fā)者角度去看,這對(duì)互聯(lián)網(wǎng)、人工智能行業(yè)都蠻多意義的。
WWDC 2018發(fā)布會(huì)側(cè)重是“軟”功能上的升級(jí),這或許是迎合App Store10周年,也可能是生態(tài)布局的鋪墊。從發(fā)布會(huì)的功能看,主要是以蘋果為樞紐,聯(lián)結(jié)開發(fā)者和最終用戶。
其中大會(huì)功能點(diǎn)大概梳理如下:
一、蘋果發(fā)布會(huì):涉及智能科技
1. ARKit 2
蘋果發(fā)布會(huì)中,首先介紹了 ARKit 2,并公布了新的 AR 的專用文件格式 USDZ,ARKit 2主要有兩項(xiàng)更新:與Pixar合作的新的文件格式USDZ和多人共享AR。
(1)USDZ
USDZ是一個(gè)獨(dú)立的AR文件格式,可以直接在 iOS 系統(tǒng)中打開與分享,也可通過蘋果的File、Safari、mail、message等應(yīng)用分享。所以當(dāng)打開文件,將AR效果直接置于現(xiàn)實(shí)環(huán)境中,就可以完成便捷的AR效果體驗(yàn)。而Adobe、Autodesk、Sketchfab、Quixel這些工具都可以創(chuàng)作出USDZ格式的AR文件。
那么,不會(huì)使用Unity等專業(yè)的軟件設(shè)計(jì)工具的非專業(yè)人員也能創(chuàng)作出AR內(nèi)容,這將會(huì)極大地豐富AR內(nèi)容生產(chǎn)。
(2)Measure
同時(shí),蘋果還推出了一款名為Measure(測量)的應(yīng)用,顧名思義,就是在AR中測量物體尺寸的工具。它可以利用 AR 交互和 AI技術(shù)來測量現(xiàn)實(shí)物體的長度,還可以自動(dòng)感應(yīng)照片等平面物體并計(jì)算它們的面積。
(3)樂高+ARkit2(多人共享)
ARKit 2可以實(shí)現(xiàn)更好的識(shí)別技術(shù),并且增加了多用戶支持,可以多人共享一個(gè) AR 環(huán)境,譬如:兩個(gè)人一起玩同一個(gè) AR 游戲。這次蘋果與樂高達(dá)成合作,現(xiàn)場演示如何在樂高建筑模型上體驗(yàn)直接生成的 AR 游戲舞臺(tái),將虛擬與顯示結(jié)合,大大提升游戲的沉浸感,還可以兩個(gè)人一起。其中包括更好的細(xì)節(jié)渲染、兩臺(tái) iOS 設(shè)備在 AR 場景中進(jìn)行交互的場景。
2. 人臉識(shí)別升級(jí):Memoji動(dòng)畫表情
去年,蘋果的人臉識(shí)別技術(shù),加上iPhone X的攝像頭和3D結(jié)構(gòu)光處理優(yōu)勢,蘋果發(fā)布了人臉識(shí)別動(dòng)態(tài)emoji,也即Animoji。今年,Animoji也有升級(jí),名字叫做Memoji。
全新的功能Memoji,用戶可以制作屬于自己的動(dòng)話表情,新增 Memoji(根據(jù)人的面部容顏?zhàn)远x多種 Emoji),自拍新增多種 Animoji 濾鏡。
原理還是人臉識(shí)別動(dòng)態(tài)捕捉用戶表情然后轉(zhuǎn)化為3D emoji,這次蘋果提供了大量的數(shù)據(jù)庫,從發(fā)型、膚色到眼鏡等裝飾品,便于用戶創(chuàng)造屬于自己的Animoji形象,也即Memoji。此外,Memoji在生成時(shí),攝像頭可以使用各種濾鏡,在生成前給出更多效果。
(這個(gè)功能的理想形態(tài)還是用結(jié)構(gòu)光掃描人臉,自動(dòng)生成一個(gè) 3D 形象,現(xiàn)在還是需要完成類似“捏臉”的過程。)
用戶可以使用這個(gè)功能,錄一段話,生成一個(gè)用自己的聲音和表情說話的Memoji,并將它發(fā)送給朋友。
3. Facetime
新增 Group Facetime 功能,與 Group Chat 整合,最多支持 32 人實(shí)時(shí)通話。同時(shí) Facetime 新增實(shí)時(shí) Animoji 濾鏡。這一功能在 iPad、iPhone 和 Mac 上可用。
交互界面經(jīng)過了重新設(shè)計(jì),在講話中的人的窗口會(huì)放大,同時(shí)上文提到的濾鏡和貼紙也可以應(yīng)用到視頻聊天中。(社交通信產(chǎn)品會(huì)不會(huì)跟進(jìn)這一功能呢?)
4. 照片應(yīng)用
(1)圖像識(shí)別
提供了圖像識(shí)別功能,照片也可以根據(jù)事件、地點(diǎn)、事件進(jìn)行分類聚合。在你搜索之前,系統(tǒng)會(huì)給你提供搜索建議。對(duì)各種各樣的個(gè)性化標(biāo)簽(地名、場景等)搜索,并且可以自動(dòng)生成的個(gè)性化的 For You 照片專輯——毫無疑問運(yùn)用了端側(cè)人工智能。
(2)For You
新功能“For You”,是專門為用戶生成的推薦集,有“去年今日”等不同的主題。另外,iOS 12 在照片分享上也會(huì)給出建議,點(diǎn)開用戶可以首先快速勾選這一次旅行中的哪些照片可以分享,然后系統(tǒng)還會(huì)根據(jù)通信錄頭像、以及分享照片中的人物推薦你在分享時(shí)候需要提醒誰。最后被你提醒的用戶還能直接訪問你旅行的整個(gè)照片集,可以說是一整套“異常自動(dòng)化”的旅程分享產(chǎn)品了。
5. Siri-Shorcut
iOS 12 的解決方案讓用戶“教育” Siri。去年,效率工具 Workflow 被蘋果收購,如今,它被深度整合到了 Siri 當(dāng)中?,F(xiàn)在你可支持自定義喚醒詞,并且可以實(shí)現(xiàn)一系列的相關(guān)操作。
這項(xiàng)功能被蘋果命名為 Shorcu。簡而言之,有了Siri Shortcuts,每個(gè)應(yīng)用都可以將一些快捷功能提供給Siri,讓Siri以更智能、更便捷、更符合用戶行為習(xí)慣的方式執(zhí)行。
設(shè)定一系列操作,并且通過一個(gè)命令激活完成,提高效率。例如:通過設(shè)定短語“I lost my keys”幫助尋找鑰匙的應(yīng)用Tile App可以添加一個(gè)Shortcuts給Siri。然后當(dāng)你說出這句話時(shí),Siri可以自動(dòng)打開Tile,并且在Siri的界面直接調(diào)動(dòng)尋找鑰匙這一功能,而無需去到應(yīng)用里。
可以想象以后,假設(shè)對(duì) Siri 喊“我要回家”,得到反饋后,會(huì)完成路線導(dǎo)航—推薦車載音樂—打開家中空調(diào)等一系列操作。
同時(shí),也加入了建議功能,Siri 會(huì)根據(jù)用戶習(xí)慣給出一些建議,并且添加到鎖定屏幕。比如:若你每天在應(yīng)用程序中做同樣的事情,Siri會(huì)記下來并提醒你;比方說:早上點(diǎn)杯你過去經(jīng)常購買的咖啡,或是當(dāng)你上班遲到了,可以觸發(fā)操作給同事們都發(fā)送一條消息。你可以“分享”應(yīng)用添加這個(gè)流程當(dāng)中,讓 Siri 更聰明。
二、AI 產(chǎn)品經(jīng)理面試談到的技術(shù)
談到發(fā)布會(huì)能共享場景的技術(shù)應(yīng)是ARKit2的多人分享,蘋果在AR上的技術(shù)進(jìn)步其實(shí)也是來自于AI技術(shù)的發(fā)展,ARKit所需要的環(huán)境識(shí)別、3D渲染其實(shí)都需要AI技術(shù)提供支持。全新的Memoji功能也說明了蘋果的AR和AI 不分家的特點(diǎn)。
基于此聯(lián)想一些能落地到直播中的場景:
1. 游戲直播
首先,通過設(shè)計(jì)一些通用的、有趣簡單的關(guān)卡游戲。再讓主播開啟AR游戲模式,掃描現(xiàn)實(shí)中某種符合識(shí)別的、有趣有挑戰(zhàn)性的場景。最后利用AR對(duì)現(xiàn)實(shí)場景進(jìn)行增強(qiáng)游戲化。
用戶能觀看不同場景下的游戲化AR直播,同時(shí)游戲本身也能趣味性、強(qiáng)互動(dòng)性,能給予主播相關(guān)的提示、獎(jiǎng)勵(lì)等等。
2. 對(duì)戰(zhàn)游戲
通過連麥的方式,可以開啟游戲的對(duì)戰(zhàn)模式。讓主播上傳某場景作為主場地,邀請(qǐng)其他主播進(jìn)行PK。
3.?戶外尋寶
去年YY開啟過戶外AR尋寶,其互動(dòng)模式大概是主播尋找+用戶提示, 若利用這技術(shù),或許能支持多個(gè)主播參與,進(jìn)行小隊(duì)合作等??梢允歉髦鞑ザ加歇?dú)特的技能、鑰匙,當(dāng)其他主播發(fā)現(xiàn)了寶箱或者專屬主播的藏寶圖,可以進(jìn)行掃描分享,以此邀請(qǐng)主播進(jìn)行開啟,一并完成任務(wù)。
以上幾點(diǎn)就是關(guān)于2018蘋果 WWDC大會(huì)關(guān)于AI相關(guān)技術(shù)與落地的個(gè)人總結(jié)內(nèi)容,希望能幫助在AI理解上有所啟發(fā),謝謝。
本文由 @鳳城狂客 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自網(wǎng)絡(luò)
謝謝