端到端, 會『殺死』5萬名自動駕駛工程師嗎?
從華為、特斯拉到小鵬汽車,各大車企紛紛投入巨資研發(fā),試圖解鎖自動駕駛的最終形態(tài)。本文深入探討了端到端技術(shù)如何重塑自動駕駛領(lǐng)域,以及這場變革對工程師們意味著什么。
“華為自動駕駛有6千個工程師,主要用來寫各種規(guī)則,因為 rule-based (基于規(guī)則)環(huán)境太復(fù)雜,總有新的 task (任務(wù))出現(xiàn)。”一位特斯拉FSD工程師形容華為智駕團(tuán)隊,為什么規(guī)模必須很大時說道。
這也是余承東壓力大的原因,華為自動駕駛團(tuán)規(guī)每年花費10億美元,累計支出早已經(jīng)超百億,而主要成本就是工程師的薪資等人力成本支出。
不只是華為,對于所有智能駕駛企業(yè)來說,一直困在系統(tǒng)中的問題就是:自動駕駛需要窮盡所有的Corner case(特殊情況),這就導(dǎo)致每家智能駕駛團(tuán)隊的人數(shù)基本都不低。
類似比亞迪、百度這些都在3-5千人,獨立智能駕駛公司如Momenta在1300 多人,車企理想年初也是1300人,每類型智駕公司都有五六家,這些人加起來至少有5萬核心的自動駕駛工程師。
他們薪資都很高,有自動駕駛領(lǐng)域獵頭說到:“在自動駕駛賽道,地平線和禾賽這樣的公司,研發(fā)團(tuán)隊的人均薪資基本到百萬了?!彼ツ昃蛶鸵晃荒晷?00萬的獵到了新機(jī)會。
但很多家也潛行研發(fā)了10年的時間,卻沒有一家敢說能讓L4級別的智能駕駛落地。
而在2024年,特斯拉的FSD v12突然帶火了一個詞『端到端』,一時間仿佛L4級別智能駕駛突然要實現(xiàn)。端到端就像是智能駕駛的ChatGPT時刻,瞬間讓智能駕駛車企都開始布局。
端到端對于大眾來說,還是個不甚了解的詞匯,行業(yè)內(nèi)具體解決方案也并不一致。大家只知道,不再需要窮盡算法解決Corner Case (特殊情況),每家智駕團(tuán)隊就不要一直擴(kuò)張算法團(tuán)隊人數(shù)。
燒錢卻無解的情況終于有了改變,資本和企業(yè)歡呼自動駕駛有望實現(xiàn),智能算法人才卻在猶豫,大模型上車,會讓自己丟掉飯碗嗎?
01 端到端還在定義,市場卻都是降臨派
自動駕駛,此前對于各大廠來說,說起來都是個苦命的探索。
自動駕駛國外的領(lǐng)軍企業(yè)是Google 的Waymo,國內(nèi)是大廠百度、以及元戎、小馬(兩家正在上市)等諸多自動駕駛創(chuàng)業(yè)企業(yè),還有蔚小理等新勢力。
行業(yè)稍早時,發(fā)展路線是依賴高精地圖。所以Waymo 以及國內(nèi)的玩家成本都很貴,每開一個新城都要用自己的車隊去鋪,100 輛車*100 萬人民幣,再加上 operation cost(運營成本),就是一個城市一個億人民幣,從商業(yè)模式來看不劃算。
于是在2023年,元戎啟行率先發(fā)布了不依賴高精度地圖的智能駕駛解決方案,此后有包括華為、蔚來、小鵬、理想、地平線等超過10家企業(yè)明確開始棄用高精地圖的方案。
后來很多車企入局,他們倚重的路線是激光雷達(dá),華為和小米算是這種路線的代表,前者自研,后者投了投資了激光雷達(dá)企業(yè)禾賽等。
這兩種模式,底層技術(shù)都是BEV+transformer,兩年時間不到,轉(zhuǎn)眼就老套了?,F(xiàn)在以特斯拉和小鵬為代表,都用純視覺占用網(wǎng)絡(luò)+大模型,從感知到規(guī)劃,端到端成為市場的共識。
但端到端具體怎么定義,什么系統(tǒng)才是端到端,市場并沒有明確的定義。如果形象地說,端到端更像是模仿人類的思考方式。
諾貝爾獲得者丹尼爾卡尼曼曾說,人類有兩個系統(tǒng),分別是系統(tǒng)A和系統(tǒng)B,前者利用直覺和本能,高效處理95%的問題,而系統(tǒng)B則是復(fù)雜場景的理解,能處理5%很難的問題。
未來的自動駕駛技術(shù)也是如此,用一個傳感器直接到模型的方案,解決日常碰到的絕大部分問題,端到端直接處理。和大模型類似,這種可泛化的 Scaling Law(尺度定律) 大幅度降低了自動駕駛解決各種問題的成本。
而在模型2中構(gòu)建多模態(tài)模型,處理難以特殊場景的復(fù)雜問題,解決自動駕駛落地的最后1%難題。
但不是兩個系統(tǒng)就叫端到端,核心得實現(xiàn)輸入圖片、輸出信號,一個大模型解決問題,而不是感知、處理、決策這種多步驟的模塊化系統(tǒng)。因此,有玩家認(rèn)為真正的One Model端到端屬于生成式大模型,才真正具有顛覆性。
端到端到底有何神奇之處,在美國駕駛過FSD v12版本特斯拉的國內(nèi)創(chuàng)業(yè)者張強(qiáng)告訴AI鯨選社,他啟動autopilot后,無保護(hù)左轉(zhuǎn)的情況下,先禮讓直行來車,對方也讓行的話,直接加速轉(zhuǎn)向通過?!安皇呛芩腊澹裼薪?jīng)驗的老司機(jī)。”
顛覆性技術(shù)來臨之際,也讓各家公司都集體來了個大剎車。2024年本來華為、理想、小鵬都在推進(jìn)全國無圖駕駛。現(xiàn)在無圖 NOA 的生命周期即將結(jié)束,端到端已經(jīng)在摩拳擦掌。
小鵬汽車就宣稱,2024年將投入35億元用于智能研發(fā)。
在特斯拉內(nèi)部變化也很大,端到端和之前 rule – base 差異很大,上了端到端之后,團(tuán)隊變動也很大,Tesla 之前負(fù)責(zé) planning control (規(guī)劃控制)的負(fù)責(zé)人就離職了。
特斯拉美國FSD工程師也表示,之前 Tesla 一直不愿意向中國團(tuán)隊開放代碼閱讀權(quán)限,上了端到端之后,已經(jīng)不需要國內(nèi)工程師了,國內(nèi)只需要標(biāo)注即可。
一塊重石悄然在自動駕駛工程師圈砸下,現(xiàn)在很多智駕團(tuán)隊的招聘,都是僵尸崗位,市場在衡量未來到底需要多少智駕工程師。
02 CEO集體放話,各大車企爭搶大牛
全國無圖 NOA 熱度才幾個月,馬上端到端的智駕就要來了,大家又回到同一起跑線。
另一方面看,則是自動駕駛終于找到了指數(shù)級進(jìn)化的路線。一直以來,算法覆蓋corner case,根本拉不開各家的實力差距。所以大家都認(rèn)為,自己和特斯拉處于同一水平。
但端到端技術(shù)開啟新的進(jìn)化大門后,新的競爭又開始了,一兩年內(nèi)應(yīng)該就會拉開巨大差距。
華為余承東曾表示,華為團(tuán)隊去美國舊金山、加拿大多倫多等地進(jìn)行了測試,從結(jié)果來看,等特斯拉FSD入華后,華為有信心干贏對手。
今年年初,小鵬汽車創(chuàng)始人何小鵬也去了美國,親自體驗特斯拉FSD的駕駛感受和落地情況。
測試完,何小鵬說到:『我們跟特斯拉,是唯二端到端的(車企),所以小鵬汽車作為中國最好的智駕廠商,我們也是非常期待特斯拉FSD能夠進(jìn)入中國,一起互相學(xué)習(xí)。』
如果你感覺何小鵬說的比較謙虛,實際上他還說了,并自信提出了『國內(nèi)路況比美國復(fù)雜10倍,小鵬有信心?!?/p>
且看5月20日的AI Day,小鵬高調(diào)展出了多項第一:國內(nèi)首個量產(chǎn)上車的端到端大模型:神經(jīng)網(wǎng)絡(luò)XNet+規(guī)控大模型XPlanner+大語言模型XBrain。還有全球首個“AI代駕”。AI代駕很有意思,意味著AI駕駛能學(xué)習(xí)司機(jī)的駕駛習(xí)慣,更有個性化。
類人類智駕,實際上就是端到端能實現(xiàn)的重要特征。這塊單獨拿出來說,更多宣傳層面考慮。
而華為是在更早的2024年4月24日,發(fā)布的ADS3.0,宣布去除了BEV,在決策和控制使用了端到端的人工智能。雖然發(fā)布的早,但實際上GOD大網(wǎng)也就是感知模塊,控制模塊也是獨立的,整個還偏模塊化架構(gòu),并不能算真正意義上的端到端。
不過,華為和小鵬確實是行動較快的玩家,在今年7月初,華為與小鵬的兩段式端到端智駕方案將推送給車主。蔚來也開始在7月下旬推送端到端的解決方案。
理想汽車CEO李想也表示,三季度將向測試用戶推送端到端+VLM(視覺語言模型)的智駕方案。但對于理想來說,其實時間非常緊迫。
最早行動的蔚來,在年初將感知和規(guī)控團(tuán)隊合并為大模型團(tuán)隊,集成團(tuán)隊重組為交付團(tuán)隊。理想汽車是到了7月份,才組建了“端到端自動駕駛”的實體組織,整體200人出頭。李想調(diào)動了理想智能駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬親自負(fù)責(zé)“端到端”的研發(fā)。
同時,理想公開了其端到端自動駕駛技術(shù)方案,其方案分為端到端模型、VLM(即Vision-Language Model,視覺語言模型)視覺語言模型、世界模型三部分。
雖然發(fā)布時間較晚,但理想大聲宣布自己才是真正的OneModel 端到端,難度也不是一般的大。“從傳感器輸入到行駛軌跡輸出只經(jīng)過一個模型?!崩硐胫悄荞{駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在發(fā)布會上曾說。
有行業(yè)人士指出,跟華為、小鵬的分段式端到端方案相比,理想的方案確實更激進(jìn),可視為分段式端到端的下一站。
趨勢并不是只有華為和蔚小理等新勢力會跟進(jìn),一項認(rèn)為自動駕駛有點扯的比亞迪創(chuàng)始人王傳福,此前曾公開說:我是實實在在搞戰(zhàn)略的,我看的比誰都清,我們有幾萬名工程師在探索這個東西(自動駕駛)到底行不行,這條路到底通不通,我不清楚嗎?
最近一改往日言論,也在調(diào)兵遣將跟進(jìn)。
7月份,引入百度艙駕融合智駕技術(shù)負(fù)責(zé)人周鵬,負(fù)責(zé)比亞迪的端到端大模型規(guī)控算法開發(fā),而且是獨立于比亞迪規(guī)劃院智能駕駛研發(fā)中心,新設(shè)立的300人部門。
一個現(xiàn)象值得關(guān)注,如理想、蔚來、比亞迪等主流車企智駕部門都成立了獨立的端到端團(tuán)隊,并派遣大將坐鎮(zhèn),都是200-300人團(tuán)隊即可。相比原來幾千人甚至上萬人的智駕團(tuán)隊,不可謂不精簡。
傳統(tǒng)做Rule-Basd算法的人員,盡管目前還沒有發(fā)生大規(guī)模裁員事件。很大程度上是因為端到端還處于ChatGPT-2時刻,距離ChatGPT-4時刻還有距離。
一位自動駕駛企業(yè)HR告訴AI鯨選社:“新成立的端到端部門都還剛起步,目前還需要傳統(tǒng)智駕部門做算法場景覆蓋,保證自動駕駛安全的下限,未來會不會形成沖擊不好說?!?/p>
端到端容易出現(xiàn)下限問題,是大模型初級階段的核心問題。張強(qiáng)就提到,他在美國開車時,十字路口的直行道排隊較長,特斯拉的autopilot直接拐到左轉(zhuǎn)道,然后紅綠燈一亮,直接又加速斜插回直行道。“差點和直行車撞上,還好一腳剎車踩住了?!?br /> 類似場景是大模型還沒學(xué)明白的地方,這就需要算法覆蓋,保證下限問題。但端到端進(jìn)化速度很快,未來會學(xué)習(xí)到人類甚至超過人類的水平。
03 馬斯克還是鯰魚,普通工程師受傷
現(xiàn)在,小鵬在國內(nèi)自動泊車、潮汐車道等場景中,表現(xiàn)也是超越特斯拉的存在。華為和小鵬實際都有本地化的優(yōu)勢,利用高精地圖或者雷達(dá)等加持下,確實即便FSD v12現(xiàn)在版本真正進(jìn)入國內(nèi),也很難短期打敗國內(nèi)對手。
但未來發(fā)展看,技術(shù)底層邏輯會導(dǎo)致變化。“絕大部分車企,其實都是在「模型化」,「模塊化端到端」,真正的 OneModel 端到端,可能只有特斯拉?!币晃恍袠I(yè)認(rèn)識評價道?!?/p>
因此可以說,特斯拉改變了自動駕駛團(tuán)隊的工作模式。此前,“在模塊化的架構(gòu)下,一位工程師一天只能處理10多個case,效率不高?!眹鴥?nèi)最早落地端到端方案的自動駕駛企業(yè)元戎啟行CEO周光曾公開說道。
現(xiàn)在,通過用海量數(shù)據(jù)去訓(xùn)練大模型,讓機(jī)器擁有自主學(xué)習(xí)、思考和分析的能力,能更好地處理復(fù)雜的駕駛?cè)蝿?wù)。所以,對于真正的端到端系統(tǒng)真正的三要素,第一是團(tuán)隊帶頭人(決定端到端模型高度),第二是數(shù)據(jù),第三是算力。
在各家爭搶完牛人后,大規(guī)模、高質(zhì)量的訓(xùn)練數(shù)據(jù)重要性開始顯現(xiàn)。
根據(jù)特斯拉的計算,完成一個端到端自動駕駛的訓(xùn)練至少需要100萬個、分布多樣、高質(zhì)量的 clips (視頻片段)才能正常工作?!昂敛豢鋸埖卣f,數(shù)據(jù)會占據(jù)端到端自動駕駛開發(fā)中80%以上的研發(fā)成本。”<毫末智行數(shù)據(jù)智能科學(xué)家賀翔曾如此表示數(shù)據(jù)的重要性。
近期,蔚來開始推送的最新 OTA 。包含了業(yè)內(nèi)首個應(yīng)用端到端技術(shù)的 AEB,蔚來用了 20 億公里的數(shù)據(jù)集,來訓(xùn)練這個端到端模型。
何小鵬最近在公開節(jié)目上透露,基于折算10億+里程的視頻訓(xùn)練、超646萬累計公里數(shù)的實車測試、超2.16億累計公里數(shù)的仿真測試,小鵬汽車端到端大模型能夠做到“兩天迭代一次”,在未來18個月內(nèi)智駕能力提升30倍。
數(shù)字之所以如此重要,正是因為現(xiàn)在端到端大模型的Scaling Law效應(yīng)。此前也需要數(shù)據(jù),但rule – base更需要的人才是用算法去覆蓋場景,所以對數(shù)據(jù)需求沒那么渴求。
第三是算力訓(xùn)練卡,理想有五千張A100、A800這樣等同的訓(xùn)練卡數(shù)量,是小鵬的兩倍?!叭绻饪ǖ脑?,一年需要10億,需要有健康的利潤來提供支持?!?/p>
拼人力的時代已經(jīng)過去,各家團(tuán)隊也在發(fā)生改變,6月8日,理想汽車CEO李想在中國汽車重慶論壇上發(fā)表演講。
他認(rèn)為所有自動駕駛團(tuán)隊,每天干的活都是靠人工去調(diào)試各種各樣的corner case,而且放的人越多,corner case越多,和真正的自動駕駛就越遙遠(yuǎn)。
“當(dāng)人工智能技術(shù)在不斷的發(fā)展的時候,我們會發(fā)現(xiàn),其實人類開車的方式,不是過去那么多年里我們用的自動駕駛研發(fā)的一個方式。這是一個根本的不同。因為人開車沒那么辛苦,沒那么累,不需要養(yǎng)幾千人的團(tuán)隊去搞corner case。”
這也是端到端到來的改變,很多人說理想是因為Mega失利,所以開啟了大裁員。但起碼在智能駕駛團(tuán)隊情況并不一樣。正如李想所說,不需要養(yǎng)幾千人的團(tuán)隊去搞corner case,才是最重要的一點。
同時,不需要人為定義這些 task。這也是為什么現(xiàn)在 FSD v12 可以做到每周更新,每次都是三五倍能力的提升。而對于特斯拉來說,端到端帶來的另一大機(jī)遇是 Robotaxi。
據(jù)行業(yè)研究員木頭姐的研報估算,支持 Robotaxi(自動駕駛機(jī)器人出租車)之后的特斯拉車隊規(guī)模可能超過 1 億,而且每量車具備 1000 瓦的高效推理算力,總共就是 100 千兆瓦的 Edge AI 算力,讓特斯拉有機(jī)會新增類似 AWS 的邊緣 AI 云業(yè)務(wù),讓特斯拉車輛除了在車主不使用時可以自動加入 Robotaxi 賺錢,還能在靜止停放時自動加入邊緣 AI 云服務(wù)來賺錢,全時段飽和運轉(zhuǎn)。
自動駕駛和 Robotaxi 能在 5 年后(2029)讓特斯拉市值翻 10 倍達(dá)到 5-7 萬億刀,Elon Musk 認(rèn)為這是市面上最準(zhǔn)確的預(yù)測。
所以,大家都十分關(guān)注,特斯拉在國內(nèi)的落地的時間點。
馬斯克永遠(yuǎn)是那條鯰魚,F(xiàn)SD年底進(jìn)入國內(nèi)時間,不知道那時候已經(jīng)憑借端到端,進(jìn)化成什么樣子。
就像特斯拉的上海超級工廠落成之際,讓國內(nèi)新能源市場直接洗牌,這次FSD進(jìn)入國內(nèi),會不會殺死部分自動駕駛企業(yè),讓更多的普通工程師失業(yè)?
參考內(nèi)容:
自動駕駛領(lǐng)域的GPT時刻來了-硅谷101
2024-端到端研究報告-辰韜資本
作者 | 楊曉鶴
本文由 @AI鯨選社 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)
還是沒懂什么叫「端到端」
對于AI技術(shù)與自動駕駛行業(yè)未來發(fā)展,特別是關(guān)于AI技術(shù)是否將取代大量自動駕駛工程師,我們是否應(yīng)該思考如何在技術(shù)飛速發(fā)展的今天,平衡好人與機(jī)器的關(guān)系?