前兩年我們團(tuán)隊(duì)接了一個電商平臺的運(yùn)營中臺項(xiàng)目目標(biāo)很直白把過去靠運(yùn)營拍腦袋做的選品、定價、發(fā)券、推活動這些事逐步用數(shù)據(jù)算法和自動化流程代替。項(xiàng)目名字內(nèi)部就叫“電商智能運(yùn)營體系”。最近有不少朋友問我當(dāng)時是怎么設(shè)計(jì)的、踩過哪些坑、哪些環(huán)節(jié)最容易被低估我把方案和復(fù)盤整理一下。如果你正在做類似的后臺系統(tǒng)或者想讓運(yùn)營從“人工盯數(shù)、手動執(zhí)行”變成“算法決策、自動執(zhí)行”這篇內(nèi)容應(yīng)該對你有參考價值。先說結(jié)論真正能跑起來的智能運(yùn)營體系不是采購幾套SaaS工具拼在一起也不是招一兩個算法工程師離線跑個模型就完事。它需要把數(shù)據(jù)采集、用戶理解、決策引擎、營銷觸達(dá)、效果回收五個環(huán)節(jié)全部串成閉環(huán)任何一個環(huán)節(jié)斷掉整個體系的價值都會大打折扣。這篇文章我會從項(xiàng)目拆解、架構(gòu)選型、核心落地步驟、常見故障排查幾個維度展開最后分享一些我在實(shí)操過程中的個人體會。1. 項(xiàng)目概述什么才是真正的電商智能運(yùn)營體系1.1 核心需求解析我們當(dāng)時接到的需求其實(shí)很簡單但背后的痛點(diǎn)很復(fù)雜?？蛻羰且患夷闓MV在數(shù)億級別的服飾類電商團(tuán)隊(duì)有二十幾個運(yùn)營每天的工作狀態(tài)基本是早上打開后臺看前一天的銷量報(bào)表然后憑經(jīng)驗(yàn)判斷哪個品類要補(bǔ)貨、哪個商品需要調(diào)價、給哪些用戶發(fā)什么券。問題在于人工決策的速度和精度已經(jīng)跟不上業(yè)務(wù)節(jié)奏。具體痛點(diǎn)可以歸成四類數(shù)據(jù)割裂訂單數(shù)據(jù)在交易庫瀏覽數(shù)據(jù)在行為日志客服數(shù)據(jù)在另一個系統(tǒng)用戶到底是買了沒買、逛了沒逛、問過沒問過沒人能一句話說清楚。決策滯后活動效果要等第二天才能看到報(bào)表熱賣商品斷貨了才發(fā)現(xiàn)流失用戶往往是已經(jīng)流失后才被追溯。千人一面所有用戶收到的優(yōu)惠券和推送內(nèi)容基本一樣營銷費(fèi)用花出去了轉(zhuǎn)化率卻逐年下滑。無法沉淀老運(yùn)營一走他腦子里那一套“經(jīng)驗(yàn)”就帶走了新人要重新摸索大半年。所謂的電商智能運(yùn)營體系就是要把這些散點(diǎn)問題用一套系統(tǒng)化的方式解決統(tǒng)一數(shù)據(jù)口徑、實(shí)時計(jì)算用戶意圖、用算法生成個性化策略、自動化執(zhí)行營銷動作再把最終效果反饋回模型形成一個持續(xù)優(yōu)化的循環(huán)。1.2 為什么不能靠外部工具拼接方案評審的時候我們內(nèi)部也爭論過要不要直接采購現(xiàn)成的營銷自動化工具。對比之后還是決定自研核心模塊。原因有三點(diǎn)第一現(xiàn)成工具解決不了數(shù)據(jù)打通的問題。電商業(yè)務(wù)的數(shù)據(jù)鏈路極長從曝光、點(diǎn)擊、加購到支付、售后、復(fù)購每一環(huán)的數(shù)據(jù)都在不同系統(tǒng)里。外部工具一般只能接到一部分?jǐn)?shù)據(jù)接不全就意味著畫像不準(zhǔn)、策略跑偏。第二智能化程度不一樣。市面上的營銷工具更多是做“條件觸達(dá)”比如“用戶加購未支付就發(fā)券”。這確實(shí)是智能化的雛形但距離真正的智能運(yùn)營還有距離。我們想要的體系是模型能從用戶行為序列里預(yù)測出“這個用戶未來七天內(nèi)復(fù)購概率有多大”然后自動決定在什么時間、用什么渠道、給什么權(quán)益而不是依賴運(yùn)營手動去配置一堆規(guī)則。第三成本問題。按用戶規(guī)模估算如果全量依賴商業(yè)SaaS的API調(diào)用費(fèi)用一年下來是一筆不小的支出。我們自己搭建這套體系雖然前期研發(fā)投入高但邊際成本會持續(xù)下降而且核心策略完全可控。注意自研不等于什么都從零造。消息推送通道、短信服務(wù)、物流查詢這類底層能力用成熟的第三方服務(wù)沒問題我們只是把“決策大腦”這部分握在自己手里。2. 整體架構(gòu)設(shè)計(jì)與技術(shù)選型思路2.1 數(shù)據(jù)層從埋點(diǎn)到實(shí)時數(shù)倉的完整鏈路智能運(yùn)營體系的地基是數(shù)據(jù)這一層如果不穩(wěn)上面全是空中樓閣。我們的數(shù)據(jù)架構(gòu)分為四段采集、傳輸、存儲計(jì)算、服務(wù)。采集端做了兩套方案并行?？蛻舳薙DK負(fù)責(zé)采集瀏覽、點(diǎn)擊、加購、收藏等行為數(shù)據(jù)服務(wù)端日志負(fù)責(zé)采集訂單、支付、退款等業(yè)務(wù)數(shù)據(jù)。這里有個很關(guān)鍵的細(xì)節(jié)行為數(shù)據(jù)要帶session_id和device_id訂單數(shù)據(jù)要帶user_id兩套數(shù)據(jù)靠統(tǒng)一的event_id做關(guān)聯(lián)否則后續(xù)做用戶行為路徑分析時會發(fā)現(xiàn)數(shù)據(jù)對不上。傳輸層走的是消息隊(duì)列。實(shí)時性要求高的數(shù)據(jù)比如用戶加購、下單、發(fā)起支付走實(shí)時鏈路批量數(shù)據(jù)像每日訂單匯總、商品庫存快照走離線批處理。這套“批流一體”的思路在當(dāng)時算是比較前沿的選擇后來復(fù)盤覺得這個決策非常正確因?yàn)檫\(yùn)營側(cè)的很多動作是時間敏感的——用戶凌晨加購了某件商品早上七點(diǎn)推送提醒這個場景必須走實(shí)時鏈路。存儲計(jì)算分為三塊離線數(shù)倉用大規(guī)模并行處理引擎跑T1的報(bào)表和訓(xùn)練樣本實(shí)時計(jì)算引擎負(fù)責(zé)處理用戶實(shí)時行為序列輸出“最近一小時瀏覽過什么、是否處于高購買意愿狀態(tài)”這類信號最終結(jié)果落到OLAP引擎里支撐運(yùn)營后臺的即席查詢和用戶分群。2.2 算法層標(biāo)簽體系與預(yù)測模型數(shù)據(jù)層之上是算法層核心產(chǎn)物有兩個用戶標(biāo)簽體系和預(yù)測模型。用戶標(biāo)簽體系我后面會詳細(xì)講它本質(zhì)上是一個巨大的“用戶特征矩陣”。我們把用戶身上能刻畫的特征全部工程化形成標(biāo)簽人口屬性、消費(fèi)能力、品類偏好、價格敏感度、活躍時段、生命周期階段等。這些標(biāo)簽一部分是直接從數(shù)據(jù)里統(tǒng)計(jì)出來的事實(shí)標(biāo)簽一部分是人工配置的規(guī)則標(biāo)簽還有一部分是模型輸出的預(yù)測標(biāo)簽。預(yù)測模型這塊我們最開始只做了兩個場景復(fù)購預(yù)測和流失預(yù)警。為什么先做這兩個因?yàn)榉楊愲娚痰纳獗举|(zhì)是“老客復(fù)購”和“流失挽回”這兩個場景的ROI最容易算清楚。模型層面用梯度提升樹和深度排序模型結(jié)合輸入特征包括用戶近30天的行為統(tǒng)計(jì)、品類偏好向量、價格敏感度得分、最近一次訪問時間等。2.3 應(yīng)用層決策引擎與自動化觸達(dá)應(yīng)用層是運(yùn)營直接接觸的部分我們做了一個“策略畫布”類似工作流編排工具。運(yùn)營可以在上面拖拽配置當(dāng)某個用戶觸發(fā)某個條件就執(zhí)行某個動作。比如“當(dāng)用戶連續(xù)三天瀏覽某類目但未下單且在流失預(yù)警名單里則第四天上午10點(diǎn)推送一張?jiān)撈奉悵M減券”。但和普通工作流工具不同的是策略畫布里的很多條件不是人工配的而是算法算出來的。比如“流失預(yù)警名單”就是模型每天凌晨自動更新的運(yùn)營不需要知道模型內(nèi)部怎么算只需要看到名單和置信度。這個設(shè)計(jì)大大降低了使用門檻也讓算法能力真正落地到業(yè)務(wù)側(cè)。實(shí)操心得系統(tǒng)上線初期我們高估了運(yùn)營同學(xué)對算法的信任度。后來做了一個小改動每個策略后面都附帶“推薦理由”比如“該用戶近7天加購3次價格敏感度偏高若發(fā)放滿減券預(yù)計(jì)轉(zhuǎn)化概率提升18%”。有了這個解釋運(yùn)營同學(xué)才愿意真正用起來。算法要能被人理解才能被業(yè)務(wù)接受。3. 核心環(huán)節(jié)實(shí)操與落地方法3.1 第一步搭建統(tǒng)一的用戶識別與標(biāo)簽體系很多團(tuán)隊(duì)做智能運(yùn)營第一步就栽在用戶識別上。用戶在小程序是一個ID在App是另一個ID在H5頁面又換了一個ID線下掃碼還有一個ID。如果這些ID不打通就會出現(xiàn)同一個用戶被識別成五個用戶標(biāo)簽體系做得再精細(xì)也是錯亂的。我們做的第一件事是ID-Mapping。以注冊手機(jī)號作為最高優(yōu)先級的主鍵設(shè)備ID作為輔助標(biāo)識通過圖計(jì)算的方式把同一用戶的多個ID關(guān)聯(lián)起來。這個過程比想象中要復(fù)雜因?yàn)榇嬖谝蝗硕嗵枴⒍嗳送O(shè)備、共享賬號等邊界情況。我們的策略是設(shè)備ID只做弱關(guān)聯(lián)只有在手機(jī)號相同或者用戶主動授權(quán)的情況下才合并共享賬號比如家庭共用不強(qiáng)行合并避免把一個家庭的多人行為算到同一個人身上出笑話。ID打通之后標(biāo)簽體系的設(shè)計(jì)也很講究。我們把標(biāo)簽分成四個層級基礎(chǔ)屬性層、消費(fèi)行為層、互動偏好層、預(yù)測價值層。標(biāo)簽層級標(biāo)簽示例數(shù)據(jù)來源更新頻率基礎(chǔ)屬性層性別、年齡段、城市等級用戶注冊信息、實(shí)名認(rèn)證低頻消費(fèi)行為層近30天客單價、品類偏好Top3、最近購買時間訂單數(shù)據(jù)、瀏覽數(shù)據(jù)每日更新互動偏好層活躍時段、內(nèi)容偏好、優(yōu)惠敏感度行為日志、活動參與記錄實(shí)時更新預(yù)測價值層復(fù)購概率、流失風(fēng)險(xiǎn)、潛在價值等級模型打分每日更新這里有個容易踩坑的地方標(biāo)簽的覆蓋率和準(zhǔn)確率很難兼得。比如“年齡”這個標(biāo)簽如果只有三成用戶填了真實(shí)生日剩下七成用戶怎么辦我們的做法是引入第三方數(shù)據(jù)補(bǔ)充人口屬性再用購買行為反推年齡區(qū)間最后給每個標(biāo)簽打一個置信度分置信度不夠的標(biāo)簽不出現(xiàn)在篩選器里。3.2 第二步構(gòu)建智能推薦與個性化營銷模型標(biāo)簽體系解決的是“認(rèn)識用戶”推薦模型解決的是“給用戶什么”。我們當(dāng)時上線的個性化推薦分為四個階段召回、粗排、精排、重排。召回階段要解決的是“從幾十萬商品里選出一千個候選”。我們用了三種召回策略用戶歷史行為相似的商品協(xié)同過濾、用戶長期偏好的品類top商品類目召回、實(shí)時熱門商品兜底避免新用戶冷啟動時無結(jié)果。三種策略的結(jié)果取并集保證覆蓋率。精排階段是對候選商品做精細(xì)打分。特征工程是最耗時的環(huán)節(jié)我們從用戶、商品、場景三個維度構(gòu)造特征。用戶特征包括最近一次品類瀏覽時長、價格敏感度、加購未支付數(shù)量商品特征包括近7天轉(zhuǎn)化率、庫存深度、毛利率場景特征包括當(dāng)前時間、是否是促銷節(jié)點(diǎn)。這些特征拼成一個向量喂給排序模型。這里分享一個非常關(guān)鍵的實(shí)操經(jīng)驗(yàn)樣本選擇偏差。如果我們只用曝光后有點(diǎn)擊的樣本訓(xùn)練模型那么沒被曝光的好商品永遠(yuǎn)學(xué)不到模型會越走越偏。正確做法是加入一定比例的隨機(jī)曝光流量用一部分用戶做探索雖然短期會損失一點(diǎn)點(diǎn)擊率但長期模型的泛化能力強(qiáng)很多。這個理念我們費(fèi)了很大勁才讓業(yè)務(wù)團(tuán)隊(duì)接受因?yàn)殡S機(jī)流量意味著短期內(nèi)可能給部分用戶推不精準(zhǔn)的內(nèi)容。重排階段解決的是業(yè)務(wù)約束。模型打分高的商品庫存不夠或者毛利太低、同質(zhì)化太嚴(yán)重都需要在重排階段做規(guī)則干預(yù)。我們實(shí)現(xiàn)了MMR算法最大邊際相關(guān)性來保證推薦結(jié)果的多樣性避免用戶看到的結(jié)果全是同一個款式的不同顏色。3.3 第三步運(yùn)營場景接入與效果閉環(huán)系統(tǒng)建好之后要接進(jìn)真實(shí)業(yè)務(wù)場景才能產(chǎn)生價值。我們最先接入了三個場景個性化首頁、營銷活動選品、流失用戶自動召回。個性化首頁是最容易看到效果的地方。原來首頁是運(yùn)營手工配置的樓層和商品位改版后每個用戶看到的第一屏和第三屏是算法生成的。上線過程中我們做了一個重要決策采用“灰度切片”的方式先讓10%的用戶看到個性化版本另外90%用戶看到老版本用獨(dú)立實(shí)驗(yàn)平臺對比數(shù)據(jù)。兩周后個性化版本的點(diǎn)擊率高出老版本將近一倍這才擴(kuò)大到全量。營銷活動選品這個場景比想象中復(fù)雜。過去的做法是運(yùn)營憑經(jīng)驗(yàn)挑選活動款經(jīng)常出現(xiàn)的情況是庫存?zhèn)涠嗔说馁u不掉、庫存?zhèn)渖俚馁u斷貨。我們做了一個“智能選品”模塊根據(jù)每個品的歷史銷售曲線、當(dāng)前庫存、毛利率、季節(jié)性因素用銷量預(yù)測模型算出未來7天不同促銷力度下的預(yù)期銷量再結(jié)合庫存約束輸出一份建議清單。運(yùn)營可以微調(diào)但大方向由算法決定。流失用戶自動召回則是一條全自動鏈路模型每天夜里跑一遍全量用戶輸出一份潛在流失名單系統(tǒng)在第二天的合適時段自動觸發(fā)短信或App推送。這中間有個容易被忽略的細(xì)節(jié)觸達(dá)頻控。同一個用戶一周最多收到兩次召回推送每次推送之間至少間隔三天。否則用戶會覺得被打擾甚至直接卸載App。提示自動化不是徹底取代運(yùn)營。我們最后的設(shè)計(jì)是“機(jī)器做決策、運(yùn)營做監(jiān)督”。系統(tǒng)建議的策略如果運(yùn)營認(rèn)為有問題可以一鍵駁回并填寫原因。每周復(fù)盤駁回記錄再把高頻駁回的原因變成系統(tǒng)規(guī)則。這個機(jī)制讓運(yùn)營從執(zhí)行者變成了管理者抵觸情緒小了很多。4. 常見問題與排查技巧實(shí)錄4.1 數(shù)據(jù)口徑不一致引發(fā)的信任危機(jī)系統(tǒng)上線第三周運(yùn)營同學(xué)發(fā)現(xiàn)一個小問題后臺顯示“昨日支付用戶數(shù)”比財(cái)務(wù)看到的數(shù)據(jù)少了將近兩千。排查后發(fā)現(xiàn)原因是口徑不一致財(cái)務(wù)用的是“訂單實(shí)付金額大于0的用戶數(shù)”我們后臺用的是“支付成功且未退款事件的用戶去重?cái)?shù)”。恰恰是那些“下單后立刻退款”的異常訂單在兩個口徑下出現(xiàn)了差異。這類問題在體系搭建初期幾乎每周都會發(fā)生。我們的解決辦法是建立數(shù)據(jù)口徑字典把每一個指標(biāo)的計(jì)算邏輯、是否去重、統(tǒng)計(jì)時區(qū)、含不含退款都定義清楚掛在數(shù)據(jù)平臺上供所有人查閱。同時做了一層指標(biāo)監(jiān)控如果T1報(bào)表和財(cái)務(wù)口徑差異超過1%自動告警。4.2 新用戶冷啟動導(dǎo)致策略失效智能運(yùn)營體系的老用戶數(shù)據(jù)多模型效果好但新用戶一點(diǎn)行為數(shù)據(jù)都沒有推薦結(jié)果非常差。這個問題的根源在于新用戶沒有歷史行為可供模型依賴。我們的解法是分層策略新用戶注冊后前三次訪問主要依賴品類熱門榜單和地域性偏好數(shù)據(jù)做推薦積累到一定行為量后再切換成個性化推薦。這里還踩過一個坑有些用戶登錄后一直不授權(quán)地理位置導(dǎo)致地域偏好信號缺失。后來我們在用戶注冊流程里調(diào)整了授權(quán)引導(dǎo)時機(jī)把“用于推薦附近門店和同城商品”作為授權(quán)文案授權(quán)率提升了近四成新增維度的數(shù)據(jù)對冷啟動推薦質(zhì)量幫助非常明顯。4.3 實(shí)時計(jì)算與離線數(shù)據(jù)不一致的排查有一次我們發(fā)現(xiàn)實(shí)時鏈路算出的“當(dāng)前優(yōu)惠券領(lǐng)取人數(shù)”和離線報(bào)表差了10%左右。一開始懷疑是消息重復(fù)消費(fèi)導(dǎo)致的后來定位發(fā)現(xiàn)是不同數(shù)據(jù)源的數(shù)據(jù)到達(dá)時效不同實(shí)時鏈路統(tǒng)計(jì)的是“領(lǐng)取動作發(fā)生”離線鏈路統(tǒng)計(jì)的是“優(yōu)惠券狀態(tài)變?yōu)橐咽褂谩辈糠钟脩纛I(lǐng)券后沒有使用就被離線任務(wù)過濾了。這類問題的排查思路是先把兩邊的明細(xì)數(shù)據(jù)各抽出一批做逐條對比定位差異集中在哪個環(huán)節(jié)再確認(rèn)是哪條鏈路的數(shù)據(jù)源不一致。后來我們在實(shí)時計(jì)算里增加了“時間窗口對齊”的邏輯保證實(shí)時和離線統(tǒng)計(jì)使用同一時間邊界的截止數(shù)據(jù)差異降到1%以內(nèi)。4.4 模型效果衰減與周期性重訓(xùn)上線三個月后推薦模型的點(diǎn)擊率明顯下降。排查發(fā)現(xiàn)是用戶行為模式隨季節(jié)變化了——夏季來臨用戶的瀏覽品類從外套轉(zhuǎn)向T恤和短褲而我們的訓(xùn)練樣本還停留在上月模型對品類遷移的響應(yīng)不及時。我們的補(bǔ)救機(jī)制是建立模型“健康度監(jiān)控”每天記錄推薦結(jié)果的點(diǎn)擊率、轉(zhuǎn)化率等核心指標(biāo)按周滑動對比。如果連續(xù)一周下滑超過閾值自動觸發(fā)模型重訓(xùn)任務(wù)。同時把樣本訓(xùn)練窗口從“最近30天”縮短到“最近14天”并加大近7天樣本的權(quán)重。經(jīng)過調(diào)整后效果回升并趨于穩(wěn)定。常見問題核心原因排查方向預(yù)防措施實(shí)時和離線指標(biāo)對不上數(shù)據(jù)源口徑不一致逐條對比明細(xì)數(shù)據(jù)建立統(tǒng)一指標(biāo)字典、對齊時間邊界新用戶推薦效果差無歷史行為數(shù)據(jù)觀察冷啟動階段行為密度按階段回退到熱度兜底策略模型效果逐周下滑季節(jié)性行為遷移監(jiān)控核心指標(biāo)趨勢滾動重訓(xùn)、加大近7天樣本權(quán)重運(yùn)營質(zhì)疑推送打擾用戶頻控策略缺失分析次留和卸載率趨勢建立周頻控和渠道疲勞度控制5. 個人經(jīng)驗(yàn)與后續(xù)擴(kuò)展方向這個項(xiàng)目做完之后我最大的體會是構(gòu)建電商智能運(yùn)營體系技術(shù)難度其實(shí)不是最大的門檻真正的門檻在于讓業(yè)務(wù)團(tuán)隊(duì)和數(shù)據(jù)算法團(tuán)隊(duì)用一個共同的語言對話。我們前三個月花了很多時間在開會、對齊概念、定義指標(biāo)上當(dāng)時覺得效率低后來回頭看恰恰是這些“慢功夫”保證了后面系統(tǒng)推進(jìn)的速度。另外一個很深的感觸是不要一開始就追求大而全。我們最初的規(guī)劃里有智能定價、自動補(bǔ)貨、輿情分析、客服機(jī)器人十個模塊都想做。后來砍到只剩三個核心場景才讓項(xiàng)目在半年內(nèi)真正產(chǎn)生了業(yè)務(wù)價值。智能運(yùn)營體系的建設(shè)邏輯應(yīng)該是“單點(diǎn)突破、橫向復(fù)制”先在某個場景打出樣板把數(shù)據(jù)、算法、運(yùn)營的合作機(jī)制跑順再逐步擴(kuò)展。最后分享一個可以繼續(xù)擴(kuò)展的方向把體系里沉淀的預(yù)測能力和策略模板對外開放讓平臺上的商家也能用。算力成本是固定的一次訓(xùn)練出的模型可以服務(wù)很多同品類的商家邊際成本很低。如果你們的電商平臺有商家生態(tài)這會是一個非常有想象力的方向。當(dāng)時我們雖然做完了內(nèi)部版本但對外開放這部分因?yàn)楣て趩栴}沒落地如果后續(xù)有機(jī)會再做一版我會優(yōu)先考慮這件事。