壹、需求文檔
確定項目計劃後，PM開始撰寫需求，產出需求文檔，正式發起項目。
1.需求文檔的目的？
讓項目的參與方和其他對項目感興趣的角色更好的理解需求的來龍去脈。
2.壹個完整的需求文檔應該包括以下幾個部分：
項目背景、項目目標、 需求概述、需求詳述、 （統計需求、監控需求）
本文主要講述策略PRD與功能PRD不同的地方：需求概述、需求詳述。
二、功能產品與策略產品給出的解決方案
1.功能產品
收斂 的解決方案，通過 流程和原型 表達產品的實現效果
2.策略產品
發散 的解決方案，通過 邏輯描述和效果示例 表達產品實現效果
三、策略產品四要素
課程截圖
四、策略分類
1.簡單策略
邏輯簡單直接的需求，通常開發成本較小
2.復雜策略
邏輯復雜的需求，通常開發成本較大
五、需求描述方法
1.簡單策略
PM可以 直接給出策略規則 （包括待解決問題、輸入、計算邏輯、輸出四要素的部分或全部）
例子：
課程截圖
方法：
1）基於歷史數據給出 （已有壹定數據積累的情況下）
2）參照競品給出 （多用產品從0到1搭建，沒有數據積累的時候）
案例：
課程截圖
為什麽是3分鐘？
首先明確產品目標和策略目標
輸入密碼產品的目標：保障安全性，同時不影響用戶的正常操作體驗
輸入密碼間隔策略的目標：找到那個不影響體驗的最短時間間隔
如何利用基於歷史數據和參照競品的方法確定策略規則？
1）基於歷史數據
課程截圖
定義完整使用流程
抽樣分析用戶全天的行為記錄，得到壹次完整使用流程的定義：任意兩個動作間間隔小於30分鐘的動作序列。（人工分析判斷）
統計流程中間隔
課程截圖
找到目標間隔時間
課程截圖
2）參照競品
經過多次重復嘗試，確認競品定義了超過3分鐘用戶就要再次輸入密碼，那自己的產品也可以暫定為3分鐘
2.復雜策略
PM詳細描述解決問題、輸入因素、輸出效果，包括總結性的概述和示例case（來源於問題調研）。
計算邏輯由策略RD開發實現。
實際工作中的兩類項目：
1）從0到1的項目：更多描述理想態，在怎樣的輸入下要達到怎樣的輸出效果
2）策略叠代的項目：更多描述策略現狀，待解決的問題是什麽，針對這些問題，理想的輸出效果該怎樣的。
案例1：
課程截圖
需求描述： 待解決問題
需求詳述：
輸入因素和輸出效果的概述
各類特殊情況下的計算邏輯補充
輸入因素和輸出效果的詳述（case示例）
例子：
課程截圖
課程截圖
案例2：
課程截圖
課程截圖
六、需求文檔自檢清單
結構： 邏輯清晰，層次分明
背景： 需求背景描述清晰，待解決問題壹目了然
目標： 產品理想態或考核指標是什麽
示例： 通過示例輔助，讓問題更明確和清晰
七、總結
策略需求文檔的核心是將策略的四要素描述清楚。
其中針對復雜策略，可以跳過計算邏輯這個要素，但是需要通過具體的case示例將問題和產品實現效果更清晰地表達出來。
3.2策略PM如何跟進開發評估
壹、策略類項目的流程
課程流程
二、為什麽要做多輪評估？
課程截圖
三、評估類型
課程截圖
四、策略質量評估
策略質量評估用來說明 策略本身的質量
輸出結論： 該策略的召回率和準確率
1）召回率=希望被覆蓋的案例中，策略實際覆蓋到的案例/理想態下希望策略覆蓋到的案例
代表策略對問題的解決程度
2）準確率=策略覆蓋的案例中，真正希望被覆蓋到的/策略覆蓋的所有案例
代表策略有沒有帶來其他傷害
（我們希望兩者越高越好！）
例子：
課程截圖
以上例子中，
召回率=6/10=60%
準確率=6/9=66.7%
策略質量評估方法：
課程截圖
案例：性別識別策略
在所有用戶中隨機抽取1k人，通過策略識別，其中368個人為男生。對1k個人進行人工標註，***標註385個男生、78個無法識別，剩余女生。其中策略識別為男生的對象中有314個真的為男生、22個是人工標註的無法識別，策略識別成女生的裏面還有71個是男生，那麽：
召回率 =識別出的男生314/所有男生385=81.6%
準確率 =（真正的男生314+無法識別22）/策略識別的所有男生368=91.3%
（註意這裏的無法識別問題）
五、Diff評估
在壹個復雜的策略體系中，各種策略會相互作用，***同影響最終效果，比如搜索、推薦。
在叠代其中某條策略時，除了評估策略本身的召回和準確，還要關註在策略變化前後， 用戶角度直接感受到的產品效果變化是怎樣的。
輸出結論： diff影響面、good：same：bad
1） diff影響面： 策略調整後，用戶感知發生變化的比例，通常小於策略影響面
2） good：same：bad（簡稱g：s：b）： 隨機抽樣有變化的case，站在用戶體驗角度評估效果變好了、無變化、還是變差了。
例子：
課程截圖
Diff評估方法：
課程截圖
案例：性別識別策略
在所有用戶中隨機抽取1k個人，新舊策略分別識別後，有210個結果不同。98個新策略男、舊策略女，112個新策略女、舊策略男。
對這210個結果進行人工標註，其中135個是新策略對、舊策略錯，24個新策略錯、舊策略對，還有51個人工判斷不出性別，認為新舊策略識別是男是女都可以、新舊變化為same，那麽：
diff影響面： 新舊結果不同的210/所有樣本1000=21%
G:S:B= 135:51:24
六、策略評估三步方法論
策略PM通用方法論
課程截圖
第壹步：基於理想態，找到問題
策略召回率理想是100%，目前只有60%，剩余40%沒被策略召回
策略diff評估中占比10%的bad?case
第二步：匯總和抽象問題，提出解決問題思路or方向
40%未召回case主要是3類問題，分別應該通過xxx思路解決
目前占比10%的bad?case主要是xxx原因，需要解決
第三步：給出結論
問題依然很嚴重，需要繼續優化or問題可接受、策略可以上線了
老問題：以投入產出比為主要考慮因素，通常以項目預期為終點
新問題：通常容忍度較低。以pm認為的不可忍受的體驗為標準
七、簡單策略評估循環的案例
課程截圖
課程截圖
課程截圖
項目目標：準確識別出圖中的藍色點
第壹輪評估：
第壹步：基於理想態，找到問題
綠圈裏的藍點沒有被曲線覆蓋
錯誤覆蓋了紅圈裏的兩個點
第二步：匯總和抽象問題，提出解決問題or思路
1、2的點在曲線上方，3在下方，至少是2次函數
1和2的斜率不壹樣，可能是3次或更復雜函數
第三步：給出結論
目前方案只能勉強覆蓋三個點、召回率不到30%；
準確率也壹般，召回了兩個綠點，準確率只有60%。
還需要繼續優化。
課程截圖
課程截圖
第二輪評估：
第壹步：基於理想態，找到問題
圈2裏還有壹個點沒有召回
第二步：匯總和抽象問題，提出解決問題or思路
之前提過的呀，1和2的斜率不壹樣，可能是3次或更復雜函數，用2次函數搞不定的
第三步：給出結論
其實目前召回率已經90%+了，準確也非常好。可以上線了。
不過如果成本可控的話，再努力下最後壹個點？
第三輪評估：
課程截圖
八、總結
開發過程中的評估是策略PM的必經之路，是PM和RD通過深度配合在黑暗中找到道路的重要環節。
召回率、準確率、diff影響面、g：s：b四個指標是策略評估的主心骨，所有評估都是圍繞著他們發現和抽象問題的過程。
3.3策略PM如何做效果回歸
課程截圖
效果回歸作為策略產品工作循環的最後壹步，不僅僅是結束，更是新產品問題的開始。
壹、什麽是效果回歸？
無非是要回答三個問題：
課程績圖
二、如何做效果回歸呢？
也是用到了策略工作的基礎方法論
課程績圖
效果回歸五步法：
第壹步：明確預期：產品/項目目標是什麽
第二步：指標體系：該目標可以用哪些數據指標來衡量
第三步：確定上線方式
第四步：收集第二步的指標，看是否達到第壹步的預期
第五步：分析問題，產出結論
1.項目啟動前
課程績圖
建立指標體系
回答三個問題
1）問題和目標是什麽： 找到核心指標
2）解決問題和實現目標的關鍵路徑是什麽： 找到過程指標
3）新的路徑傷害了誰： 找到觀察指標
2.開發上線
課程截圖
1）全流量上線
如果核心/過程/觀察指標僅與本項目有關，評估效果很好、希望盡快上線拿到收益時，可選擇全流量上線
回歸方法： 實驗期同比上個時間周期，變化了xx%
2）小流量上線
如果核心/過程/觀察指標變化可能受項目外的因素影響，或者項目效果存在壹定不確定性時，盡量選擇AB test
回歸方法： 實驗流量比基線流量，變化了xx%
註意：
抽樣方法是否足夠隨機。
樣本集合是否有天然差異。
先進行流量空跑，避免問題。
3.上線後
課程截圖
課程截圖
三、效果回歸案例
課程截圖
1.項目啟動前指標拆分
1）核心指標
產品目標： 降低用戶輸入成本
核心指標： 用戶輸入時間，預期降低2秒
2）過程指標
課程截圖
用戶輸入效率的影響因素：sug展現的比例，在哪個輸入長度下展現，是否被用戶點擊
過程指標： sug展現率、平均輸入長度、sug點擊率
3）觀察指標
sug改動對輸入流程的影響是可控的，對輸入後搜索體驗的影響是不確定的。
（某種程度上，sug起到了推薦的作用）
觀察指標： sug輸入query的搜索結果滿足度
2.開發上線
選擇上線方式
小流量上線： 實驗組、對照組各10%流量
3.上線後回歸
核心指標： 降低了1.2秒。有收益，但是低於預期。
過程指標和觀察指標：
平均輸入長度變短，符合預期；
sug展現率變低，點擊率沒變化，與預期不符；
並且sug輸入query的搜索滿足度降低，用戶體驗差。
需要進壹步分析問題！
分析後結論：
1）性能有問題，導致長詞匯（多term）sug的加載過慢，拉低了平均展現率和使用率。
需要啟動性能優化項目
2）在壹些熱門候選詞上做了需求擴展（歡樂頌2劇情介紹），對應的搜索結果質量變差
需要聯合搜索排序（基礎rank）部門優化效果
四、總結
效果回歸是決定壹個產品循環終止或再開始的樞紐。
整個工作貫穿項目前後三個階段；項目啟動前 對策略目標和過程的深刻剖析 是效果回歸工作最關鍵和重要的部分。
消息推送策略的產生、演化、發展——以京東到家為例
課程截圖
以壹個小的策略為例，看看在完整的產品循環下策略的通用方法論是如何應用的—— 京東到家的消息推送策略 。
首先回顧下 策略工作的通用方法論
課程截圖
理解產品目標
產品目標： 通過消息出大用戶，實現相應的轉化目的
核心指標： 消息點擊率
註意：
本案例中覆蓋的消息 僅指活動類消息 ，不包括各類業務消息（比如訂單發貨、退款、訂閱更新等業務環節的提醒）
版本0.0：人工推送
產品方案： 運營同學寫好文案，通過簡易的消息推送工具給全部註冊用戶發送消息
推送效果： 點擊率只有0.5%
發現問題
采用 階段性調研 的方法
課程截圖
問題分析
理想態： 所有人都點擊
未達理想態： 有99.5%的人都沒有點擊，怎麽拆解？
PM對用戶的理解還較少，提出新的分析思路： 反向看點擊的人，對比點擊的人和沒點擊的人有什麽差異，試著分析其中的規律
課程截圖
進壹步分析：
1）這次推送對活躍用戶的效果更好，點擊率大概7.4%，非活躍用戶只有0.1%。雖然預期會有差異，但是差距太大，需要試著優化針對不活躍用戶的推送內容
2）活躍用戶中，android點擊率23%、iphone用戶點擊率3.5%。差異非常大，不符合認知，猜測可能大量iphone關掉了app推送
版本1.0：增加基於用戶分層的推送
產品方案：
1）基於用戶基礎信息和歷史行為挖掘用戶標簽：活躍程度、手機平臺
2）運營可根據標簽配置不同的文案和推通道
3）增加短信推送通道
課程截圖
推送規則： iphone增加短信通道壹起推送，android僅進行app推送
效果回歸
推送效果： 點擊率提升至1.5%
1）活躍用戶點擊率提升至11%，其他用戶點擊率0.5%，都提升明顯
2)iphone點擊率0.7%，android用戶點擊率2.4%，iphone轉化率依然不高
結論： 短信通道的效果不好，需要分析問題。另外，可以進壹步分析其他待優化點。
問題分析
首先分析短信通道問題，發現：
1）app中沒有埋點，所以點擊短信短連接後無法調起app
2）而且短信中的短連接沒有加統計標識，打開的移動端網頁不知道這是短信帶來的流量
然後對沒有點擊的個用戶群各自抽樣分析，發現：
1）沒有點擊的用戶都是曾經很少買或沒有買過肉蛋奶類商品的用戶。在活躍用戶中表現尤其顯著。
2）同時補充抽樣點擊用戶，發現86%的用戶都有>2個包含該品類的訂單
——可以考慮更細化的推送內容
版本2.0：個性化的內容推送
產品方案：
1）收集更多用戶歷史行為（訂單、收藏、搜索、瀏覽等），建立更加細化的用戶標簽，用於內容推薦
2）收集平臺商品上架和價格等信息的變化和常規活動信息，作為待推送內容集合
3）根據用戶標簽和候選內容，生成基於每個用戶興趣的內容
4）設置推送頻率限制，在允許頻率內，當某用戶存在可推送內容時，自動進行推送
此時，運營同學只需要配置各類興趣維度的模板，系統自動發起推送。
課程截圖
課程截圖
效果回歸
推送效果： 點擊率提升至2.5%
1）iphone點擊率2.1%，android用戶點擊率2.6%，兩者非常接近了，符合預期
2）優化內容後，各類用戶的點擊率均有可以明顯提示
結論： 比較符合預期，可以進壹步分析其他待優化點
繼續對比點擊和未點擊用戶差異，並隨機抽取用戶詳細分析，發現：
1）各推薦維度在不同品類上有不同表現
2）不同用戶對同壹種推薦維度的點擊率也差異很大
3）同壹用戶在不同時間段的點擊率有比較明顯的差異
——可以在推薦特征中增加品類和用戶歷史點擊數據；可以將推送時間納入個性化推薦
版本3.0：基於反饋的推薦系統
產品方案：
1）將推送時間納入推送控制
2）繼續豐富推薦使用的標簽數據
3）將每個用戶的點擊行為作為推薦優化的重要依據，不停叠代
課程截圖
總結
消息推送的效率本質： 給合適的用戶在合適的時間點發送合適的消息
合適最初由PM定義，最終根據數據反饋確定
課程截圖
在這個完整的案例中，產品壹步步進化，從功能到策略、從簡單策略到復雜策略，我們依次優化了消息推送的四個要素，達到了相對理想的狀態。
在這個過程中，我們僅 以問題驅動 ，並加入了 優先級判斷 的分析。
而在實際項目中，限於 成本收益和平臺數據的積累程度 ，很多消息推送策略停留在1.0或2.0版本即中止進化了。
實例策略工作通用方法論的應用——以滴滴APP的目的地輸入模塊為例
課程截圖
以壹個復雜的策略模塊為例，看看在完整的產品循環下策略的通用方法論是如何應用的。——滴滴APP的目的地輸入模塊
策略工作的通用方法論
課程截圖
理解產品目標
模塊目的： 幫助用戶以最低成本完成目的地的輸入
衡量指標： 用戶平均輸入時長（從進入該模塊到完成壹次輸入的平均耗時）
版本1.0：簡易搜索
課程截圖
課程截圖
發現問題
使用階段性調研的方法：
課程截圖
1.0問題分析
課程截圖
課程截圖
理想態： 可以暫且定為2，點擊目的地框——>點擊歷史記錄兩步
問題拆分： 主要目標34567向2努力，次要目標每個步長都縮短自己的平均時間
隨機抽取 壹周內 （滴滴有周末效應，POI不同）的用戶 完成輸入 的session***1000個，問題分析結論如下：
課程截圖
搜索sug-過程指標
用戶輸入效率的影響因素： sug展現的比例，在哪個輸入長度下展現，是否被用戶點擊
過程指標： sug展現率、平均輸入長度、sug點擊率
解決方案
針對以上各個問題，分別提出解決方案
課程截圖
方案收益分析
針對各個解決方案，與RD壹起分析可行性後得到項目預期收益
課程截圖
產出項目計劃
最終得到下個版本的項目計劃如下：
課程截圖
版本2.0：搜索建議+搜索推薦
課程截圖
課程截圖
2.0效果回歸
讓我們看壹下項目上線後，每個問題的解決程度
課程截圖
2.0問題分析
針對兩個明顯與預期不符的問題進行分析
問題1：步長2的輸入時間沒有按預期降低：
1）部分低頻用戶數據積累不夠，導致排序出現不合理波動，排序策略需要微調；
2）以及隨著數據積累整體效果會逐漸變好。
問題2：步長3的用戶目的地已在歷史記錄中：
1）發現在網絡不佳的情況下搜索推薦加載過慢，所以用戶使用低於預期。
2）考慮在啟動app時進行預加載
2.0問題進壹步分析-還有沒有可能更好
課程截圖
理想態有沒有可能是1，甚至是0？
步長2： 其中50%是非常有規律的通勤訂單（基於出發地和出發時間段可以準確預測出目的地）
步長3： 其中20%是有規律的訂單
——完全可以考慮把搜索推薦的結果前置到發單頁！
版本3.0項目計劃
綜合效果回歸的結論，與RD溝通可行性之後，3.0的項目計劃如下：
課程截圖
目的地推薦（高準確率的搜索推薦前置）+搜索推薦+搜索建議
課程截圖
搜索輸入策略框架的延伸
1.百度地圖APP
搜索起始頁
1）搜索框在首頁上方，是空白的，沒有很多推薦內容，只有壹個用戶教育的提示
2）在頁面中間，表示當前位置的藍點上有個“回家”的提示，點擊之後可以直接發起回家路線的搜索
輸入頁