在前幾篇文章幫大家建立起 A/B test 的基本概念、實際如何進行操作後，再來就是細部的數據解讀了，你可能會想知道如何辨別廣告測試的成果、要花多少時間辨別，在今天的這篇文章將由我為你一次解答。
如何判斷廣告測試的結果？
第一步：確認是否有足夠的樣本數
以統計學的抽樣概念來說，在樣本數到達 1,069 時，抽樣誤差為 ±3.0%。抓整數來看，在廣告的測試上，我們通常以「觸及破千」，也就是有 1,000 人看過此廣告為標準。觸及破千就能有初步的判斷，看出大概的成效好壞，畢竟一開始的成效就能推估大概的結果了。
但還有一個要注意的點是「消費者的生活習性」，指的是你的主要消費者傾向在哪個時候會更有需求，願意下單購買。如你的受眾是「媽媽」，那一般的家庭主婦會有時間看廣告、下單的時候，可能就是處理完所有家務事、小孩也都去睡的晚上 9、10 點過後。
若你只顧著想趕快獲得測試結果，於是「花大預算，在幾小時內就讓觸及破千」，但未必那是受眾會有心思認真考慮是否購買的時段。也可能星期一不是，星期二才是，或甚至週末的時候才是，所以以我個人目前操作的經驗來看，除分成效極度不理想，否則還是會給約 1 週的時間觀察。
第二步：確認本次行銷活動主要優化的指標
那觸及破千後，我們要觀察的指標不外乎就是轉換的成效，最主要的就是 「ROAS」；若是沒有 ROAS ，也可以往更前面的指標來看，像是「加入購物車次數」，加入購物車是一個很重要的判斷指標，因為沒事不會加入購物車，這顯現了它的購買意圖。
再舉「流量廣告」為例子，這個行銷活動的主要目的，就是希望受眾可以點擊我們所設定的網址，瀏覽指定頁面，因此我們主要的優化指標就是 CPC（單次連結點擊成本），同時你也能關注 CTR、內容瀏覽成本的指標。
你可能會想問「這些指標數字多少才是好？」答案是「沒有正確答案，只要跟自己比就好。」這次的測試結果是否較先前提升了？跟過去的投放經驗的平均值相比，是更好或是更不理想呢？
➤ 推薦閱讀：CPC、CPM、CPA 是什麼意思？5 大 FB 廣告投放數據指標全解析！
➤ 推薦閱讀：數據一定要會解讀！檢視廣告成效的 3 種比較方式解析
第三步：根據結果擬定下一步行動
判讀完數據後，針對你的假設，你就已經獲得答案，但接下來更重要的是，這個結果代表了什麼？是素材對還是受眾對？你是否能從中或許一些 insight，然後將成功的經驗再次複製，並避開已經驗證不可行的方式。
還是其實測試的顯著性不高，需要再進一步做驗證？那你的假設為何？又打算如何透過 A/B test 驗證呢？這些就是投手們需要進行思考的。而這樣的優化過程，我們又將其稱之為 RACAE，若是還不清楚 RACAE 的朋友們，可以閱讀以下文章。
➤ 推薦閱讀：廣告投放也適用！運用 RACAE 的 5 步驟優化任務
提醒：不同產品屬性，廣告測試所需時間也不同
但如果你的產品特性是決策週期較長的，例如線上課程、保健食品、車…
不像中午要叫飲料，每個人都可以立即下決定，說要 +1 的產品類型，在購買前需要做較多的資料搜集、評估，如：線上課程要評估老師是否專業、課程內容是否符合需求、有沒有足夠的時間能進行學習…眾多因素。
且 facebook 主要的歸因方式是「點擊後 7 天或瀏覽後 1 天」，所以你有時候會發現怎麼廣告關閉後，又有 ROAS，其實你並沒有看錯，facebook 會做業績的回算。如果你廣告關閉超過 24 小時之後再打開，就像你快釣到魚又重新甩竿一樣，很難再回到原本的那個成效水位。
所以以我們的經驗來說，關於「決策週期較長的產品屬性」，會建議你拉長測試的時間，給更多的空間來觀察成效，才不會誤殺一個有機會帶來轉換的廣告。
你或許會想知道「那究竟要觀察多久？」，答案是「沒有正確答案」，每個企業提供的產品、服務不同，投遞廣告的情況也不同，沒有絕對的規則。在投手投遞一段時間後，你就會大約抓出屬於這個廣告帳號，應該觀察的週期，也就是我們常說的「手感」。
結語：素材產出不能停止，也要不停進行廣告測試
今天我們分享的觀念，包含了：要多少樣本數才能判斷測試結果、指標該如何觀察、獲得測試結果後的下一步該怎麼做。
透過今天分享的概念，我希望可以幫助你建立起投手的廣告優化邏輯，當然許多細部的操作、數據成效的判斷，還是需要投手們自行練功，抓到我們常說的「手感」。
希望在閱讀完這篇文章過後，大家可以參考我們分享的做法，實際的執行看看，再不斷測試的過程中，找到自己判斷廣告成效的一套標準。
註 1：什麼是抽樣誤差？老師和媒體都沒教你的那些事｜泛科學PanSci
註 2：CPC（單次連結點擊成本）｜ facebook 官方說明文件
註 3：CTR（連結點擊率）｜ facebook 官方說明文件
註 4 ：關於歸因模式｜ facebook 官方說明文件
