在前幾篇文章幫大家建立起 A/B test 的基本概念、實際如何進行操作後,再來就是細部的數據解讀了,你可能會想知道如何辨別廣告測試的成果、要花多少時間辨別,在今天的這篇文章將由我為你一次解答。
如何判斷廣告測試的結果?
第一步:確認是否有足夠的樣本數
以統計學的抽樣概念來說,在樣本數到達 1,069 時,抽樣誤差為 ±3.0%。抓整數來看,在廣告的測試上,我們通常以「觸及破千」,也就是有 1,000 人看過此廣告為標準。觸及破千就能有初步的判斷,看出大概的成效好壞,畢竟一開始的成效就能推估大概的結果了。
但還有一個要注意的點是「消費者的生活習性」,指的是你的主要消費者傾向在哪個時候會更有需求,願意下單購買。如你的受眾是「媽媽」,那一般的家庭主婦會有時間看廣告、下單的時候,可能就是處理完所有家務事、小孩也都去睡的晚上 9、10 點過後。
若你只顧著想趕快獲得測試結果,於是「花大預算,在幾小時內就讓觸及破千」,但未必那是受眾會有心思認真考慮是否購買的時段。也可能星期一不是,星期二才是,或甚至週末的時候才是,所以以我個人目前操作的經驗來看,除分成效極度不理想,否則還是會給約 1 週的時間觀察。
第二步:確認本次行銷活動主要優化的指標
那觸及破千後,我們要觀察的指標不外乎就是轉換的成效,最主要的就是 「ROAS」;若是沒有 ROAS ,也可以往更前面的指標來看,像是「加入購物車次數」,加入購物車是一個很重要的判斷指標,因為沒事不會加入購物車,這顯現了它的購買意圖。
再舉「流量廣告」為例子,這個行銷活動的主要目的,就是希望受眾可以點擊我們所設定的網址,瀏覽指定頁面,因此我們主要的優化指標就是 CPC(單次連結點擊成本),同時你也能關注 CTR、內容瀏覽成本的指標。
你可能會想問「這些指標數字多少才是好?」答案是「沒有正確答案,只要跟自己比就好。」這次的測試結果是否較先前提升了?跟過去的投放經驗的平均值相比,是更好或是更不理想呢?
➤ 推薦閱讀:CPC、CPM、CPA 是什麼意思?5 大 FB 廣告投放數據指標全解析!
➤ 推薦閱讀:數據一定要會解讀!檢視廣告成效的 3 種比較方式解析
第三步:根據結果擬定下一步行動
判讀完數據後,針對你的假設,你就已經獲得答案,但接下來更重要的是,這個結果代表了什麼?是素材對還是受眾對?你是否能從中或許一些 insight,然後將成功的經驗再次複製,並避開已經驗證不可行的方式。
還是其實測試的顯著性不高,需要再進一步做驗證?那你的假設為何?又打算如何透過 A/B test 驗證呢?這些就是投手們需要進行思考的。而這樣的優化過程,我們又將其稱之為 RACAE,若是還不清楚 RACAE 的朋友們,可以閱讀以下文章。
➤ 推薦閱讀:廣告投放也適用!運用 RACAE 的 5 步驟優化任務
提醒:不同產品屬性,廣告測試所需時間也不同
但如果你的產品特性是決策週期較長的,例如線上課程、保健食品、車…
不像中午要叫飲料,每個人都可以立即下決定,說要 +1 的產品類型,在購買前需要做較多的資料搜集、評估,如:線上課程要評估老師是否專業、課程內容是否符合需求、有沒有足夠的時間能進行學習…眾多因素。
且 facebook 主要的歸因方式是「點擊後 7 天或瀏覽後 1 天」,所以你有時候會發現怎麼廣告關閉後,又有 ROAS,其實你並沒有看錯,facebook 會做業績的回算。如果你廣告關閉超過 24 小時之後再打開,就像你快釣到魚又重新甩竿一樣,很難再回到原本的那個成效水位。
所以以我們的經驗來說,關於「決策週期較長的產品屬性」,會建議你拉長測試的時間,給更多的空間來觀察成效,才不會誤殺一個有機會帶來轉換的廣告。
你或許會想知道「那究竟要觀察多久?」,答案是「沒有正確答案」,每個企業提供的產品、服務不同,投遞廣告的情況也不同,沒有絕對的規則。在投手投遞一段時間後,你就會大約抓出屬於這個廣告帳號,應該觀察的週期,也就是我們常說的「手感」。
結語:素材產出不能停止,也要不停進行廣告測試
今天我們分享的觀念,包含了:要多少樣本數才能判斷測試結果、指標該如何觀察、獲得測試結果後的下一步該怎麼做。
透過今天分享的概念,我希望可以幫助你建立起投手的廣告優化邏輯,當然許多細部的操作、數據成效的判斷,還是需要投手們自行練功,抓到我們常說的「手感」。
希望在閱讀完這篇文章過後,大家可以參考我們分享的做法,實際的執行看看,再不斷測試的過程中,找到自己判斷廣告成效的一套標準。
註 1:什麼是抽樣誤差?老師和媒體都沒教你的那些事|泛科學PanSci
註 2:CPC(單次連結點擊成本)| facebook 官方說明文件
註 3:CTR(連結點擊率)| facebook 官方說明文件
註 4 :關於歸因模式| facebook 官方說明文件