雙重驗證遠超預期,創意評估智能體 AdEff 進入實用階段
2025-07-18
營銷,本質是圍繞消費者注意力的感性或理性吸引。
預測消費者對不同內容的反應,研究清楚“什么樣的內容更具吸引力?”是營銷人一直試圖解決,但卻極為困難的命題。因為不同年齡、職業和性別的人,對視頻創意和內容的理解往往存在很大差異,不管是小樣本調研、訪談,還是神經科學測試,都無法解決全量、個性化測試的問題,但人工智能技術讓注意力預測迎來了突破。
2024年,明略科技自研的明敬超圖多模態大語言模型(HMLLM),通過引入大規模的視頻主觀多模態評估數據集Video-SME ,收集不同人群在觀看相同視頻內容時腦電圖 (EEG) 和眼動追蹤區域的真實變化 ,彌合了豐富模態之間的語義差距,可集成幀與幀之間的邏輯推理,實現機器對不同人群的認知模擬。相關成果榮獲全球頂級多媒體會議 ACM Multimedia(ACMMM)2024 年度最佳提名(提名率僅2%)。
2025年,由明略科技、北京大學、吉林大學組成的研究團隊,開創性地建立了業界領先的大規模個性化注視行為數據(SPA-ADV),首次記錄了超過4500名不同年齡與性別背景用戶的真實視覺行為,模型的泛化能力和個性化預測效果進一步增強,可精準地預測“某一類人會看哪里?” 。相關論文已被 ACMM2025 正式接收。
為幫助營銷從業者預測不同廣告的效果,在明敬超圖多模態大語言模型(HMLLM)之上,明略科技研發了AI驅動的廣告測試及優化產品——AdEff,并于今年6月19日面向全球市場發布。
為了驗證 AdEff 的商業實用性,今年5~7月,明略科技產品團隊對其進行了樣本一致性和專家一致性測試。
其中,樣本一致性,基于明略科技過去10年積累的神經科學真人樣本腦電眼動測量數據,真人樣本共計10萬人次;專家一致性測試,基于專家焦點小組訪談法,覆蓋北上廣三地擁有品牌營銷、創意制作、廣告測試及數據洞察實操經驗的企業和代理機構高層、專家,總計31人線下參與。
結果顯示,AdEff 憑借超出預期的出色表現,通過了樣本及專家一致性的雙重驗證,這標志著 AdEff 已完全具備商業實用性。
什么是廣告測試?
廣告測試是營銷中的關鍵決策,指的是在廣告正式投放之前,通過科學的方法,對廣告創意(包括廣告文案、視覺設計、視頻腳本等內容)進行評估和檢驗的過程。目的是了解目標受眾對廣告創意的反應,判斷廣告創意是否能有效傳達信息、吸引受眾注意力、激發受眾的興趣和購買欲望,從而降低營銷風險、優化創意效果。
通過對真人樣本廣告創意測試的平均分,以及 AdEff 廣告創意預測得分進行回歸分析,得出 R2=0.8906,這表明89%的 AdEff 的預測得分可以較好地反映真人樣本測試的結果,即產品的樣本一致性為 89%。
這也意味著:
高R2值表明 AdEff 的預測得分與真人樣本測試得分具有強相關性,AdEff 的預測模型在實際應用中具有較高的準確性及可靠性。
在實際的廣告創意評估中,企業可以更多地使用AdEff 進行全量廣告的快速測試,篩選高潛力創意,規避決策風險。同時減少對真人樣本測試的依賴,節省人力及時間成本。
專家一致性測試通過專家焦點小組訪談進行,每場訪談均包括主題探討和產品測評兩部分。
主題探討環節,圍繞產品可用性,專家自由表達觀點;產品測評環節,每位專家現場觀看5~6支廣告創意(共計160支),最終基于自身專業判斷,對 AdEff 給出的評價結果打分。
綜合效果指數、反應曲線、指標分析、黃金3秒、結尾3秒、熱力圖及4項核心結果的測評結果,最終數據顯示,專家認為,76%的 AdEff 測評結果符合其預期(所有結果均符合預期為100%),即 AdEff 當前版本的專家一致性為76%。
相較普通的真人樣本,專家對廣告片中的專業表達理解更到位,對廣告創意測評的要求更高,對“好創意”也有更嚴苛的評判標準。76%的專家一致性得分表明,AdEff 在多個關鍵指標上的表現超過預期,通過了專家驗證。
未來,隨著生成式人工智能在營銷領域的應用普及,越來越多的內容會被生成,內容迭代速度也會加快,品牌需要生產包括廣告在內的大量個性化/個體化內容。內容多了,挑戰也隨之而來——如何快速評估并預測高價值內容。
面對海量內容,AIGD(AI Generated Decision-making),通過AI決策或輔助決策將是可行的解決方案,AdEff 便是 AIGD 在廣告測試這一運營決策環節的應用,其高達89%的樣本一致性和76%的專家一致性證明,充分運用 AI Agent 進行品牌廣告測試具備實際商業價值。
通過使用 AdEff,品牌廣告主可以實現:
AdEff 非常適用于廣告素材多投放量級大、內外部決策流程長的廣告主使用,可幫助品牌把控質量底線,加快內容篩選和優化的速度,降低商業決策風險。
對于長期依靠經驗決策,或實際投放驗證廣告效果的廣告主,AdEff 清晰的評估指標設定、分析和總結,能幫助其準確地判斷廣告價值,與創意代理反饋需求,拉齊內外部關于好創意的認知標準,提升溝通效率。
廣告的泛化、效果化,導致當下很多企業的營銷新兵或經驗欠缺的員工,對于“什么是好廣告?”缺乏科學認知。基于 AdEff 的創意評估數據庫,品牌可對“好廣告”做分析提煉,與專家培訓結合,快速提升員工創意素養。
作為全球化產品,AdEff 目前支持多國多語言的廣告創意測試,產品團隊正在推進海外目標市場的產品落地及專家一致性測試。對于有海外投放需求的廣告主而言,未來可以借助 AdEff 提前驗證廣告片在目標市場的投放成功率,規避潛在風險。
基于明略自研的明敬超圖多模態大語言模型,AdEff 讓廣告測量的速度更快、成本更優、與品牌更相關,建議品牌盡早嘗試,讓每個廣告評估決策更科學、更高效。
AdEff 為標準化SaaS服務,支持即開即用。您可掃描下方二維碼,添加工作人員微信后,登錄?AdEff.com?注冊并試用,新注冊用戶每人可獲得一次免費體驗機會。
什么是 AdEff ?
「AdEff」是AI驅動的廣告測試及優化平臺,基于明略自研的明敬超圖多模態大語言模型(HMLLM)研發,采用大模型及混合專家模型協同架構,最快15分鐘,即可完成廣告測試并給出優化建議。AdEff 預測結果真人樣本一致性為89%,專家測試一致性為76%,能夠幫助品牌營銷專家及創意專家基于數據做出更明智、更快速、成本更優的決策,提升廣告投放成功率。
信息填寫