北京2026年5月6日 /美通社/ -- 全球領(lǐng)先的市場研究公司益普索近日發(fā)布合成數(shù)據(jù)增強技術(shù)解決方案,通過與斯坦福大學(xué)合作自主研發(fā)的表格擴散模型與SURE四維評估框架,幫助品牌在樣本量不足、細分群體數(shù)據(jù)稀缺的場景下,依然獲得可靠的數(shù)據(jù)洞察,驅(qū)動更明智的商業(yè)決策。
合成數(shù)據(jù)增強,簡單來說,就是通過學(xué)習(xí)原始數(shù)據(jù)的內(nèi)在規(guī)律,生成新的"虛擬樣本",從而擴大數(shù)據(jù)量、增強分析能力。這項技術(shù)正在成為益普索市場研究實踐的重要組成部分——尤其是在樣本量不足、細分群體數(shù)據(jù)稀缺的場景下。
一個形象的比喻:一個學(xué)生收到了一份來源不明的復(fù)習(xí)資料,他不知道這份資料內(nèi)容是否準(zhǔn)確(質(zhì)量未經(jīng)檢驗),不知道具體考試題目(具體應(yīng)用場景),卻聲稱"這份資料能讓我成績提高10%"——這聽起來是不是很離譜?
更值得關(guān)注的是:如果將合成數(shù)據(jù)簡單等同于真實獨立樣本進行統(tǒng)計檢驗(業(yè)界稱之為"天真檢驗"),錯誤率可能高達75%-80%。這意味著品牌有極大的概率基于虛假的"顯著結(jié)論"做出錯誤決策,損失可能遠超節(jié)省的調(diào)研成本。
益普索三大核心能力構(gòu)建技術(shù)壁壘
一、獨家表格擴散模型:站在學(xué)術(shù)前沿
傳統(tǒng)合成數(shù)據(jù)多采用生成對抗模型(GAN),但在處理復(fù)雜的表格型市場研究數(shù)據(jù)時存在明顯局限。
益普索攜手業(yè)界與學(xué)界伙伴——包括與斯坦福大學(xué)持續(xù)合作——已研發(fā)出更適用市場研究數(shù)據(jù)的新技術(shù),即益普索表格擴散模型(Ipsos Tabular Diffusion)。同時,我們構(gòu)建了用于評估數(shù)據(jù)質(zhì)量的四維完整性框架SURE,并打造了益普索合成數(shù)據(jù)工作平臺,使這些方法得以應(yīng)用于日常運營,實現(xiàn)數(shù)據(jù)增強能力的標(biāo)準(zhǔn)化與產(chǎn)品化。
益普索的測試結(jié)果表明,使用該模型生成的合成樣本更真實、可靠,代表性強,既保留了真實數(shù)據(jù)的整體趨勢,還可有效還原樣本的稀有分布特征。
二、SURE四維評估框架:讓每一步都有實證支撐
合成數(shù)據(jù)僅"看起來像"真實數(shù)據(jù)是不夠的,更需要在實際應(yīng)用中體現(xiàn)價值。益普索自主研發(fā)的SURE四維評估框架,從以下四個核心維度進行系統(tǒng)性評估:
S — Statistical Similarity(統(tǒng)計相似性)
合成數(shù)據(jù)在統(tǒng)計意義上是否忠實于原始真實數(shù)據(jù)?我們采用Jensen-Shannon散度、主成分分析(PCA)、核密度估計(KDE)等系列技術(shù),從全局和關(guān)鍵決策維度進行多層次比對驗證。高保真度意味著:如果原始真實數(shù)據(jù)存在某種規(guī)律,合成數(shù)據(jù)也會捕捉到這一規(guī)律。
U — Utility(效用性)
合成數(shù)據(jù)是否真正有用?基于統(tǒng)計學(xué)原理,用數(shù)學(xué)公式計算真實數(shù)據(jù)集本來有多少信息,再測算我們生成的合成數(shù)據(jù)含有多少真正新增的有用信息。并通過等效樣本量(ESS)評估確保統(tǒng)計推斷的正確性。這一步至關(guān)重要:它能識別出"看起來不錯"但實際上信息含量極低的合成數(shù)據(jù),避免品牌基于虛假顯著性做出錯誤決策。
R — Rarity & Novelty(稀有性與新穎性)
合成數(shù)據(jù)的核心價值在于"生成真實中存在但樣本未覆蓋的新組合",而非簡單復(fù)制已有樣本。通過樣本間距離分析、最近鄰冗余檢查、覆蓋率指標(biāo)等方法,來量化合成數(shù)據(jù)的信息拓展范圍。通過分布熵與潛在空間彌散度來量化多樣性,確保模型生成的是對現(xiàn)實的拓展,而非簡單復(fù)刻。
E — Expert Validation(專家驗證)
即使所有統(tǒng)計指標(biāo)都通過,合成數(shù)據(jù)仍需經(jīng)過領(lǐng)域?qū)<业?quot;人工檢驗"。專家負責(zé)判斷:數(shù)據(jù)和由此得出的洞察,在現(xiàn)實中是否可信、合乎情理且具備可行性。這一步是機器無法替代的人類智慧,確保合成數(shù)據(jù)能通過真實世界的檢驗。
三、專業(yè)合成數(shù)據(jù)工作臺:標(biāo)準(zhǔn)化與產(chǎn)品化的完美結(jié)合
為保障數(shù)據(jù)合成的質(zhì)量與穩(wěn)定性,益普索自主研發(fā)了合成數(shù)據(jù)工作臺(The Ipsos Synthetic Data Workbench),將前沿技術(shù)與標(biāo)準(zhǔn)化流程深度整合。
核心功能包括:
同時,工作臺內(nèi)置完整的數(shù)據(jù)清洗與優(yōu)化工具包,包括變量格式標(biāo)準(zhǔn)化、邏輯矛盾修正、異常值處理、子群平衡加權(quán)、特征優(yōu)化等,確保訓(xùn)練模型的數(shù)據(jù)集具有最佳結(jié)構(gòu)和最強代表性。
"我們不做空泛的效果承諾。合成數(shù)據(jù)不是萬能的,但用對了確實很強大。我們的職責(zé)是幫助客戶明確:何時合成數(shù)據(jù)真正產(chǎn)生價值,在何時并無助益。這是對客戶負責(zé),也是對行業(yè)負責(zé)。"
合成數(shù)據(jù)增強:審慎,透明、以實證為基
益普索在長期實踐中總結(jié)出以下關(guān)鍵結(jié)論:
關(guān)于訓(xùn)練數(shù)據(jù)量:
訓(xùn)練數(shù)據(jù)集需至少包含300-500個樣本,才能得到可靠的增強數(shù)據(jù)。若低于這一閾值,建模誤差可能超過抽樣誤差本身,合成數(shù)據(jù)反而可能引入更多不確定性。在這種情況下,傳統(tǒng)的加權(quán)或插補方法反而更可靠。
關(guān)于有效樣本量:
1000個真實樣本加500個合成樣本,其有效樣本量并非1500個,而是介于1000與1500之間。這是因為合成數(shù)據(jù)違反了傳統(tǒng)統(tǒng)計檢驗中"獨立、等概率抽樣"的前提,每個合成樣本都源自基于原始數(shù)據(jù)訓(xùn)練的模型,而非完全獨立的觀測。
益普索在實際合成數(shù)據(jù)操作中,采用以下四個結(jié)合了SURE框架的步驟:
01數(shù)據(jù)評估——該數(shù)據(jù)適用于合成嗎?在建模前,評估數(shù)據(jù)的適用性、質(zhì)量與代表性;
02數(shù)據(jù)準(zhǔn)備——清洗、對齊、優(yōu)化。統(tǒng)一數(shù)據(jù)格式,解決不一致性,確保數(shù)據(jù)達到可直接建模的狀態(tài);
03數(shù)據(jù)建模與生成。應(yīng)用擴散模型合成與符合SURE標(biāo)準(zhǔn)的數(shù)據(jù)增強算法;
04數(shù)據(jù)驗證與完整性檢查。依據(jù)SURE框架的保真度、效用性與風(fēng)險標(biāo)準(zhǔn)對合成數(shù)據(jù)輸出進行檢測,以確認其穩(wěn)健性。
益普索倡導(dǎo)人類智能(HI)與人工智能(AI)的獨特融合,以此驅(qū)動創(chuàng)新,為客戶提供具有深遠影響力、以人為本的洞察。這一理念深深融入其所有的人工智能解決方案中,其中也包括合成數(shù)據(jù)增強技術(shù)。通過HI與AI的有機結(jié)合,益普索為客戶提供更安全、更快速并且扎根人類情境的深度洞察,創(chuàng)造相關(guān)性與價值。