今日頭條的服務(wù)器每天都會(huì)產(chǎn)生規(guī)模龐大的訓(xùn)練數(shù)據(jù)，為方便進(jìn)行訓(xùn)練，這些數(shù)據(jù)都具有特定的格式和分布特征。使用不同類型的通用壓縮算法（字典類型及非字典類型）進(jìn)行測(cè)試，發(fā)現(xiàn)單獨(dú)任何一種算法都無(wú)法在滿足業(yè)務(wù)需求（速率需求和CPU占比等）的同時(shí)獲得較為可觀的壓縮比。針對(duì)今日頭條的訓(xùn)練數(shù)據(jù)，提出了分段聚類壓縮和Hash recoding壓縮兩種策略。實(shí)驗(yàn)結(jié)果表明，分段聚類壓縮方式在更好地保證了壓縮率的同時(shí)提高了壓縮速率的目的；Hash recoding壓縮方式則更好地達(dá)到了以少量壓縮速率的損失換取更可觀的壓縮率的目的。分段聚類方式搭配Gzip壓縮算法的組合能使壓縮速率提高300%以上；Hash recoding方式匹配Snappy壓縮算法能使壓縮率縮小50%以上。根據(jù)實(shí)際需求，不論選擇哪種策略，對(duì)于降低今日頭條的運(yùn)營(yíng)成本，提升業(yè)務(wù)處理的效率，提供更好的用戶體驗(yàn)，都有一定意義。