gzip 能当语言模型吗
来自 Hacker News · 期号 2026-09-22
摘要
语言模型通常用神经网络，但有人发现 gzip 压缩率也能做文本分类。 核心思路很简单：压缩器对同类文本的压缩率更高。把待分类文本分别拼上各类别的样本，压缩后体积最小的那个类别就是预测结果。 作者在 5 个分类任务上做了测试，gzip 方法在部分任务上接近甚至超过了简单的词袋模型和 n-gram 模型，但远不如 BERT。 有评论指出，这个方法在低资源场景下有用——不需要训练数据、不需要 GPU，但计算量随样本数线性增长，大规模不可行。