我有两个文本数据集。每个数据集由多个序列组成，每个序列可以包含多个句子。
我如何衡量这两个数据集是否来自相同的分布？
目的是验证只有当两个分布之间的差异在统计上显著时，才进行从一个分布到另一个分布的迁移学习。
我计划使用卡方检验，但不确定它是否适用于文本数据，因为自由度较高。
更新：举例来说，假设我想训练一个情感分类模型。我在IMDb数据集上训练模型，并在IMDb和Yelp数据集上进行评估。我发现我在IMDb上训练的模型在Yelp上仍然表现良好。但问题是这些数据集的不同之处在哪里？
训练数据集：https://www.kaggle.com/columbine/imdb-dataset-sentiment-analysis-in-csv-format?select=Train.csv
评估1：https://www.kaggle.com/columbine/imdb-dataset-sentiment-analysis-in-csv-format?select=Valid.csv
评估2：https://www.kaggle.com/omkarsabnis/sentiment-analysis-on-the-yelp-reviews-dataset
现在，
- 训练集和评估1之间的差异有多大？
- 训练集和评估2之间的差异有多大？
- 训练集和评估2之间的差异是否是偶然的？统计显著性和p值是多少？
回答：
问题“文本A和文本B是否来自相同的分布？”定义得有些模糊。例如，这两个问题（1,2）可以被视为来自相同的分布（StackExchange上所有问题的分布），也可以被视为来自不同的分布（StackExchange两个不同子域的分布）。所以不清楚你想要测试的特性是什么。
无论如何，你可以选择任何你喜欢的检验统计量，通过模拟来近似在“单一来源”情况下的分布，并计算你的检验的p值。
作为一个玩具示例，我们拿两个小的语料库：两个来自英语维基百科的随机文章。我将使用Python来实现。
import requestsfrom bs4 import BeautifulSoupurls = [ 'https://en.wikipedia.org/wiki/Nanjing_(Liao_dynasty)', 'https://en.wikipedia.org/wiki/United_States_Passport_Card']texts = [BeautifulSoup(requests.get(u).text).find('div', {'class': 'mw-parser-output'}).text for u in urls]现在我使用一个简单的分词器来统计文本中的单个词，并使用单词相对频率的均方根差异作为我的检验统计量。你可以使用任何其他统计量，只要你计算得一致即可。
import refrom collections import Counterfrom copy import deepcopyTOKEN = re.compile(r'([^\W\d]+|\d+|[^\w\s])')counters = [Counter(re.findall(TOKEN, t)) for t in texts]print([sum(c.values()) for c in counters]) # [5068, 4053]: 文本大致相同大小def word_freq_rmse(c1, c2): result = 0 vocab = set(c1.keys()).union(set(c2.keys())) n1, n2 = sum(c1.values()), sum(c2.values()) n = len(vocab) for word in vocab: result += (c1[word]/n1 - c2[word]/n2)**2 / n return result**0.5print(word_freq_rmse(*counters))# rmse为0.001178，但这是一个小差异还是大差异？我得到了0.001178的值，但我不知道这是否是一个大的差异。所以我需要模拟在零假设下这个检验统计量的分布：当两个文本来自相同的分布时。为了模拟它，我将两个文本合并为一个，然后随机分割，并在比较这两个随机部分时计算我的统计量。
import randomtokens = [tok for t in texts for tok in re.findall(TOKEN, t)]split = sum(counters[0].values())distribution = []for i in range(1000): random.shuffle(tokens) c1 = Counter(tokens[:split]) c2 = Counter(tokens[split:]) distribution.append(word_freq_rmse(c1, c2))现在我可以看到在零假设下，我的观察到的检验统计量的值有多不寻常：
observed = word_freq_rmse(*counters)p_value = sum(x >= observed for x in distribution) / len(distribution)print(p_value) # 它是0.0print(observed, max(distribution), sum(distribution) / len(distribution)) # 0.0011 0.0006 0.0004我们看到当文本来自相同的分布时，我的检验统计量平均为0.0004，几乎从不超过0.0006，所以0.0011的值非常不寻常，因此应该拒绝两个文本来自同一分布的零假设。
