我有一个pandas数据框（150,000行和9列），如下所示：
user|phone1|phone2|phone3 ----+------+------+------ A| 123| 1111|66 B| 456| 1111|77 C| 123| 2222|77 D| 456| 2222|88 E| 789| 5555|0- 用户A与用户C的
phone1号码相同，因此A和C是一个组。 - 用户B与C的
phone2号码相同，因此B和C是一个组。 - 因此A、B、C是一个组。
所有用户的逻辑都是相同的。在这个例子中，[A,B,C,D]是一个组，因为他们之间任意两个都有至少一个相同的值。[E]是另一个组。
如何得到最终结果如下：
{group1:[A,B,C,D], group2:[E]}这是我的尝试：
-
首先，按每列相同的值分组，并将用户作为一个组，例如
list_1 (phone1) = [[A,C],[B,D],[E]]list_2 (phone2) = [[A,B],[C,D],[E]] -
对于
list_1中的每个项目，在list_2中搜索。如果两个项目有相同的值，则将list_2中的项目添加到list_1中的项目上，例如，[A,C]+[A,B]，最后，从list_2中删除[A,B]
这是我的代码：
for m in range(0,len(list_1)):drop_list = []for n in range(0,len(list_2)): if if_common(list_1[m], list_2[n]) == True: list_1[m] = list(set(list_1[m]+list_2[n])) drop_list.append(n)for i in drop_list: list_2.pop(i) 但速度太慢了，每列我有近100000个组。有没有更快的方法来实现这个功能？
回答：
不确定如何使用pandas API来做，但有一个非常高效的通用算法叫做不相交集（维基百科）。
要实现它，你需要两个字典。一个是将行ID映射到行ID，另一个是将值映射到行ID。我将每行表示为类似（’phone1′, ‘123’），（’phone2′, ‘1111’）的值…
然后我们遍历数据。我们在第二个字典中查找所有列值，如果我们已经有了，我们尝试在不相交集中添加一个链接。
总的来说，应该看起来像这样：
disjoint_set = {}value_lookup = {}for row in range(len(list_1)): disjoint_set[row] = row # 标记为独立集。 for key, value in list_1[row].items(): # 不确定如何用pandas获取键值 if (key, value) not in value_lookup: value_lookup[(key, value)] = row else: other_row = value_lookup[(key, value)] actual_other = recursive_lookup(disjoint_set, other_row) actual_row = recursive_lookup(disjoint_set, row) disjoint_set[actual_row] = actual_other def recursive_lookup(disjoint_set, row): if disjoin_set[row] != row: disjoint_set[row] = recursive_lookup(disjoint_set, disjoint_set[row]) return disjoint_set[row]最后，对你感兴趣的每一行使用recursive_lookup来获取其集群的代表。换句话说，所有返回相同值的行应该在同一个集群中。
这应该相当快，因为你只需要遍历数据一次。不相交集的工作是O(1)的均摊时间，所以它们不会增加太多开销。应该和读写数据一样快。
