我在机器上运行Julia的机器学习算法时，内存有限。我注意到从仓库中使用的代码存在一个相当大的瓶颈。似乎随机分割数组所需的时间甚至比从磁盘读取文件的时间还要长，这似乎突显了代码的低效。正如我之前所说，任何加速这个函数的技巧都将不胜感激。原始函数可以在这里找到这里。由于它是一个短函数，我也会在这里贴出来。

# 将评分列表分割成训练集和测试集，最多包含target_percentage * length(ratings)的测试集。我们希望保持的属性是：在原始评分集中出现的任何用户也在训练集中，并且在原始评分集中出现的任何项目也在训练集中。我们通过以随机顺序遍历评分来保持这一属性，只有在我们尚未达到target_percentage，并且我们已经在其他评分中看到过用户和项目时，才将项目添加到测试集中。function split_ratings(ratings::Array{Rating,1},                       target_percentage=0.10)    seen_users = Set()    seen_items = Set()    training_set = (Rating)[]    test_set = (Rating)[]    shuffled = shuffle(ratings)    for rating in shuffled        if in(rating.user, seen_users) && in(rating.item, seen_items) && length(test_set) < target_percentage * length(shuffled)            push!(test_set, rating)        else            push!(training_set, rating)        end        push!(seen_users, rating.user)        push!(seen_items, rating.item)    end    return training_set, test_setend

正如之前所说，任何可以加速数据处理的方法都将不胜感激。我还要指出，我并不真正需要保留去除重复项的能力，但这将是一个不错的功能。如果这已经在Julia库中实现了，我也很想知道。任何利用Julia并行处理能力的解决方案都将获得额外的奖励！

回答：

这是我能想到的在内存使用方面最有效的代码。

function splitratings(ratings::Array{Rating,1}, target_percentage=0.10)  N = length(ratings)   splitindex = round(Integer, target_percentage * N)  shuffle!(ratings) #这是在原地打乱，避免了分配另一个数组！  return sub(ratings, splitindex+1:N), sub(ratings, 1:splitindex) #这创建的是子数组，而不是复制原始数组！end

然而，现在Julia的文件IO速度极慢成为了瓶颈。这个算法在一个包含1.7亿个元素的数组上运行大约需要20秒，所以我认为它相当高效。