清理文本数据用于NLP任务

今天早上我试图用康奈尔电影对话语料库数据集训练一个聊天机器人,但我遇到了清理文本数据以输入我的算法的问题。这里是文本文件中的一个片段

L1045 +++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ They do not!L1044 +++$+++ u2 +++$+++ m0 +++$+++ CAMERON +++$+++ They do to!L985 +++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ I hope so.L984 +++$+++ u2 +++$+++ m0 +++$+++ CAMERON +++$+++ She okay?L925 +++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ Let's go.

L924 +++$+++ u2 +++$+++ m0 +++$+++ CAMERON +++$+++ Wow我只对每句话最后部分的对话感兴趣。我该如何清理这个文件并将其转换为CSV文档?

数据集链接http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html


回答:

以字符串形式遍历所有行。

假设你有:

str = “+++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ They do not!”

你想要的输出是”They do not!”

可以这样做:

str.split(“+++$+++ “)[-1]

这将给你想要的输出。一旦你得到了期望的字符串输出,就可以将它们逐行写入你的CSV文件中。

希望这对你有帮助。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注