。

预处理文本所需的具体步骤取决于具体数据和您手头的自然语言处理任务。

一、说明

文本预处理涉及许多将文本转换为干净格式的任务以供进一步处理或与机器学习模型一起使用。

预处理文本所需的具体步骤取决于具体数据和您手头的自然语言处理任务。

文本规范化——将文本转换为标准表示形式例如全部小写。

删除停用词、标点符号、特殊单词或文本片段例如井号标签、URL、表情符号、非

ASCII

将单词转化为它们的引理形式引理是字典中存在的单词的形式。

拼写更正——更正任何拼写错误通过绘图进行探索性分析

NLTK、SpaCy

降维包含许多单词的文本文档可以表示为多维向量。

文档的每个单词都是向量的维度之一。

应用文本处理有助于删除对您所针对的实际

NLP

任务可能没有意义的单词从而减少数据的维度这反过来又有助于解决维数灾难问题并提高

NLP

latin-1。

数据集有很多列我们只对这篇关于文本预处理的文章的原始推文列感兴趣。

Read

pd.read_csv(Corona_NLP_train.csv,

encodinglatin-1)

train_data[OriginalTweet].str.lower()

train_data.head()

#https://stackoverflow.com/questions/29523254/python-remove-stop-words-from-pandas-dataframe

import

list(string.punctuation)train_data[OriginalTweet]

train_data[OriginalTweet].apply(lambda

.join(w

re.sub(r\w:\/{2}[\d\w-](\.[\d\w-])*(?:(?:\/[^\s/]*))*,

tweet)return

train_data[OriginalTweet].apply(remove_url)

train_data[OriginalTweet].head()

2.6

remove_mentions_hashs(tweet):tweet

tweet)

train_data[OriginalTweet].apply(remove_mentions_hashs)

train_data[OriginalTweet].head()

2.7

https://stackoverflow.com/a/49146722/330558

import

re.compile([u\U0001F600-\U0001F64F

emoticonsu\U0001F300-\U0001F5FF

symbols

pictographsu\U0001F680-\U0001F6FF

transport

(iOS)u\U00002702-\U000027B0u\U000024C2-\U0001F251],

pat.sub(r,

tweet)train_data[OriginalTweet]

train_data[OriginalTweet].apply(remove_emojis)

train_data.head()

#https://docs.python.org/2/library/unicodedata.html#unicodedata.normalize

import

train_data[OriginalTweet].apply(remove_nonascii)

train_data.head()

remove_empty_strings1(tweet):tweet

re.sub(r^\s|\s$,

train_data[OriginalTweet].apply(remove_empty_strings1)

2.10

train_data[train_data[OriginalTweet]

NaN]#

warnings.filterwarnings(ignore)

from

train_data[SpellCorrectedTweet]

train_data[OriginalTweet].apply(lambda

train_data.head()

nltk.tokenize.WhitespaceTokenizer()

def

tokenizer.tokenize(text)train_data[OriginalTweet]

train_data[OriginalTweet].apply(tokenize)

train_data[OriginalTweet].head()

3.3

nltk.tokenize.WhitespaceTokenizer()

lemmatizer

nltk.stem.WordNetLemmatizer()def

for

train_data[OriginalTweet].apply(lemmatize)

train_data.head()

train_data[OriginalTweet].apply(stemming)

train_data.head()

#https://docs.python.org/3/library/itertools.html#itertools.chain

import

list(train_data[OriginalTweet])

all_tokens

list(itertools.chain(*all_tweets))

token_counts

collections.Counter(all_tokens)#

Print

print(token_counts.most_common(10))#

Convert

pd.DataFrame(token_counts.most_common(20),

df.head()#

本文总结出关于文本预处理的大多数处理方法。

对于文本处理的实际过程可以抽取某些过程进行整合处理。

对于更加特殊的处理也可以特别处理。

下一篇文章介绍文本表示技术