数据的清洗
# package import
import re
def cleansing_word(operate_type, data):
"""
operate_type的意义
r'[\u4e00-\u9fa5]'表示只保留中文字符
r'[^\u4e00-\u9fa5]'表示去除全部中文字符
r'http://[a-zA-Z0-9.?/&=:]*'表示去除url
r'^([\w]+\.*)([\w]+)\@[\w]+\.\w{3}(\.\w{2}|)'表示去除email
r"[a-zA-Z0-9'!#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘'！[\\]^_`{|}~\s]+"表示去除数字及特殊字符，只保留汉字
r'[\001\002\003\004\005\006\007\x08\x09\x0a\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a]+'表示去除不可见字符
u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])"表示特殊字符，只保留汉子，字母、数字
"""
# get pattern
pattern = re.compile(operate_type)
# get clean_word
clean_word = re.sub(pattern, "", data)
return clean_word
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/199460.html
