自然语言处理库―Snownlp
上次在跟大家分享用Python在本地进行文本情感分析的时候,给大家介绍了一个Snownlp库,当时只跟大家介绍了一下它的情感分析功能,这次来跟大家详细的介绍一下它其它的强大的功能。 01定义和安装 我们先来看看官方对它的介绍: SnowNLP是一个python写的类库,可以方便的处理中文文本内自然容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行decode成un语言icode。 它的安装命令如下: pip install snownlp 02功能介绍 它主要有九个功能,我们分别来给大家介绍一下这九个功能都是干什么的。 01分词功能 SnowNLP的分词功能,可以将文本内容对照着字典划分一个个词语字符串,如果不是词语的就单独成为一个字符串。代处理码如下: a = SnowNLP('我非常的热爱学习!') print(a.words) 02词性标注 SnowNLP的词性标注功能,可以对各个词语进行标注,让我们能够知道这个词语属于名词还是动词,或者其它词性。代码如下: a = SnowNLP('库―我非常的热爱学习!') for i in a.tags: print(i) 03情感分析 在之前的文章我们已经详细的介绍过了SnowNLP的情感分析功能,这里就不在过多介绍,用兴趣的小伙伴,可以看看这篇文章Sn两种文本情感分析方式,你更pick哪一种?。 04拼音标注 SnowNLP的拼音标准功能,可以给文本中所有文字进行拼音标注,这样以后再也不担心遇到生僻字不会读啦~~ 代码如下: a = SnowNLP('我非常的热爱学习!') print(a.pinyin) 05提取关键字和ow摘要 SnowNLP可以将文本中出现的关键字和文本摘要给提取出来,从而让我们可以更快速的了解文本讲述的内容。代码如下: text = '''计算机网络系统就是利用通信设备和线路将地理位置不同、功能独立的多个计算机系统互联起来,以功能完善的网络软件实现网络中资源共享和信息传递的系统。 nl通过计算机的互联,实现计算机之间的通信,从而实现计算机系统之间的信息、软件和设备资源的共享以及协同工作等功能, 其本质特征在于提供计算机之间的各类资源的高度共享,实现便捷地交流信息和交换思想。''' b=SnowNLP(text) key_word = b.k自然eywords(5) #()中的数字,代表提取关键字数量 abs_word = b.summary(1) #()中的数字,代表提取摘要数量 print(key_word) pri语言nt(abs_word) 06计算词频和逆文档频率 关键字的先后顺序是由TF-IDF值的大小来决定的,其中TF就是词频、IDF就是逆文档频率、词频很好理解就是一个词在文本中出现的频率,逆文档频率是在词频的基础上,给每个词分配一个“重要性”的权重,越常见的词分配的权重越低,越稀少的词,权重越高,这个权处理重就成为逆文档频率,它的大小和词语的常见性成反比。代码如下: c = SnowNLP([['计算机'], ['资源'], ['ϵͳ'], ['信息'], ['功能']]) print(c.tf) print(c.idf) 0库―7繁体转简体 个人感觉这个技能较为冷门,现在基本上都是简体字了。(仅为个人意见,不喜勿喷。)代码如下: d = SnowNLP() print(d.han) 08断句功能 SnowNLP可以按照","和“。”对文本进行断句处理。代码如下: b=SnowNLP(text)&nSnbsp;print(b.sentences) 09文本相似度 e = SnowNLP([['计算机','资源'], ['ϵͳ'ow], ['信息','功能'] &nbnlsp; ]) print(e.sim(['ϵͳ'])) print(e.sim(['计算机'])) print(e.sim(['功能']))
- 最近发表
-
- 谷歌Imagen 4正式上线 Gemini API 和 Google AI Studio
- 云计算开发:Python内置函数-classmethod修饰符详解
- 标签: 爱芯元智 边缘AI产品 智能汽车SoC 终端计算产品
- 微软xCloud测试版今天登陆iOS和PC端
- 云计算开发:Python3-List clear()方法详解
- ComfyUI完成3000万美元融资:估值达5亿美元,用户数突破400万
- 标签: 箭元科技 元行者一号 液氧甲烷火箭 不锈钢火箭
- 如履平地!波士顿动力Atlas学会了跑酷,但幕后花絮比正片更精彩
- Anthropic 为金融分析师推出增强版 Claude,配备 Excel 扩展和实时数据连接
- 标签: 云知声
- 随机阅读
-
- 比9种SOTA GNN更强!谷歌大脑提出全新图神经网络GKATs
- 标签: Google AI概览 医疗搜索
- 苹果支付部门招聘业务开发经理 要求拥有加密货币工作经验
- LeCun联手博士后arxiv发文,遭reddit网友质疑:第一张图就错了
- 标签: 联想 杨元庆 AI芯片 智能设备
- 标签: Meta Moltbook OpenClaw AI智能体
- 标签: 华盛雷达 科创板 招股书
- 鑻变紵杈惧彂甯冩柊ARM婕旂ず 涓篟TX GPU Chromebook閾哄钩閬撹矾
- 标签: Anuttacon AnuNeko 蔡浩宇 米哈游
- 标签: 美的 小米 格力 空调售后
- 标签: 一起教育科技 YQ 在线教育
- 独占授权终结!微软与 OpenAI 修订合作协议:不再支付营收分成
- 迎风而上2021:如何破题五大数据挑战?
- 上海AI Lab推出Lumina-DiMOO,开创多模态生成与理解新局面
- 可以优化成本和性能的六种云计算数据管理技术
- Luma AI发布Ray3:以“推理”能力革新视频生成,支持16位色深
- 华人博士发127页长文:自然语言处理中图神经网络从入门到精通
- 标签: Mindverse Macaron AI LoRA强化学习 个人智能
- 标签: 工业富联 AI_GPU机柜 800G交换机 CPO交换机
- 标签: 猎装车 车企 新能源汽车
- 搜索
-
- 友情链接