Python之NLP（转）

日期：2024-11-12 移动：http://yishengsujiao.xhstdz.com/quote/3764.html

题记: 由于现在的项目是搜索引擎，所以不由的对自然语言处理产生了好奇，再加上一直以来都想学Python，只是没有机会与时间。碰巧这几天在亚马逊上找书时发现了这本《Python自然语言处理》，瞬间觉得这对我同时入门自然语言处理与Python有很大的帮助。所以最近都会学习这本书，也写下这些笔记。

Python之NLP（转）

NLTK模块及功能介绍

语言处理任务NLTK模块功能描述获取语料库nltk.corpus语料库和词典的标准化接口字符串处理nltk.tokenize,nltk.stem分词、句子分解、提取主干搭配研究nltk.collocationst-检验，卡方，点互信息词性标示符nltk.tagn-gram，backoff，Brill，HMM，TnT分类nltk.classify,nltk.cluster决策树，最大熵，朴素贝叶斯，EM，k-means分块nltk.chunk正则表达式，n-gram，命名实体解析nltk.parse图标，基于特征，一致性，概率性，依赖项语义解释nltk.sem,nltk.inferenceλ演算，一阶逻辑，模型检验指标评测nltk.metrics精度，召回率，协议系数概率与估计nltk.probability频率分布，平滑概率分布应用nltk.app,nltk.chat图形化的关键词排序，分析器，WordNet查看器，聊天机器人语言学领域的工作nltk.toolbox处理SIL工具箱格式的数据

　　我的Python版本是2.7.5，NLTK版本2.0.4

安装步骤跟http://www.nltk.org/install.html 一样

1. 安装Setuptools:

　在页面的最下面setuptools-5.7.tar.gz

2. 安装 Pip: 运行

3. 安装 Numpy (optional): 运行

4. 安装 NLTK: 运行

当出现以下界面进行nltk_data的下载

也可直接到 http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml 去下载数据包，并拖到Download Directory。我就是这么做的。

最后在Python目录运行以下命令以及结果，说明安装已成功

　　现在开始进入正题，由于本人没学过python，所以使用NLTK也就是学习Python的过程。初次学习NLTK主要使用的时NLTK里面自带的一些现有数据，上图中已由显示，这些数据都在nltk.book里面。

3.1 搜索文本

concordance:搜索text1中的monstrous

similar:查找text1中与monstrous相关的所有词语

dispersion_plot：用离散图判断词在文本的位置即偏移量

3.2 计数词汇

len:获取长度，即可获取文章的词汇个数，也可获取单个词的长度

sorted:排序

3.3 频率分布

3.4 细粒度的选择词

3.5 词语搭配和双连词

用bigrams()可以实现双连词

3.6 NLTK频率分类中定义的函数

例子描述fdist=FreqDist(samples)创建包含给定样本的频率分布fdist.inc(sample)增加样本fdist['monstrous']计数给定样本出现的次数fdist.freq('monstrous')样本总数fdist.N()以频率递减顺序排序的样本链表fdist.keys()以频率递减的顺序便利样本for sample in fdist:数字最大的样本fdist.max()绘制频率分布表fdist.tabulate()绘制频率分布图fdist.plot()绘制积累频率分布图fdist.plot(cumulative=True)绘制积累频率分布图fdist1<fdist2测试样本在fdist1中出现的样本是否小于fdist2

最后看下text1的类情况. 使用type可以查看变量类型，使用help()可以获取类的属性以及方法。以后想要获取具体的方法可以使用help()，这个还是很好用的。

1. 词意消歧

2. 指代消解

3. 自动生成语言

4. 机器翻译

5. 人机对话系统

6. 文本的含义

虽然是初次接触Python，NLTK，但是我已经觉得他们的好用以及方便，接下来就会深入的学习他们。

本文地址：http://nhjcxspj.xhstdz.com/quote/3764.html 物流园资讯网 http://nhjcxspj.xhstdz.com/ , 查看更多

特别提示：本信息由相关企业自行提供，真实性未证实，仅供参考。请谨慎采用，风险自负。

0 条相关评论

相关行业动态

推荐行业动态

点击排行