在自然语言处理中,怎样去大概分析一个语句的含义?

比如,“你们这群年轻人还必须要学习知识”这句话,在自然语言处理中,应该怎样去分析这样一个句子的成分与大概的语意
已邀请:

advAdder - 看到其他就想选其他

推荐来自: Joey 氪星人 rht 何雄 JmingS

没学过自然语言处理,强答,我只是来提供部分搜索关键词的:
 
词性标注 part-of-speech tagging 
命名实体识别 named entity recognition
依存句法分析 dependency parsing
语义角色标注 semantic role labeling
语义分析 semantic parsing
 
如果你关心更深层的语义表示,要看你的任务是什么,比如直接用向量,还是PropBank, FramNet, CCG,甚至AMR, RDF。
 
如果你关心实现方法,方法其实有很多,比较确定性的方法、基于统计、基于学习的方法,比如依存分析可以类似程序语言那样设计parser,也可以直接去学习结点链接的结构。建议先了解你关心的具体问题,然后用相应的关键词去找经典论文(或者提更精确的问题)。
 
如果你想看看工具,BosonNLP有个在线的demo可以试用:http://bosonnlp.com/demo?,StanfordNLP的许多工具也有在线的demo(部分支持中文):http://nlp.stanford.edu/software/
 
——————————————————————————
 
我觉得只说分词和词义消歧的答案不是“不能完全解决题目的问题”,是“完全不能解决题目的问题”,起码提一下语法树吧(虽然这个答案也没提)。当然“最大匹配”、“最少分词”这些类似程序语言parser的思想,和最大熵的技术是可以应用在更多NLP的问题上的。
 

ufo5260987423 - 朕回来了,不争论,只说观点,主要是吸收意见

推荐来自: Joey 亦可喜 advAdder 蝴娇蔓婵 JmingS

卧槽,这个问题不邀请我是什么鬼?
专业相关,俺的目前的研究方向包括知识图谱和topic model,后者是一个典型的自然语言处理的问题。前者则涉及到如何“理解”句子的问题。

事实上,@advAdder 已经写的很好了,而@JmingS 的答案感觉略有薄弱。顺便,我希望补充一点更深入的内容:机器在分析了语句以后如何理解语句。这就需要知识图谱。

事实上,典型的一个角度是将自然语言转换成horn clauses,然后进行计算。为了实现这种转换,需要:
1、从句子中识别实体。
2、从句子中识别逻辑关系。

转换成horn clauses以后,进行逻辑运算,从而对语句进行反应。

这两年使用deep learning的方法,特别是word embedding火了以后,将句子中识别的实体映射为欧式空间甚至希尔伯特空间的一组向量。通过向量的加减进行反应。

上面两种方法算是分别是符号主义和连接主义的典型了。我自己是贝叶斯主义的,最近看到的是劳逆研究员提出的Random Path方法,这个方法也可以用来进行一些语义的理解。

JmingS - 上下求索

推荐来自: 離娮 Joey 氪星人 Manjusaka

以下答案不能完全解决题目的问题,仅是提供了一些基础资料和简单的处理办法。
-----------------------
非常感谢邀请,目前为止,对于自然语言理解我只是大概了解了一下(大三时的选修课),以下答案仅仅是分享一下自己当时所了解的内容,仅仅适合没接触过自然语言理解的同学
学完课程,我感觉自然语言理解做的很精确很难,对于中文来说:
    1)句子结构并没有被固定,所以一句话可以有多种说法;
    2)因为断句的不同,一句话可以有不同的含义;
    3)一个词在不同的语境下可以有不同含义,比如:“意思”;
    ......
   (以上困难,仅仅是很小的一部分,在自然语言理解教材上有很多专有的名词描述会遇到的困难)
所以当时我们在学习时,并没有很深入的研究,只是介绍了很简单的一些概念和方法:
1)分词(把句子拆分开)
如果做的很细致,会涉及到概率统计、合并原则、切分原则等。
但是如果处理的粗糙一些,可以考虑“最大匹配算法”和“最少分词法(最短路径法)”:
根据已有的语料库,来划分句子(算法很容易,但弱点比较明显:“最大匹配算法”--断句不同,意义不同;“最少分词法(最短路径法)--如果最短路径有多条,无法确定最优解)
2)语义分析:
现在我只记得词义消歧的两种办法:a.基于贝叶斯分类器 b.基于最大熵
 
当时我们学习时用的教材是:宗成庆 《统计自然语言处理》(当时只是挑了一些章节讲的)
我们需要完成的课程设计:https://github.com/JianmingS/N ... nding
 
 

要回答问题请先登录注册