在自然语言处理中,怎样去大概分析一个语句的含义?

比如,“你们这群年轻人还必须要学习知识”这句话,在自然语言处理中,应该怎样去分析这样一个句子的成分与大概的语意
已邀请:

JmingS - 上下求索

推荐来自: 離娮 Joey 氪星人 Manjusaka

以下答案不能完全解决题目的问题,仅是提供了一些基础资料和简单的处理办法。
-----------------------
非常感谢邀请,目前为止,对于自然语言理解我只是大概了解了一下(大三时的选修课),以下答案仅仅是分享一下自己当时所了解的内容,仅仅适合没接触过自然语言理解的同学
学完课程,我感觉自然语言理解做的很精确很难,对于中文来说:
    1)句子结构并没有被固定,所以一句话可以有多种说法;
    2)因为断句的不同,一句话可以有不同的含义;
    3)一个词在不同的语境下可以有不同含义,比如:“意思”;
    ......
   (以上困难,仅仅是很小的一部分,在自然语言理解教材上有很多专有的名词描述会遇到的困难)
所以当时我们在学习时,并没有很深入的研究,只是介绍了很简单的一些概念和方法:
1)分词(把句子拆分开)
如果做的很细致,会涉及到概率统计、合并原则、切分原则等。
但是如果处理的粗糙一些,可以考虑“最大匹配算法”和“最少分词法(最短路径法)”:
根据已有的语料库,来划分句子(算法很容易,但弱点比较明显:“最大匹配算法”--断句不同,意义不同;“最少分词法(最短路径法)--如果最短路径有多条,无法确定最优解)
2)语义分析:
现在我只记得词义消歧的两种办法:a.基于贝叶斯分类器 b.基于最大熵
 
当时我们学习时用的教材是:宗成庆 《统计自然语言处理》(当时只是挑了一些章节讲的)
我们需要完成的课程设计:https://github.com/JianmingS/N ... nding
 
 

要回答问题请先登录注册