九歌基于深度学习的中国古典诗

软件开发求职招聘交流微信群 https://www.edunews.net.cn/2021/ywbb_0912/131570.html

雷锋网AI研习社按:近年来人工智能与文学艺术的结合日趋紧密,AI自动绘画、自动作曲等方向都成为研究热点。诗歌自动生成是一项有趣且具有挑战性的任务。在本次公开课中,讲者将介绍清华自然语言处理与社会人文计算实验室的自动作诗系统,“九歌”,及其相关的技术方法和论文。

分享嘉宾:

矣晓沅,清华大学计算机系在读硕士,导师为孙茂松教授。主要从事自然语言处理、文本生成方向的研究。研究工作在IJCAI、CoNLL、EMNLP等会议发表。

公开课回放  字词的选择较生硬;

二、  诗歌流畅性与诗意性受到影响。

基于工作记忆模型的诗歌生成

这个模型借鉴了认知心理学的原理——「工作记忆」。

人们认为怎样的文章才具备连贯性呢?当读者读到一个新的句子时,如果这个句子能和存储在读者大脑工作记忆中的内容,或者文章的主题与大意建立关联,那么读者就认为新读到的这个句子和上文是连贯的。

有鉴于此,我们便提出了「工作记忆模型」,该模型整体由三种不同的Memory组成:

一、  TopicMemory

支持输入多个关键词,可以将用户输入的词单独保存在模型里,这里主要起的是约束诗歌整体主旨的角色。由于是独立保存,所以对关键词的输入顺序不做要求,是一项对用户非常友好的行为。

二、  HistoryMemory

与之前提到的salientclue机制相类似。

三、  LocalMemory

主要保存诗歌的前一个句子,因为中国古典诗歌的相邻句子往往有非常强的关联性。

我们的实验分别生成了律诗、宋词和歌词,实验结果与不同模型相比,都有了很大的提升。

这是一张perplexity图,纵轴是perplexity,横轴是诗歌的句子数目,不同颜色的线则表示HistoryMemory的槽数。

一首诗歌的句子数目越多,整体的perplexity就越大,因为句子数目越多,上下文的关联性越难被确认,导致不确定性越大。同时我们还发现,HistoryMemory的槽数越多,perplexity就越小,不确定性也随着变小。

模型的成功之处,在于提升了读取词的可解释性和表达的灵活性。

基于互信息的无监督风格诗歌生成

针对第一篇文章工作中存在的风格控制问题,我们又做了一项「基于互信息的无监督风格」的工作。众所周知,中国古诗具有不同的风格表达,其中三个最有代表性的分别是:边塞、闺怨和山水田园。

我们希望我们的模型可以做到以下几个要求:

一、  给出一个关键词,就能生成不同风格的诗歌。

二、  通过无监督的方式实现这个功能。

三、  生成的诗在其他指标上尽量减少损失或者没有损失(流畅性、通顺性……)

实验中我们设置了10种不同的风格,每种风格分别生成一组诗,最后我们统计诗歌的词频。

右边是人类评测的结果,对角线越明显,说明风格的识别率越高。一下生成十种风格的诗歌,还能取得这么高的识别率,说明实验的结果非常好。

以上是生成的一些诗歌例子。

最后,欢迎大家前往试用我们的系统,多多给我们提宝贵的意见,后续我们会根据大家的反馈持续改进我们的系统。

左下角是我的个人邮箱,欢迎大家随时跟我取得联系,今天我的分享就到此结束,谢谢大家!




转载请注明:http://www.aierlanlan.com/rzfs/1500.html