网站首页 > 参考文献> 文章内容

ACL 2019 利用主题模板进行摘要生成

※发布时间:2019-12-8 8:42:18   ※发布作者:A   ※出自何处: 

  最近,谷歌将生成文档的导读部分看作了一个多文档摘要任务的变种,并发布了一个大规模的摘要数据集WikiSum。然而,之前的华晨宇父亲华福雄摘要工作大多将摘要结果看作单个长文本序列,忽视了文档常常分为多个主题,并且一类文档可以看作由多个主题按顺序排列得到:

  该文提出了一个由主题结构作指导的神经网络模型,没有使用常见的循环神经网络,而是在卷积解码器的基础上显性地加入了内容的主题结构,从而生成完整而流畅的摘要。此外,该文还提供了数据集WIKICATSUM,其中包含公司、电影与动物三个领域的文档与对应的候选片段。

  该文的模型使用了传统的编码器-解码器架构,将输入文本编码成隐向量后从中解码出最终的摘要文本。整个模型分为四块:基于CNN的文档编码器,基于LSTM的句子级别解码器,基于CNN的单词级别解码器,以及主题判别模块。总体架构图如下:

  在使用CNN将输入文本编码为一个隐向量后,该文使用了一个层次卷积解码器来生成最后的结果。层次卷积解码器包含两部分:句子级别解码器与单词级别解码器。单词级别解码器在传统CNN的基础上,为每一个单词的向量表示加上了它在句子中与句子在全文中的特征:

  其中emb(y_ti )代表单词的原始向量表示,e_i代表单词在句子中的向量表示,e_t代表句子在全文中的向量表示。

  在以上两层的基础上,模型利用多步注意力机制[2],根据之前生成的句子和相应的上下文确定下一个句子:

  其中,o_ti^l代表摘要结果中第 l 句话的第 i 个单词对应的输出向量,s_t为公式(2)对应的句子向量表示,上下文向量c_ti^l则由以下公式推出:

  最后,得到输出向量o_ti^l与上下文向量c_ti^l后,模型经过一个全连接层与一个softmax层得到选择单词的概率分布,从中挑选可能性最大的单词作为结果:

  除此之外,模型中还有一个主题判别模块,它将每一个句子看作一份文档,利用LDA模型分析出其中隐含的主题列表K,并为每一个句子打上最可能的主题标签。在生成句子时,模型经过一个全连接层与一个softmax层计算出生成句子可能对应的主题:

  该文在自己构造的数据集WIKICATSUM上进行了实验,其中包含三类文档:公司,电影与动物。具体参数如下(R1,R2.RL分别代表ROUGE-1, ROUGE-2,ROUGE-L的召回率):

  实验中将模型与谷歌2018年的工作进行了对比。结果如下表(TF-S2S为谷歌模型,A代表生成结果与标准结果的重合度,C代表生成结果与输入语料的重合度):

  可以看出,此模型在公司与电影领域上对比之前工作将各个ROUGE分数提高了0.15分左右,且在动物领域上也有不错的表现。此外,结果还表明此模型生成的摘要覆盖内容面更广泛。

  

关键词:摘要模板