学界 | 机器理解中的迁移学习,斯坦福联合微软提出SynNet网络

 
摘要:机器之心编译参与:李亚洲、Smith近日,斯坦福大学、微软联合发表了一篇论文,提出了一种在机器理解(MC)中使用2-阶段合成网络(SynNet)进行迁移学习的技术。论文作者之一、前微软人工智能首席科学

机器之心编译

参与:李亚洲、Smith

近日,斯坦福大学、微软联合发表了一篇论文,提出了一种在机器理解(MC)中使用 2-阶段合成网络(SynNet) 进行迁移学习的技术。论文作者之一、前微软人工智能首席科学家邓力已经离职,加入对冲基金巨头 Citadel。

论文链接:https://arxiv.org/pdf/1706.09789.pdf

我们开发了一种在机器理解(MC)中使用一个全新的
2-阶段合成网络(SynNet) 进行迁移学习的技术。在某个领域中给定一个高性能
MC,我们的技术旨在回答有关另一领域文档的问题,其中我们使用的是无标记数据问答对。不使用提供的注释的情况下,在 SQuAN
数据集预训练的模型上使用我们提出的 SynNet,能够在 NewsQA 数据集挑战赛上取得 46.6% 的 F1
测量结果,接近领域内(in-domain) 模型的表现(F1 结果为 50.0%),超过域外(out-domain) 基线 7.6%。


1:2-阶段 SynNet 的图释。给定段落的情况下,训练 SynNet
的目的是对问题与答案进行合成。模型的第一阶段是一个答案合成模块,使用一个双向 LSTM 在输入段落上预测 IOB
标签,标记出可能是答案的关键语义概念。第二个阶段是一个问题合成模块,使用一个单向 LSTM 来生成问题,同时顾及段落中词汇与 IOB id
的嵌入。尽管段落中的多个跨度(span) 可以被认为是潜在答案,但我们只选择了一个 span 来生成问题。

表 1:随机采样的段落和对应的来自 NewsAQ 训练集的合成问题与人类问题的对比。

表 2:主要结果。使用我们的 SynNet 精调的 BIDAF 模型在 NewsQA 测试集上的精度匹配(EM)和 span F1 结果。

表 3:NewsQA 到 SQuAD。在 SQuAD 上开发的一系列 NewsQA BIDAF 模型与使用由 2-阶段 SynNet 生成的数据精调的模型的 EM 和 span F1 结果对比。

表 4:Ablations Studies。使用一个 2-阶段 SynNet 精调的 BIDAF 模型在 NewsQA 测试集上的精确匹配和跨距 F1 结果。

图 2:在 SQuAD(黄色)上训练的 BIDAF 模型基准的 NewsQA 准确率对比使用我们方法精调的模型对比在 NewsQA 上从头开始训练的一个模型(深蓝)。 

 

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.