xmlns="http://www.w3.org/2000/svg"

style="display:

none;">

NAACL上的45+篇亚马逊NLP论文速览

在即将于下周举行的北美计算语言学协会年会上，亚马逊展示了其在自然语言处理研究方面的广度和原创性，共发表了45余篇论文。

会议NAACL

2022

以下是按研究领域分类的亚马逊在NAACL

2022上发表的45多篇论文。

持续学习

• 终身预训练：持续使语言模型适应新兴语料库

  />Xisen

  Ren

• 面向生产型SLU模型新特性的局部到全局迭代训练学习

  />Yulia

  Sorokin

• 克服seq2seq语言生成在领域自适应中的灾难性遗忘

  />Dingcheng

  Liu

  在“克服seq2seq语言生成在领域自适应中的灾难性遗忘”一文中，研究人员提出了一种方法，用于评估当现有模型在新任务上训练时（右图），数据表示发生了多大程度的偏移。

• 口语语言理解的时间泛化

  />Judith

  Galstyan

数据增强

• 通过后验正则化约束词对齐以实现标签迁移

  />Kevin

  Gueudré

  上图展示了使用词对齐将文本标签从一种语言迁移到另一种语言时遇到的困难示例。

  在英语中，冠词“***”被分配了标签“o”（表示“其他”）；而在法语中，缩写冠词与其名词合并，两者都接收相同的标签（“type”）。

  该图来自“通过后验正则化约束词对齐以实现标签迁移”。

• 通过插入操作实现的NLU可控数据生成

  />Manoj

  Gupta

• 面向自然语言理解的高效半监督一致性训练

  />George

  Tan

• 学习为语义处理任务生成示例

  />Danilo

  Basili

对话系统

• 从连续语句中学习对话表示

  />Zhihan

  Xiang

• 使用格栅进行文本生成的大规模解码

  />Jiacheng

  Durrett

实体链接、指代消解与类型识别

• 用于跨文档事件和实体共指消解的对比表示学习

  />Benjamin

  Horwood

• 通过在知识库上进行推理改进实体消歧

  />Tom

  Pierleoni

• ReFinED：一种高效的、支持零样本学习的端到端实体链接方法

  />Tom

  Pierleoni

• 通过多任务QA向语言模型注入类型知识

  />Shuyang

  McAuley

可解释AI

>
在“通过迭代检索-生成推理器实现蕴含树解释”一文中，研究人员提出了一种方法，通过逻辑地重组从支持文本证据中提取的前提，来解释大型语言模型的输出。

• 通过迭代检索-生成推理器实现蕴含树解释

  />Danilo

  Roth

• 自然语言模型理解的局部聚合特征归因

  />Sheng

  Song

极端多标签分类

• 低流量电商商店中大规模语义匹配模型的训练数据增强

  />Ashutosh

  May

• 面向极端文本分类的极端零样本学习

  />Yuanhao

  Dhillon

联邦学习

• 带噪声用户反馈的联邦学习

  />Rahul

  Gupta

关键词检测

• AB/BA分析：一个在保持音频隐私的同时估计关键词检测召回率提升的框架

  />Raphael

  Bullough

机器翻译

• CoCoA-MT：面向对比受控翻译（含形式性应用）的数据集与基准

  />Maria

  Dinu

  在联邦学习中，神经网络的分布式副本在本地进行训练，只有它们的更新（红色）被发送到中央模型。

  “通过联邦学习训练混合领域翻译模型”介绍了一种称为动态拉取的技术，其中参数值在训练轮次之间发生较大偏移的分布式模型（左下角），其参数会与偏移较小的模型分开拉取到中央模型中。

• 细节决定成败：论神经机器翻译中词汇表选择的陷阱

  />Tobias

  Hieber

• 通过联邦学习训练混合领域翻译模型

  />Peyman

  Chung

多任务学习

• 通过从已收敛任务进行知识蒸馏实现多任务学习中的异步收敛

  />Weiyi

  Chilimbi

• 探索任务可迁移性在大规模多任务学习中的作用

  />Vishakh

  Karypis

命名实体识别

• 多语言模型中用于跨语言和跨领域命名实体识别的动态词典集成

  />Besnik

  Malmasi

• NER-MQMRC：将命名实体识别建模为多问题机器阅读理解

  />Anubhav

  Yenigalla

问答系统

• 答案整合：公式化与基准测试

  />Wenxuan

  Chen

• 基于段落的Transformer预训练用于多句推理

  />Luca

  Moschitti

• PerKGQA：面向个性化知识图谱的问答

  />Ritam

  Rosé

• 来自异构源的产品答案生成：新基准与最佳实践

  />Xiaoyu

  Byrne

推荐系统

• CERES：面向半结构化会话数据的图条件Transformer预训练

  />Rui

  Zhang

自学习

>
在“FPI：大规模对话助手故障点隔离”中，研究人员提出了一种方法，用于推断对话代理处理流程中哪个环节发生了错误。

• FPI：大规模对话助手故障点隔离

  />Rinat

  Natarajan

• 大规模对话AI系统中用于技能路由的可扩展且鲁棒的自学习

  />Mohammad

  Lee

• 大规模对话AI中基于自我反馈的自学习

  />Pragaash

  Guo

  这是一个面向任务的语义解析示例，它将自然语言转换为AI

  Agent可以执行的正式表示。

  该图来自“作为抽象式问答的组合型任务导向解析”。

语义解析

• 作为抽象式问答的组合型任务导向解析

  />Wenting

  Cardie

• SeqZero：使用顺序提示和零样本模型的少样本组合语义解析

  />Jingfeng

  Yang

任务自适应

• 注意力融合：一种用于NLU任务自适应的轻量级高效后期融合机制

  />Jin

  Hamza

• 通过识别注意力中的核结构实现参数高效的迁移学习

  />Yifan

  Hakkani-Tür

文本挖掘

• 面向电商评论的远监督方面聚类与命名

  />Prateek

  Majumdar

• 面向意见摘要的高效少样本微调

  />Arthur

  Dreyer

• FactGraph：使用语义图表示评估摘要的事实性

  />Leonardo

  Bansal

  上图展示了一个对话代理如何将从在线来源（白框）收集到的事实整合到其对话回复（蓝框）中。

  该图来自“通过文档语义图增强基于知识的对话中的知识选择”。

• 通过检索器-生成器迭代训练增强检索的多语言关键词生成

  />Yifan

  Lyu

• 用户关心什么？从用户反馈中检测可操作的见解

  />Kasturi

  Roth

语音合成

• 共情机器：在语音合成系统中使用中间特征作为杠杆模拟情感

  />Saiteja

  Gandhi

研究领域

/>对话式AI

标签

/>自然语言处理

NAACL

会议

/>NAACL

/>对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）