机器翻译正文由机器翻译自项目原始文档（英文），排版经程序统一处理，可能存在偏差，请以原项目仓库为准。

aka.ms/GeneralAI

招聘

我们正在各个层级招聘（包括全职研究员和实习生）！如果您有兴趣与我们合作研究基础模型（即大规模预训练模型）以及通用人工智能、自然语言处理、机器翻译、语音、文档人工智能和多模态人工智能，请将您的简历发送至 fuwei@microsoft.com 。

基础架构

TorchScale - 基础架构库（仓库）

基础研究以开发用于基础模型和人工智能的新架构，重点关注建模通用性和能力，以及训练的稳定性和效率。

稳定性 - DeepNet：将Transformer扩展到1000层及以上

通用性 - Foundation Transformers (Magneto)：朝向跨任务和模态（包括语言、视觉、语音和多模态）的真正通用建模

能力 - 一个长度可外推的 Transformer

效率与可迁移性 - X-MoE：可扩展且可微调的稀疏专家混合模型（MoE）

模型架构的革命

BitNet：用于大语言模型的一位Transformer

RetNet：Retentive网络：大语言模型的Transformer继任者

LongNet：将Transformer扩展到10亿个Token

基础模型

(多模态)LLM（多模态大语言模型）的演进

Kosmos-2.5：多模态读写模型

Kosmos-2：将多模态大语言模型与现实世界接轨

Kosmos-1：多模态大语言模型 (MLLM)

MetaLM：语言模型是通用接口

大融合 - 大规模自监督预训练覆盖 tasks（预测和生成）、languages（100种语言）以及 modalities（语言、图像、音频、布局/格式 语言、视觉 语言、音频 语言等）

语言与多语言

UniLM：用于语言理解与生成的统一预训练

InfoXLM/XLM-E：支持100种语言的多语言/跨语言预训练模型

DeltaLM/mT6：用于语言生成和翻译的编码器-解码器预训练，支持100种语言

MiniLM：用于语言理解与生成的小型快速预训练模型

AdaLM：预训练模型的领域、语言和任务适配

EdgeLM( NEW )：在边缘/客户端设备上运行的小型预训练模型

SimLM( NEW )：用于相似性匹配的大规模预训练

E5 ( NEW ): 文本嵌入

MiniLLM( NEW )：大语言模型的知识蒸馏

视觉

BEiT/BEiT-2：视觉的生成自监督预训练 / 图像转换器的BERT预训练

DiT：文档图像转换器的自监督预训练

TextDiffuser/TextDiffuser-2( NEW )：作为文本绘画器的扩散模型

语音

WavLM：面向全栈任务的语音预训练

VALL-E：用于TTS的神经编解码器语言模型

多模态（X 与语言）

LayoutLM/LayoutLMv2/LayoutLMv3：多模态（文本 + 布局/格式 + 图像）文档基础模型，适用于文档AI（如扫描文档、PDF等）

LayoutXLM：用于多语言文档AI的多模态（文本 + 布局/格式 + 图像）文档基础模型

MarkupLM：用于视觉丰富文档理解的标记语言模型预训练

XDoc：跨格式文档理解的统一预训练

UniSpeech：用于自监督学习和ASR监督学习的统一预训练

UniSpeech-SAT：带说话人感知预训练的通用语音表示学习

SpeechT5：用于口语处理的编码器-解码器预训练

SpeechLM：利用非配对文本数据增强语音预训练

VLMo：统一视觉-语言预训练

VL-BEiT ( NEW )：生成式视觉-语言预训练——BEiT向多模态的进化

BEiT-3 ( NEW )：通用多模态基础模型，也是跨任务、语言和模态的大规模预训练大融合的重要里程碑。

工具包

s2s-ft：序列到序列微调工具包

Aggressive Decoding ( NEW )：无损且高效的序列到序列解码算法

应用

TrOCR：基于Transformer的OCR，带预训练模型

LayoutReader：用于阅读顺序检测的文本和布局预训练

XLM-T：利用预训练跨语言编码器的多语言NMT

链接

LLMOps (仓库)

通用技术，用于通过LLM和MLLM赋能AI能力。

RedStone (仓库)

为大型语言模型整理通用、代码、数学和问答数据。

新闻

• 2024年12月：RedStone 发布！
• 2023年12月：[LongNet]（https://github.com/microsoft/unilm/tree/master/longnet）和[**LongViT**]（https://github.com/microsoft/unilm/tree/master/longvit）发布
• [型号发布]2023年12月：[TextDiffuser-2]（https://github.com/microsoft/unilm/tree/master/textdiffuser-2）模型、代码和[演示]（https://huggingface.co/spaces/JingyeChen22/TextDiffuser-2）。
• 2023年9月：[Kosmos-2.5]（ https://arxiv.org/abs/2309.11419）——一种用于机器阅读文本密集型图像的多模态文字模型。
• [模型发布]2023年5月：[TextDiffuser]（https://github.com/microsoft/unilm/tree/master/textdiffuser）模型和代码。
• [模型发布]2023年3月：[BEiT-3]（https://github.com/microsoft/unilm/tree/master/beit3）预训练模型和代码。
• 2023年3月：[Kosmos-1]（https://arxiv.org/abs/2302.14045）——一个多模态大型语言模型（MLLM），能够感知一般模态，在上下文中学习（即少数样本），并遵循指令（即零样本）。
• 2023年1月：[VALL-E]（https://arxiv.org/abs/2301.02111）一种用于文本转语音合成（TTS）的语言建模方法，实现了最先进的零元语录转语音合成性能。请参见 https://aka.ms/valle 以了解我们的演示。
• [模型发布]2023年1月：[E5]（https://github.com/microsoft/unilm/tree/master/e5）- 弱监督对比预训练的文本嵌入。
• 2022年11月：[TorchScale 0.1.1]（https://github.com/microsoft/torchscale）发布！
• 2022年11月：[TrOCR]（https://arxiv.org/abs/2109.10282）被AAAI 2023录取。
• [模型发布]2022年11月：[XDoc]（https://github.com/microsoft/unilm/tree/master/xdoc）**BASE** 跨格式文档理解模型。
• [模型发布]2022年9月：[TrOCR]（https://github.com/microsoft/unilm/tree/master/trocr）**BASE**和**LARGE**场景文本识别（STR）模型。
• [模型发布]2022年9月：[BEiT v2]（https://github.com/microsoft/unilm/tree/master/beit2）代码和预训练模型。
• 2022年8月：[BEiT-3]（ https://arxiv.org/abs/2208.10442）——一种通用多模态基础模型，在视觉和视觉语言任务上实现了最先进的转移性能
• 2022年7月：[SimLM]（https://github.com/microsoft/unilm/tree/master/simlm）- 大规模自我监督的相似性匹配预训练
• 2022年6月：[DiT]（https://arxiv.org/abs/2203.02378）和[**LayoutLMv3**]（https://arxiv.org/abs/2204.08387）被ACM Multimedia 2022接受。
• 2022年6月：[MetaLM]（https://github.com/microsoft/unilm/tree/master/metalm）——语言模型是基础模型（语言/多语言、视觉、口语和多模态）的通用接口
• 2022年6月：[VL-BEiT]（ https://github.com/microsoft/unilm/tree/master/vl-beit）——双向多模态Transformer从零开始学习，采用统一的预训练任务、共享骨干和单阶段训练，支持视觉和视觉语言任务。
• [型号发布]2022年6月：[LayoutLMv3中文]（https://github.com/microsoft/unilm/tree/master/layoutlmv3#form-understanding-on-xfund）- LayoutLMv3的中文版本
• [代码发布]2022年5月：[激进解码]（https://github.com/microsoft/unilm/tree/master/decoding）- Seq2seq生成的无损加速
• 2022年4月：规模变形金刚 = [深网]（https://arxiv.org/abs/2203.00555）[X-MoE]（https://arxiv.org/abs/2204.09179）
• [模型发布]2022年4月：[LayoutLMv3]（https://github.com/microsoft/unilm/tree/master/layoutlmv3）- 文档AI预训练，采用统一文本和图像掩蔽
• [型号发布]2022年3月：[EdgeFormer]（https://github.com/microsoft/unilm/tree/master/edgelm）- 用于设备内序列2序列生成的参数高效变换器
• [模型发布]2022年3月：[DiT]（https://github.com/microsoft/unilm/tree/master/dit）- 自监督文档图像转换器。演示：[文档布局分析]（https://huggingface.co/spaces/nielsr/dit-document-layout-analysis）、[文档图像分类]（https://huggingface.co/spaces/microsoft/document-image-transformer）
• 2022年1月：[BEiT]（https://openreview.net/forum?id=p-BhZSz59o4）被**ICLR 2022接受为口头报告**（3391分中的第54分）。
• [型号发布]2021年12月16日：[TrOCR]（https://github.com/microsoft/unilm/tree/master/trocr）**手写和印刷文本的**小型**模型，推理加速为3倍。
• 2021年11月24日：[VLMo]（ https://github.com/microsoft/unilm/tree/master/vlmo）作为新任SOTA参加[VQA挑战赛 ]（https://eval.ai/web/challenges/challenge-page/830/leaderboard/2278）
• 2021年11月：在大规模多语言翻译：10000语言对及以上
• [模型发布]2021年11月：[MarkupLM]（https://github.com/microsoft/unilm/tree/master/markuplm）- 文本和标记语言（e.g. HTML/XML）的预训练
• [模型发布]2021年11月：[VLMo]（https://github.com/microsoft/unilm/tree/master/vlmo）- 统一视觉语言预训练，包含[BEiT]（https://github.com/microsoft/unilm/tree/master/beit）
• 2021年10月：[WavLM]（ https://github.com/microsoft/unilm/tree/master/wavlm）Large在[SUPERB ]（ https://superbbenchmark.org/leaderboard）基准测试上实现了最先进的性能
• [模型发布]2021年10月：[WavLM]（https://github.com/microsoft/unilm/tree/master/wavlm）- 大规模自监督的语音预训练模型。
• [模特发布]2021年10月：[TrOCR]（https://huggingface.co/transformers/master/model_doc/trocr.html）出现在[HuggingFace]（https://github.com/huggingface/transformers）
• 2021年9月28日：T-ULRv5（又名XLM-E/InfoXLM）成为XTREME排行榜上的SOTA。Blog
• [模型发布]2021年9月：[LayoutLM-cased]（https://huggingface.co/microsoft/layoutlm-base-cased）已登上[HuggingFace]（https://github.com/huggingface/transformers）
• [型号发布]2021年9月：[TrOCR]（https://github.com/microsoft/unilm/tree/master/trocr）- 基于变压器的OCR，预训练[BEiT]（https://github.com/microsoft/unilm/tree/master/beit）和RoBERTa模型。
• 2021年8月：[LayoutLMv2]（ https://huggingface.co/transformers/master/model_doc/layoutlmv2.html）和[**LayoutXLM** ]（ https://huggingface.co/transformers/master/model_doc/layoutxlm.html）已在[HuggingFace ]（ https://github.com/huggingface/transformers）上线
• [型号发布]2021年8月：[LayoutReader]（https://github.com/microsoft/unilm/tree/master/layoutreader）- 采用LayoutLM构建，以提升一般阅读顺序检测。
• [模型发布]2021年8月：[DeltaLM]（https://github.com/microsoft/unilm/tree/master/deltalm）——用于语言生成和翻译的编码-解码器预训练。
• 2021年8月：[BeiT]（ https://huggingface.co/transformers/master/model_doc/beit.html）出现在[HuggingFace ]（ https://github.com/huggingface/transformers）
• [模型发布]2021年7月：[BEiT]（https://github.com/microsoft/unilm/tree/master/beit）- CV迈向BERT时刻
• [型号发布]2021年6月：[LayoutLMv2]（https://github.com/microsoft/unilm/tree/master/layoutlmv2）、[**LayoutXLM**]（https://github.com/microsoft/unilm/tree/master/layoutxlm）、[**MiniLMv2**]（https://github.com/microsoft/unilm/tree/master/minilm）、以及[**AdaLM**]（https://github.com/microsoft/unilm/tree/master/adalm）。
• 2021年5月：[LayoutLMv2]（https://github.com/microsoft/unilm/tree/master/layoutlmv2）、InfoXLMv2、MiniLMv2、UniLMv3 和 AdaLM 被 ACL 2021 接受。
• 2021年4月：[LayoutXLM]（https://github.com/microsoft/unilm/tree/master/layoutxlm）将通过扩展LayoutLM支持实现多语言支持！还引入了多语言表单理解基准[XFUND]（https://github.com/doc-analysis/XFUND ），包含7种语言（中文、日语、西班牙语、法语、意大利语、德语、葡萄牙语）中人工标记键值对的表单。
• 2021年3月：[InfoXLM]（https://github.com/microsoft/unilm/tree/master/infoxlm）被NAACL 2021接受。
• 2020年12月29日：[LayoutLMv2]（ https://arxiv.org/abs/2012.14740）将加入新的SOTA功能，适用于多种文档AI任务，包括[DocVQA ]（ https://rrc.cvc.uab.es/?ch=17&com=evaluation&task=1）和[SROIE ]（ https://rrc.cvc.uab.es/?ch=13&com=evaluation&task=3）排行榜。
• 2020年10月8日：T-ULRv2（又名 InfoXLM）在 XTREME 排行榜上成为SOTA。// 博客
• 2020年9月：MiniLM 被 NeurIPS 2020 接收。
• 2020年7月16日：InfoXLM (多语言 UniLM) arXiv
• 2020年6月：UniLMv2 被 ICML 2020 接收；LayoutLM 被 KDD 2020 接收。
• 2020年4月5日：多语言 MiniLM发布！
• 2019年9月：UniLMv1 被 NeurIPS 2019 接收。

发布

***** New October, 2022 ： [XDoc]（ https://github.com/microsoft/unilm/tree/master/xdoc ） 发布 ***\****

• XDoc（2022年10月7日）：XDoc 是一个统一的预训练模型，可在单一模型中处理不同的文档格式。为了提高参数效率，我们在不同格式之间共享骨干参数，如词嵌入层和 Transformer 层。同时，我们引入带有轻量参数的自适应层，以增强不同格式之间的区分度。实验结果表明，仅用 36.7% 的参数，XDoc 就能在各种下游任务上实现与单独预训练模型相当甚至更好的性能，这对于实际部署具有成本效益。《XDoc：跨格式文档理解的统一预训练》 EMNLP 2022

****** New May, 2022 ： [激烈解码]（https://github.com/microsoft/unilm/tree/master/decoding）释放 ****

• Aggressive Decoding（2022年5月20日）：Aggressive Decoding，是一种新型解码范式，用于无损加速seq2seq生成。与之前的努力（例如非自回归解码）通过牺牲质量来加速seq2seq生成不同，Aggressive Decoding旨在与自回归解码相比，以显著加速产生相同（或更好）的生成结果：对于具有高度相似输入输出的seq2seq任务（如语法错误纠正和文本简化），输入引导的Aggressive Decoding可以在GPU上为流行的6层Transformer引入7倍至9倍的加速，同时结果与贪婪解码相同；对于其他常规seq2seq任务（如机器翻译和抽象摘要），广义Aggressive Decoding可以实现3倍至5倍的加速，且质量相同甚至更好。"Lossless Acceleration for Seq2seq Generation with Aggressive Decoding"

***** New April, 2022 ： [LayoutLMv3]（ https://github.com/microsoft/unilm/tree/master/layoutlmv3 ） release **\****

• LayoutLM 3.0（2022年4月19日）：LayoutLMv3 是一种用于文档人工智能的多模态预训练 Transformer，采用统一的文本和图像掩码。此外，它还通过词-图像块对齐目标进行预训练，通过预测文本词对应的图像块是否被掩码来学习跨模态对齐。简洁的统一架构和训练目标使 LayoutLMv3 成为适用于文本中心和图像中心文档 AI 任务的通用预训练模型。实验结果表明，LayoutLMv3 不仅在文本中心任务（包括表单理解、收据理解和文档视觉问答）中取得了最先进的性能，而且在图像中心任务（如文档图像分类和文档布局分析）中也表现出色。LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking ACM MM 2022

**** March, 2022 ： [EdgeFormer]（ https://github.com/microsoft/unilm/tree/master/edgelm ） 发布 ***\***

• EdgeFormer (2022年3月18日)：EdgeFormer，是第一个公开可用的预训练参数高效Transformer，用于设备端的seq2seq生成。EdgeFormer仅有1100万个参数，经过int8量化和压缩后占用磁盘空间不到15MB，可以在两核中高端CPU上处理长度为20-30个token的句子，延迟可接受，内存占用低于50MB。预训练的EdgeFormer可以微调到英语seq2seq任务中，并取得有前景的结果——显著优于强参数高效Transformer基线（预训练的Universal Transformer）和未经预训练的全参数Transformer-base模型，我们相信这可以在实际中大大促进设备端seq2seq生成。 "EdgeFormer: A Parameter-Efficient Transformer for On-Device Seq2seq Generation"

**** March, 2022 ： [DiT]（ https://github.com/microsoft/unilm/tree/master/dit） 释放 ***\***

• DiT (2022年3月4日)：DiT，一种自监督预训练的文档图像Transformer模型，使用大规模未标注文本图像用于文档AI任务，这一点非常重要，因为由于缺乏人工标注文档图像，从未存在监督对应模型。我们在多种基于视觉的文档AI任务中将DiT作为骨干网络，包括文档图像分类、文档布局分析、表格检测以及OCR文本检测。实验结果表明，自监督预训练的DiT模型在这些下游任务中取得了新的最先进结果，例如文档图像分类（91.11 → 92.69）、文档布局分析（91.0 → 94.9）、表格检测（94.23 → 96.55）和OCR文本检测（93.07 → 94.29）。 "DiT: Self-supervised Pre-training for Document Image Transformer ACM MM 2022"

***** October, 2021 ： [WavLM]（ https://github.com/microsoft/unilm/tree/master/wavlm）发布 ***\***

• WavLM（2021年10月27日）：WavLM 是一个新的预训练语音模型，用于解决全栈下游语音任务。WavLM 集成了门控相对位置嵌入结构和话语混合方法，以建模语音内容和说话人身份的保留。WavLM 在 94,000 小时的公开音频数据上进行了训练，这比其他发布的英语语音建模检查点要大。WavLM Large 在 SUPERB 基准测试中达到了最先进的性能，并在其代表性基准上为各种语音处理任务带来了显著改进。WavLM：用于全栈语音处理的大规模自监督预训练

***** October, 2021 ： [MarkupLM]（ https://github.com/microsoft/unilm/tree/master/markuplm） release ***\***

• MarkupLM（2021年10月19日）：MarkupLM 是一种简单而有效的文本与标记语言预训练方法。利用 Transformer 架构，MarkupLM 集成了包括文本嵌入、位置嵌入和 XPath 嵌入在内的不同输入嵌入。此外，我们还提出了专门为理解标记语言而设计的新预训练目标。我们在 WebSRC 和 SWDE 数据集上评估了预训练的 MarkupLM 模型。实验表明，MarkupLM 在这些任务中显著优于几个最先进的基线方法。MarkupLM：用于视觉丰富文档理解的文本与标记语言预训练 ACL 2022

*** September, 2021 ： [Trocr]（ https://github.com/microsoft/unilm/tree/master/trocr） 发布 ********

• TrOCR（2021年9月22日）：基于Transformer的OCR，使用预训练模型，利用Transformer架构进行图像理解和BPE级别的文本生成。TrOCR模型简单但有效（无卷积），可以用大规模合成数据进行预训练，并使用人工标注的数据集进行微调。TrOCR: 基于Transformer的预训练模型光学字符识别 AAAI 2023

***** August, 2021 ： [LayoutReader]（ https://github.com/microsoft/unilm/tree/master/layoutreader） 发布 *****

• LayoutReader（2021年8月26日）：用于阅读顺序检测的文本和布局预训练。预训练的 LayoutReader 显著提高了开源和商业 OCR 引擎在文本行排序方面的性能。与此同时，我们还创建了一个阅读顺序基准数据集 ReadingBank，以进一步推动该领域的研究。LayoutReader: Pre-training of Text and Layout for Reading Order Detection EMNLP 2021

***** August, 2021 ： [DeltaLM]（ https://github.com/microsoft/unilm/tree/master/deltalm） 发布 ***\***

• DeltaLM（2021年8月）：用于语言生成和翻译的编码器-解码器预训练。DeltaLM 在 WMT21 多语言翻译任务 中排名第一。该任务要求模型在102种语言之间进行翻译。“DeltaLM: 通过增强预训练多语言编码器进行语言生成和翻译的编码器-解码器预训练”

*** July, 2021 ： [ BEiT]（ https://github.com/microsoft/unilm/tree/master/beit）释放 ***\***

• BEiT（2021年6月15日）：图像Transformer的BERT预训练。BEiT-large在 ADE20K语义分割任务 中获得最新最好结果（大幅跃升至57.0 mIoU）。BEiT-large在不使用除ImageNet-22k外的额外数据的情况下，实现 ImageNet top-1精度的最新最好成绩（88.6%）。“BEiT: 图像Transformer的BERT预训练”

***** June, 2021: LayoutXLM | AdaLM | MiniLMv2 release *****

• LayoutXLM（2021年4月17日）：用于多语言视觉丰富文档理解的多模态预训练。预训练的 LayoutXLM 模型在 FUNSD 和多语言 XFUND 数据集（包括7种语言：中文、日语、西班牙语、法语、意大利语、德语、葡萄牙语）上显著超越了现有的最先进跨语言预训练模型。《LayoutXLM：用于多语言视觉丰富文档理解的多模态预训练》
• AdaLM (2021年6月)：一种简单而有效的预训练模型领域适应方法。发布了生物医学专用的预训练模型。"Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains ACL 2021"
• MiniLMv2 (2020年12月)：一种简单而有效的任务无关知识蒸馏方法，即多头自注意力关系蒸馏，用于将大型预训练Transformer压缩为小型快速的预训练模型。MiniLMv2 显著优于 MiniLMv1。发布了英文和多语言 MiniLM 模型。"MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers ACL 2021"

***** May, 2021: LayoutLMv2 | LayoutXLM release *****

• LayoutLM 2.0（2020年12月29日）：通过在单一框架中利用文本、布局和图像信息实现对视觉丰富文档的多模态预训练。它在各种文档理解任务中都带来了新的SOTA，包括FUNSD（0.7895 -> 0.8420）、CORD（0.9493 -> 0.9601）、SROIE（0.9524 -> 0.9781）、Kleister-NDA（0.834 -> 0.852）、RVL-CDIP（0.9443 -> 0.9564）和DocVQA（0.7295 -> 0.8672）。LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding ACL 2021

***** February, 2020: UniLM v2 | MiniLM v1 | LayoutLM v1 | s2s-ft v1 release *****

• LayoutLM 1.0（2020年2月18日）：用于文档（图像）理解（例如收据、表单等）的预训练模型。在多个下游任务中取得了新的SOTA（最先进）结果，包括表单理解（FUNSD 数据集从70.72提升到79.27）、收据理解（ICDAR 2019 SROIE 排行榜从94.02提升到95.24）以及文档图像分类（RVL-CDIP 数据集从93.07提升到94.42）。LayoutLM：文档图像理解的文本和布局预训练 KDD 2020
• s2s-ft 1.0（2020年2月26日）：一个用于微调预训练Transformer以进行序列到序列语言生成的PyTorch软件包。s2s-ft：微调预训练的Transformer以进行序列到序列学习
• MiniLM 1.0（2020年2月26日）：深度自注意力蒸馏是你所需要的一切（用于预训练Transformer的任务无关知识蒸馏）。MiniLM（12层，隐藏层384）在NLU任务上实现了比BERT-base（12层，隐藏层768）快2.7倍的速度并取得了可比的结果，同时在NLG任务上也取得了很好的表现。更小的MiniLM（6层，隐藏层384）获得了5.3倍的加速，并产生了非常有竞争力的结果。MiniLM：用于预训练Transformer任务无关压缩的深度自注意力蒸馏 NeurIPS 2020
• UniLM 2.0（2020年2月28日）：统一预训练双向语言模型（通过自编码）和序列到序列语言模型（通过部分自回归）结合伪掩码语言模型用于语言理解和生成。UniLM v2 在多种自然语言理解和生成任务中取得了新的最先进水平（SOTA）。UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training ICML 2020

***** October 1st, 2019: UniLM v1 release *****

• UniLM v1（2019年9月30日）：用于 NeurIPS 2019 论文《用于自然语言理解和生成的统一语言模型预训练》的代码和预训练模型。UniLM (v1) 在 NLG（尤其是 序列到序列生成）任务中取得了 新的SOTA结果，包括抽象摘要（Gigaword 和 CNN/DM 数据集）、问题生成（SQuAD QG 数据集）等。

-->

许可证

本项目根据位于此源代码树根目录的 LICENSE 文件中的许可证进行许可。部分源代码基于 transformers 项目。

Microsoft Open Source Code of Conduct

联系信息

如需使用预训练模型的帮助或遇到问题，请提交 GitHub 问题。

如需其他沟通，请联系 Furu Wei（fuwei@microsoft.com）。