TinyBERT is 7.5x smaller and 9.4x faster on inference than BERT-base and achieves competitive performances in the tasks of natural language understanding

A curated list of resources dedicated to Natural Language Processing (NLP)

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models，PLMs）已成为非常重要的基础技术。在近两年，哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具。作为相关工作的延续，在本项目中，我们提出了一种基于乱序语言模型的预训练模型（PERT），在不引入掩码标记[MASK]的情况下自监督地学习文本语义信息。

A PyTorch-based knowledge distillation toolkit for natural language processing

Datasets, SOTA results of every fields of Chinese NLP

FasterTransformer 镜像版本，用于高速下载服务于PaddleNLP的自动编译特性

Revisiting Pre-trained Models for Chinese Natural Language Processing (Findings of EMNLP)

Spark NLP 是一个构建在 Apache Spark 之上的最先进的自然语言处理库