BERT模型项目

• 环境准备
  • Python 3.9
  • Pytorch 1.12
  • torchtext 0.13.0

    基于BERT的文本分类任务

• 文本分类
  • python ./tasks/sentence_classification.py

基于BERT的文本蕴含任务

• 文本蕴含
  • python ./tasks/pair_sentence_classification.py

基于BERT的MLM、NSP预训练任务

• 预训练
  • python ./tasks/pretraining.py