NLP文档挖宝(3)——能够快速设计参数的TrainingArguments类
使用 PyTorch 进行知识蒸馏
调节学习率
Huggingface简介及BERT代码浅析
使用huggingface的Transformers预训练自己的bert模型+FineTuning
BERT 预训练
预训练模型:从BERT到XLNet、RoBERTa、ALBERT
Bert如何使用预留的[unused*]
BERT 详解
Pytorch 保存模型与加载模型
BERT相关面试题(不定期更新)
【Pytorch】【torchtext(二)】Field详解
BERT模型蒸馏完全指南(原理/技巧/代码)
2021年如何科学的“微调”预训练模型?
topk 精度
BERT如何在小数据上finetune更稳
HuggingFace-Transformers系列的介绍以及在下游任务中的使用
从零实现BERT网络模型
计算性能-如何让你的pytorch代码高效(torchscript).mp4
基于BERT模型的文本分类实战和情感分析实战教程!华理博士半天就教会了我BERT模型!(唐宇迪)
from __future__ import print_function, absolute_import__all__ = ['accuracy']def accuracy(output, target, topk=(1,)):"""Computes the precision@k for the specified values of k"""maxk = max(topk)batch_size = target.size(0)_, pred = output.topk(maxk, 1, True, True)pred = pred.t()correct = pred.eq(target.view(1, -1).expand_as(pred))res = []for k in topk:correct_k = correct[:k].view(-1).float().sum(0)res.append(correct_k.mul_(100.0 / batch_size))
return res
bert_cn_finetune
BERT-pytorch
Chinese-Text-Classification
https://github.com/ymcui/Chinese-BERT-wwm