import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadAttention(nn.Modul...
深度学习教程之基于代码一步一步教你深度学习中Transformer的原理
首先把所有代码放在一块，整体上了解一下transformer的结构和原理，后面继续分段介绍。 以下是一个基于代码的简单示例，演示Transformer模型的原理： import torch impor...
【论文阅读】Transformer简介
近年来，Transformer模型在自然语言处理（NLP）领域中横扫千军，以BERT、GPT为代表的模型屡屡屠榜，目前已经成为了该领域的标准模型。同时，在计算机视觉等领域中，Transf...
Transformer模型详解
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-...
从头开始实现Transformer
GPT-3，BERT，XLNet这些都是当前自然语言处理（NLP）的新技术，它们都使用一种称为 transformer 的特殊架构组件，这是因为，transformer 这种新机制非常强大，完整的tr...
Transformer及其变种
简介 近年来NLP领域最让人印象深刻的成果，无疑是以谷歌提出的Bert为代表的预训练模型了。它们不断地刷新记录（无论是任务指标上，还是算力需求上），在很多任务上已经能超越人类平均水平，还具有非常良好的...
深入理解Transformer及其源码
深度学习广泛应用于各个领域。基于transformer的预训练模型（gpt/bertd等）基本已统治NLP深度学习领域，可见transformer的重要性。本文结合《Attention is all ...
小白看得懂的 Transformer (图解)
1.导语 谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于...
Transformer代码完全解读
2017年谷歌在一篇名为《Attention Is All You Need》的论文中,提出了一个基于attention(自注意力机制)结构来处理序列相关的问题的模型，名为Trans...
优化模型训练时间-BERT
相信很多人都知道Hugging Face，也都用过它的Transformers预训练语言模型，但你们有没有觉得它训练的有点太慢了呢？这时候，手把手教你怎么让训练时间缩短一半。 训练BERT 首先我们要...