寻找合适的学习率(learning rate) 学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经...

一、引子————边界检测 我们来看一个最简单的例子：“边界检测（edge detection）”，假设我们有这样的一张图片，大小8×8： 图片中的数字代表该位置的像素值，我们知道，像素值越大，颜色越亮...

import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadAttention(nn.Modul...

1 引言 特征提取和特征选择作为机器学习的重点内容，可以将原始数据转换为更能代表预测模型的潜在问题和特征的过程，可以通过挑选最相关的特征，提取特征和创造特征来实现。要想学习特征选择必然要了解什么是特征...

学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。相比于其它超参数学习率以一种更加复杂的方式控制着模型的有效容量，当学习率最优时，模型的有效容量最大。本文从手动选择学习...

导读：“我叫 Jacob，是谷歌 AI Residency 项目的学者。2017 年夏天我进入这个项目的时候，我自己的编程经验很丰富，对机器学习理解也很深刻，但以前我从未使用过 Tensorflow。...

我们知道一个良好的权值初始化，可以使收敛速度加快，甚至可以获得更好的精度。而在实际应用中，我们通常采用一个已经训练模型的模型的权值参数作为我们模型的初始化参数，也称之为Finetune，更宽泛的称之为...

什么是卷积神经网络，它为何重要？ 卷积神经网络（也称作 ConvNets 或 CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外...

首先把所有代码放在一块，整体上了解一下transformer的结构和原理，后面继续分段介绍。 以下是一个基于代码的简单示例，演示Transformer模型的原理： import torch impor...

这一次将会带领大家实现mnist的手写数字识别，手把手教会你如何使用TensorFlow进行基本的操作。本次课程中，将会事无巨细地深入讲解每一个操作细节，为每一位读者提供最贴心的服务。 准备工作 安装...