TFRecords是tensorflow存储数据的一种二进制文件，能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件，类似于caffe中的LMDB和LvevelDB，极大的提高了IO吞吐。 ...
深度学习中的数据增强、backbone、head、neck、损失函数(loss function)术语解释和汇总
backbone：主干网络，用来提取特征，常用Resnet、VGG等 head：获取网络输出，利用提取特征做出预测 neck：放在backbone和head之间，进一步提升特征的多样性及鲁棒性 bot...
深度学习数据集最常见的6大问题（附解决方案）
简介 如果您还没有听过，请告诉您一个事实，作为一名数据科学家，您应该始终站在一个角落跟你说：“你的结果与你的数据一样好。” 尝试通过提高模型能力来弥补糟糕的数据是许多人会犯的错误。这相当于你因为原来的...
TensorFlow的分布式学习框架简介
摘要：从0.8版本起，tensorflow不仅支持多GPU运算，而且还支持分布式计算，包括分布式多GPU计算。可以将其部署在分布式的集群上。本文主要目的是简要介绍tensorflow的分布式架构。来源...
机器学习中的参数(parameters)和超参数(hyperparameters)
在机器学习或者深度学习领域，参数和超参数是一个常见的问题。 一直以来对于机器学习中的模型训练和模型选择存在一个误区，首先机器学习力的模型通俗来说就是一个函数关系，表明输入数据到输出数据的映射，基本的假...
数据降维与可视化之t-SNE
t-SNE是目前来说效果最好的数据降维与可视化方法，但是它的缺点也很明显，比如：占内存大，运行时间长。但是，当我们想要对高维数据进行分类，又不清楚这个数据集有没有很好的可分性（即同类之间间隔小，异类之...
t-SNE使用过程中的一些坑
几年前，我写过一个关于t-SNE原理的介绍博客，在日常的工作中，涉及到数据可视化的时候一般都会想到去使用这个工具。但是使用归使用，大部分人却很少去思考为什么要用t-SNE，怎样“正确”的使用t-SNE...
卷积神经网络(CNN)学习笔记：基础入门
概述 卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一，在图像处理领域取得了很大的成功，在国际标准的ImageNet数据集上，许...
Tensorflow一些常用基本概念与函数（1）
摘要：本文主要对tf的一些常用概念与方法进行描述。 1、tensorflow的基本运作 为了快速的熟悉TensorFlow编程，下面从一段简单的代码开始： import tensorflow as t...
确定最佳聚类数目的10种方法
在聚类分析的时候确定最佳聚类数目是一个很重要的问题，比如kmeans函数就要你提供聚类数目这个参数，总不能两眼一抹黑乱填一个吧。之前也被这个问题困扰过，看了很多博客，大多泛泛带过。今天把看到的这么多方...