目标

用Tensorflow实现一个完整的卷积神经网络，用这个卷积神经网络来识别手写数字数据集（MNIST）。

逻辑回归

逻辑回归是应用非常广泛的一个分类机器学习算法，它将数据拟合到一个logit函数(或者叫做logistic函数)中，从而能够完成对事件发生的概率进行预测。

线性回归

线性回归（Linear Regression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。

损失函数

损失函数（loss function）是机器学习中非常重要的内容，它是度量模型输出值与目标值的差异，也就是作为评估模型效果的一种重要指标，损失函数越小，表明模型的鲁棒性就越好。

激励函数的作用

激励函数的作用就是将多个线性输入转换为非线性的关系。如果不使用激励函数，神经网络的每层都只是做线性变换，即使是多层输入叠加后也还是线性变换。通过使用激励函数引入非线性因素后，使神经网络的表示能力更强了。

计算图是TensorFlow的核心概念，使用图（Graph）来表示计算任务，由节点和边组成。TensorFlow由前端负责构建计算图，后端负责执行计算图。
为了执行图的计算，图必须在会话（Session）里面启动，会话将图的操作分发到CPU、GPU等设备上执行。
下面将介绍如何在TensorFlow里面创建会话、图以及基本操作。

张量的概念

TensorFlow用张量这种数据结构来表示所有的数据.你可以把一个张量想象成一个n维的数组或列表.一个张量有一个静态类型和动态类型的维数.张量可以在图中的节点之间流通.零阶张量表示标量，一阶张量表示向量，也就是一个以为数组，第n阶张量为矩阵，也就是一个n维数组。
但张量在tf中并不是采用数组的形式，只是对TF的运算结果的引用。

一个张量包含三个属性：名字name ，维度shape，类型 dtype：

• name：张量的唯一标识。命名规范：“node:src_input” 。node 表示图的节点的名称，src_input 表示张量来自节点的第几个输入（从0开始）
• shape：描述张量的维度信息。
• dtype：每一个张量有一个唯一的类型。不同类型计算会报错。

论文地址：https://arxiv.org/pdf/1901.01892
代码地址：https://github.com/TuSimple/simpledet/tree/master/models/tridentnet

Abstract

尺度变换是目标检测中的关键挑战。在我们的工作中，我们首先提出了一个控制的实验来研究感受野在检测不同尺寸物体上的影响。基于探索实验的发现，我们提出了一个全新的Trident Net-work (TridentNet)，可以生成具有统一表征能力的特定尺度的feature map，我们构建了一个平行的多分支结构，在每一个分支中分享相同的转换参数，但是具有不同的感受野。然后，我们提出了一种规模感知的训练模式来，通过采样适当比例的对象实例来训练每一个分支。在COCO数据集中，我们的以ResNet-101作为特征提取网络的TridentNet获得了当前最先进的单一模型的结果，48.4的mAP。

论文地址：https://arxiv.org/abs/1711.07971v3
代码地址：https://github.com/facebookresearch/video-nonlocal-net

Abstract

不论是卷积网络还是递归网络，它们都是作用在某一块局部区域(local neighborhood)的operations。在本文中，我们提出了non-local operations作为一种通用的神经网络的building blocks来捕捉基于long-range的依赖关系。受到经典的non-local means方法的启发，本文的non-local operation会将某一位置的响应当做是一种从特征图谱所有位置的加权和来计算。该building block可以插入到现在计算机视觉的许多模型当中，进而可以提升分类，检测，分割等视觉任务的性能表现。

Abstract

相比模型的结构，关注度较少的训练过程对于检测器的成功检测也是十分重要的。本文发现，检测性能主要受限于训练过程中的三个levels上的不平衡——sample level,feature level,objective level的不平衡问题。为此，提出了Libra R-CNN，用于对平衡目标检测的学习的简单有效的框架。主要包含三个创新点：

• IoU-balanced sampling 用于减少采样过程中的不平衡
• balanced feature pyramid 用于减少feature 的不平衡
• balanced L1 loss 用于减少objective level的不平衡。

它在MSCOCO上的Average Precision(AP)相比FPN Faster R-CNN以及RetinaNet分别高出了2.5和2个点。