这篇论文大体看下来感觉加了個LSTM，这样可以使视频在每一帧有时空上的连续性

就是说像自动驾驶之类的需要连续的更新深度信息，但是目前得到的深度都是独立帧的视频的帧与帧之间是相互独立的，我们的方法主要的是产生一个让视频帧之间有联系的即基于时间的一系列的深度图。并且我们把彡种估计深的方法形成一个常规的框架，然后我们把这些框架和卷积LSTM结合起来这样就可以产生具有时空结构的深度进而产生更加准确的深喥估计我们的方法是灵活的，就是说他可以任何的深度模式相结合我们首先让循环网络和自我监督的单目深度估计和补全结合

主要介紹了监督深度估计，自我深度估计和使用深度相机或者雷达进行深度补全，以及介绍了通过视频进行深度估计的相关研究因为本文就昰通过视频进行研究的。

3.1 监督学习的深度估计

3.2自我监督的深度估计

3.4本文学习时间序列的深度图

就是说上面的三种方法虽然都进行了深入的研究但是视频在同一时刻的每一帧都是单独的没有相互关系。自我监督的方法也仅仅是使用了邻近的帧在训练的时候来计算视图的合成損失就是说大量的丰富的，长的序列结构关系没有被挖掘出来所以本节展示一个框架去拓展上面三个方法让他们可以可以在训练和测試的时候用到基于时间的数据序列。

我们将深度恢复问题定义为从多模态数据（即图像和稀疏深度图）的时空序列到数据（即稠密深度图）的时空序列转换的问题也就是说我们在自我监督的基础上改进的呗。我们要求的是当前时刻的密集深度图给定之前k个时候的密集深喥图

(),当前时刻图像的编码特征，则

（我不知道这个为什么求最小理解错了吗）

那么上述是理论上增加时空相关性，实现的时候对时空关系进行建模我们采用了ConvLSTM网络，并且添加添加上述的骨干网络进行图像的深度预测也就是把ConvLSTM放在了encoder的后面，encoder产生,然后ConvLSTM的输入和输出入下：

整体这个网络是由一个深度预测网络和姿态网络构成他们两个的编码器都是单独的ResNet-18,对于解码器，深度网络包含4个单元的向上卷积块整个深度网络的运行过程是这样的：编码器的输出链接ConvLSTM，ConvLSTM接受来自上一个帧的隐藏状态和cell 状态然后改网络的输出是以不同的空间分辨率從解码器的每个单元中提取出来的视差，姿态网络的解码器是conv(1)和conv(3)堆叠的块产生一个6元向量，代表了旋转和平移即外参，因为我们最终偠求出来深度所以要使用外参

包括隐藏状态的初始化，解决过拟合的问题

5.1 分别和监督，自监督和补全的baseline进行比较分析

预训练的隐藏状態和初始为0的隐藏状态的比较

激活函数使用ELU来代替Tanh去解决梯度消失的问题

改论文提出对于单目视频和稀疏深度进行估计基于时间序列的深喥图这样的一个新的方法就是使用循环网络来达到时空相关的数据关系，改网络对于监督深度估计自我监督深度估计和补全进行了一個应用。