基于RGB视频数据的深度行为分类模型发展综述之一 (rgb视频)

摘要：

理解视频中的人体行为在视频监控、自动驾驶以及安全保障等领域有着广泛的应用前景。目前视频中的人体行为分类研究是对分割好的视频片段进行单人的行为分类。对视频中的人体行为分类研究已经从最初的几种简单人体动作到几乎包含所有日常生活的几百类行为。近些年来基于RGB视频数据的先进深度行为分类模型可以分为三类：基于双流架构的、基于循环神经网络RNN的和基于3D卷积神经网络的。本文将详细介绍前两种深度行为分类模型。

一、视频行为分类

当前人体行为识别的研究主要分为两个子任务：行为分类和时序行为检测。行为分类一般是对分割好的视频片段进行行为分类，每一个视频片段仅包含一个行为实例。然而，现实生活中大部分视频都是未分割的长视频，因此时序行为检测任务从未分割的长视频中检测出行为的开始、结束时间以及行为类别，一段长视频中一般包含一个或多个行为实例。行为分类是时序行为检测的基础，时序行为检测是比行为分类更复杂的研究任务，行为分类的经典模型(如TSN,C3D,I3D等)也被广泛用于时序行为检测任务当中。现在视频中人体行为识别的研究工作大部分都致力于提高行为分类模型的性能，并且研究最广泛的是对单人行为的识别。

二、评估数据集

对于数据驱动的深度学习方法来说，庞大的视频数据量显然能够提升模型的性能。本文选用了最新且规模更大视频数据集kinetics，来分别比较最新的基于RGB视频输入数据的行为分类模型的性能，同时也使用典型的视频数据集UCF101, 帮助分析和比较经典的深度行为分类模型。UCF 101和Kinetics数据集的评估度量标准都是是平均精度均值(mAP)。在对视频中的行为进行分类时，每一个视频片段都会预测一个行为标签。假设有C个行为类别，每个视频片段都对应一个有C个元素的列表，每个元素代表着该视频属于行为c的概率，并将C个类别标签按照概率值从高到底排序。假设一共有n个视频片段，并取一个视频片段的预测得分列表中的前k个值，P(k)分别是类别标签排名在前k的预测概率值，rel(k)是指示函数，表明第k个标签是否是真阳性(true positive)，如果是则为1，否则为0。因此，某个行为类别的平均精度(AP)的计算方式是

平均精度均值(mAP)是所有类别的平均精度求和后再取均值。

UCF 101数据集一般只取预测概率最高的标签作为预测标签(k=1,top-1)。而Kinetics数据集中，细粒度的行为类别划分导致一个视频片段可能包含多种动作。例如，开车”时“发短信”，“弹奏尤克里里”时“跳草裙舞”，“跳舞”时“刷牙”等等。所以在Kinetics数据集上进行评估时，通常选择得分最高的前5个标签作为预测的行为类别标签(k=5,top-5)。本文在比较模型的推理速度时，选用了两个评价指标。一个是每秒帧率(FPS) ，即每秒模型可以处理的视频帧的数量。另一个是每秒浮点运算次数(GFLOPS)。本文中显示的GFLOPs指标均采用32帧的视频片段作为模型的输入数据。

三、深度行为分类模型

在视频人体行为分类的研究中，关键且具有挑战性的一个问题是如何从视频的时序维度上获得人体的运动信息。基于RGB视频的深度学习方法根据时序建模方式的不同可以分为基于双流架构的，基于循环神经网络(RNN)的和基于3D卷积神经网络的。早期将深度学习方法扩展应用于RGB视频中的一个经典尝试是，扩展2D卷积神经网络形成双流架构，分别来获得视频帧的空间特征以及帧间的运动特征。随后有研究将循环神经网络(RNN)与卷积神经网络(CNN)结合，试图学习更全局的视频时序信息。考虑到视频本身是多了时间维度的3D体，3D网络则直观地使用3D卷积核来获得视频的空时特征。这些基于RGB视频的行为分类方法主要关注两点：(1)如何在视频中提取出更具有判别力的外观特征;(2)如何获得时序上视频帧外观的改变。在介绍这类深度学习的方法之前，不得不首先提一下经典的手工提取特征的方法iDT(improved Dense Trajectories)[1],是深度学习应用到视频领域之前性能最好的方法，它通过光流追踪图像像素点在时间上的运动轨迹。该方法有个很大的缺点是获得的特征维度甚至比原视频还要高，计算速度非常慢。早期的深度学习的方法在和iDT结合之后都能取得一定的效果提升。发展到现在，深度学习方法在视频行为分类上的性能已较iDT有大幅提升。1、双流架构2014年Karpathy [2]等人采用两个独立流分别获取低分辨率帧和高分辨率的特征，在时间上采用慢融合的方式扩展了所有卷积层在时间上的连通性，这是将CNN扩展到视频行为分类的运用，但其性能与传统方法iDT还有一定的差距。Simonyan首次提出基于光流的双流(two-stream)架构，分别使用视频帧和帧间的光流图像作为CNN的输入。该方法可以说是CNN扩展到视频行为分类的首次非常成功的尝试，在UCF101上的精度达到了88%，优于手工特征提取的方法iDT。结合光流输入的双流架构的良好表现激发了后续对许多基于双流架构的改进。双流融合法(Two-stream Fusion) [3]在双流架构的基础上，使用VGG-net深度模型作为骨干网络，并提出在最后一个卷积层后融合特征比在全连接层之后融合特征的效果要好。考虑到这两种双流方法无法对长期时序结构建模，时序上一次仅能处理连续10帧的堆叠光流场，空域则仅处理单帧图像。时序分割网络(TSN) [4]则直接对整段视频建模，在时序上将整个视频分段(segment)，最后融合不同片段的类别得分，来获得长期的时序特征，融合后的预测结果是视频级的预测，在UCF 101数据集上的精度达到了94.2%。TSN的模型如图1所示。

图 1 时序分割网络(TSN)模型架构

TSN在UCF 101数据集上的性能表现已经非常优越。Lan等人[5]提出深度局部特征(DVOF)，在TSN模型的基础上利用深度网络提取局部特征，将聚合局部特征形成的全局特征输入到浅层网络进行分类，来纠正局部特征学习到的错误的行为标签信息。时序关系推理(TRN)[6]是2017年MIT周博磊大神基于TSN改进的一个很具有启发性的研究工作。TRN在时间维度上能够提取不同尺度的视频特征，然后使用多层感知机(MLP)融合不同时间尺度的帧间关系，用于学习和推理视频帧之间的时间依赖关系。该方法在UCF101上的性能提高并不明显，这是因为UCF101中的视频数据表示的动作在空间上的上下文关联更强，但是论文在时序上下文相关性更强的Something-Something[]视频数据集上验证了TRN发现视频中时序关系的能力。基于光流的双流架构展现了优越的性能，然而光流的计算需要消耗很大的计算资源。也有方法尝试能够代替光流表示运动信息的方法，Zhang等人[7]提出计算运动矢量(motion vector)来代替光流作为CNN的输入，推理速度能达到每秒390.7帧，作者将光流CNN中学习的特征和知识迁移到运动矢量CNN中期望能弥补运动矢量在细粒度和噪声上的不足，但是最终模型在精度上还有很大的牺牲。上述双流方法在UCF101数据集上的性能如表1。

表 1 双流架构在UCF101数据集上的性能对比

2、RNN网络CNN是典型的前馈神经网络，上述基于CNN网络的模型一次仅能处理有限的视频帧，如典型的TSN处理一次处理10个视频帧并通过时序聚合方式获得更长期的视频级的预测，C3D则一次处理16帧，I3D则是一次处理64帧图片。然而在实际生活中，很多常见的人类行为比如握手，饮酒，打电话，或步行、游泳等重复动作的行为通常持续数十秒跨越数百个视频帧。循环神经网络(RNN)的循环结构，能够将先前的信息连接到当前任务，允许信息长期存在，因此可以很好地对序列结构建模。然而早期的 RNN网络不能对长期的依赖关系进行建模，也不能在很长一段时间内存储关于过去输入的信息。理论上讲一个足够大的RNN应该能够建模任意复杂度的序列，然而在训练RNN时会出现梯度消失和梯度爆炸问题。RNN网络的变体，长短期记忆网络(LSTM)则解决了这个问题。LRCN[8]将LSTM用于在时间序列上对2D卷积网络提取的帧特征建模，发现这样的网络结构显著提高了那些动作持续时间长和动作的静态外观易混淆的行为分类精度。Ng[9]等人比较了特征池化和LSTM两种时序聚合方式，将CNN输出的帧级特征聚合成视频级，说明在整合视频序列中长期的信息可以实现更好的视频分类，论文中也通过双流架构分别使用RGB和光流图像作为输入。Sharma 等人[10]开创性地在基于LSTM的网络中引入了注意力机制,提出了soft-attention LSTM，该模型让网络能够关注视频帧中与行为类别相关的区域。VideoLSTM[11]则是在soft-attention LSTM的基础上堆叠了一个RNN用于运动建模并且装配了增强版的注意力模型，然而复杂的模型结构并没有明显地提高性能。上述模型都是采用了CNN+LSTM的形式，使用CNN提取视频帧特征，并用LSTM直接聚合多个视频帧来获得视频时序上的依赖关系。然而，通过这样的方式学习到的运动隐含地假设了视频中的运动在不同的空间位置上是静止的。Sun[12]等人提出了Lattice LSTM(L2STM)，通过学习记忆单元在不同空间位置的独立隐藏状态转换来扩展LSTM，有效地增强了时间上动态建模能力。上述基于RNN网络的视频中人体行为分类方法在UCF 101数据集上的精度如表2所示。

表 2 在UCF101数据集上比较RNN行为分类模型

什么是第三方物流什么是第四方物流？？配送主要是做什么的

一、何谓第三方物流所谓第三方物流是指生产经营企业为集中精力搞好主业，把原来属于自己处理的物流活动，以合同方式委托给专业物流服务企业，同时通过信息系统与物流企业保持密切联系，以达到对物流全程管理的控制的一种物流运作与管理方式。第三方物流，英文表达为Third-Party Logistics，简称3PL，也简称TPL，是相对“第一方”发货人和“第二方”收货人而言的。 3PL既不属于第一方，也不属于第二方，而是通过与第一方或第二方的合作来提供其专业化的物流服务，它不拥有商品，不参与商品的买卖，而是为客户提供以合同为约束、以结盟为基础的、系列化、个性化、信息化的物流代理服务。最常见的3PL服务包括设计物流系统、EDI能力、报表管理、货物集运、选择承运人、货代人、海关代理、信息管理、仓储、咨询、运费支付、运费谈判等。由于业的服务方式一般是与企业签订一定期限的物流服务合同，所以有人称第三方物流为“合同契约物流（contract Logistics）”。 ⑤第三方物流内部的构成一般可分为两类：资产基础供应商和非资产基础供应商。对于资产基础供应商而言，他们有自己的运输工具和仓库，他们通常实实在在地进行物流操作。而非资产基础供应商则是管理公司，不拥有或租赁资产，他们提供人力资源和先进的物流管理系统，专业管理顾客的物流功能。广义的第三方物流可定义为两者结合。 ①因此，对物流各环节如仓储、运输等的严格管理，再加之拥有一大批具有专业知识的物流人才，使得他们可以有效地运转整个物流系统。故而，第三方物流形成了又称为“物流联盟（Logistics Alliance）”。二，第三方物流的法律定义从字面上看，第三方物流是指由与货物有关的发货人和收货人之外的专业企业，即第三方来承担企业物流活动的一种物流形态。在有关专业著作中，将第三方物流供应者定义为“通过合同的方式确定回报，承担货主企业全部或一部分物流活动的企业。所提供的服务形态可以分为与运营相关的服务，与管理相关的服务以及两者兼而有之的服务3种类型。无论哪种形态都必须高于过去的一般运输业者(common carrier)和合同运输业者(contract carrier)所提供的服务。第三方物流企业的利润从哪里来?从本质上讲来源于现代物流管理科学的推广所产生的新价值，也就是我们经常提到的第三利润的源泉。第三方物流则是站在货主的立场上，以货主企业的物流合理化为设计系统和系统运营管理的目标，争取客户利润最大化。第三方物流企业的经营效益是直接同货主企业物流效率、物流服务水平以及物流系统效果紧密联系在一起的，是利益一体化。并不是一方多赚一分钱，另一方就少赚一分钱的传统交易方式，为客户节约的物流成本越多，利润率就越高，这与传统的经营方式有本质不同。故笔者认为：第三方物流是第三方物流提供者在特定的时间段内按照特定的价格向使用者提供的个性化的系列物流服务，是企业之间联盟关系。首先，第三方物流是合同导向的一系列服务。第三方物流有别于传统的外协，外协只限于一项或一系列分散的物流功能，如运输公司提供运输服务、仓储公司提供仓储服务，第三方物流则根据合同条款规定的要求，而不是临时需求，提供多功能，甚至全方位的物流服务。依照国际惯例，服务提供者在合同期内按提供的物流成本加上需求方毛利额的20％收费。第二，第三方物流是企业之间联盟关系。第三方物流的企业之间充分共享信息，这就要求双方能相互信任，才能达到比单独从事物流活动所能取得更好的效果，而且，从物流服务提供者的收费原则来看，它们之间是共担风险、共享收益；再者，企业之间所发生的关联既非仅一两次的市场交易，又在交易维持了一定的时期之后，可以相互更换交易对象，在行为上，各自不完全采取导致自身利益最大化的行为，也不完全采取导致共同利益最大化的行为，只是在物流方面通过契约结成优势相当、风险共担、要素双向或多向流动的中间组织，因此，企业之间是物流联盟关系。第三、第三方物流合同的特征就目前而言，关于第三方物流的法律，法规呈真空状态，在处理有关争议过程中，只能机械地将《合同法》中有关仓储、运输、委托加工等法条相加既而加以调整。综合《合同法》和相关物流著作的学理分析，笔者认为第三方物流合同特征有下列五条：1、第三方物流是物流企业向他人提供物流服务为标的的合同，但是第三方物流不是传统意7afe59b9ee7ad义上的劳务合同。提供劳务只是第三方物流企业经营范围的一部分，包括：仓储、运输、装卸等。正如上所述第三方物流还是一个战略联盟，不仅仅是为他人提供劳务，而且还要为客户选择供应商，采购，应用信息管理系统等。因此第三方物流还综合委托，代理，甚至信托等功能。 2、第三方物流合同是双务有偿合同双方当事人互负给付义务：一方提供物流服务，另一方给付报酬和费用。另一方面，客户一方应表明需要物流企业处理的标的物真实有效性，合法性及安全性。因为第三方物流企业处理的标的物时候为减少成本，通常会采取整和包装或拆另包装，这就要求客户真实说明货物的性质（易燃、易爆、易腐蚀、有毒等），并提供相关资料。因为可能会在整和包装或拆另包装过程中对其他标的物造成影响。同时第三方物流企业要求客户对其委托的标的物提供相应合法凭证：发票、仓单等有效原始证据。在整和包装或拆另包装中会混同原标的物性质，将非法性转化为合法性，使之赃物变成合法有效的商品。因此在实际操作过程中物流企业对客户送交的标的物也应尽到如下义务：1）验收义务。物流企业对其处理的货物进行检验，核查，如果使危险物则要求客户提供有关资料。 2）物流企业作为经营企业应当具备相应的处理条件，包括硬件和软件。如专门处理危险物的堆场、分拣设备、有特定功能的打包机，有专门的条码识别器、处理危险物的滑槽等。当然，在计算机系统处理上也应有有关软件支持。同时，物流企业应配备有专业知识，包括化工、生物、装卸等专业人士。如果某物流企业不具备上述条件，这就要求其尽到添置和完善的义务。 3）查义务。物流企业在处理客户的标的物时，应对该物的来源，性质进行审查，要求客户提供原始凭证，并且办理必要的备案入户手续。 3、合同一方是特定主体第三方物流合同中处理标的物的一方必须是投资建立的第三方物流企业，专为提供服务收取报酬而经营的法人。众所周知，物流业的兴盛是由于物流被称为“第三利润源泉”。不可否认，物流的确有仓储、运输、加工、信息处理等流程组成，但其中每个过程最低化机械相加并不等于利润最低化。因此物流企业是一个统筹，综合处理上述过程的专营企业。故其他单位，如单个仓储，运输单位或委托加工单位是不能成为专业物流营业人。 4、物流合同应为诺成性合同②这是由物流的性质决定的。在客户交付标的物之前，物流企业可能已经履行合同支出了一些成本，如腾空仓位，整理仓库，安排车辆，并且还可能因为物流企业自身规模原因而拒绝潜在的客户要约。所以，只要经过客户要约和物流企业的承诺既宣告合同成立。这样，不仅对物流企业有利，而且也对客户有利，维护了双方交易的安全。因为如果该合同是实践性合同，那么在客户未交付标的物之前，合同是不成立的。这就意味着客户只要不实际交付标的物就可以任意改变其先前许诺，不受合同约束，这样物流企业受损风险大大增加。即使追究客户缔约过失，其诉讼成本使得物流企业无精力过问，事实上往往息事宁人。同样，实践性合同也使得客户的风险增加。客户和物流企业经过要约和承诺之后，客户费了较大成本将易耗物收购到手，根据原来计划由物流企业为其提供包括设计方案等服务，经核算分销后是盈利的。但是物流企业在客户准备交付标的物的时候，自行毁约，可以说对客户造成两方面的损失：易耗物不断摊消其价值而且产品不及时上市的话使得客户血本无归。综上论，为减少风险，有利于交易安全，诺成性合同较为实际和安全。 5、物流合同应为要式合同任何一个行业应该有统一标准的文本格式，物流行业也应如此。为了维护行业标准，并且防止一定企业的行业垄断，应该遵循一定的格式。不仅有利于整个物流行业市场规范，防止限制竞争行为发生，而且从保护客户的角度上是有利的。四、第三方物流经营业态中的法律类型分类综观现今中国物流行业中第三方物流企业的经营业态主要有两种。其一，第三方物流企业接受客户委托，根据客户提出要求处理相关货物。其实这种业态的经营模式实质是一个委托的法律关系，从物流学理意义上属于初级业态。其表现形式是以处理委托人事务为目的，根据委托事项支付一定费用，受托人（物流企业）根据实际成本加上利润收受费用并提供相应服务。如果委托人没有尽到告知义务致使受托人设备和其他委托人设备，货物造成损失的，且受托人已尽了审查义务（《合同法》406条受托人有关义务），受托人免责，造成第三人损失的，由第三人直接向有过错的委托人追索。在实际操作过程中，也是往往根据委托合同有关条款加以调整。如《合同法》407受托人处理委托事项，因不可归责于自己事由受到损失的，可以向委托人要求赔偿损失。 ③故第三方物流的初级业态实质是是委托法律关系。目前中国物流刚刚起步，因此大多数物流企业都是基于这层委托关系而成立的。其二、另外一种模式是物流企业根据客户要求，以物流企业名义向外寻求供应商、代理商、分销商，同时又向客户提供相应的仓储、运输、包装等服务，为客户设计物流计划。该模式往往是从事第三方物流服务的企业通过与固定客户（通常是连锁企业）建立稳定的契约关系，以物流企业名义与生产建立广泛的商品关系，是第三方物流和终端客户建立长时间联盟合作。这种经营模式是第三方物流的高级经营业态。在实际活动中，根据第三方物流企业活动特征，笔者认为这是隐名代理行为而非行纪行为。 ④隐名代理（agency of unnamed principal）是英美法系的概念，指代理人以自己名义，在被代理人授权范围内与第三人订立合同，第三人在订立合同时，明知代理人与被代理人的代理关系，只要是代理人为被代理人利益，由被代理人承担责任。其与行纪最根本区别在于行纪人只能以自己名义对外活动，因而其与第三人订立合同不能对抗委托人。实践中，生产企业，供应商等上家都与第三方物流企业有买断，代理关系并由第三方物流企业根据终端客户定单进行处理，配送，加工等。可以看出在这种模式下，第三人明知物流企业其实是某终端客户的代理人，只不过第三方物流企业没有以终端客户名义而以自己名义与其发生关系，责任由最终客户承担。需要指出的是在此过程中，物流企业为了自己利益越权代理，行为无效。而且由于第三人过错造成终端客户损失，由第三人直接向终端客户承担责任。（通常厂家的商品造成超市损失，由厂家承担过错责任向超市赔偿）上述种种经营活动可以说明第三方物流的高级经营业态实际上是一种隐名代理的行为。五、结束语综述，随着物流业发展第三方物流是物流专业化的一重要形式，物流业发展到一定阶段必然会出现第三方物流，而且第三方物流的占有率与物流业的水平之间有着非常紧密的相关性。目前而言，我国的物流水平尚处萌芽阶段，有无穷之潜力同样也有无穷之挑战。本文旨在论述在我国没有完善有关物流方面的法律法规前提下，对物流的诺干在法律上的定义作了一定探讨，希望能起到抛砖引玉之作用。回答者 - 进士出身八级 4-23 18:50大多数第三方物流服务公司是以传统的、类物流业为起点而发展起来的，如仓储业、运输业、空运、海运、货运代现和企业内的物流部等。他们根据顾客的不同需要，通过提供各有特色的服务取得成功。美国目前约有1600个第三方物流服务提供者，据对其中56家领先公司的调查，最常见的第三方物流服务内容主要集中于物流策略/系统开发、电子数据交换、货物运输、信息管理、仓储、咨询、运费谈判和支付等传统意义上的运输、仓储范畴之内，1997年仅此业务总收入达31.97亿美元。第四方物流“第三方物流”，作为一种新兴的物流方式活跃在流通领域，它的节约物流成本、提高物流效率的功能已为众多企业认可。随着企业要求的提高“第三方物流”在整合社会所有的物流资源以解决物流瓶颈、达到最大效率方面开始出现力不从心；虽然从局部来看，第三方物流是高效率的，但从一个地区、一个国家的整体来说，第三方物流企业各自为政，这种加和的结果很难达到最优，难以解决经济发展中的物流瓶颈，尤其是电子商务中新的物流瓶颈。另外，物流业的发展需要技术专家和管理咨询专家的推动，而第三方物流恰恰缺乏高技术、高素质的人才队伍支撑。对此有人提出，必须密切客户和第三方物流的关系并进行规范化管理。于是“第四方物流”(4PL，Fourth Party Logistics)便应运而生。 “第四方物流”的概念首先是由著名的管理咨询公司埃森哲公司（又名安盛咨询公司）提出，并且将“第四方物流”作为专有的服务商标进行了注册，并定义为“一个调配和管理组织自身的及具有互补性服务提供商的资源、能力与技术，来提供全面的供应链解决方案的供应链集成商”。尽管其中有业内人事怀疑咨询公司此举有进行圈地和独霸行业的嫌疑，然而，业界的广泛共识是，物流管理的日益复杂和信息技术的爆炸性发展，使得供应链管理的过程中的的确确需要一个“超级经理”来进行管理协调。而且，学术界、管理顾问公司、第三方物流公司和最终客户都认为对这种实体的需要是越来越强烈。它的主要作用应该是：对制造企业或分销企业的供应链进行监控，在客户和它的物流和信息供应商之间充当唯一“联系人”的角色。 “第四方物流”这一新的舶来品对中国的物流行业或者说对中国经济的竞争力和行业的发展究竟有什么意义呢？到目前为止，国内对此还没有相关的权威评论和探讨。笔者根据物流业内对国际上通行的供应链管理的一些理解，并综合相关的资料，力求给大家一个较为全面的介绍。第四方物流的主要作用是: 对制造企业或分销企业的供应链进行监控，在客户和它的物流和信息供应商之间充当惟一