智能感知与控制国际联合实验室

该实验室由美国华盛顿大学（西雅图）、上海工程技术大学、浙江捷尚视觉科技股份有限公司联合成立。以“世界一流大学+上海工程技术大学+知名企业”为队伍，立足“科学、技术、工程协同创新”的运行机制，为聚一流师资、育一流人才、创一流学科提供国际化高水平学科平台。实验室主要研究列举如下。

1. 人脸识别、性别识别、年龄分析、表情分析

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。本项目就是根据提前导入的个人照片数据库，在快速检测到人脸的基础上实现人脸最佳匹配，实现人脸识别。

本项目还可以根据检测到的人脸预测性别和年龄，比如现在很多手机相机都有脸部识别并能显示年龄与性别信息，同时，该项目还可以用来判断人脸部的表情信息，判断一个人的喜怒哀乐，人脸识别技术现在已经开始应用于车站的安监系统、高校的门禁系统、公司的考勤系统等。

随着移动互联网的崛起，一些人脸识别技术的开发者将该项技术应用到娱乐领域中，如应用开心明星脸等，根据人脸的轮廓，肤色，纹理，质地，色彩，光照等特征来计算照片中主人公与明星的相似度。在不久的将来，人脸识别还可以应用于测谎系统，比如，中国的云从科技已经研发出基于人脸识别的人工智能测谎仪。相信人脸识别技术会越走越远。

2. 跨相机网络的行人跟踪与重识别

跨相机网络的行人跟踪与重识别又称行人重识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，主要是给定一个监控行人图像，然后检索跨设备下的该行人图像。

研究难点：

（1）图像比较模糊并且广泛存在后脑勺和侧脸的情况，因此无法进行人脸识别，（2）摄像头之间有色差并受到光照的影响所以仅靠衣服颜色无法做出精确的判断，（3）容易出现撞衫情况但是研究方法普遍忽略图像细节

研究方法：

在得到的数据集中的训练集上进行模型的训练，得到模型后对图片提取特征计算相似度。

常用的研究方法

（1）基于部件匹配的方法

根据人体的结构信息对图像进行分割，然后按部件来进行匹配。

（2）基于损失函数的方法

基于高层语义信息，设置一些辅助任务，帮助模型学习到好的特征表达。

3. 区域客流密度+区域客流统计

客流统计是一项重要的市场研究手段，能够为公共、商业系统的运营决策和综合管理提供准确及时的数据参考，对公共安全、科学决策起到非常重要的作用。适用在商业、连锁、公园和景区、铁路、机场、博物馆、展览馆等众多运营场所。

客流量是代表着某个区域的人气价值指标，人群密度多有好有坏，只有在可控制的范围内才不会造成隐患。

客流统计的应用、实现人群密度检测的效果，主要利用当前先进的机器视觉，计算机图像视频分析技术，模式识别技术、人工智能机器学习、深度学习技术，侦测预设区域内移动人群密度、拥挤度、实时显示区域内人群的数量。或者拥挤程度百分比，如果密度超过预设值，系统就会发出警报。

客流量统计安装检测人群效果：

多个区域设备的安装、如出入口、柜台、店铺、楼道通道等等设置多个防区检测人员密度。

能在一个防区或多个防区设置多种分析功能。

能实时分析检测每一个防区的人群密度价值及拥挤度百分比。

人群检测密度价值：

主动监测区域人密度、拥挤程度。

提高公共安全，合理引导人流。

客流统计人群密度检测是为了提升客流量的价值，同时也是为了降低拥挤和低对比度环境中的安全隐患，提升安全等级以及对灾难隐患的预见和主动性

4. 打架监控应用

一种视频中打架的侦测方法，包括如下步骤:

(1)有效特征点值获取:进行特征点检测，特征点运动估计和量化；

(2)剧烈运动块获取:将图像分块，统计每块特点方向直方图，计算直方图熵值，如果直方图熵值超过一定阈值就认为是剧烈运动块；

(3)累计剧烈运动分数:当某帧某块是剧烈运动块时，其剧烈运动分数加一定值；如果不是，就将此块剧烈运动分数缩减一定比例；

(4)剧烈运动连通区域输出:若某块剧烈可信值超过设定阈值，就认为是剧烈运动块，并将连通的剧烈运动块组成连通区域，如果连通区域面积大于设定阈值，就作为剧烈运动连通区域输出。

打架监控主要可以应用于：监狱打架斗殴监控、无人监管场所或人流量大的公共场所（如：车站、酒店、宾馆、商场等公共场所）打架监控。

          个体打架                             群体打架

5. 实验室智能行为分析

行为识别是指通过分析视频、深度传感器等数据，利用特定的算法，对行人的行为进行识别、分析的技术。这项技术被广泛应用在视频分类、人机交互、安防监控等领域。行为识别包含两个研究方向：个体行为识别与群体行为（事件）识别。

行为分析主要实现以下检测

（1）警戒区检测

对于重点区域，为防止人员或车辆进入，可以设置安全区域设别来检测是否有人、物体或车辆进入预定区域；支持区域范围的自定义设置，可以是任意形状、大小矩形或者不规则多边形；以设置虚拟区域范围方式进行监测，保护某些不允许别人进入的禁区，有人、车辆或者物体进入或者离开某一个特定区域时，系统会产生报警通知值班人员。

（2）人数统计

人数统计分析基于对运动目标的智能跟踪与识别技术，通过对区域或方向的设定来统计通过人数，以及人群流动量、人群流动方向的统计及分析数据。

（3）打架检测

通过对视频监控下相关人员的运动特征、运动轨迹、肢体剧烈变化的自动识别，实时检测是否有打架斗殴事件，以防事件的进一步恶化。

（4）脱岗检测

对于重要场所，通常有值班人员，为防止突发异外事件发生，要求值班区域必须有人值守，为防止脱岗现象发生，可通过脱岗检测方式，实现对设定区域区的人员检测。典型应用如哨兵站岗、监所监控中心、重点单位门卫室等。

6. 非侵入式FFR测量技术

目前针对血管堵塞诊断，仍旧完全依赖于医生的主观意识完成。临床上缺乏一种对血管狭窄度、堵塞程度等进行分析的辅助诊断工具。我们的作品应用冠状动脉血管堵塞辅助诊断技术，即将人工智能技术应用于辅助诊断诊疗中，让计算机“学习”专家医生的医疗知识，模拟医生的思维和诊断推理，从而给出可靠诊断和治疗方案，从而极大地降低医生的工作量，该技术可以大量扩展到乡镇，提高基层医疗水平，减少医生对病人的误诊率，通过辅助诊断技术，解决血管堵塞年轻化问题，做到及时预防、及时治疗。

使用传统算法和深度学习相结合的方法对患者CT图像进行血管 分割，我们所采用的U-Net网络在分割图像方面也是起到了很好的效果；分割完 成后对血管结构进行三维重建，通过得到的 3D 血管模型图来得到血管直径，最 后计算出冠状动脉血流储备分数来判断血管的狭窄度、堵塞程度，从而完成冠状 动脉血管堵塞程度的自动分析。

（1）融合冠脉CTA与FFR的优势。对患者无创伤，费用低

（2）采用传统算法与深度学习结合，血管图分割精度高

（3）采用机器学习方法计算FFR值，速度快，精度高

     
                                    算法流程

                                作品展示

7. 胃癌诊断研究计划

基于深度学习的人工智能技术在胃癌诊断中的应用目的在于构建和验证一个用于早期胃癌自动识别的深度学习模型，提高早期胃癌的识别和诊断水平。

（1）多特征融合的胃癌分期诊断

胃癌与淋巴结的大小与位置等特征是胃癌分期重要的参考。

▪通过深度学习来学习潜在的胃癌和淋巴结特征。

▪通过联合贝叶斯算法将学习到的胃癌特征、胃癌与淋巴结的大小融合，从而诊断胃癌的分期。

（2）胃癌手术安全性评估

▪通过MPR多平面重建技术将三维重建投影到多个不同视角下，融合各视角下的特征，综合分析得出血管的变异类型。

▪通过多层三维卷积层与两层全连接层判断淋巴结与血管是否缠绕，为胃癌手术提供重要的指导意见。

（3）总体技术方案

基于深度学习的精细粒度分割等人工智能技术的引入，将有望使中国智能胃癌诊疗技术达到国际领先水平，在胃癌研发领域，开发具有临床实际价值的病理切片智能识别、智能放疗等技术，可有效提高早期胃癌的诊断率、进展期胃癌的控制率。

8. 掌静脉识别

在近红外光的照射下，获取静脉血管形状的图像。经过特征提取，最后进行特征匹配和对比匹配结果，实现身份鉴别。

项目的过程：分为3个阶段：

1.图像的采集：手掌在720 ～ 1100 nm近红外光的照射下，由于静脉血管中的血色素比周围其他生物组织吸收更多的近红外辐射，手掌反射回的光被图像传感器接收，形成静脉血管的血管形状图像。

2.图像预处理：数字化和图像增强、图像去噪等一系列操作。

3.特征提取及匹配：根据特征提取方法不同，现有的掌脉识别方法，可归结为以下几类: 基于结构特征、基于纹理特征和基于子空间的方法。

应用：掌静脉识别可被广泛应用在考勤，系统、门禁系统、银行、电子商务身份认证、机密信息存取控制等众多应用中。

实用性：具有较强的普遍性和唯一性；使用程度广；用户接受度好；很难伪造和模仿；识别率较高；只有活体才能识别。

9. 驾驶员动作识别

本项目通过拍摄驾驶员的行车视频，运用机器视觉技术对驾驶员的行为进行分析检测，从而判断驾驶员在行车过程中是否存在违规行为。

项目的过程：

图像预处理：由于在实际应用中会受到环境影响（如受到的光照影响），因此进行检测前需要先对图片进行预处理（如：滤波、图像增强等），减少外界因素对检测结果的干扰和影响。

感兴趣区域的建立：运用边缘检测和椭圆检测，完成包含驾驶员主要肢体部位的感兴趣区域的建立。

肤色特征识别：对颜色空间进行选择，并在确定颜色空间后，完成一些特征的提取，建立肤色模型，对脸部手部所在位置进行确定。

驾驶行为分类：可以使用贝叶斯分类算法对驾驶员行为进行分类。

对驾驶行为分类方法进行验证。

应用：该项技术被应用于实时的驾驶监控，提升车辆行驶安全。

实用性：获得信息的途径简单，对人和车造成的影响较小，具有非接触性的优点。