7.3 KiB
个人简历项目介绍
大规模人脸检索和人证合一系统
项目简介
实现一个基于深度神经网络的大规模人脸识别和检索的系统，统计在规定时间内，经过所有摄像头的人脸的次数。
应用背景
本项目的大规模人脸识别系统是基于某海关鉴定“水客”的应用场景来设计。在实际的应用场景中，每天通过海关的人员大约有40万人，每个游客进入摄像头的人脸图像大约提取10张，要求计算该游客在过去15天内一共出现的次数。根据统计的次数来判断游客是否为“水客”。
技术关键
按照应用背景的要求，15天内大约有6000万张图片，面对如此庞大的数据集，需要采用分布式处理的方案来计算。
大数据框架
采用Storm分布式实时处理的框架来对每个摄像头的视频帧进行预处理，通过人脸检测、特征提取、特征比对等步骤来实现大规模人脸检索的功能。
HDFS实现分布式文件存储，HBase来实现分布式列存储，Storm实现实时流计算并接入人脸识别算法，Kafka实现分布式消息转发
存储实现
需要存储的数据有人脸图像的非结构化数据，中间产生的人脸特征、哈希特征等结构化的数据，将非结构化的数据存储在HDFS上，通过URL获取，结构化数据存储在HBase表里面，分别有3张表，HashTable，TimesTable，IndexTable
HashTable: 建立hash特征和人脸实值特征、人脸图片URL和时间戳，人脸ID字段的联系。行健为hash特征
注意：一个feature 可能对应多个hash
count：表示hash对应的feature的个数 feature: 人脸实值特征（512）
TimesTable: 记录每天出现的次数和每次出现对应的时间戳和人脸图片对应的URL。行键为游客的ID和当天日期的结合。
count: 表示游客被识别成功的次数，每识别一次，count字段就加1，然后新增（stamp和url）两个字段。
times: 表示该游客出现的次数，和count不同，times在游客连续10秒内出现只计算一次，count则是识别一次就加一次
这里的游客的ID是通过检索得到的，后面有检索算法
IndexTable: 记录15天内，每天插入到索引的哈希值，主要用于更新索引和数据恢复。行健为当天的日期。
count: 记录当天插入索引的hash的个数，hash为当天的哈希索引值。如果需要增加新的索引，count字段加一，后面添加新的列。
hash: 当天抓取的人的hash值
索引步骤
首先用 FFmpeg 库来抓取视频流，然后进行人脸检测、特征提取，得到512维特征，利用PCA降维到256维。
将实值特征利用hash函数转换到汉明空间，得到hash特征，查询HashTable，获取当前hash特征关联的所有记录，判断是否已经插入到当天的索引中（查询IndexTable)，如果是，则直接查询候选集，否则，得到候选集之后，还要将新的哈希值插入到索引中以供后续查询；（更新IndexTable)
哈希值的查找策略：历史15天内，每天的索引库中的哈希值和待查询哈希值之间的汉明距离最小，小于D范围内的前K个哈希值作为候选集
更具哈希候选集查询HashTable，获取与候选集中哈希值相关联的所有记录（实值特征，url，人脸ID），分别添加至特征列表和id列表中（两个列表长度一样，并且id和特征一一对应）
身份鉴别
身份鉴别模块的功能是拿到特征列表和ID列表之后，进行精细选择的一个过程，最终得到最相似的那个人的ID。
如果ID是空的话，说明这个人以前没有出现过，因此生成一个新的ID，把这个人的ID加入到TimesTable 中， 否则通过ID，还有时间定位到TimesTable 中的某一行，对应的Times+1
结果推送
通过 Redis + socket.io + Node.js 将计算结果送到web页面上去。
计算逻辑
每天抓到的人脸都会存储到IndexTable中，用于初始化索引。对于抓取到的人脸去以前的特征库里面检索特征（中间需要用到HashTable来对人脸进行精细计算），然后统计次数，存入到TimesTable中。
索引方法
CPU索引
首先，将待查的特征变成Hash，利用C++ 的 popcnt 指令优化，计算待查Hash和特征库里面的Hash的汉明距离（异或），然后利用桶排序思想，得到汉明距离最低的几个hash值，然后返回粗略索引结果，得到粗略结果后，查询 HashTable 里面的实值特征，然后利用余弦计算距离，得到最近的余弦值，即最终的查询结果。
Topk 排序问题，因为汉明距离的值有大小范围，所以采用桶排序的思想。
考虑到角度原因，所以采用余弦值来代替。
性能：100万，9ms
GPU索引
性能：6000万，平均512ms， 100万，3ms
GPU索引利用了归并排序和双调排序的思想。
首先将所有的汉明距离按K划分，K个相邻的数据为一组，将所有⌈N/K⌉组的汉明距离排序为组内有序；
找出数组下标[0,K)和[K,2K)中汉明距离中最小的K个数据，并将它移动到[0,K)的位置，找出数组下标[2K,3K)和[3K,4K)中汉明距离中最小的K个数据，并将它移动到[2K,3K)的位置，依此类推。经过这一步之后，以2K个数据为分组，可以找出每组中的前K个数据；
重复前面两步，分别排序[0,K)、[2K,3K)、[4K,5K)…，然后将[0,K)和[2K,3K)这2K个数组为一组，找出前K个最小的汉明距离，并将它移动到[0,K)，依此类推，所有数据的前K个汉明距离即存储在[0,K)位置上。
融合深度学习技术的智能云应用平台
项目简介
结合深度学习技术，开发融合了人脸识别，人脸布控，活体检测，智能门禁等多种应用的分布式智能云应用平台。
项目背景
利用深度学习算法，实现摄像头视频流的实时人脸检测，人脸布控，活体检测，智能门禁的多种应用的平台级产品。
人脸布控：先将人脸黑名单库存放到系统中，提取人脸的特征，拿到待查询的人脸，跟特征库进行比对，超过某个阈值则示警。
智能门禁：其实差不多，也是拿人脸进行匹配，通过了就开门。
Docker和kubernetes 部署： 遇到的挑战，集群间的通信、分布式文件系统的选择（GlusterFS、ceph Fs、NFS）、docker 的问题。