脸识别算法2.3专注检测原理2.4

https://gitee.com/dancheng-senior/postgraduate

相关技术

卷积神经网络(CNN)是由多层卷积结构组成的一种神经网络。

卷积结构可以减少网络的内存占用、参数和模型的过拟合。

卷积神经网络是一种典型的深度学习算法。

广泛应用于视觉处理和人工智能领域特别是在图像识别和人脸识别领域。

与完全连接的神经网络相比CNN输入是通过交换参数和局部感知来提取图像特征的图像。

卷积神经网络是由输入层、卷积层、池化层、全连接层和输出层五层结构组成。

其具体模型如下图所示。

(1)输入层(Input

layer)输入层就是神经网络的输入端口就是把输入传入的入口。

通常传入的图像的RGB三个通道的数据。

数据的输入一般是多维的矩阵向量其中矩阵中的数值代表的是图像对应位置的像素点的值。

(2)卷积层(Convolution

layer)卷积层在CNN中主要具有学习功能它主要提取输入的数据的特征值。

(3)池化层(Pooling

layer)池化层通过对卷积层的特征值进行压缩来获得自己的特征值减小特征值的矩阵的维度减小网络计算量加速收敛速度可以有效避免过拟合问题。

(4)全连接层(Full

layer)全连接层主要实现是把经过卷积层和池化层处理的数据进行集合在一起形成一个或者多个的全连接层该层在CNN的功能主要是实现高阶推理计算。

(5)输出层(Output

layer)输出层在全连接层之后是整个神经网络的输出端口即把处理分析后的数据进行输出。

2.2

dlib_face_recognition_resnet_model_v1.datfacerec

dlib.face_recognition_model_v1(face_rec_model_path)#

shape_predictor_5_face_landmarks.datpredictor

dlib.shape_predictor(predictor_path)#

读取图片img_path

dlib.get_frontal_face_detector()#

detector(gray,

主要通过电脑摄像头去实时的抓拍学生当前的状态和行为不间断的采集学生上课时的面部表情和眼睛注视的方向利用CNN提取相应的特征数据并进行分析处理若对应输出的判断值大于设置的阈值时则认为学生在走神没有认真学习。

并且对拍摄时间进行计时在界面上实时输出该学生在课堂上的有效学习时间和学生在课堂上专注时间的比例并进行存入表格中。

眼睛检测算法

基于dlib人脸识别68特征点检测、分别获取左右眼面部标志的索引通过opencv对视频流进行灰度化处理检测出人眼的位置信息。

人脸特征点检测用到了dlibdlib有两个关键函数dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)。

后者是用来检测一个区域内的特征点并输出这些特征点的坐标它需要一个预先训练好的模型通过文件路径的方法传入才能正常工作。

使用开源模型shape_predictor_68_face_landmarks.dat可以得到68个特征点位置的坐标连起来后可以有如图所示的效果红色是HOG

pyramid检测的结果绿色是shape_predictor的结果仅把同一个器官的特征点连线。

基本原理计算

RatioEAR.当人眼睁开时EAR在某个值上下波动当人眼闭合时

关键代码

初始化DLIB的人脸检测器HOG然后创建面部标志物预测print([INFO]

loading

第一步使用dlib.get_frontal_face_detector()

获得脸部位置检测器detector

dlib.get_frontal_face_detector()#

第二步使用dlib.shape_predictor获得脸部特征位置检测器predictor

dlib.shape_predictor(D:/myworkspace/JupyterNotebook/fatigue_detecting/model/shape_predictor_68_face_landmarks.dat)#

lEnd)

face_utils.FACIAL_LANDMARKS_IDXS[left_eye](rStart,

rEnd)

face_utils.FACIAL_LANDMARKS_IDXS[right_eye]#

第四步打开cv2

第十步构造函数计算左右眼的EAR值使用平均值作为最终的EARleftEAR

eye_aspect_ratio(leftEye)rightEAR

(leftEAR

第十一步使用cv2.convexHull获得凸包位置使用drawContours画出轮廓位置进行画图操作leftEyeHull

cv2.convexHull(leftEye)rightEyeHull

cv2.convexHull(rightEye)cv2.drawContours(frame,

[leftEyeHull],

rect.bottom()cv2.rectangle(frame,

(left,

分别计算左眼和右眼的评分求平均作为最终的评分如果小于阈值则加1如果连续3次都小于阈值则表示进行了一次眨眼活动#

ear

第十五步进行画图操作同时使用cv2.putText将眨眼次数进行显示cv2.putText(frame,

Faces:

OpenCV是计算机视觉中一个经典的数据库。

支持多语言、跨平台、功能强大。

其提供了一个Python接口用户可以在保证可读性和操作效率的前提下用Python调用C/C实现所需的功能。

OpenCV是一个基于BSD许可证的跨平台计算机视觉库可以在Linux、windows和Mac

OS操作系统上运行。

它由一系列C函数和少量C类组成。

同时它还提供了与Python、ruby、MATLAB等语言的接口实现了图像处理和计算机视觉中的许多通用算法。

本项目中OpenCV主要是在图片的采集的图片的预处理方面使用通过操作界面中的按钮选项选择是否打开摄像头使用OpenCV来调用电脑摄像头来检测录像过程中的聚焦和人脸镜头的矫正等状态然后在摄像头的录像的视频流中抓取对应的人脸照片然后调用内部的函数对照片的尺寸和光线等进行矫正处理后传给神经网络进行特征值提取。

功能介绍

将采集到的人脸信息和姓名、学号录入到数据库中数据库表如下图所示

3.2

拍摄时间进行计时在界面上实时输出该学生在课堂上的有效学习时间和学生在课堂上专注时间的比例

3.4

https://gitee.com/dancheng-senior/postgraduate