1. 人脸关键点简介人脸关键点定位也称为人脸关键点定检测或者人脸对齐是指给定人脸图像定位出人脸面部的要害区域位置包括眉毛、眼睛、鼻子、嘴巴、脸部概括等和人脸检测类似由于存在姿势和遮挡等因素的影响人脸关键点定位也是一个赋有挑战性的任务工作。人脸关键点的检测有许多重要的应用场景。l 人脸姿态对齐人脸识别等算法都需要对人脸的姿态进行对齐从而提高模型的精度。l 人脸美颜与编辑基于关键点可以精确分析脸型、眼睛形状、鼻子形状等从而对人脸的特定位置进行修饰加工实现人脸特效美颜贴片等娱乐功能。l 人脸表情分析与嘴型识别基于关键点可以对人的面部表情进行分析从而用于互动娱乐行为预测等场景。本人脸98关键点算法的关键点位置如下图所示算法效果在数据集的表现基于EASY-EAI-PI2硬件主板的运行效率2. 快速上手2.1 开发环境准备如果您初次阅读此文档请阅读《入门指南/开发环境准备/Easy-Eai编译环境准备与更新》并按照其相关的操作进行编译环境的部署。在PC端Ubuntu系统中执行run脚本进入EASY-EAI编译环境具体如下所示。cd ~/develop_environment ./run.sh 22042.2 源码下载在EASY-EAI编译环境下创建存放源码仓库的管理目录cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit通过git工具在管理目录内克隆远程仓库git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git注* 此处可能会因网络原因造成卡顿请耐心等待。* 如果实在要在gitHub网页上下载也要把整个仓库下载下来不能单独下载本实例对应的目录。2.3 模型部署要完成算法Demo的执行需要先下载人脸检测算法模型。百度网盘链接为https://pan.baidu.com/s/1JxDZ5VMnlHiGZLKfvIZ-yg?pwd1234(提取码1234)。也要下载人脸98关键点算法模型。百度网盘链接为:https://pan.baidu.com/s/1pDabIMlllZAWZOejKOKYUQ?pwd1234 (提取码1234)。然后需要把下载的人脸检测算法模型和人脸关键点算法模型复制粘贴到Release/目录2.4 例程编译进入到对应的例程目录执行编译操作具体命令如下所示cd EASY-EAI-Toolkit-1126B/Demos/algorithm-face_landmark98/ ./build.sh cpres注* 由于依赖库部署在板卡上因此交叉编译过程中必须保持/mnt挂载。* 若build.sh脚本带有cpres参数则会把Release/目录下的所有资源都拷贝到开发板上。2.5 例程运行及效果通过串口调试或ssh调试进入板卡后台定位到例程部署的位置如下所示cd /userdata/Demo/algorithm-face_landmark98/运行例程命令如下所示sudo ./test-face-landmark98 test.jpg在EASY-EAI编译环境可以取回测试图片:cp /mnt/userdata/Demo/algorithm-face_landmark98/result.jpg .结果图片如下所示API的详细说明以及API的调用本例程源码详细信息见下方说明。3. 人脸检测API说明3.1 引用方式为方便客户在本地工程中直接调用我们的EASY EAI api库此处列出工程中需要链接的库以及头文件等方便用户直接添加。3.2 人脸检测初始化函数设置人脸检测初始化函数原型如下所示。int face_detect_init(rknn_context *ctx, const char *path)具体介绍如下所示。3.3 人脸检测运行函数设face_detect_run原型如下所示。int face_detect_run(rknn_context ctx, cv::Mat input_image, std::vectordet result)具体介绍如下所示。3.4 人脸检测释放函数人脸检测释放函数原型如下所示。int face_detect_release(rknn_context ctx)具体介绍如下所示。4. 人脸98个关键点API说明4.1 引用方式为方便客户在本地工程中直接调用我们的EASY EAI api库此处列出工程中需要链接的库以及头文件等方便用户直接添加。4.2 人脸98个关键点初始化函数设置人脸检测初始化函数原型如下所示。int face_landmark98_init(rknn_face_landmark_context_t *p_face_landmark, const char *p_model_path)具体介绍如下所示。4.3 人脸98个关键点运行函数设face_landmark98_run原型如下所示。std::vectorcv::Point face_landmark98_run(cv::Mat image, rknn_face_landmark_context_t *p_face_landmark)具体介绍如下所示。4.4 人脸98个关键点释放函数人脸98个关键点释放函数原型如下所示。int face_landmark98_release(rknn_face_landmark_context_t* p_face_landmark)具体介绍如下所示。5. 人脸98个关键点算法例程例程目录为Toolkit-C-Demo/algorithm-face_landmark98/test-face-landmark98.cpp操作流程如下。参考例程如下所示。#include stdio.h #include stdint.h #include stdlib.h #include fstream #include iostream #include vector #include fstream #include atomic #include queue #include thread #include mutex #include chrono #include sys/time.h #include sys/stat.h #include dirent.h #include unistd.h #include opencv2/opencv.hpp #include unistd.h #include sys/syscall.h #include face_detect.h #include face_alignment.h #include face_landmark98.h using namespace std; using namespace cv; int main(int argc, char **argv) { if( argc ! 2) { printf(./test-face-landmark98 xxx.jpg \n); return -1; } struct timeval start; struct timeval end; float time_use0; rknn_context detect_ctx, landmark_ctx; std::vectordet result; int ret; cv::Mat src; src cv::imread(argv[1], 1); face_detect_init(detect_ctx, ./face_detect.model); /* 人脸关键点定位初始化 */ ret face_landmark98_init(landmark_ctx, ./face_landmark98.model); if( ret 0) { printf(face_mask_judgement_init fail! ret%d\n, ret); return -1; } face_detect_run(detect_ctx, src, result); printf(face num:%d\n,result.size()); for (int i 0; i (int)result.size(); i) { int x (int)(result[i].box.x); int y (int)(result[i].box.y); int w (int)(result[i].box.width); int h (int)(result[i].box.height); int max (w h)?w:h; // 判断图像裁剪是否越界 if( ((x max) src.cols) || ((y max) src.rows) ) { continue; } cv::Mat roi_img, reize_img; roi_img src(cv::Rect(x, y, max,max)); roi_img roi_img.clone(); resize(roi_img, reize_img, Size(256,256), 0, 0, INTER_AREA); float ratio; ratio (float)max/256; gettimeofday(start,NULL); std::vectorKeyPointType keyPoints; face_landmark98_run(landmark_ctx, reize_img, keyPoints); gettimeofday(end,NULL); time_use (end.tv_sec-start.tv_sec)*1000000(end.tv_usec-start.tv_usec);//微秒 printf(time_use is %f\n,time_use/1000); for(int n 0; n 98; n) { //coutkeyPoints n : keyPoints[n].point.x*ratio x , keyPoints[n].point.y*ratio y endl; cv::circle(src, Point( keyPoints[n].point.x*ratiox, keyPoints[n].point.y*ratioy), 2, cv::Scalar(0, 255, 0), 2); } } cv::imwrite(result.jpg, src); /* 人脸检测释放 */ face_detect_release(detect_ctx); /* 人脸关键点定位释放 */ face_landmark98_release(landmark_ctx); return 0; }