溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

發(fā)布時間:2020-09-16 20:43:13 來源:腳本之家 閱讀:157 作者:watersink 欄目:移動開發(fā)

代碼鏈接:

https://github.com/watersink/mtcnn-linux-as

本代碼可以在模擬器下進行跑。

環(huán)境:

windows10

Android studio 3.6

Sdk:android10 api 29

Ndk:r15c

Ncnn:20200226

Linux下的代碼測試:

cd mtcnn_linux/build
cmake ..
make
./mtcnn

如果可以跑通,輸出正確結(jié)果,證明mtcnn代碼的準確性。

實際操作的時候,首先基于linux把c++代碼調(diào)試通,方便后續(xù)的android調(diào)試。

Android進行c++調(diào)試時,使用__android_log_print函數(shù)進行l(wèi)og的輸出,

開發(fā):

(1)工程建立

新建android工程,選擇Native C++,工程名為mtcnn,C++ Standard選擇c++11

(2)資源文件res修改:

src/main/res/drawable下面隨便復(fù)制一張帶有人臉的照片,比如這里,復(fù)制了一張beauty.png

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

src/main/res/layout下面新加main.xml。

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

詳細內(nèi)容,

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
 android:orientation="vertical"
 android:layout_width="fill_parent"
 android:layout_height="fill_parent">
 
 <LinearLayout
  android:orientation="horizontal"
  android:layout_width="fill_parent"
  android:layout_height="wrap_content">
  <Button
   android:id="@+id/buttonImage"
   android:layout_width="wrap_content"
   android:layout_height="wrap_content"
   android:text="選圖" />
  <Button
   android:id="@+id/buttonDetect"
   android:layout_width="wrap_content"
   android:layout_height="wrap_content"
   android:text="檢測" />
 
 </LinearLayout>
 
 <TextView
  android:id="@+id/infoResult"
  android:layout_width="fill_parent"
  android:layout_height="wrap_content"
  android:text="" />
 <ImageView
  android:id="@+id/imageView"
  android:layout_width="fill_parent"
  android:layout_height="fill_parent"
  android:layout_weight="1" />
</LinearLayout>

(3)增加ncnn的lib文件

src/main下面新加jniLibs文件夾,加入對應(yīng)平臺的libncnn.a

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

(4)增加網(wǎng)絡(luò)模型文件assets

在main下面新建assets文件夾,里面放入mtcnn的3個網(wǎng)絡(luò)結(jié)構(gòu)的模型文件。

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

(5)修改java文件,

修改src/main/java/com/example/mtcnn下面的MainActivity,

主要操作,包括在onCreate函數(shù)中對mtcnn這個類進行初始化。然后監(jiān)聽buttonImage,buttonDetect按鈕,分別進行實現(xiàn)。

然后在該路徑下增加MTCNN類,主要需要實現(xiàn)的方法如下,

package com.example.mtcnn;
 
public class MTCNN {
 //人臉檢測模型導(dǎo)入
 public native boolean FaceDetectionModelInit(byte[] det1_param, byte[] det1_bin, byte[] det2_param,byte[] det2_bin,byte[] det3_param,byte[] det3_bin);
 //人臉檢測
 public native int[] FaceDetect(byte[] imageDate, int imageWidth , int imageHeight, int imageChannel);
 
 public native int[] MaxFaceDetect(byte[] imageDate, int imageWidth , int imageHeight, int imageChannel);
 //人臉檢測模型反初始化
 public native boolean FaceDetectionModelUnInit();
 //檢測的最小人臉設(shè)置
 public native boolean SetMinFaceSize(int minSize);
 //線程設(shè)置
 public native boolean SetThreadsNumber(int threadsNumber);
 //循環(huán)測試次數(shù)
 public native boolean SetTimeCount(int timeCount);
 static {
  System.loadLibrary("mtcnn");
 }
}

(6)修改cpp文件,

首先將ncnn的include文件夾包含進來。

將模型的3個id.h文件包含進來,det1.id.h,det2.id.h,det3.id.h

mtcnn_jni.cpp負責對人臉檢測的幾個native方法進行實現(xiàn)。

mtcnn.h,mtcnn.cpp分別定義了一個MTCNN類,然后進行了相關(guān)方法的實現(xiàn)。

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

需要注意,

這里讀取的模型文件是通過二進制的方式讀取的assets下面的模型。所以模型文件一定要首先進行加密處理(ncnn2mem)。

然后ncnn讀取加密后文件和未加密文件是有一些區(qū)別的。主要包含2個地方。

第一個區(qū)別就是導(dǎo)入模型的區(qū)別,詳細的用法看下圖。

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

未加密的:

load_param
load_model

已經(jīng)加密的:

load_param_bin
load_model

如果使用load_param,load_model加載已經(jīng)加密的文件,返回值為讀取的字節(jié)數(shù)

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

其余情況下,正常加載模型會返回0,錯誤返回其他值。

第二個區(qū)別就是,就是模型讀取輸入節(jié)點和輸出節(jié)點的區(qū)別,

未加密的:

ex.input("data", in);
ncnn::Mat score_, location_;
ex.extract("prob1", score_);
ex.extract("conv4-2", location_);

已經(jīng)加密的:

ex.input(det1_param_id::BLOB_data, in);
ncnn::Mat score_, location_;
ex.extract(det1_param_id::BLOB_prob1, score_);
ex.extract(det1_param_id::BLOB_conv4_2, location_);

(7)修改cpp下面的CMakeLists,增加ncnnlib的引用。

cmake_minimum_required(VERSION 3.4.1)
 
#include頭文件目錄
include_directories(include)
#source directory源文件目錄
file(GLOB MTCNN_SRC *.h
     *.cpp)
set(MTCNN_COMPILE_CODE ${MTCNN_SRC})
#添加ncnn庫
add_library(libncnn STATIC IMPORTED )
set_target_properties(libncnn
 PROPERTIES IMPORTED_LOCATION
  ${CMAKE_SOURCE_DIR}/../jniLibs/${ANDROID_ABI}/libncnn.a)
#編譯為動態(tài)庫
add_library(mtcnn SHARED ${MTCNN_COMPILE_CODE})
#添加工程所依賴的庫
find_library( log-lib log )
target_link_libraries( mtcnn
      libncnn
      android
      jnigraphics
      z
      ${log-lib} )

(8)修改app/build.gradle下, defaultConfig里面加入下面的代碼,

externalNativeBuild {
   cmake {
    arguments "-DANDROID_TOOLCHAIN=clang"
    cFlags "-fopenmp -O2 -fvisibility=hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
    cppFlags "-fopenmp -O2 -fvisibility=hidden -fvisibility-inlines-hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
    arguments "-DANDROID_STL=c++_shared", "-DANDROID_CPP_FEATURES=rtti exceptions"
    cppFlags ""
    cppFlags "-std=c++11"
    cppFlags "-frtti"
    cppFlags "-fexceptions"
   }
  }
  ndk {
   abiFilters 'armeabi-v7a'// , 'arm64-v8a' //,'x86', 'x86_64', 'armeabi'
   stl "gnustl_static"
  }

最終結(jié)果:

基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能

 總結(jié)

到此這篇關(guān)于基于Android studio3.6的JNI教程之ncnn人臉檢測mtcnn功能的文章就介紹到這了,更多相關(guān)android studio3.6 ncnn人臉檢測mtcnn內(nèi)容請搜索億速云以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持億速云!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI