您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“OpenCV如何實(shí)現(xiàn)背景分離”,內(nèi)容簡(jiǎn)而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“OpenCV如何實(shí)現(xiàn)背景分離”這篇文章吧。
圖像背景分離是常見的圖像處理方法之一,屬于圖像分割范疇。如何較優(yōu)地提取背景區(qū)域,難點(diǎn)在于兩個(gè):
背景和前景的分割。針對(duì)該難點(diǎn),通過人機(jī)交互等方法獲取背景色作為參考值,結(jié)合差值均方根設(shè)定合理閾值,實(shí)現(xiàn)前景的提取,PS上稱為蒙版;提取過程中,可能會(huì)遇到前景像素丟失的情況,對(duì)此可通過開閉運(yùn)算或者提取外部輪廓線的方式,將前景內(nèi)部填充完畢。
前景邊緣輪廓區(qū)域的融合。如果不能很好地融合,就能看出明顯的摳圖痕跡,所以融合是很關(guān)鍵的一步。首先,對(duì)蒙版區(qū)(掩膜)進(jìn)行均值濾波,其邊緣區(qū)會(huì)生成介于0-255之間的緩存區(qū);其次,通過比例分配的方式對(duì)緩存區(qū)的像素點(diǎn)上色,我固定的比例為前景0.3背景0.7,因?yàn)楸尘盀閱紊珔^(qū),背景比例高,可以使得緩存區(qū)顏色傾向于背景區(qū),且實(shí)現(xiàn)較好地過渡;最后,蒙版為0的區(qū)域上背景色,蒙版為255的區(qū)域不變。
至此,圖像實(shí)現(xiàn)了分割,完成背景分離。C++實(shí)現(xiàn)代碼如下。
// 背景分離 cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input) { cv::Mat bgra, mask; // 轉(zhuǎn)化為BGRA格式,帶透明度,4通道 cvtColor(src, bgra, COLOR_BGR2BGRA); mask = cv::Mat::zeros(bgra.size(), CV_8UC1); int row = src.rows; int col = src.cols; // 異常數(shù)值修正 input.p.x = max(0, min(col, input.p.x)); input.p.y = max(0, min(row, input.p.y)); input.thresh = max(5, min(100, input.thresh)); input.transparency = max(0, min(255, input.transparency)); input.size = max(0, min(30, input.size)); // 確定背景色 uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0]; uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1]; uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2]; // 計(jì)算蒙版區(qū)域(掩膜) for (int i = 0; i < row; ++i) { uchar *m = mask.ptr<uchar>(i); uchar *b = src.ptr<uchar>(i); for (int j = 0; j < col; ++j) { if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh) { m[j] = 255; } } } // 尋找輪廓,作用是填充輪廓內(nèi)黑洞 vector<vector<Point>> contour; vector<Vec4i> hierarchy; // RETR_TREE以網(wǎng)狀結(jié)構(gòu)提取所有輪廓,CHAIN_APPROX_NONE獲取輪廓的每個(gè)像素 findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE); drawContours(mask, contour, -1, Scalar(255), FILLED,4); // 閉運(yùn)算 cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5)); cv::morphologyEx(mask, mask, MORPH_CLOSE, element); // 掩膜濾波,是為了邊緣虛化 cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1)); // 改色 for (int i = 0; i < row; ++i) { uchar *r = bgra.ptr<uchar>(i); uchar *m = mask.ptr<uchar>(i); for (int j = 0; j < col; ++j) { // 蒙版為0的區(qū)域就是標(biāo)準(zhǔn)背景區(qū) if (m[j] == 0) { r[4 * j] = uchar(input.color[0]); r[4 * j + 1] = uchar(input.color[1]); r[4 * j + 2] = uchar(input.color[2]); r[4 * j + 3] = uchar(input.transparency); } // 不為0且不為255的區(qū)域是輪廓區(qū)域(邊緣區(qū)),需要虛化處理 else if (m[j] != 255) { // 邊緣處按比例上色 int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3); int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); newb = max(0, min(255, newb)); newg = max(0, min(255, newg)); newr = max(0, min(255, newr)); newt = max(0, min(255, newt)); r[4 * j] = newb; r[4 * j + 1] = newg; r[4 * j + 2] = newr; r[4 * j + 3] = newt; } } } return bgra; }
#include <opencv2/opencv.hpp> #include <iostream> #include <algorithm> #include <time.h> using namespace cv; using namespace std; // 輸入?yún)?shù) struct Inputparama { int thresh = 30; // 背景識(shí)別閾值,該值越小,則識(shí)別非背景區(qū)面積越大,需有合適范圍,目前為5-60 int transparency = 255; // 背景替換色透明度,255為實(shí),0為透明 int size = 7; // 非背景區(qū)邊緣虛化參數(shù),該值越大,則邊緣虛化程度越明顯 cv::Point p = cv::Point(0, 0); // 背景色采樣點(diǎn),可通過人機(jī)交互獲取,也可用默認(rèn)(0,0)點(diǎn)顏色作為背景色 cv::Scalar color = cv::Scalar(255, 255, 255); // 背景色 }; cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input); // 計(jì)算差值均方根 int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr) { return int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3)); } int main() { cv::Mat src = imread("111.jpg"); Inputparama input; input.thresh = 100; input.transparency = 255; input.size = 6; input.color = cv::Scalar(0, 0, 255); clock_t s, e; s = clock(); cv::Mat result = BackgroundSeparation(src, input); e = clock(); double dif = e - s; cout << "time:" << dif << endl; imshow("original", src); imshow("result", result); imwrite("result1.png", result); waitKey(0); return 0; } // 背景分離 cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input) { cv::Mat bgra, mask; // 轉(zhuǎn)化為BGRA格式,帶透明度,4通道 cvtColor(src, bgra, COLOR_BGR2BGRA); mask = cv::Mat::zeros(bgra.size(), CV_8UC1); int row = src.rows; int col = src.cols; // 異常數(shù)值修正 input.p.x = max(0, min(col, input.p.x)); input.p.y = max(0, min(row, input.p.y)); input.thresh = max(5, min(100, input.thresh)); input.transparency = max(0, min(255, input.transparency)); input.size = max(0, min(30, input.size)); // 確定背景色 uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0]; uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1]; uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2]; // 計(jì)算蒙版區(qū)域(掩膜) for (int i = 0; i < row; ++i) { uchar *m = mask.ptr<uchar>(i); uchar *b = src.ptr<uchar>(i); for (int j = 0; j < col; ++j) { if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh) { m[j] = 255; } } } // 尋找輪廓,作用是填充輪廓內(nèi)黑洞 vector<vector<Point>> contour; vector<Vec4i> hierarchy; // RETR_TREE以網(wǎng)狀結(jié)構(gòu)提取所有輪廓,CHAIN_APPROX_NONE獲取輪廓的每個(gè)像素 findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE); drawContours(mask, contour, -1, Scalar(255), FILLED,4); // 閉運(yùn)算 cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5)); cv::morphologyEx(mask, mask, MORPH_CLOSE, element); // 掩膜濾波,是為了邊緣虛化 cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1)); // 改色 for (int i = 0; i < row; ++i) { uchar *r = bgra.ptr<uchar>(i); uchar *m = mask.ptr<uchar>(i); for (int j = 0; j < col; ++j) { // 蒙版為0的區(qū)域就是標(biāo)準(zhǔn)背景區(qū) if (m[j] == 0) { r[4 * j] = uchar(input.color[0]); r[4 * j + 1] = uchar(input.color[1]); r[4 * j + 2] = uchar(input.color[2]); r[4 * j + 3] = uchar(input.transparency); } // 不為0且不為255的區(qū)域是輪廓區(qū)域(邊緣區(qū)),需要虛化處理 else if (m[j] != 255) { // 邊緣處按比例上色 int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3); int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); newb = max(0, min(255, newb)); newg = max(0, min(255, newg)); newr = max(0, min(255, newr)); newt = max(0, min(255, newt)); r[4 * j] = newb; r[4 * j + 1] = newg; r[4 * j + 2] = newr; r[4 * j + 3] = newt; } } } return bgra; }
測(cè)試效果
圖1 原圖和紅底色效果圖對(duì)比
圖2 原圖和藍(lán)底色效果圖對(duì)比
圖3 原圖和透明底色效果圖對(duì)比
如源碼所示,函數(shù)輸入?yún)?shù)共有5項(xiàng),其說(shuō)明如下:
thresh為背景識(shí)別閾值,該值范圍為5-100,用來(lái)區(qū)分背景區(qū)和前景區(qū),合理設(shè)置,不然可能出現(xiàn)前景區(qū)大片面積丟失的情況。
p為背景色采樣點(diǎn),可通過人機(jī)交互的方式人為選中背景區(qū)顏色,默認(rèn)為圖像原點(diǎn)的顏色。
color為重繪背景色。
transparency為重繪背景色的透明度,255為實(shí)色,0為全透明。
size為邊緣虛化參數(shù),控制均值濾波的窗口尺寸,范圍為0-30。
我對(duì)比了百度搜索證件照一鍵改色網(wǎng)站的效果,基本一致,它們處理一次4塊錢,我們這是免費(fèi)的,授人以魚不如授人以漁對(duì)吧,學(xué)到就是賺到。當(dāng)然人家的功能肯定更強(qiáng)大,估計(jì)集成了深度學(xué)習(xí)一類的框架,我們還需要調(diào)參。美中不足的地方就由兄弟們一起改進(jìn)了。
細(xì)心的biliy發(fā)現(xiàn)了我貼圖的問題,如圖1圖2圖3所示,領(lǐng)口處被當(dāng)做背景色了,這樣當(dāng)然不行,接下來(lái)開始改進(jìn)功能。
1)首先分析原因,之所以領(lǐng)口被當(dāng)做背景色,是因?yàn)轭I(lǐng)口為白色,同背景色一致,且連接圖像邊緣處,進(jìn)行輪廓分析時(shí),錯(cuò)將這個(gè)領(lǐng)口識(shí)別為輪廓外,如圖4所示。
圖4 識(shí)別失敗
2)正如圖4所示,僅僅用閉運(yùn)算是無(wú)法有效補(bǔ)償?shù)?,如果將窗口尺寸加大還可能使其他位置過度填充,接下來(lái)考慮如何只填充這類大洞。先將處理圖像的寬高各擴(kuò)展50個(gè)pixel,這樣做的好處是令輪廓的識(shí)別更精準(zhǔn)和清晰,并且避免了頭頂處因貼近圖像邊緣,而導(dǎo)致的過度膨脹現(xiàn)象。
cv::Mat tmask = cv::Mat::zeros(row + 50, col + 50, CV_8UC1); mask.copyTo(tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)));
3)之后進(jìn)行黑帽運(yùn)算,即閉運(yùn)算減原圖,得到圖5。
圖5 黑帽運(yùn)算
4)用Clear_MicroConnected_Area函數(shù)清除小面積連通區(qū),得到圖6。
(該函數(shù)介紹見:http://www.kemok4.com/article/221904.htm)
圖6 清除小面積連通區(qū)
5)黑帽運(yùn)算結(jié)果加至原輪廓圖,并截取實(shí)際圖像尺寸。
// 黑帽運(yùn)算獲取同背景色類似的區(qū)域,識(shí)別后填充 cv::Mat hat; cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(31, 31)); cv::morphologyEx(tmask, hat, MORPH_BLACKHAT, element); hat.setTo(255, hat > 0); cv::Mat hatd; // 清除小面積區(qū)域 Clear_MicroConnected_Areas(hat, hatd, 450); tmask = tmask + hatd; // 截取實(shí)際尺寸 mask = tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)).clone();
6)至此,就得到完整的輪廓了,如圖7所示,完整代碼見后方。
圖7 完整輪廓圖
#include <opencv2/opencv.hpp> #include <iostream> #include <algorithm> #include <time.h> using namespace cv; using namespace std; // 輸入?yún)?shù) struct Inputparama { int thresh = 30; // 背景識(shí)別閾值,該值越小,則識(shí)別非背景區(qū)面積越大,需有合適范圍,目前為5-60 int transparency = 255; // 背景替換色透明度,255為實(shí),0為透明 int size = 7; // 非背景區(qū)邊緣虛化參數(shù),該值越大,則邊緣虛化程度越明顯 cv::Point p = cv::Point(0, 0); // 背景色采樣點(diǎn),可通過人機(jī)交互獲取,也可用默認(rèn)(0,0)點(diǎn)顏色作為背景色 cv::Scalar color = cv::Scalar(255, 255, 255); // 背景色 }; cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input); void Clear_MicroConnected_Areas(cv::Mat src, cv::Mat &dst, double min_area); // 計(jì)算差值均方根 int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr) { return int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3)); } int main() { cv::Mat src = imread("111.jpg"); Inputparama input; input.thresh = 100; input.transparency = 255; input.size = 6; input.color = cv::Scalar(0, 0, 255); clock_t s, e; s = clock(); cv::Mat result = BackgroundSeparation(src, input); e = clock(); double dif = e - s; cout << "time:" << dif << endl; imshow("original", src); imshow("result", result); imwrite("result1.png", result); waitKey(0); return 0; } // 背景分離 cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input) { cv::Mat bgra, mask; // 轉(zhuǎn)化為BGRA格式,帶透明度,4通道 cvtColor(src, bgra, COLOR_BGR2BGRA); mask = cv::Mat::zeros(bgra.size(), CV_8UC1); int row = src.rows; int col = src.cols; // 異常數(shù)值修正 input.p.x = max(0, min(col, input.p.x)); input.p.y = max(0, min(row, input.p.y)); input.thresh = max(5, min(200, input.thresh)); input.transparency = max(0, min(255, input.transparency)); input.size = max(0, min(30, input.size)); // 確定背景色 uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0]; uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1]; uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2]; // 計(jì)算蒙版區(qū)域(掩膜) for (int i = 0; i < row; ++i) { uchar *m = mask.ptr<uchar>(i); uchar *b = src.ptr<uchar>(i); for (int j = 0; j < col; ++j) { if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh) { m[j] = 255; } } } cv::Mat tmask = cv::Mat::zeros(row + 50, col + 50, CV_8UC1); mask.copyTo(tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols))); // 尋找輪廓,作用是填充輪廓內(nèi)黑洞 vector<vector<Point>> contour; vector<Vec4i> hierarchy; // RETR_TREE以網(wǎng)狀結(jié)構(gòu)提取所有輪廓,CHAIN_APPROX_NONE獲取輪廓的每個(gè)像素 findContours(tmask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE); drawContours(tmask, contour, -1, Scalar(255), FILLED,16); // 黑帽運(yùn)算獲取同背景色類似的區(qū)域,識(shí)別后填充 cv::Mat hat; cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(31, 31)); cv::morphologyEx(tmask, hat, MORPH_BLACKHAT, element); hat.setTo(255, hat > 0); cv::Mat hatd; Clear_MicroConnected_Areas(hat, hatd, 450); tmask = tmask + hatd; mask = tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)).clone(); // 掩膜濾波,是為了邊緣虛化 cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1)); // 改色 for (int i = 0; i < row; ++i) { uchar *r = bgra.ptr<uchar>(i); uchar *m = mask.ptr<uchar>(i); for (int j = 0; j < col; ++j) { // 蒙版為0的區(qū)域就是標(biāo)準(zhǔn)背景區(qū) if (m[j] == 0) { r[4 * j] = uchar(input.color[0]); r[4 * j + 1] = uchar(input.color[1]); r[4 * j + 2] = uchar(input.color[2]); r[4 * j + 3] = uchar(input.transparency); } // 不為0且不為255的區(qū)域是輪廓區(qū)域(邊緣區(qū)),需要虛化處理 else if (m[j] != 255) { // 邊緣處按比例上色 int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3); int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3); newb = max(0, min(255, newb)); newg = max(0, min(255, newg)); newr = max(0, min(255, newr)); newt = max(0, min(255, newt)); r[4 * j] = newb; r[4 * j + 1] = newg; r[4 * j + 2] = newr; r[4 * j + 3] = newt; } } } return bgra; } void Clear_MicroConnected_Areas(cv::Mat src, cv::Mat &dst, double min_area) { // 備份復(fù)制 dst = src.clone(); std::vector<std::vector<cv::Point> > contours; // 創(chuàng)建輪廓容器 std::vector<cv::Vec4i> hierarchy; // 尋找輪廓的函數(shù) // 第四個(gè)參數(shù)CV_RETR_EXTERNAL,表示尋找最外圍輪廓 // 第五個(gè)參數(shù)CV_CHAIN_APPROX_NONE,表示保存物體邊界上所有連續(xù)的輪廓點(diǎn)到contours向量?jī)?nèi) cv::findContours(src, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE, cv::Point()); if (!contours.empty() && !hierarchy.empty()) { std::vector<std::vector<cv::Point> >::const_iterator itc = contours.begin(); // 遍歷所有輪廓 while (itc != contours.end()) { // 定位當(dāng)前輪廓所在位置 cv::Rect rect = cv::boundingRect(cv::Mat(*itc)); // contourArea函數(shù)計(jì)算連通區(qū)面積 double area = contourArea(*itc); // 若面積小于設(shè)置的閾值 if (area < min_area) { // 遍歷輪廓所在位置所有像素點(diǎn) for (int i = rect.y; i < rect.y + rect.height; i++) { uchar *output_data = dst.ptr<uchar>(i); for (int j = rect.x; j < rect.x + rect.width; j++) { // 將連通區(qū)的值置0 if (output_data[j] == 255) { output_data[j] = 0; } } } } itc++; } } }
改進(jìn)效果
圖8 原圖與紅底對(duì)比圖
圖9 原圖與藍(lán)底對(duì)比圖
以上是“OpenCV如何實(shí)現(xiàn)背景分離”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。