Python OpenCV怎么實(shí)現(xiàn)視頻追蹤

本篇內(nèi)容主要講解“Python OpenCV怎么實(shí)現(xiàn)視頻追蹤”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Python OpenCV怎么實(shí)現(xiàn)視頻追蹤”吧!

1. MeanShift

假設(shè)有一堆點(diǎn)集和一個(gè)圓形的小窗口?，F(xiàn)在需要將此窗口移動(dòng)到具有最高點(diǎn)集密度的區(qū)域，如下圖：

第一個(gè)窗口C1是藍(lán)色圓圈的區(qū)域。藍(lán)色環(huán)的中心用藍(lán)色矩形標(biāo)記并命名為 C1_o。窗口中所有點(diǎn)的點(diǎn)集形成的質(zhì)心在藍(lán)色圓形點(diǎn)C1_r。顯然，質(zhì)心和環(huán)的質(zhì)心不重合。移動(dòng)藍(lán)色窗口，使質(zhì)心與先前獲得的質(zhì)心重合。在新移動(dòng)的圓環(huán)的區(qū)域內(nèi)再次找到圓環(huán)包圍的點(diǎn)集的質(zhì)心，然后再次移動(dòng)。通常，形心和質(zhì)心不重合。繼續(xù)執(zhí)行上述移動(dòng)過程，直到形心與質(zhì)心大致重合。這樣，最終的圓形窗口就會(huì)落到像素分布最大的地方，也就是圖中的綠色圓圈C2。

除了用于視頻跟蹤之外，MeanShift算法在涉及數(shù)據(jù)和無監(jiān)督學(xué)習(xí)的各種場景中都有重要的應(yīng)用，例如聚類、平滑等。它是一種廣泛使用的算法。

圖像是信息矩陣。如何使用MeanShift算法跟蹤視頻中的移動(dòng)物體？一般流程如下：

1）在圖像上選擇一個(gè)目標(biāo)區(qū)域，

2）計(jì)算選中區(qū)域的直方圖分布，一般是HSV顏色空間的直方圖。

3）計(jì)算下一幀圖像 b 的直方圖分布。

4）計(jì)算圖像b中與所選區(qū)域的直方圖分布最相似的區(qū)域，并使用MeanShift算法將所選區(qū)域沿最相似的部分移動(dòng)，直到找到最相似的區(qū)域。

5）重復(fù)3到4的過程，完成整個(gè)視頻目標(biāo)跟蹤。

一般情況下，我們使用直方圖反投影得到的圖像和目標(biāo)物體在第一幀的起始位置。當(dāng)目標(biāo)物體的運(yùn)動(dòng)會(huì)在直方圖反投影圖像中反映出來時(shí)，MeanShift算法會(huì)將窗口移動(dòng)到反投影圖像中灰度密度最高的區(qū)域。

假設(shè)我們有一個(gè) 100x100 的輸入圖像和一個(gè) 10x10 的模板圖像，直方圖反投影的過程是這樣的：

1）從輸入圖像的左上角(0,0)開始，從(0,0)到(10,10)剪切一張臨時(shí)圖像。

2）生成臨時(shí)圖像的直方圖。

3）將臨時(shí)圖像的直方圖與模板圖像的直方圖進(jìn)行比較，比較結(jié)果標(biāo)記為c。

4）直方圖比較結(jié)果c為結(jié)果圖像中(0,0)處的像素值。

5）將輸入圖像的臨時(shí)圖像從(0,1)剪切到(10,11)，對比直方圖，記錄結(jié)果圖像。

6）重復(fù)步驟1到5，直到輸入圖像的右下角，形成直方圖的反投影。

cv.meanShift(probImage, window, criteria)

參數(shù)：

probImage ROI區(qū)域，即目標(biāo)的直方圖的反向投影。

window  初始搜索窗口，就是定義ROI的rect。

criteria 確定窗口搜索停止的準(zhǔn)則，主要有迭代次數(shù)達(dá)到設(shè)置的最大值，窗口中心的漂移值大于某個(gè)設(shè)定的限值等。

2. CamShift

MeanShift的結(jié)果有一個(gè)問題，檢測窗口的大小是固定的，而狗是一個(gè)由近到遠(yuǎn)逐漸變小的過程，固定的窗口是不合適的。 所以需要根據(jù)目標(biāo)的大小和角度來修正窗口的大小和角度。

CamShift（Continuously Adaptive Mean-Shift algorithm）是MeanShift算法的改進(jìn)算法，可以解決這個(gè)問題。它可以隨著跟蹤目標(biāo)大小的變化實(shí)時(shí)調(diào)整搜索窗口的大小，具有更好的跟蹤效果。 Camshift 算法首先應(yīng)用MeanShift。 一旦MeanShift收斂，它就會(huì)更新窗口的大小，同時(shí)計(jì)算出最佳擬合橢圓的方向，從而根據(jù)目標(biāo)的位置和大小來更新搜索窗口。

例：使用MeanShift和CamShift方法獲取視頻中的狗，并標(biāo)注。

import cv2 as cv
import numpy as np
 
# 獲取視頻
cap = cv.VideoCapture('image/DOG.wmv')
 
# 指定追蹤目標(biāo)
ret, frame = cap.read()
r, h, c, w = 197, 141, 0, 208
win = (c, r, w, h)
roi = frame[r:r + h, c:c + w]
 
# 計(jì)算直方圖
hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
roi_hist = cv.calcHist([hsv_roi], [0], None, [180], [0, 180])
cv.normalize(roi_hist, roi_hist, 0, 255, cv.NORM_MINMAX)
 
# 目標(biāo)追蹤
term = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1)
 
# meanshift
while True:
    ret, frame = cap.read()
    if ret:
        hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
 
        ret, win = cv.meanShift(dst, win, term)
 
        x, y, w, h = win
        img2 = cv.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
        cv.imshow("frame", img2)
        if cv.waitKey(60) & 0xFF == ord('q'):
            break
 
# camshift
while True:
    ret, frame = cap.read()
    if ret:
        hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
 
        ret, track_window = cv.CamShift(dst, win, term)
 
        # 繪制追蹤結(jié)果
        pts = cv.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv.polylines(frame, [pts], True, 255, 2)
        cv.imshow("frame", img2)
        if cv.waitKey(60) & 0xFF == ord('q'):
            break
 
# 釋放資源
cap.release()
cv.destroyAllWindows()

到此，相信大家對“Python OpenCV怎么實(shí)現(xiàn)視頻追蹤”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！