Python+OpenCV怎么實(shí)現(xiàn)拖拽虛擬方塊效果

今天小編給大家分享一下Python+OpenCV怎么實(shí)現(xiàn)拖拽虛擬方塊效果的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)，邏輯清晰，相信大部分人都還太了解這方面的知識(shí)，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來(lái)了解一下吧。

一、項(xiàng)目效果

二、核心流程

1、openCV讀取視頻流、在每一幀圖片上畫(huà)一個(gè)矩形。

2、使用mediapipe獲取手指關(guān)鍵點(diǎn)坐標(biāo)。

3、根據(jù)手指坐標(biāo)位置和矩形的坐標(biāo)位置，判斷手指點(diǎn)是否在矩形上，如果在則矩形跟隨手指移動(dòng)。

三、代碼流程

環(huán)境準(zhǔn)備：

python: 3.8.8

opencv: 4.2.0.32

mediapipe: 0.8.10.1

注：

1、opencv版本過(guò)高或過(guò)低可能出現(xiàn)一些如攝像頭打不開(kāi)、閃退等問(wèn)題，python版本影響opencv可選擇的版本。

2、pip install mediapipe 后可能導(dǎo)致openCV無(wú)法正常使用，卸了重新下載，習(xí)慣了就好。

1. 讀取攝像頭視頻，畫(huà)矩形

import cv2
import time
import numpy as np
 
 
# 調(diào)用攝像頭 0 默認(rèn)攝像頭 
cap = cv2.VideoCapture(0)
 
# 初始方塊數(shù)據(jù)
x = 100
y = 100
w = 100
h = 100
 
# 讀取一幀幀照片
while True:
    # 返回frame圖片
    rec,frame = cap.read()
    
    # 鏡像
    frame = cv2.flip(frame,1)
    
    # 畫(huà)矩形 
    cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 255), -1)
 
    # 顯示畫(huà)面
    cv2.imshow('frame',frame)
    
    # 退出條件
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    
cap.release()
cv2.destroyAllWindows()

這是很基礎(chǔ)的一步操作，此時(shí)我們運(yùn)行這段代碼，攝像頭打開(kāi)，我們會(huì)驚訝地看到自己英俊的臉龐，且左上角有個(gè)100*100的紫色矩形。

2. 導(dǎo)入mediapipe處理手指坐標(biāo)

pip install mediapipe

此時(shí)可能出現(xiàn)一些問(wèn)題，比如openCV突然用不了了，沒(méi)關(guān)系，卸載了重新下。

mediapipe詳細(xì)信息：Hands - mediapipe (google.github.io)

簡(jiǎn)單來(lái)說(shuō)，它會(huì)返回給我們21個(gè)手指關(guān)鍵點(diǎn)的坐標(biāo)，即它在視頻畫(huà)面的位置比例( 0~1 )，我們乘以對(duì)應(yīng)畫(huà)面的寬高，就能得到手指對(duì)應(yīng)的坐標(biāo)了。

本次用到食指和中指指尖，也就是8號(hào)和12號(hào)。

2.1 配置一些基礎(chǔ)信息

import cv2
import time
import numpy as np
import mediapipe as mp
 
 
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.hands
 
hands =  mp_hands.Hands(
    static_image_mode=True,
    max_num_hands=2,
    min_detection_confidence=0.5)

2.2 在處理每一幀圖像時(shí)，加入

    frame.flags.writeable = False
    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    # 返回結(jié)果
    results = hands.process(frame)
 
    frame.flags.writeable = True
    frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)

當(dāng)我們?cè)谝曨l流中讀取每一幀圖片時(shí)，將其從BGR轉(zhuǎn)為RGB供給mediapipe生成的hands對(duì)象讀取，它會(huì)返回這張圖片中手指關(guān)鍵點(diǎn)的信息，我們只需要繼續(xù)對(duì)其作畫(huà)，畫(huà)在每一幀圖片上。

    # 如果結(jié)果不為空
    if results.multi_hand_landmarks:
 
        # 遍歷雙手(根據(jù)讀取順序，一只只手遍歷、畫(huà)畫(huà))
        for hand_landmarks in results.multi_hand_landmarks:
            mp_drawing.draw_landmarks(
                frame,
                hand_landmarks,
                mp_hands.HAND_CONNECTIONS,
                mp_drawing_styles.get_default_hand_landmarks_style(),
                mp_drawing_styles.get_default_hand_connections_style())

2.3 至此步驟完整代碼

import cv2
import time
import numpy as np
import mediapipe as mp
 
 
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.hands
 
hands =  mp_hands.Hands(
    static_image_mode=True,
    max_num_hands=2,
    min_detection_confidence=0.5)
 
 
# 調(diào)用攝像頭 0 默認(rèn)攝像頭 
cap = cv2.VideoCapture(0)
 
# 方塊初始數(shù)組
x = 100
y = 100
w = 100
h = 100
 
 
# 讀取一幀幀照片
while True:
    # 返回frame圖片
    rec,frame = cap.read()
    
    # 鏡像
    frame = cv2.flip(frame,1)
    
    
    
    frame.flags.writeable = False
    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    # 返回結(jié)果
    results = hands.process(frame)
 
    frame.flags.writeable = True
    frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
    
    
    # 如果結(jié)果不為空
    if results.multi_hand_landmarks:
 
        # 遍歷雙手(根據(jù)讀取順序，一只只手遍歷、畫(huà)畫(huà))
        # results.multi_hand_landmarks n雙手
        # hand_landmarks 每只手上21個(gè)點(diǎn)信息
        for hand_landmarks in results.multi_hand_landmarks:
            mp_drawing.draw_landmarks(
                frame,
                hand_landmarks,
                mp_hands.HAND_CONNECTIONS,
                mp_drawing_styles.get_default_hand_landmarks_style(),
                mp_drawing_styles.get_default_hand_connections_style())
    
    
    # 畫(huà)矩形 
    cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 255), -1)
 
    # 顯示畫(huà)面
    cv2.imshow('frame',frame)
    
    # 退出條件
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    
cap.release()
cv2.destroyAllWindows()

3. 位置計(jì)算

我們這個(gè)實(shí)驗(yàn)要求拖動(dòng)方塊，那肯定也有不拖動(dòng)的時(shí)候，因此不妨根據(jù)上一步獲取食指(8)和中指(12)指尖的位置，如果這倆離得近，我們就在他與方塊重合的時(shí)候，根據(jù)手指的位置改變方塊的坐標(biāo)。

完整代碼

import cv2
import time
import math
import numpy as np
import mediapipe as mp
 
# mediapipe配置
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.hands
hands =  mp_hands.Hands(
    static_image_mode=True,
    max_num_hands=2,
    min_detection_confidence=0.5)
 
 
# 調(diào)用攝像頭 0 默認(rèn)攝像頭 
cap = cv2.VideoCapture(0)
 
# cv2.namedWindow("frame", 0)
# cv2.resizeWindow("frame", 960, 640)
 
 
# 獲取畫(huà)面寬度、高度
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
 
 
# 方塊初始數(shù)組
x = 100
y = 100
w = 100
h = 100
 
L1 = 0
L2 = 0
 
on_square = False
square_color = (0, 255, 0)
 
# 讀取一幀幀照片
while True:
    # 返回frame圖片
    rec,frame = cap.read()
    
    # 鏡像
    frame = cv2.flip(frame,1)
    
    
    
    frame.flags.writeable = False
    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    # 返回結(jié)果
    results = hands.process(frame)
 
    frame.flags.writeable = True
    frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
    
    
    # 如果結(jié)果不為空
    if results.multi_hand_landmarks:
 
 
        # 遍歷雙手(根據(jù)讀取順序，一只只手遍歷、畫(huà)畫(huà))
        # results.multi_hand_landmarks n雙手
        # hand_landmarks 每只手上21個(gè)點(diǎn)信息
        for hand_landmarks in results.multi_hand_landmarks:
            mp_drawing.draw_landmarks(
                frame,
                hand_landmarks,
                mp_hands.HAND_CONNECTIONS,
                mp_drawing_styles.get_default_hand_landmarks_style(),
                mp_drawing_styles.get_default_hand_connections_style())
            
            # 記錄手指每個(gè)點(diǎn)的x y 坐標(biāo)
            x_list = []
            y_list = []
            for landmark in hand_landmarks.landmark:
                x_list.append(landmark.x)
                y_list.append(landmark.y)
                
            
            # 獲取食指指尖
            index_finger_x, index_finger_y = int(x_list[8] * width),int(y_list[8] * height)
 
            # 獲取中指
            middle_finger_x,middle_finger_y = int(x_list[12] * width), int(y_list[12] * height)
 
 
            # 計(jì)算兩指尖距離
            finger_distance = math.hypot((middle_finger_x - index_finger_x), (middle_finger_y - index_finger_y))
 
            # 如果雙指合并(兩之間距離近)
            if finger_distance < 60:
 
                # X坐標(biāo)范圍 Y坐標(biāo)范圍
                if (index_finger_x > x and index_finger_x < (x + w)) and (
                        index_finger_y > y and index_finger_y < (y + h)):
 
                    if on_square == False:
                        L1 = index_finger_x - x
                        L2 = index_finger_y - y
                        square_color = (255, 0, 255)
                        on_square = True
 
            else:
                # 雙指不合并/分開(kāi)
                on_square = False
                square_color = (0, 255, 0)
 
            # 更新坐標(biāo)
            if on_square:
                x = index_finger_x - L1
                y = index_finger_y - L2
            
            
 
    # 圖像融合 使方塊不遮擋視頻圖片
    overlay = frame.copy()
    cv2.rectangle(frame, (x, y), (x + w, y + h), square_color, -1)
    frame = cv2.addWeighted(overlay, 0.5, frame, 1 - 0.5, 0)
    
 
    # 顯示畫(huà)面
    cv2.imshow('frame',frame)
    
    # 退出條件
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    
cap.release()
cv2.destroyAllWindows()

以上就是“Python+OpenCV怎么實(shí)現(xiàn)拖拽虛擬方塊效果”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會(huì)為大家更新不同的知識(shí)，如果還想學(xué)習(xí)更多的知識(shí)，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。