python人物視頻背景替換實(shí)現(xiàn)虛擬空間穿梭的方法

這篇文章主要介紹“python人物視頻背景替換實(shí)現(xiàn)虛擬空間穿梭的方法”，在日常操作中，相信很多人在python人物視頻背景替換實(shí)現(xiàn)虛擬空間穿梭的方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”python人物視頻背景替換實(shí)現(xiàn)虛擬空間穿梭的方法”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

準(zhǔn)備工作

在實(shí)現(xiàn)該功能之前，我們需要準(zhǔn)備好python==3.7 然后執(zhí)行：

pip install mediapipe

方案一： PC端可以選擇外界攝像頭或者連接網(wǎng)絡(luò)攝像頭，最好挑選一個(gè)純屬的背景板作為視頻畫面背景（這樣有利于任務(wù)分割）；

方案二： 網(wǎng)上下載有人物活動(dòng)的視頻，然后用下載的視頻替代連接攝像頭。

到這里我們基礎(chǔ)物件已經(jīng)搭建好了，本實(shí)驗(yàn)代碼選擇方案二，對下載視頻分析，其shape=（740,640,3）。接下來我將帶領(lǐng)大家實(shí)現(xiàn)三個(gè)版本的背景替換

純RGB背景替換

基礎(chǔ)板：將人物提取出來，替換成設(shè)定好的純色背景（可以通過RGB設(shè)定）。其基本流程如下：

1. 輸入視頻

2. 獲取視頻幀

3. 提取幀內(nèi)人物圖像

4. 設(shè)定背景RGB值

5. 創(chuàng)建同視頻幀同shape的RGB圖像

6. 結(jié)合背景圖與人物圖

7. 輸出結(jié)合圖

示例demo：

import cv2
import mediapipe as mp
import numpy as np
mp_drawing = mp.solutions.drawing_utils
mp_selfie_segmentation = mp.solutions.selfie_segmentation
BG_COLOR = (0, 0, 225) # red
cap = cv2.VideoCapture('111.mp4')
with mp_selfie_segmentation.SelfieSegmentation(
    model_selection=0) as selfie_segmentation:
  bg_image = None
  while cap.isOpened():
    success, image = cap.read()
    if not success:
      break
    image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
    image.flags.writeable = False
    results = selfie_segmentation.process(image)
    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    condition = np.stack(
      (results.segmentation_mask,) * 3, axis=-1) > 0.8
    if bg_image is None:
      bg_image = np.zeros(image.shape, dtype=np.uint8)
      bg_image[:] = BG_COLOR
      print(bg_image.shape)
    output_image = np.where(condition, image, bg_image)
    cv2.imshow('MediaPipe Selfie Segmentation', output_image)
    if cv2.waitKey(5) & 0xFF == 27:
      break
cap.release()

原視頻節(jié)選幀&替換背景幀：

自定義圖像背景板替換

由于我們已知圖像的shape，我們可以在網(wǎng)上挑選自己喜歡的背景圖，然后調(diào)整背景圖的shape，使其與視頻圖像保持一致。整體流程圖下：

1. 下載選擇喜歡的背景圖像

2. 調(diào)整下載圖像的shape=(740,604,3)

3. 讀取視頻

4. 獲取視頻幀

5. 獲取視頻幀內(nèi)人物圖像

6. 結(jié)合背景圖和人物圖像

7. 輸出視頻畫面

修改圖像大小并進(jìn)行50%縮放后的背景圖：

背景圖結(jié)合人物圖：

這里我的背景圖選擇的有些單調(diào)，也不是那么適合，望讀者見諒！ 代碼部分修改：

bg_image = cv2.imread("BBB.jpg")

到此，關(guān)于“python人物視頻背景替換實(shí)現(xiàn)虛擬空間穿梭的方法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！