一個(gè)基于Emgu的運(yùn)動(dòng)檢測(cè)實(shí)例

最近在做一個(gè)威視IPC的視覺跟蹤項(xiàng)目，因?yàn)閷?shí)際操作跟本人無關(guān)，只是因?yàn)榕d趣做點(diǎn)小研究而已，因?yàn)槠脚_(tái)主要是用C#的，那視覺處理庫無疑選擇Emgu會(huì)比較理想一點(diǎn)，Emgu是OpenCV的一個(gè)C#封裝，網(wǎng)上放出來的資料并不多見，搜索耗費(fèi)不少的時(shí)間，Emgu的入門好像網(wǎng)上有些挺好的文章，在此不贅述。

本來項(xiàng)目的要求應(yīng)該是要實(shí)時(shí)的，但使用Emgu好像挺難實(shí)時(shí)的，且不說實(shí)時(shí)視頻幀很難保證，就Emgu的一句圖像比較函數(shù)在我i5的機(jī)器下就花掉了100多ms，然而接近實(shí)時(shí)也并非不可能的，例如使用更好的CPU或使用顯卡運(yùn)算，也許存在更好的視覺處理庫，方法應(yīng)該不少的。我的項(xiàng)目實(shí)際要求是統(tǒng)計(jì)物體運(yùn)動(dòng)軌跡再作一些簡(jiǎn)單的判斷而已，所以我采取一種惡心的方式，將視頻數(shù)據(jù)流存放到一個(gè)Queue中，再開一條線程慢慢處理這此數(shù)據(jù)，反正我只需要事后得知結(jié)果而已，保證原始數(shù)據(jù)的實(shí)時(shí)顯得更重要一點(diǎn)。

事先聲明一點(diǎn)，因?yàn)殚_發(fā)的原因，沒法在辦公室里調(diào)試攝像頭，我建了一個(gè)ImageStream的類，用于封裝采集到的視頻數(shù)據(jù)，因?yàn)镋mgu中使用的是Image<TColor>的類型，這里邊會(huì)有一些圖像格式轉(zhuǎn)換的工作需要注意。將視頻數(shù)據(jù)Byte[]轉(zhuǎn)成為Image<TColor>不算太難吧，也就是一句話的事而已，可能需要注意JPEG跟BMP格式的。因?yàn)槭悄M，我將電腦上JPG圖片轉(zhuǎn)成為Byte[]數(shù)據(jù)流，放到ImageStream里，開一個(gè)線程塞圖像數(shù)據(jù)，一個(gè)線程處理圖像，大概流程就是這樣。

先上ImageStream類的代碼，如下：

using Emgu.CV;
using Emgu.CV.Structure;
using System;
using System.Collections.Generic;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace QImageClass
{
    /// <summary>
    /// 用于保存Image數(shù)據(jù)流的類
    /// </summary>
    public class ImageStream
    {
        /// <summary>
        /// 時(shí)間值
        /// </summary>
        public DateTime m_DateTime;
        /// <summary>
        /// 源文件名
        /// </summary>
        public string m_SrcFileName;
        /// <summary>
        /// 圖像流
        /// </summary>
        public MemoryStream m_ImageStream = null;
        /// <summary>
        /// 構(gòu)造函數(shù)
        /// </summary>
        /// <param name="dt"></param>
        /// <param name="pBuf"></param>
        public ImageStream(DateTime dt, byte[] pBuf, string srcFileName = null)
        {
            this.m_DateTime = dt;
            this.m_ImageStream = new MemoryStream(pBuf);
            this.m_SrcFileName = srcFileName;
        }
        /// <summary>
        /// 轉(zhuǎn)換成為Emgu的圖像
        /// </summary>
        /// <returns></returns>
        public Image<Bgr, Byte> ToEmguImage()
        {
            Image img = Image.FromStream(this.m_ImageStream);
            return new Image<Bgr, Byte>((Bitmap)(img));
        }
        /// <summary>
        /// 根據(jù)時(shí)間作為文件名
        /// </summary>
        /// <returns></returns>
        public string ToFileName()
        {
            string file = this.m_DateTime.Year.ToString("D4") + "-" +
                this.m_DateTime.Month.ToString("D2") + "-" +
                this.m_DateTime.Day.ToString("D2") + "-" +
                this.m_DateTime.Hour.ToString("D2") + "-" +
                this.m_DateTime.Minute.ToString("D2") + "-" +
                this.m_DateTime.Second.ToString("D2") + "-" +
                this.m_DateTime.Millisecond.ToString("D3");
            return file;
        }
    }
}

類中的m_DateTime跟m_SrcFileName只是作一個(gè)數(shù)據(jù)源的識(shí)別參數(shù)而已，為的是調(diào)試上的方便。

圖像運(yùn)動(dòng)檢測(cè)我封裝成為了一個(gè)Poser類，使用Add(ImageStream im)將圖像數(shù)據(jù)加入到處理隊(duì)列里，然后自行在ProcessThread的線程中處理，Poser的代碼如下：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.IO;
using System.Collections;
using System.Threading;
using Emgu.CV;
using Emgu.CV.Structure;
using System.Diagnostics;
using Emgu.CV.VideoSurveillance;
using Emgu.CV.CvEnum;
using System.Drawing;
namespace QImageClass
{
    /// <summary>
    /// Image序列處理類
    /// </summary>
    public class ImagePoser
    {
        /// <summary>
        /// 圖像流數(shù)據(jù)鏈表
        /// </summary>
        private Queue<ImageStream> _ImageStreamList = new Queue<ImageStream>();
        /// <summary>
        /// 退出線程的標(biāo)志
        /// </summary>
        private bool _QuitThreadFlag = true;
        /// <summary>
        /// 加入序列的總數(shù)量
        /// </summary>
        private int _TotalImageCount = 0;
        /// <summary>
        /// 已經(jīng)處理完畢的數(shù)量
        /// </summary>
        private int _FinishedCount = 0;
        /// <summary>
        /// 互斥鎖
        /// </summary>
        private Mutex _WaitMutex = new Mutex();
        /// <summary>
        /// 前景與背景檢測(cè)器
        /// </summary>
        private FGDetector<Bgr> _ForeGroundDetector = null;
        /// <summary>
        /// 默認(rèn)構(gòu)造函數(shù)
        /// </summary>
        public ImagePoser()
        {
        }
        /// <summary>
        /// 開始進(jìn)行圖像處理
        /// </summary>
        public void Start()
        {
            this._QuitThreadFlag = false;
            Thread thread = new Thread(new ThreadStart(this.ProcessThread));
            thread.Name = "ImagePoserThread";
            thread.Is true;
             thread.Start();
        }
        /// <summary>
        /// 停止圖像處理線程
        /// </summary>
        public void Stop()
        {
            this._QuitThreadFlag = true;
        }
        /// <summary>
        /// 退出條件
        /// </summary>
        /// <returns></returns>
        protected virtual bool StopCondition()
        {
            Queue<int> fifo = new Queue<int>();
            return false;
        }
        /// <summary>
        /// 添加圖像數(shù)據(jù)
        /// </summary>
        /// <param name="p_w_picpathStream"></param>
        public void Add(ImageStream p_w_picpathStream)
        {
            this._WaitMutex.WaitOne();
            this._ImageStreamList.Enqueue(p_w_picpathStream);
            this._TotalImageCount++;
            Debug.WriteLine("Poser Add : " + this._TotalImageCount.ToString());
            this._WaitMutex.ReleaseMutex();
        }
        /// <summary>
        /// 總共需要處理的數(shù)量
        /// </summary>
        /// <returns></returns>
        public int GetTotalCount()
        {
            return this._TotalImageCount;
        }
        /// <summary>
        /// 已經(jīng)處理完畢的數(shù)量
        /// </summary>
        /// <returns></returns>
        public int GetBeFinishedCount()
        {
            return this._FinishedCount;
        }
        /// <summary>
        /// 獲取當(dāng)前未處理的數(shù)量
        /// </summary>
        /// <returns></returns>
        public int GetUnFinishedCount()
        {
            this._WaitMutex.WaitOne();
            int nListCount = this._ImageStreamList.Count;
            this._WaitMutex.ReleaseMutex();
            return nListCount;
        }
        /// <summary>
        /// 圖像處理線程
        /// </summary>
        private void ProcessThread()
        {
            //前景檢測(cè)器
            if (this._ForeGroundDetector == null)
            {
                this._ForeGroundDetector = new FGDetector<Bgr>(FORGROUND_DETECTOR_TYPE.FGD);
            }
            while (!this._QuitThreadFlag)
            {
                ImageStream im = null;
                this._WaitMutex.WaitOne();
                if (this._ImageStreamList.Count == 0)
                {
                    this._WaitMutex.ReleaseMutex();
                    Thread.Sleep(1);
                    continue;
                }
                Stopwatch st = new Stopwatch();
                st.Start();
                //抽取出一組ImageStream
                im = this._ImageStreamList.Dequeue();
                this._FinishedCount++;
                this._WaitMutex.ReleaseMutex();
                //轉(zhuǎn)換成為OpenCV所使用的圖片格式
                Image<Bgr, Byte> tagImage = (im.ToEmguImage()).Resize(0.5, INTER.CV_INTER_LINEAR);
                //tagImage.Save("E:\\" + im.ToFileName() + ".bmp");//保存Bmp格式文件
                //運(yùn)動(dòng)檢測(cè)
                //////////////////////////////////////////////////////////////////////////
                //高斯處理
                tagImage.SmoothGaussian(3);
                //獲取前景，將其轉(zhuǎn)成為灰度圖
                _ForeGroundDetector.Update(tagImage);
                Image<Gray, Byte> foreGroundMark = _ForeGroundDetector.ForegroundMask;
                //foreGroundMark.Save("E:\\" + im.ToFileName() + ".bmp");//保存Bmp格式文件
                //連續(xù)區(qū)域的邊緣點(diǎn)集
                Contour<Point> contour = foreGroundMark.FindContours();
                if (contour != null)
                {
                    //Rectangle rect = contour.BoundingRectangle;
                    //Image<Bgr, Byte> resImg = new Image<Bgr, Byte>(foreGroundMark.Size);
                                                                                                      
                    //繪畫邊緣點(diǎn)集
                    foreach (Point p in contour)
                    {
                        tagImage.Draw(new CircleF(p, 2.0f), new Bgr(Color.Red), 1);
                    }
                    //繪畫綁定矩形
                    tagImage.Draw(contour.BoundingRectangle, new Bgr(Color.Green), 1);
                }
                //保存處理后的圖片
                tagImage.Save("E:\\" + im.ToFileName() + ".bmp");//保存Bmp格式文件
                //計(jì)算圖像處理時(shí)間
                st.Stop();
                Debug.WriteLine("Poser處理耗時(shí) ： " + st.ElapsedMilliseconds.ToString() + "ms\r\n");
                Thread.Sleep(1);
            }
        }
    }
}

使用時(shí)，開啟一個(gè)線程（應(yīng)該沒難度吧？），使用類似如下的代碼

/// <summary>
/// 填充數(shù)據(jù)流
/// </summary>
private void Thread1()
{
    //讀取資源文件
    EmunFileReader reader = new EmunFileReader("D:\\TEST_JPG - 副本", ".jpg");
    string[] fileList = reader.GetFileList();
    int nCount = reader.GetFileCount();
    //圖像處理器
    ImagePoser poser = new ImagePoser();
    poser.Start();
    foreach (string s in fileList)
    { 
        //將圖片轉(zhuǎn)成為ImageStream
        Debug.WriteLine(s);
        Image img = Image.FromFile(s);
        ImageStream ism = new ImageStream(DateTime.Now, ImageConvert.ImageToBytes(img, ImageFormat.Jpeg), s);
        poser.Add(ism);
        Thread.Sleep(1);
    }
    while (true)
    {
        if (poser.GetTotalCount() == nCount && poser.GetBeFinishedCount() == nCount)
        {
            poser.Stop();
            break;
        }
        else
        {
            Thread.Sleep(1);
        }
    }
}

至于原始圖片，大家可以自行尋找，我是用PS來P出一個(gè)會(huì)動(dòng)的物體，原圖跟結(jié)果圖像都放在附件里，大家可以自己下載下來玩一下。