基于OpenCV進(jìn)行文本分塊切割

假設(shè)有如下一張圖，如何把其中的文本分塊切割出來，比如“華普超市朝陽門店”、“2015-07-26”就是兩個(gè)文本塊。

做圖像切割有很多種方法，本文描述一種最直觀的投影檢測法。先來看看什么是投影，簡單來說，投影就是在一定方向上有效像素的數(shù)量。來看個(gè)直觀的圖像：

這是一張水平投影圖與原圖的對比，從投影圖上能看到多個(gè)波峰，文字多的地方，投影就長，行間的空白處，投影為0。 上個(gè)示例代碼：

public void HorizontalProjection()
{
    //以灰度圖方式讀入源文件
    string filename = "source.jpg";
    var src = IplImage.FromFile(filename, LoadMode.GrayScale);

    //二值化，采用閾值分割法
    Cv.Threshold(src, src, 0, 255, ThresholdType.BinaryInv | ThresholdType.Otsu);

    //存儲(chǔ)投影值的數(shù)組
    var h = new int[src.Height];

    //對每一行計(jì)算投影值
    for(int y = 0;y < src.Height;++y)
    {
        //遍歷這一行的每一個(gè)像素，如果是有效的，累加投影值
        for(int x = 0;x < src.Width;++x)
        {
            var s = Cv.Get2D(src, y, x);
            if(s.Val0 == 255)
                h[y]++;
        }
    }

    //準(zhǔn)備一個(gè)圖像用于畫投影圖
    var paintY = Cv.CreateImage(src.Size, BitDepth.U8, 1);
    Cv.Zero(paintY);

    //畫圖
    var t = new CvScalar(255);
    for(int y = 0;y < src.Height;++y)
    {
        for(int x = 0;x < h[y];++x)
            Cv.Set2D(paintY, y, x, t);
    }

    //顯示
    using(var window = new CvWindow("Source"))
    {
        window.Image = src;
        using(var win2 = new CvWindow("Projection"))
        {
            win2.Image = paintY;
            Cv.WaitKey();
        }
    }
}

顯然找出波峰對應(yīng)的y值，就能把行切割開了。 得到一行以后，可以采用類似的思想進(jìn)行垂直投影，挑了一行測試一下，效果如下：

可以看到效果不是特別好，左右結(jié)構(gòu)的漢字有可能被切開，一個(gè)完整的數(shù)值也有可能分成多個(gè)數(shù)字，這種情況需要做一下處理，比如識別的時(shí)候要判斷如果間距較小就認(rèn)為仍是同一文本塊，或者對圖像進(jìn)行一下橫向膨脹處理：

var kernal = Cv.CreateStructuringElementEx(3, 1, 1, 0, ElementShape.Rect);
Cv.Dilate(src, src, kernal, 4);

再計(jì)算投影，得到的效果就好多了：

最后上完整代碼以及切割效果展示：

using System;
using System.Collections.Generic;
using System.IO;
using System.Text;

using OpenCvSharp;
using OpenCvSharp.Extensions;
using OpenCvSharp.Utilities;

namespace OpenCvTest
{
    class Program
    {
        static void Main(string[] args)
        {
            //打開源文件
            string filename = "source.jpg";
            var src = IplImage.FromFile(filename);

            //轉(zhuǎn)成灰度圖
            var gray = Cv.CreateImage(src.Size, BitDepth.U8, 1);
            Cv.CvtColor(src, gray, ColorConversion.BgrToGray);

            //二值化，閾值分割算法
            Cv.Threshold(gray, gray, 0, 255, ThresholdType.BinaryInv | ThresholdType.Otsu);

            //分行
            var rows = GetRowRects(gray);

            //針對每一行再分塊
            var items = new List<CvRect>();
            foreach (var row in rows)
            {
                var cols = GetBlockRects(gray.Clone(row), row.Y);
                items.AddRange(cols);
            }

            //把識別出的每一塊畫到原圖上去
            var color = new CvScalar(255, 0, 0);
            foreach (var rect in items)
            {
                Cv.DrawRect(src, rect, color, 1);
            }

            //顯示
            using (var window = new CvWindow("Image"))
            {
                window.Image = src;
                Cv.WaitKey();
            }
        }

        /// <summary>
        /// 識別行
        /// </summary>
        /// <param name="source"></param>
        /// <returns></returns>
        private static List<CvRect> GetRowRects(IplImage source)
        {
            var rows = new List<CvRect>();

            //用于存儲(chǔ)投影值
            var projection = new int[source.Height];

            //遍歷每一行計(jì)算投影值
            for (int y = 0; y < source.Height; ++y)
            {
                for (int x = 0; x < source.Width; ++x)
                {
                    var s = Cv.Get2D(source, y, x);
                    if (s.Val0 == 255)
                        projection[y]++;
                }
            }

            bool inLine = false;
            int start = 0;

            //開始根據(jù)投影值識別分割點(diǎn)
            for (int i = 0; i < projection.Length; ++i)
            {
                if (!inLine && projection[i] > 10)
                {
                    //由空白進(jìn)入字符區(qū)域了，記錄標(biāo)記
                    inLine = true;
                    start = i;
                }
                else if ((i - start > 5) && projection[i] < 10 && inLine)
                {
                    //由字符區(qū)域進(jìn)入空白區(qū)域了
                    inLine = false;

                    //忽略高度太小的行，比如分隔線
                    if (i - start > 10)
                    {
                        //記錄下位置
                        var rect = new CvRect(0, start - 1 , source.Width, i - start + 2);
                        rows.Add(rect);
                    }
                }
            }
            
            return rows;
        }

        /// <summary>
        /// 識別塊
        /// </summary>
        /// <param name="source"></param>
        /// <param name="rowY"></param>
        /// <returns></returns>
        private static List<CvRect> GetBlockRects(IplImage source, int rowY)
        {
            var blocks = new List<CvRect>();

            //用于存儲(chǔ)投影值
            var projection = new int[source.Width];
            
            //先進(jìn)行橫向膨脹
            var kernal = Cv.CreateStructuringElementEx(3, 1, 1, 0, ElementShape.Rect);
            Cv.Dilate(source, source, kernal, 4);

            //遍歷每一列計(jì)算投影值
            for (int x = 0; x < source.Width; ++x)
            {
                for (int y = 0; y < source.Height; ++y)
                {
                    var s = Cv.Get2D(source, y, x);
                    if (s.Val0 == 255)
                        projection[x]++;
                }
            }

            bool inBlock = false;
            int start = 0;

            //開始根據(jù)投影值識別分割點(diǎn)
            for (int i = 0; i < projection.Length; ++i)
            {
                if (!inBlock && projection[i] >= 2)
                {
                    //由空白區(qū)域進(jìn)入字符區(qū)域了
                    inBlock = true;
                    start = i;
                }
                else if ((i - start > 10) && inBlock && projection[i] < 2)
                {
					//由字符區(qū)域進(jìn)入空白區(qū)域了
					inBlock = false;

					//記錄位置，注意由于傳入的是source只是一行，因此最終的位置信息要+rowY
					if(blocks.Count > 0)
					{
						//跟上一個(gè)比一下，如果距離過近，認(rèn)為是同一個(gè)文本塊，合并
						var last = blocks[blocks.Count - 1];

						if (start - last.X - last.Width <= 5)
						{
							blocks.RemoveAt(blocks.Count - 1);
							var rect = new CvRect(last.X, rowY, i - last.X, source.Height);
							blocks.Add(rect);
						}
						else
						{
							var rect = new CvRect(start, rowY, i - start, source.Height);
							blocks.Add(rect);
						}
					}
					else
					{
						var rect = new CvRect(start, rowY, i - start, source.Height);
						blocks.Add(rect);
					}                }
            }

            return blocks;
        }
    }
}

得到的圖像如下，效果還行，將來繼續(xù)優(yōu)化吧：

未經(jīng)許可嚴(yán)禁轉(zhuǎn)載。