久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

章毓晉
男，教授，博士生導(dǎo)師。主要科學(xué)研究領(lǐng)域?yàn)槠浞e極倡導(dǎo)的圖像工程（圖像處理、圖像分析、圖像理解及其技術(shù)應(yīng)用）和相關(guān)學(xué)科。已在國內(nèi)外發(fā)表了300余篇圖像工程研究論文，出版了專著《圖象分割》和《基于內(nèi)容的視覺信息檢索》，編著了《英漢圖像工程辭典》，主編出版了 "Advances in Image and Video Segmentation" 和 "Semantic-Based Visual Information Retrieval"。

摘要：本文對與機(jī)器視覺和圖像技術(shù)相關(guān)的一些名詞給出了簡潔概括的定義，對機(jī)器視覺中主要涉及的圖像技術(shù)的原理進(jìn)行了介紹，并給出了一些圖像技術(shù)應(yīng)用的實(shí)例和結(jié)果。

關(guān)鍵詞：機(jī)器視覺；圖像工程；圖像出來；圖像分析；圖像理解；圖像技術(shù)

Abstract: This paper provides the brief and general definitions of some terms related to 
machine vision and image techniques. It also gives some specified introductions for the 
principles of image techniques used in machine vision and shows some real examples and 
results for the applications of these image techniques.

Key words: Machine Vision; Image Engineering; Image Processing; Image Analysis; Image
 Understanding; Image Techniques

    機(jī)器視覺與圖像技術(shù)各有特點(diǎn)并有密切的聯(lián)系。本文擬對此給予概括的介紹和討論。

1 名詞和定義

    先給出一些與機(jī)器視覺和圖像技術(shù)相關(guān)名詞的定義[1]。

    視覺  物體的影像刺激視網(wǎng)膜所產(chǎn)生的感覺和在大腦皮層所得到的知覺。人類了解世界的一種重要功能。視覺包括“視”和“覺”兩個(gè)步驟，所以視覺可進(jìn)一步分為視感覺和視知覺。

    視感覺  視覺的低層次。它主要接收外部刺激，從外界獲得信息。視感覺主要是從分子微觀層次來理解人們對光（可見輻射）反應(yīng)的基本性質(zhì)（如亮度、顏色）。對視感覺的主要研究內(nèi)容有：⑴光的物理特性。如光量子、光波、光譜；⑵光刺激視覺感受器官的程度。如光度學(xué)、眼睛構(gòu)造、視覺適應(yīng)、視覺的強(qiáng)度和靈敏度、視覺的時(shí)間特性以及視覺的空間特性；⑶光作用于視網(wǎng)膜后經(jīng)視覺系統(tǒng)加工而產(chǎn)生的感覺。如明亮程度、色調(diào)。

    視知覺  視覺的高層次。它將外部刺激轉(zhuǎn)化為有意義的內(nèi)容。視知覺主要論述人們從客觀世界接受視覺刺激后如何反應(yīng)及反應(yīng)所采用的方式，研究如何通過視覺形成人們關(guān)于外在世界空間的表象，所以兼有心理因素。視知覺是在神經(jīng)中樞進(jìn)行的一組活動，它把視野中一些分散的刺激加以組織，構(gòu)成具有一定形狀的整體以表達(dá)和認(rèn)識世界。視知覺又可分成亮度知覺、顏色知覺、形狀知覺、空間知覺、運(yùn)動知覺等。

    機(jī)器視覺  使用電子設(shè)備和光學(xué)感知技術(shù)，自動獲取和解釋場景的圖像，以控制機(jī)器的過程。在很多情況下也看作計(jì)算機(jī)視覺的同義詞。但計(jì)算機(jī)視覺更側(cè)重對場景分析和對圖像解釋的理論和算法，而機(jī)器視覺或機(jī)器人視覺則更關(guān)注圖像的獲取、系統(tǒng)的構(gòu)造和算法的實(shí)現(xiàn)。

    計(jì)算機(jī)視覺  利用計(jì)算機(jī)來實(shí)現(xiàn)人類視覺系統(tǒng)功能的一門學(xué)科。其中實(shí)際上用到圖像工程三個(gè)層次的許多技術(shù)，但目前的研究內(nèi)容主要與圖像理解相對應(yīng)。

    機(jī)器人視覺  針對機(jī)器人的機(jī)器視覺。機(jī)器人視覺的研究目標(biāo)是構(gòu)建使機(jī)器人具有視覺感知功能的系統(tǒng)，該系統(tǒng)通過視覺傳感器獲取環(huán)境的圖像，并通過視覺處理器進(jìn)行分析和解釋，從而讓機(jī)器人能夠檢測和辨識物體，完成特定的工作。

    圖像  一種直接或間接作用于人眼并進(jìn)而產(chǎn)生視知覺的實(shí)體，即客觀存在的事物。它可以是用各種觀測系統(tǒng)以不同形式和手段觀測客觀世界而獲得的（一般圖像是客觀場景的投影）。人的視覺系統(tǒng)就是一個(gè)典型的觀測系統(tǒng)，通過它得到的圖像就是客觀景物在人心目中形成的影像。

    圖像是客觀景物的表達(dá)，包含了景物的描述信息。科學(xué)研究和統(tǒng)計(jì)表明，人類從外界獲得的信息約有75%來自視覺系統(tǒng)，也就是從圖像中獲得的。這里圖像的概念比較廣，包括照片、繪圖、動畫、視像，甚至文檔等。中國有句古話，“百聞不如一見”。人們常說，“一圖值千字”。它們都說明圖像中所含的信息內(nèi)容非常豐富，而事實(shí)上圖像也確實(shí)帶有大量的信息，是人類最主要的信息源。

    圖像技術(shù)  廣義上各種與圖像有關(guān)技術(shù)的總稱。這包括利用計(jì)算機(jī)和其他電子設(shè)備進(jìn)行和完成一系列工作的技術(shù)。例如，圖像的采集、獲取、編碼、存儲和傳輸，圖像的合成和產(chǎn)生，圖像的顯示和輸出，圖像的變換、增強(qiáng)、恢復(fù)（復(fù)原）和重建，圖像水印的嵌入和提取，圖像的分割，目標(biāo)的檢測、跟蹤、表達(dá)和描述，目標(biāo)特征的提取和測量，圖像和目標(biāo)特性的分析，序列圖像的校正配準(zhǔn)，3-D景物的重建復(fù)原，圖像數(shù)據(jù)庫的建立、索引和檢索，圖像的分類、表示和識別，圖像模型的建立和匹配，圖像、場景的解釋和理解，以及基于它們的判斷決策和行為規(guī)劃等。另外，圖像技術(shù)還可包括為完成上述功能而進(jìn)行的硬件設(shè)計(jì)及制作等方面的技術(shù)。

    圖像工程  對整個(gè)圖像領(lǐng)域進(jìn)行研究及對圖像技術(shù)進(jìn)行應(yīng)用的新學(xué)科。它是一個(gè)將數(shù)學(xué)、光學(xué)等基礎(chǔ)科學(xué)的原理，結(jié)合圖像應(yīng)用中積累的經(jīng)驗(yàn)，從而發(fā)展起來的包含各種圖像技術(shù)的整體框架。圖像工程的內(nèi)容非常豐富，覆蓋面也很廣，根據(jù)抽象程度和研究方法等的不同可分為三個(gè)層次(如圖1所示)：⑴圖像處理；⑵圖像分析；⑶圖像理解。換句話說，圖像工程是既有聯(lián)系又有區(qū)別的圖像處理、圖像分析及圖像理解三者的有機(jī)結(jié)合，另外還包括對它們的工程應(yīng)用。圖1給出圖像工程三個(gè)層次的關(guān)系和主要特點(diǎn)。

 

                                         圖1   圖像工程3層次示意圖

2 相關(guān)圖像技術(shù)介紹

    圖像工程學(xué)科所研究和應(yīng)用的圖像技術(shù)非常多[2]。根據(jù)近年對圖像工程文獻(xiàn)的統(tǒng)計(jì)分類[3]，目前主要研究的有圖像處理，圖像分析和圖像理解三大類中的14小類圖像技術(shù)，見表1。

                               表1   圖像工程中圖像技術(shù)文獻(xiàn)分類表

 

    在機(jī)器視覺的研究和開發(fā)應(yīng)用中，有許多圖像技術(shù)起到重要的作用或得到廣泛的應(yīng)用。它們大部處于上述14類中的9類，即圖像處理中的A1，A3；圖像分析中的B1，B2，B3，B4，B5；圖像理解中的C1，C4。下面對其中6類（即圖像處理中的A1，A3；圖像分析中的B1，B2，B3；圖像理解中的C1的原理給予簡單介紹（另3類則在下一節(jié)結(jié)合實(shí)例給予介紹）。

2.1 圖像采集

    圖像采集指從客觀場景獲取圖像的技術(shù)和過程。前面定義中已提到，圖像可用函數(shù) f(x, y)來表示。由此可見圖像的采集涉及到兩方面的技術(shù)內(nèi)容，或者說與兩門學(xué)科相關(guān)：⑴幾何學(xué)，從圖像中的什么地方可找到場景中目標(biāo)的投影位置(x, y)；⑵輻射度學(xué)，圖像中的目標(biāo)有多“亮”，這確定了在(x, y)處的 f。

    由于需要用計(jì)算機(jī)對采集到的圖像進(jìn)行加工，所以需要把直接采集到的模式圖像轉(zhuǎn)換為數(shù)字圖像。這又涉及到兩個(gè)工作：⑴空間坐標(biāo)的離散化，即空間采樣；⑵幅度的離散化，即幅度量化。常用的圖像采集設(shè)備都具有兩個(gè)功能：⑴接受輻射；⑵模數(shù)轉(zhuǎn)換。

    圖2給出用常見的CCD（也可用CMOS或CID）攝像機(jī)進(jìn)行灰度圖采集的流程。由圖2可見，光源照射到物體上反射到攝像機(jī)中；攝像機(jī)的CCD陣列中感光單元的個(gè)數(shù)和分布確定了所采集圖像的空間分辨率；感光單元接受到的光被轉(zhuǎn)換為電信號，將電信號的幅度量化，量化的級數(shù)確定了最好采集到的圖像的幅度分辨率。

 

                                           圖2   灰度圖采集過程

2.2 圖像變換、濾波、增強(qiáng)、恢復(fù)/復(fù)原、校正等

    圖像變換既可以指在圖像空間將像素從一個(gè)位置映射到另一個(gè)位置，也可以指將圖像以某種形式從一個(gè)表達(dá)空間轉(zhuǎn)換到另一個(gè)表達(dá)空間。前者比較常見的是坐標(biāo)變換，包括平移變換，旋轉(zhuǎn)變換，放縮變換，拉伸變換，和剪切變換。它們的各一個(gè)示例見圖3。后者是有效和快速地對圖像進(jìn)行處理的一種手段。具體是將圖像轉(zhuǎn)換到新的空間后，利用新空間的特有性質(zhì)方便地對圖像進(jìn)行處理，再將處理結(jié)果轉(zhuǎn)換回原空間以得到所需的效果。常用的變換包括傅里葉變換，蓋伯變換，小波變換等。

 

                                            圖3   坐標(biāo)變換示意圖

    圖像濾波原指將圖像傅里葉變換到頻域后進(jìn)行加工的手段，后來人們將直接在圖像域進(jìn)行的類似加工也用濾波來描述。更廣義地說，利用像素本身以及其鄰域像素的灰度關(guān)系進(jìn)行加工的方法都可稱為濾波，所以在蓋伯變換域和小波變換域的許多圖像加工也稱為圖像濾波。圖像濾波可用以對圖像進(jìn)行增強(qiáng)或恢復(fù)。圖像增強(qiáng)技術(shù)作為一大類基本的圖像處理技術(shù)，其目的是對圖像進(jìn)行加工，以得到對具體應(yīng)用來說視覺效果更“好”、更“有用”的圖像。圖像恢復(fù)與圖像增強(qiáng)有密切的聯(lián)系。圖像恢復(fù)與圖像增強(qiáng)相同之處是，它們都要得到在某種意義上改進(jìn)的圖像，或者說都希望要改進(jìn)輸入圖像的視覺質(zhì)量。圖像恢復(fù)與圖像增強(qiáng)不同之處是，圖像增強(qiáng)技術(shù)一般要借助人的視覺系統(tǒng)的特性以取得看起來較好的視覺結(jié)果，而圖像恢復(fù)則認(rèn)為圖像（質(zhì)量）是在某種情況/條件下退化或惡化了（圖像品質(zhì)下降了、失真了），現(xiàn)在需要根據(jù)相應(yīng)的退化模型和知識重建或恢復(fù)原始的圖像。換句話說，圖像恢復(fù)技術(shù)是要將圖像退化的過程模型化，并據(jù)此采取相反的過程以得到原始的圖像。由此可見，圖像恢復(fù)要根據(jù)一定的圖像退化模型來進(jìn)行。

2.3 圖像分割

    圖像分割是由圖像處理進(jìn)到圖像分析的關(guān)鍵步驟，也是一種基本的計(jì)算機(jī)視覺技術(shù)。在對圖像的研究和應(yīng)用中，人們往往僅對各幅圖像中的某些部分感興趣。這些部分常稱為目標(biāo)或前景（其他部分稱為背景），它們一般對應(yīng)圖像中特定的、具有獨(dú)特性質(zhì)的區(qū)域。為了辨識和分析目標(biāo)，需要將這些有關(guān)區(qū)域分離提取出來。圖像分割就是指把圖像分成各具特性的區(qū)域并提取出感興趣目標(biāo)的技術(shù)和過程。這里特性可以是灰度、顏色、紋理等，目標(biāo)可以對應(yīng)單個(gè)區(qū)域，也可以對應(yīng)多個(gè)區(qū)域。

    圖像分割多年來一直得到人們的高度重視。至今已提出了上千種各種類型的分割算法。對這些算法可考慮兩個(gè)因素來進(jìn)行分類。一是考慮對圖像分割所可借助的像素灰度值的性質(zhì)：不連續(xù)性和相似性。由于區(qū)域內(nèi)部的像素一般具有灰度相似性，而在區(qū)域之間的邊界上一般具有灰度不連續(xù)性。所以分割技術(shù)可據(jù)此分為利用區(qū)域間灰度不連續(xù)性的基于邊界的技術(shù)和利用區(qū)域內(nèi)灰度相似性的基于區(qū)域的技術(shù)。二是考慮分割過程中不同的處理策略，即并行策略和串行策略，可將分割技術(shù)分為并行技術(shù)和串行技術(shù)。在并行技術(shù)中，所有判斷和決定都可獨(dú)立地和同時(shí)地做出，而在串行技術(shù)中，早期處理的結(jié)果可被其后的處理過程所利用。對圖像分割較全面和深入的討論可參見專門書籍[4]。圖像分割最新的一些進(jìn)展可見[5]。

2.4 目標(biāo)表達(dá)、描述、測量

    通過圖像分割可獲得圖像中感興趣的區(qū)域，即目標(biāo)。為有效地刻畫目標(biāo)，需要對它們采取合適的數(shù)據(jù)結(jié)構(gòu)進(jìn)行表達(dá)，采用恰當(dāng)?shù)男问矫枋鏊鼈兊奶匦裕哪繕?biāo)獲得一些定量的數(shù)值以進(jìn)行分析。這些工作是圖像分析的重要步驟。

    一般對目標(biāo)常用不同于原始圖像的合適表達(dá)形式來表示。好的表達(dá)方法應(yīng)具有節(jié)省儲存空間、易于特征計(jì)算等優(yōu)點(diǎn)。與分割類似，圖像中的區(qū)域可用其內(nèi)部（如組成區(qū)域的像素集合）表示，也可用其外部（如組成區(qū)域邊界的像素集合）表示。一般來說，如果比較關(guān)心的是區(qū)域的反射性質(zhì)，如灰度、顏色、紋理等，常選用內(nèi)部表達(dá)法；如果比較關(guān)心的是區(qū)域的形狀等則常選用外部表達(dá)法。

    選定了表達(dá)方法，還需要對目標(biāo)進(jìn)行描述，使計(jì)算機(jī)能充分利用所獲得的分割結(jié)果。表達(dá)是直接具體地表示目標(biāo)，描述是較抽象地表示目標(biāo)特性。好的描述應(yīng)在盡可能區(qū)別不同目標(biāo)的基礎(chǔ)上對目標(biāo)的尺度、平移、旋轉(zhuǎn)等不敏感，這樣的描述比較通用。描述也可分為對邊界的描述和對區(qū)域的描述。除此之外，邊界和邊界或區(qū)域和區(qū)域之間的關(guān)系也常需要進(jìn)行描述。

    圖像分析的目的是獲得場景中景物的數(shù)據(jù)，所以在目標(biāo)表達(dá)和描述的基礎(chǔ)上要對目標(biāo)及特征進(jìn)行測量。對目標(biāo)特征的測量從根本上來說是要從數(shù)字化的數(shù)據(jù)中精確地估計(jì)出產(chǎn)生這些數(shù)據(jù)的模擬量的性質(zhì)，因?yàn)檫@是一個(gè)估計(jì)過程，所以誤差是不可避免的。實(shí)際數(shù)據(jù)和測量數(shù)據(jù)產(chǎn)生差異而導(dǎo)致的測量誤差的來源很多，包括：⑴圖像采集過程中各種因素的影響，又可分為空間采樣和灰度量化的影響以及光學(xué)鏡頭分辨率的影響；⑵不同的圖像處理和分析手段（例如目標(biāo)分割）；⑶不同的測量方法和計(jì)算公式；⑷圖像處理和分析過程中噪聲等干擾的影響。

2.5 目標(biāo)顏色、形狀、紋理、空間和運(yùn)動等的分析

    目標(biāo)特征有很多種，常可劃分為顏色特征，紋理特征，形狀特征，空間特征和運(yùn)動特征等。下面對紋理，形狀和運(yùn)動的分析給予簡單介紹。

    紋理是物體表面的固有特征之一，因而也是圖像區(qū)域一種重要的屬性。對紋理的分析（包括對紋理特點(diǎn)進(jìn)行刻畫，表示紋理數(shù)據(jù)，辨認(rèn)紋理模式）是圖像分析的一個(gè)重要分支，其中對紋理表達(dá)和描述方法主要有3類：統(tǒng)計(jì)法、結(jié)構(gòu)法、頻譜法。

    在統(tǒng)計(jì)法中，紋理被看作一種對區(qū)域中密度分布的定量測量結(jié)果。統(tǒng)計(jì)模型是利用對圖像灰度的分布和關(guān)系的統(tǒng)計(jì)規(guī)則來描述紋理。它比較適合描述自然紋理，常可提供紋理的平滑、稀疏、規(guī)則等性質(zhì)。統(tǒng)計(jì)法的目標(biāo)是估計(jì)隨機(jī)過程的參數(shù)，如分形布朗運(yùn)動或馬爾可夫隨機(jī)場。

    在結(jié)構(gòu)法中，紋理被看作是一組紋理基元以某種規(guī)則的或重復(fù)的關(guān)系結(jié)合的結(jié)果。這種方法試圖根據(jù)一些描述幾何關(guān)系的放置/排列規(guī)則來描述紋理基元。利用結(jié)構(gòu)法常可獲得一些與視覺感受相關(guān)的紋理特征，如粗細(xì)度(coarseness)、對比度(contrast)、方向性(directionality)、線狀性(line-likeness)、規(guī)則性(regularity)、粗糙度或凹凸性(roughness)等。

    頻譜法一般利用傅里葉頻譜（通過傅里葉變換獲得）的分布，特別是頻譜中的高能量窄脈沖來描述紋理中的全局周期性質(zhì)。近年許多其他頻譜方法，如貝塞爾-傅里葉頻譜，蓋伯頻譜也得到了較多的應(yīng)用。

    形狀分析是圖像分析的一個(gè)重要分支，其重點(diǎn)是刻畫圖像中目標(biāo)的各種形狀特性。形狀描述符在形狀分析起重要的作用。一方面，一個(gè)形狀性質(zhì)可用基于不同的理論技術(shù)的描述符來描述；另一方面，借助同一種理論技術(shù)也可以獲得不同的描述符以刻畫目標(biāo)形狀的不同性質(zhì)。對形狀的描述也是對形狀分類的基礎(chǔ)，例如在為確定形狀相似性而進(jìn)行的匹配中，匹配的常是形狀描述符。

    對形狀的描述常采用三類方法：特征的方法（用特征描述形狀特性）；形狀變換的方法（借助從一種形狀轉(zhuǎn)換為另一種形狀的參數(shù)模型）；基于關(guān)系的方法（將復(fù)雜形狀分解成簡單基元，既描述基元性質(zhì)也描述基元關(guān)系）。

    運(yùn)動分析近年隨著視頻的大量采集和應(yīng)用而得到廣泛重視。連續(xù)采集的視頻圖像序列能反映場景中目標(biāo)的運(yùn)動和場景的變化，從而提供了更多的信息。運(yùn)動分析的研究目的和工作內(nèi)容可包括：

    對運(yùn)動的檢測，即檢測場景中是否有運(yùn)動。這種情況一般僅使用單個(gè)固定的攝像機(jī)就可以了。一個(gè)典型的例子是安全監(jiān)視，任何導(dǎo)致圖像發(fā)生變化的因素都考慮在內(nèi)。由于光照的變化常比較緩慢而運(yùn)動物體的變化常比較迅速，所以可進(jìn)一步區(qū)分開。

    對運(yùn)動目標(biāo)的檢測和定位，即檢測場景中是否有運(yùn)動目標(biāo)，它當(dāng)前在什么位置，進(jìn)一步還可包括確定運(yùn)動目標(biāo)的軌跡，并預(yù)測它下一步的運(yùn)動方向和趨勢以及將來的運(yùn)動軌跡。這種情況一般也僅使用單個(gè)固定的攝像機(jī)。根據(jù)檢測目的不同可采用不同的技術(shù)。如果僅需確定運(yùn)動目標(biāo)的位置，可借助運(yùn)動信息對運(yùn)動目標(biāo)進(jìn)行初步分割。如果還需確定運(yùn)動目標(biāo)的運(yùn)動方向、趨勢和軌跡，則常采用目標(biāo)匹配技術(shù)。

    對運(yùn)動目標(biāo)的分割和分析，即檢測目標(biāo)運(yùn)動的情況、獲得目標(biāo)的特征、提取運(yùn)動參數(shù)、分析景物運(yùn)動規(guī)律、確定運(yùn)動類型等。在此基礎(chǔ)上，可進(jìn)一步識別運(yùn)動物體。這種情況有時(shí)需使用運(yùn)動的攝像機(jī)。

    對立體景物的重建和對行動/場景的理解，這需要通過目標(biāo)運(yùn)動信息進(jìn)一步獲取立體景物的深度、確定其表面朝向以及遮蓋情況等。另一方面，綜合運(yùn)動信息和其他圖像中的信息，可以進(jìn)行運(yùn)動因果關(guān)系的識別，如果進(jìn)一步借助場景知識，還可對場景給出解釋。這種情況常使用兩個(gè)或多個(gè)靜止或運(yùn)動的攝像機(jī)。

2.6 圖像配準(zhǔn)、匹配、融合、鑲嵌等

    圖像匹配是圖像理解中的一項(xiàng)重要技術(shù)。一方面，它可將同一場景的不同圖像結(jié)合起來提供更全面的場景信息；另一方面，它可將事先未知的視覺輸入與先前已有的認(rèn)知結(jié)果聯(lián)系起來，從而用已知解釋未知并最終建立對輸入的解釋。圖像匹配可在不同的抽象層次進(jìn)行。在像素層可利用模板匹配，在特征層可利用感知匹配，而在目標(biāo)層可利用語義匹配。

    圖像配準(zhǔn)與圖像匹配密切相關(guān)。配準(zhǔn)的含義一般比較窄，主要指將在不同時(shí)間或空間獲得的圖像建立對應(yīng)，特別是幾何方面的對應(yīng)（幾何校正），最后要獲得的效果常體現(xiàn)在像素層次。匹配則既可考慮圖像的幾何性質(zhì)也可考慮圖像的灰度性質(zhì)，甚至圖像的其他抽象性質(zhì)和屬性。從這點(diǎn)來說，配準(zhǔn)可以看作是對比較低層表達(dá)的匹配。

    圖像融合是近年得到廣泛研究和應(yīng)用的圖像技術(shù)，它通過對由不同傳感器獲取的數(shù)據(jù)進(jìn)行綜合處理和分析，并進(jìn)行協(xié)調(diào)、優(yōu)化、整合，從而提取更多的信息或獲得新的有效的信息，并增加決策的可信度和系統(tǒng)的可靠性。當(dāng)對多幅圖像進(jìn)行融合時(shí)，常需先對各幅參與融合的圖像進(jìn)行配準(zhǔn)。圖像融合對配準(zhǔn)精度有較高的要求，如果空間誤差超過一個(gè)像素，則融合結(jié)果會出現(xiàn)重影，嚴(yán)重影響融合圖像的質(zhì)量。

    一般將對多傳感器圖像的融合方式從層次上由低到高分為三級，即像素級（pixel based）融合、特征級（feature based）融合和決策級（decision based）融合。像素級融合是在底層的數(shù)據(jù)層進(jìn)行的融合，指對圖像傳感器原始采集來的物理信號數(shù)據(jù)（兩幅或多幅圖像）進(jìn)行處理和分析，生成目標(biāo)特征而獲得單一融合圖像。特征級融合是一種在中間層次進(jìn)行的融合，它需要對原始圖像提取特征，獲得景物信息（如目標(biāo)的邊緣、輪廓、形狀、表面朝向和相互間距離等）并進(jìn)行綜合，以得到置信度更高的判斷結(jié)果。決策級融合是在最高層次上進(jìn)行的融合，它能根據(jù)一定的準(zhǔn)則以及每個(gè)決策的可信度直接做出最優(yōu)決策。

3 相關(guān)圖像技術(shù)示例

    下面對圖像分析中的B1，B2和圖像理解中的C1共3類技術(shù)結(jié)合幾個(gè)具體實(shí)例介紹如下：

3.1 目標(biāo)檢測、提取、跟蹤、識別和分類

    對場景中目標(biāo)的檢測和跟蹤有重要的意義。例如，圖4給出兩幅乒乓球比賽的場景，圖(a)用長方框框出了運(yùn)動員的位置（這是對運(yùn)動員檢測的結(jié)果）而圖(b)用白線標(biāo)出了乒乓球運(yùn)動的軌跡（這是對乒乓球在兩次擊球之間的運(yùn)動進(jìn)行跟蹤的結(jié)果）。根據(jù)這些結(jié)果，教練員和運(yùn)動員可進(jìn)行動作和戰(zhàn)術(shù)的分析，而電視臺也可查詢精彩鏡頭。

               

                              (a)                                        (b)

                                        圖4   目標(biāo)檢測和跟蹤示例圖

3.2 人臉和器官的檢測、定位與識別

    近年對人臉的定位和識別得到了廣泛的應(yīng)用。圖5給出對兩幅人臉和器官的定位示例圖。圖5(a)顯示了一幅從場景中定位出人臉的圖像。圖5(b)顯示了四幅在人眼眨動過程中跟蹤虹膜區(qū)域和眼簾區(qū)域得到的結(jié)果。根據(jù)人臉定位的結(jié)果可繼續(xù)進(jìn)行人臉的識別，而根據(jù)對虹膜和眼簾的跟蹤結(jié)果可幫助對人的表情變化做出判斷。

               

                              (a)                                          (b)

                                       圖5   人臉和器官的定位示例圖

    圖6給出表情分類中的三幅示例圖。圖6(a)中人眼睜開但嘴巴基本閉合，圖6(b)中人眼睜開且嘴巴也張開，圖6(c)中人眼閉合但嘴巴仍然張開。考慮到人眼和嘴巴的變化和狀態(tài)，可以判斷出這是一個(gè)人的表情為高興的序列。

                           

                     (a)                      (b)                    (b)

                                     圖6   表情分類示例圖

3.3 基于內(nèi)容的圖像和視頻檢索

    基于內(nèi)容的圖像和視頻檢索是在數(shù)據(jù)快速增長、信息急劇膨脹情況下為滿足人們快速提取有用視覺信息的需求而逐步受到重視的一個(gè)研究熱點(diǎn)。早期的研究主要是根據(jù)圖像（視頻）的視覺特征（包括顏色、紋理、形狀、空間關(guān)系以及運(yùn)動信息等）來進(jìn)行，即通過提取當(dāng)前查詢圖像的特定視覺特征并與數(shù)據(jù)庫中圖像已獲取的視覺特征進(jìn)行匹配來提取與查詢圖像具有相似性的圖像[6]。

    圖7給出用形狀特征進(jìn)行查詢檢索的一組示例圖。考慮有一個(gè)包括上衣、T-shirt、裙子、褲子等的服裝圖像庫，需要迅速找到其中的T-shirt。用戶畫了一個(gè)如圖7(a)所示的T-shirt草圖，用它作為查詢圖，就可借助基于形狀特征的方法獲得如圖7(b)、(c)、(d)、(e)和(f)這樣一些圖片。
 

                                  (a)               (b)               (c)
 

                                  (d)               (e)               (f)

                                       圖7   利用形狀特征查詢的示例

    經(jīng)過10多年的研究，基于內(nèi)容的圖像和視頻檢索已取得長足的進(jìn)步。近期該領(lǐng)域的研究主要集中在基于語義的圖像和視頻檢索方面，具體的研究涉及如何跨越視覺特征和語義描述間的鴻溝，圖像和視頻的自動標(biāo)注，人機(jī)交互反饋以結(jié)合高層知識，語義檢索的模型和工具，以及針對具體應(yīng)用的技術(shù)[7]。

    圖8給出一組對圖像進(jìn)行自動標(biāo)注的結(jié)果示例圖。這里對每幅圖片用了四個(gè)詞來標(biāo)注，這些詞均來自訓(xùn)練中所構(gòu)建的視覺關(guān)鍵詞辭典。由圖8可見，這些標(biāo)注詞中有些可以揭示圖片的拍攝季節(jié)，有些能夠反映圖片拍攝的場所，有些則列出了圖片中重要的景物。借助這些標(biāo)注，用戶有可能在較高的語義層次對圖片進(jìn)行查詢和檢索。

                               

                                白天，戶外                 云彩，山脈

                                樹木，房屋                 森林，湖泊

                               

                                夏天，白天                  秋天，森林                 

                                海岸，沙灘                  樹木，樹葉

                                          圖8   圖像標(biāo)注示例

4 結(jié)語和展望

    前面對機(jī)器視覺中有廣泛應(yīng)用的9類圖像技術(shù)進(jìn)行了介紹。根據(jù)對2007年相關(guān)技術(shù)的研究文獻(xiàn)的統(tǒng)計(jì)[3]，表1中的14圖像類技術(shù)共包含了662篇文獻(xiàn)，平均47篇/小類，而相關(guān)的9類圖像技術(shù)共包含了472篇文獻(xiàn)，平均52篇/小類。由此可見，在機(jī)器視覺中有廣泛應(yīng)用的9類圖像技術(shù)也是得到較多重視和研究的圖像技術(shù)。

    事實(shí)上，圖像技術(shù)有很多優(yōu)點(diǎn)。例如，圖像技術(shù)具有形象直觀和方便靈活（類型廣泛，可進(jìn)行局部處理）的特點(diǎn)，它能以非接觸和無損的方式對產(chǎn)品進(jìn)行質(zhì)量檢測。圖像采集實(shí)時(shí)快速，圖像系統(tǒng)精度高，重復(fù)性強(qiáng)，工作不會疲勞。所以圖像技術(shù)有望在包括機(jī)器視覺的各個(gè)領(lǐng)域得到越來越多的應(yīng)用。

    最后需要指出，機(jī)器視覺與圖像技術(shù)有密切的聯(lián)系，它們的覆蓋面在一定程度上也有所重合。雖然人們常把它們當(dāng)作不同的學(xué)科，但事實(shí)上它們在概念上或?qū)嵱弥胁]有絕然的界限。根據(jù)對它們目前的研究和應(yīng)用來看，它們在許多場合和情況下可以看作是專業(yè)和背景不同的人習(xí)慣使用的不同術(shù)語更為恰當(dāng)，而且它們雖各有側(cè)重但常常是互為補(bǔ)充的。



參考文獻(xiàn)

[1] 章毓晉. 英漢圖像工程辭典[M]. 北京：清華大學(xué)出版社，2009.

[2] 章毓晉. 圖像工程，第2版（合訂本）[M]. 北京：清華大學(xué)出版社，2007.

[3] 章毓晉. 中國圖像工程：2007[M]. 中國圖象圖形學(xué)報(bào)，2008，13(5)：825-852.

[4] 章毓晉. 圖象分割[M]. 北京：科學(xué)出版社，2001.

[5] Zhang Y-J (ed.). Advances in Image and Video Segmentation[M]. USA: IRM Press. 2006.

[6] 章毓晉. 基于內(nèi)容的視覺信息檢索[M]. 北京：科學(xué)出版社，2003. 

[7] Zhang Y-J (ed.). Semantic-Based Visual Information Retrieval[M]. USA: IRM Press. 2007.