虛擬演播室系統可分為3個部分：跟蹤計算、虛擬場景生成及視頻合成。

　　1、跟蹤計算

　　虛擬演播室中攝像機在拍攝過程中有平移X、縱移Y、高度移Z、水平角、俯仰角、鏡頭變焦ZOOM， 聚焦FOCUS等變化，這些參數的改變會引起所攝圖像視野與視角的改變，為了模擬人物所 在的三維環境，計算機必須根據這些參數不斷調整三維視圖。而攝像機跟蹤部分的作用正是 收取攝像機的位置信息和運動數據，實時地跟蹤真實攝像機，以保證前景與計算機背景“聯 動”。

　　由于這種“聯動”是以高速計算機運算的結果，而這種運算永遠需要一個運算時間，所 以這種“聯動”是有時間差的。只是設計者保證限制這種時間差在一個人眼不易察覺的范圍 內，因此要求前景攝像機只能在一個有限的速率內改變位置參數。

　　目前虛擬演播室的攝像機 跟蹤系統主要有攝像機參數圖形識別和以傳感器為基礎的跟蹤系統兩種方式。同時這也是虛擬演播室兩大類別的主要區別之處。

　?。?）攝像機參數圖形識別跟蹤系統

　　圖形識別跟蹤系統又稱網絡跟蹤系統，作為一頂圖像處理的基本 識別技術，利用已知特殊圖形定位攝像機參數已有十多年的發展歷史。攝像機參數圖形識別 跟蹤系統的基本原理是需要一個畫有特殊網格的藍色背景幕布，它將攝像機所 拍攝的畫面送到數字視頻處理器中進行處理，通過對詼畫面中網格各具的不同特征 和透視關系進行計算，得出有關攝像機的運動參數。

　　在虛擬演播室發展的初期這頂技術應用 于虛擬演播室中的攝像參數定位，具有先進的一面，它省去了傳感器跟蹤系統所必然帶來的 對云臺的改裝，并可使一套識別跟蹤系統與多個攝像機相連，但它的先天不足也使其在應用 上遇到了許多問題。

　　首先，由于一套識別跟蹤系統只能同時跟蹤并處理一個方位信號，因而在原理上圖形識 別跟蹤系統就只能為場景生成系統提供一個機位的參數，從而使場景生成系統只能生成一個 主輸出畫面。如果場景生成系統有能力生成并合成一個或一個以上的預監畫面，為能跟蹤除 主輸出之外的一個或一個以上的攝像機參數就必須相應地增加識別跟蹤系統，也就是說，如 果想要同時監視4個攝像機的合成畫面，除了要有4套背景生成及合成系統外，還必須配置 4套圖形識別跟蹤系統。

　　虛擬演播室發展到現在，對預監機位甚至是雙畫面特技的要求越來 越強烈，而利用圖形識別跟蹤技術所能達到效果很難讓人滿意。另外，由于該技術的核心是 一套圖形識別跟蹤系統，一旦圖形識別跟蹤系統出現故障就將導致整個系統崩潰而無法播 出，所以利用這種技術進行直播是相當危險的。同時，圖形識別跟蹤技術產生的系統延時一 般也高于傳感器跟蹤系統，給攝像師的操作和演員的表演都帶來了難度。

　　第二，圖形識別跟蹤系統通常要在藍幕上用不同的顏色標注識別圖形，因而對虛似演播 室背景燈光的要求也就相應提高，同時為了能將藍幕和網格同時用色鍵器鍵除，色鍵器的鍵 閾值就必須相應提高并加速，從而使色鍵器很難實現如透明體、煙霎，陰影等效果。而陰影 作為人手與虛擬場景結合的關鍵因素，卻是虛擬播室效果真實感的重要標志。

　　第三，圖形識別跟蹤系統在所識別的畫面中要求至少有一個可識別的圖形（如網絡）才 能定位攝像機參數，因此當攝像機鏡頭推上或人手遮擋使畫面中沒有可識別圖形時，圖形識 別跟蹤系統根本不能工作，這也就是說單純利用這種系統絕對不能進行人物特寫的拍攝。目 前的解決方法是求助機械傳感系統，也就是要在鏡頭上安裝機械傳感器才能完成特寫的拍 攝。但其實一旦安裝了鏡頭傳感器，只要再安裝云臺傳感器就能構成一個標準的傳感器跟蹤 系統，圖形識別已毫無意義。

　　第四，在參數釆集精度上圖形識別跟蹤系統也受很大的限制，攝像機距離藍幕過遠或過 近以及攝像機自身的分辨率都會影響參數精度，特別是當背景被虛焦時，極易帶來畫面的抖動。

　?。?）攝像機參數傳感器跟蹤系統

　　隨著虛擬演播室技術的誕生和發展，攝像機參數傳感器跟蹤系統的技術也得到了迅1速的 發展，其參數精度、參數釆集速率都足以滿足虛擬演播室技術的要求，在與云臺和鏡頭的配 合安裝上也有多種方式可供選擇，并且其成本和價格也在逐步降低。特別是目前許多云臺和 遙控云臺上安裝了能滿足虛擬演播室要求精度的參數傳感器，甚至一些鏡頭生產廠商為能擴 大銷售也開始在其鏡頭上安裝傳感器，我們甚至可以預見，隨著演播室和虛擬演播室自動化 的發展，攝像機參數傳感器跟蹤系統很可能成為演播室云臺和鏡頭的標準配制。

　　攝像機參數 傳感器跟蹤系統要求對每個在虛擬演播室中使用的機位都安裝傳感器，這種方式固然令系統 造價隨著機位的增加而提高，但其優勢也是顯而易見的。由于每個機位都有傳感器，虛擬演 播室的主控系統可以同時獲取每個機位的參數，因此有可能為每個機位提供虛擬背景與合成 畫面。

　　2、計算機虛擬場景生成

　　虛擬演播室的場景是計算機生成的圖形，根據圖形是二維和三維，虛擬場景也有二維和 三維之分?根據三維模型生成方式，三維場景有真三維系統和二維半系統?所謂真三維系統 是指由計算機實時生成三維虛擬場景，場中燈光的強弱、位置以及物體的位置和大小都可以 實時變化，當能獲取攝像機位置參數時機位也可移動。該系統由于物體、燈光甚至機位都可 以移動，畫面會顯得比較生動，適合用于綜藝、科技類節目以及效果要求復雜的體肓、天氣 預報節目。

　　但是這種設備一般造價較高，并且受到計算機處理能力限制，三維虛擬真實模型 不可能無限復雜，即虛擬場景的總效果受到限制。所謂二維半系統是指事先由三維處理軟件 生成好場景畫面，再由計算機根據攝像機參數進行貼圖，場景中燈光的強弱、位置以及物體 的位置和大小都不能變化，攝像機位置也不能移動。二維半系統的物體，燈光以及機位都是 固定的，但因為場景是提前誼染好的，其效果可以任意發揮不受計算機處理能力的限制，并 且造價較低，非常適用于場景靜止的新聞、訪談等節目的制作，應當說能滿足大多數節目制 作的要求。

　　3、視頻合成

　　虛擬演播室系統視頻合成的基本技術是色鍵器摳像，即攝像機拍攝的藍幕布前的真實景 物通過色鍵器進行摳像處理，與計算機生成的虛擬場景合成。

　　虛擬演播室前景和背景合成要釆用深度合成技術。所謂深度就是前后關系，這一技術 要考慮兩路鍵信號的深度信息。這不同于三維圖像的造型技術，因為虛擬演播室三維場景圖 像中的像素不僅需要都帶有深度信息，而且還要有與攝像機的距離信息，由這兩部分信息決 定前景和背景像素的可見性。在實時生成的時候，高性能的計算機通常使用一個深度緩沖區 來存儲像素的深度值。

　　那么如何在傳統攝像機拍攝時，獲取前景視頻信號的深度信息呢？通 常釆用估計方法，估計攝像機與鑌員之間的距離，即深度值（深度鍵)。前景信號通過色鍵 摳像得到鑌員部分的信號，先與背景作傳統方式上的合成，得到色鍵序列值，這樣已部分地 確定了前景在背景中的位置，再由深度值來進行前后關系的調整，最后輸出的深度鍵值序列 再按傳統方法合成。