視頻會議系統(tǒng)的研發(fā)是個(gè)復(fù)雜而艱巨的過程，我們現(xiàn)在列舉一下，視頻會議系統(tǒng)開發(fā)當(dāng)中涉及到的一些關(guān)鍵技術(shù)：音視頻編碼技術(shù)、數(shù)據(jù)融合和處理技術(shù)、幀緩沖映射技術(shù)、3G智能手機(jī)移植技術(shù)、恒定視頻質(zhì)量的碼率控制技術(shù)、丟包后處理技術(shù)、去塊效應(yīng)濾波器技術(shù)、文檔協(xié)同瀏覽技術(shù)、分層視頻編碼技術(shù)、混音技術(shù)、音視頻硬解碼技術(shù)和P2P技術(shù)。
(1)音視頻編碼技術(shù)
通過終端的音視頻捕捉設(shè)備，把音視頻模擬數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號，不管是PC還是3G手機(jī)通過捕捉設(shè)備捕捉的聲音和圖像的數(shù)字信號，其冗余性都非常大，為了減少網(wǎng)絡(luò)傳輸?shù)膸挘粢曨l都需要經(jīng)過壓縮編碼去除其冗余的數(shù)據(jù)，視頻主要通過空間和時(shí)間上的預(yù)測編碼去除冗余數(shù)據(jù)，音頻主要通過哈夫曼編碼和量化去除冗余數(shù)據(jù)，然后在網(wǎng)絡(luò)上傳輸經(jīng)過壓縮的數(shù)據(jù)，最后在播放或顯示之前進(jìn)行解碼，把原始的數(shù)據(jù)進(jìn)行還原。其音視頻編解碼流程圖如下圖所示：
(2)數(shù)據(jù)融合和處理技術(shù)
視頻會議系統(tǒng)主要包括MCU(多點(diǎn)控制單元)服務(wù)器和終端。其中終端包括：一般的PC終端(通過IP網(wǎng)絡(luò)連接互聯(lián)網(wǎng))、硬件視頻會議終端(H.323或SIP協(xié)議的終端)、3G手機(jī)與平板電腦終端(通過3G網(wǎng)連接)等設(shè)備。MCU服務(wù)器連接互聯(lián)網(wǎng)與3G網(wǎng)絡(luò)(包括 WCDMA、TD-SCDMA、CDMA2000)，由于不同的終端采用不同的網(wǎng)絡(luò)接入方式，因此為了使各種終端能互聯(lián)互通，接入系統(tǒng)的終端都需遵循統(tǒng)一的會議通信協(xié)議(H323協(xié)議或SIP協(xié)議等)。系統(tǒng)首先通過多媒體碼流提取連接終端的協(xié)議信息，然后對所屬的協(xié)議進(jìn)行登記和判斷，接著通過協(xié)議棧模塊把該協(xié)議相關(guān)信息發(fā)送到協(xié)議編解碼器進(jìn)行解碼和編碼，從而進(jìn)行相應(yīng)的數(shù)據(jù)交換，最后通過多媒體碼流輸入輸出模塊發(fā)送多媒體碼流給連接的終端，從而達(dá)到不同的終端、不同的協(xié)議、不同的網(wǎng)絡(luò)的數(shù)據(jù)高度融合和無縫連接。
(3)幀緩沖映射技術(shù)
視頻會議服務(wù)器主要提供給終端實(shí)時(shí)數(shù)據(jù)，因此要求視頻會議服務(wù)器具有很強(qiáng)的存儲轉(zhuǎn)發(fā)功能，傳統(tǒng)的數(shù)據(jù)流轉(zhuǎn)發(fā)方式，由于需要較大的內(nèi)存維持?jǐn)?shù)據(jù)流，不能支持大量并發(fā)數(shù)據(jù)。該技術(shù)在視頻會議服務(wù)器的內(nèi)存為每個(gè)終端建立相應(yīng)的緩沖區(qū)，作為接收和轉(zhuǎn)發(fā)數(shù)據(jù)的存儲空間。而視頻會議的音視頻都是以數(shù)據(jù)幀來進(jìn)行編碼和解碼，因此緩沖區(qū)的最小單位是以數(shù)據(jù)幀來區(qū)分。為了達(dá)到大量并發(fā)的數(shù)據(jù)處理能力，為每個(gè)連接的終端和數(shù)據(jù)幀緩沖，用Hash表進(jìn)行一一映射對應(yīng)，當(dāng)需要轉(zhuǎn)發(fā)數(shù)據(jù)的時(shí)候，只要通過查找終端的Hash映射表就可以快速搜索到相應(yīng)的幀緩沖，為視頻會議服務(wù)器處理大量并發(fā)的數(shù)據(jù)提供最有效的手段。
(4)3G智能手機(jī)移植技術(shù)
3G智能手機(jī)使用的操作系統(tǒng)一般與PC的操作系統(tǒng)不一樣，其開發(fā)環(huán)境一般都在PC上進(jìn)行，通過模擬器在PC上進(jìn)行手機(jī)系統(tǒng)的應(yīng)用程序開發(fā)，而在這些操作系統(tǒng)上運(yùn)行的應(yīng)用程序一般都比較缺乏，為了在系統(tǒng)上有更多的應(yīng)用，通常把PC上的應(yīng)用程序通過相應(yīng)的代碼修改和重新編譯，實(shí)現(xiàn)PC應(yīng)用程序的手機(jī)移植。智能手機(jī)的應(yīng)用程序移植主要采用跨平臺的開發(fā)語言進(jìn)行開發(fā)，如JAVA和C語言， 通過跨平臺語言的多平臺交叉編譯以及一些特定的優(yōu)化，使在PC上運(yùn)行的應(yīng)用系統(tǒng)能移植到手機(jī)系統(tǒng)上。
(5)恒定視頻質(zhì)量的碼率控制技術(shù)
通常的視頻碼率控制是從整體上對圖像質(zhì)量進(jìn)行優(yōu)化，優(yōu)化過程中可能導(dǎo)致每幀圖像內(nèi)各宏塊的信噪比分布不集中，圖像各部分質(zhì)量有較大波動，造成主觀視覺質(zhì)量下降。該技術(shù)通過估計(jì)P幀類型圖像復(fù)雜度或者I幀類型圖像的復(fù)雜度以及量化參數(shù)來調(diào)節(jié)視頻質(zhì)量，從而獲得一致性的圖像質(zhì)量和更好的視覺感受。
(6)丟包后處理技術(shù)
在無QOS保障的網(wǎng)絡(luò)中，由于視頻會議傳輸需要較大的數(shù)據(jù)流量，數(shù)據(jù)很容易出現(xiàn)延遲或者丟包的現(xiàn)象，如對丟包后的數(shù)據(jù)不進(jìn)行處理，數(shù)據(jù)還原的質(zhì)量會出現(xiàn)一定影響，因此對丟包后的數(shù)據(jù)進(jìn)行處理是數(shù)據(jù)傳輸處理當(dāng)中非常重要的部分，通常采用丟包后數(shù)據(jù)重發(fā)技術(shù)或者丟包后處理技術(shù)來進(jìn)行丟包恢復(fù)，數(shù)據(jù)重發(fā)技術(shù)一般通過協(xié)議來完成，如TCP或可靠的UDP來實(shí)現(xiàn)，但這種方式會增加更多的帶寬和更大的延遲，另外一種方式是丟包后處理技術(shù)，通過前向糾錯(cuò)、視頻錯(cuò)誤掩飾以及其他的方式實(shí)現(xiàn)丟包后的數(shù)據(jù)還原，該方式既能還原較大的數(shù)據(jù)量，而且不產(chǎn)生延遲，實(shí)現(xiàn)了數(shù)據(jù)實(shí)時(shí)性與可靠性之間最佳的平衡點(diǎn)，滿足低帶寬的實(shí)時(shí)交互式視頻會議傳輸?shù)囊蟆?
(7)文檔協(xié)同瀏覽技術(shù)
文檔協(xié)同瀏覽通常是通過文檔分發(fā)到各個(gè)客戶端，從而實(shí)現(xiàn)文檔的共享，但該方式須把文檔傳輸?shù)礁鱾€(gè)客戶端才能實(shí)現(xiàn)文檔的協(xié)同瀏覽，因此如果文件較大，會造成較大時(shí)間等待。本項(xiàng)目的文檔協(xié)同瀏覽技術(shù)是通過虛擬打印技術(shù)進(jìn)行的，虛擬打印技術(shù)是通過底層的驅(qū)動來模擬一個(gè)打印機(jī)輸出設(shè)備，當(dāng)文檔調(diào)用虛擬打印機(jī)進(jìn)行打印的時(shí)候，通過驅(qū)動層對將要輸出到打印口的數(shù)據(jù)進(jìn)行截獲，從而把文檔轉(zhuǎn)化成圖片，然后進(jìn)行傳輸和協(xié)同瀏覽。該方式由于模擬的是打印機(jī)打印文檔，因此支持任意文檔格式，提高了系統(tǒng)的適用性。該技術(shù)還能把文檔進(jìn)行分頁處理，共享端瀏覽的文檔只須傳輸當(dāng)前所看的頁面，避免了整個(gè)文檔的傳輸，既節(jié)省了帶寬也增加了協(xié)同瀏覽的實(shí)時(shí)性。
(8)分層視頻編碼技術(shù)
分層視頻編碼是把視頻圖像分割成一個(gè)基層和一到多個(gè)增強(qiáng)層來創(chuàng)建視頻圖像的，這些視頻流分別搭載在網(wǎng)絡(luò)上的不同數(shù)據(jù)包中，基層數(shù)據(jù)包丟失所造成的影響和非可分層編碼的結(jié)果是一致的，不過增強(qiáng)層數(shù)據(jù)包丟失造成的影響就要小得多。由于增強(qiáng)層是以基層而不是前幀圖像為基礎(chǔ)的，因此，增強(qiáng)層的數(shù)據(jù)包丟失只會引起暫時(shí)性的清晰度的下降，而不會對視頻圖像的基本架構(gòu)帶來影響，從而大大提高視頻的抗丟包能力。
分層視頻編碼還能通過不同的層，產(chǎn)生不同的幀率和分辨率的視頻編碼壓縮流，以適應(yīng)不同帶寬，不同顯示分辨率的應(yīng)用需求。傳統(tǒng)的非分層視頻編碼對圖像的編碼只是通過空間和時(shí)間上對數(shù)據(jù)進(jìn)行壓縮，其數(shù)據(jù)與幀數(shù)、分辨率沒有直接相關(guān)性，數(shù)據(jù)的大小只能傳輸固定的幀數(shù)和分辨率;而分層視頻編碼通過分層的模式把幀數(shù)、分辨率作為直接的參考，視頻的幀和不同分辨率的圖像直接插入到數(shù)據(jù)流，可以隨著帶寬的不同，采用不同的幀數(shù)和分辨率，有效節(jié)約了帶寬和提高了視頻圖像的質(zhì)量。如圖：對于專網(wǎng)的會議終端，可以采用1080P分辨率、30幀/秒進(jìn)行高清視頻的傳輸，而在3G網(wǎng)絡(luò)，可以采用270P分辨率、30幀/秒進(jìn)行視頻傳輸，這樣的方式更能滿足不同帶寬的終端的需求，提高了終端的網(wǎng)絡(luò)利用率。
(9)去塊效應(yīng)濾波器技術(shù)
視頻壓縮算法是通過分塊來實(shí)現(xiàn)壓縮，由于編碼存在一定的失真，經(jīng)過壓縮編碼還原后，會在解碼后的圖像中形成塊效應(yīng)，會引起圖像的質(zhì)量的下降，因此需對解碼后的圖像進(jìn)行去塊效應(yīng)，平滑圖像邊緣，改善還原后的圖像質(zhì)量。去塊效率濾波器主要采用：對真實(shí)邊界不濾波，對偽邊界根據(jù)像素穿越邊界的漸變度和編碼方式進(jìn)行濾波;根據(jù)濾波強(qiáng)度，選擇不同的濾波系數(shù)對邊界兩側(cè)像素進(jìn)行濾波操作等，從而使還原后的圖像消除塊效應(yīng)，改善圖像的感觀質(zhì)量。
(10)混音技術(shù)
視頻會議當(dāng)中，人們希望視頻會議能夠模擬真實(shí)的會議環(huán)境，在有多人同時(shí)發(fā)言的情況下，終端能同時(shí)聽到每個(gè)人說話的聲音，這就需要增加混音功能，所謂的混音就是將不同的音頻流在某節(jié)點(diǎn)處通過線性疊加的方法混合成一個(gè)音頻流，這樣在播放的時(shí)候達(dá)到模擬真實(shí)會場場景的目的。
(11)音視頻硬解碼技術(shù)
軟解碼是通過軟件讓CPU來對視頻進(jìn)行解碼處理;而硬解碼是指不借助于CPU，而通過專用的子卡設(shè)備來獨(dú)立完成視頻解碼任務(wù)。硬解碼相對軟解碼，不占用CPU，效率更高，因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來實(shí)現(xiàn)，而在3G智能手機(jī)的顯示芯片一般都已經(jīng)集成硬解碼，因此3G智能手機(jī)手機(jī)上可以直接通過操作相應(yīng)的硬件編解碼器來實(shí)現(xiàn)高效的音視頻編解碼。
(13)P2P技術(shù)
P2P技術(shù)是指節(jié)點(diǎn)之間都是同級節(jié)點(diǎn)，同時(shí)對網(wǎng)絡(luò)上的其它節(jié)點(diǎn)充當(dāng)客戶端和服務(wù)器的一種技術(shù)。這種設(shè)計(jì)模型不同于傳統(tǒng)的客戶端-服務(wù)器模型，在客戶端-服務(wù)器模型中通信通常來往于一個(gè)中央服務(wù)器。而P2P的客戶端的數(shù)據(jù)除控制數(shù)據(jù)外一般都不直接通過服務(wù)器，這樣視頻會議服務(wù)器就不會成為帶寬和信息處理的瓶頸，提升了系統(tǒng)的容量。P2P技術(shù)更適合于點(diǎn)對點(diǎn)視頻通信、3G可視電話等“非中心化”的業(yè)務(wù)。