淺談ADSP系列處理器在網路多媒體中的應用
摘要:介紹ADIBlackfin系列ADSP處理器,雙MAC處理器架構使其同時具有DSP的效能和MCU的功能,能夠執行嵌入式作業系統;同時介紹在各種網路多媒體應用領域,如IP機頂盒,網路影片監控,可視VoIP電話等方面的設計,說明如何利用ADSP處理器BF533和BF561的架構優勢,同時執行作業系統和進行數字訊號處理,支援多種多媒體格式,靈活高效地實現軟硬體設計。
關鍵詞:雙MAC處理器架構,嵌入式Linux,多種多媒體格式,ADSP-BF561雙DSP架構,一核執行作業系統,一核進行數字訊號處理
Blackfin是ADI公司推出的一類新型的嵌入式處理器,專為滿足目前音訊、影片、通訊應用等方面的計算需求和降低功耗而設計。而ADSP-BF533和ADSP-BF561是Blackfin系列中具有代表性的DSP處理器。本文將就BF533/BF561在網路多媒體中的應用作一定的介紹。
一.Blackfin系列DSP的典型應用:
汽車影象系統
寬頻無線系統
多媒體消費電子產品
數字影片錄影機
多聲道VoIP
安防和監控
機頂盒
視訊會議
二.Blackfin系列DSP的應用趨勢
DSP在多媒體應用中的需求正在轉變。目前,逐漸顯露出對以下產品的市場需求:無線、多媒體產品應用、無線區域網、家庭閘道器和其他消費類產品;以及對於汽車和工業應用中要求高速訊號處理的產品的需求也在不斷增長。多媒體的應用,正逐漸走向網路化、多樣化。目前的DSP需要滿足快速增長的支援多種多媒體格式的產品的市場需求:
影片:WMVver.9,H.264,MPEG-4,MPEG-2,MJPEG
音訊:WMAProver.9,MP3,MP3PRO,AAC,DolbyDigital,DTS
語音:G.711,G.728,G.729AB,G.723.1A,AMR
無線通訊:WLAN802.11b,GSM/GPRS,EDGE&3G
傳統的可程式設計體系結構已經無法滿足目前有特殊要求的訊號處理的需求。固化的ASIC晶片也無法滿足目前多制式的產品應用所面臨的成本、適應性以及快速推向市場的要求。而採用RISC/DSP相結合的架構現在已經擁有足夠的處理能力,能夠滿足更廣的音影片產品市場的需求。
三.Blackfin系列DSP主要特性
Blackfin系列dsp核心最高可達756MHz/1,512MMACs,可以支援多聲道音訊和VGA/D1影片的多媒體應用處理。加強了動態電源管理,採用0.8V的核心供電,以充分延長在手持裝置應用中電池的使用時間。其中ADSP-BF533具有600MHz時鐘頻率和1.2GMACS(每秒十億次乘法累加運算)運算速度;低價位的ADSP-BF531則具有300MHz/600MMACS(每秒百萬次乘法運算)的效能。這兩款Blackfin處理器兼具業界一流的數字訊號處理(DSP)效能和微處理器(MCU)功能性並且支援嵌入式作業系統以滿足當今嵌入式音訊、影片和通訊應用對高速運算和低功耗的要求。ADSP-BF533在達到600MHz效能水平時的功耗僅為280mW。為了充分發揮Blackfin體系結構的動態電源管理能力,該處理器集成了一個片內開關穩壓器,它利用2.25V~3.6V外接電源電壓可產生0.7V~1.2V可設定的核心工作電壓,從而降低了總體成本,並節省了外部電源元器件。
這些新型Blackfin處理器還支援嵌入式作業系統,例如嵌入式Linux、ThreadX
和Nucleus作業系統。另外,Blackfin處理器內的影片最佳化功能能夠實現完全可程式設計的D1/VGA實時影片和多通道音訊處理而沒有專門硬體或異構雙核心解決方案的複雜性或不靈活性。使用這種可程式設計的Blackfin處理器,能使使用者開發的產品快速投放市場,並且很容易支援新興的多媒體格式,例如,MPEG-4,H.264和WindowsMedia。
四.Blackfin系列DSP的內部結構
BF533有較高的整合度,集成了較為豐富的外圍介面,如圖4-1所示:
圖4-1BF533外圍模組圖
強勁的外圍介面可支援ITU-R656影片資料格式
2個雙通道全雙工同步串列埠可支援8個立體I2S通道
#8226;12DMA通道支援一和二維的資料傳輸
儲存控制器可緊密連線多種外部儲存器,如FLASH、SDRAM、SRAM和ROM
3個可以支援PWM核脈衝寬度/時間計算模式的計時器
可支援IrDA的UART
SPI相容埠
實時鐘
看門狗計時器
除錯/JTAG介面
支援1x到63x頻率倍數的PLL
Blackfin處理器DSP核心結構,如圖4-2所示:
BlackfinDSP核心包括2個40位的算術邏輯單元(ALU)、2個乘法器/累加器(MAC)、4個影片ALU以及1個移位器。各個計算單元執行不同型別的操作:ALU執行算術和邏輯操作;乘法器執行乘法、乘法/加和乘法/減操作;移位器執行邏輯移位、算術移位、位的壓縮和解壓縮操作;影片ALU執行單指令處理多資料(SIMD)的邏輯運算,這種操作是基於8位資料的。
計算單元透過資料暫存器組來輸入/輸出資料。資料暫存器組包含8個32位暫存器。每個32位的暫存器可以看成是2個獨立的16位暫存器。例如暫存器R0可以看成由2個16位的暫存器R0.H和R0.L組成。另外暫存器組中還有2個40位的累加器Acc0和Acc1,他們是ALU操作的專用暫存器,主要用於乘法和加法操作。
程式控制器控制指令執行的流向,它包括指令的對齊和解碼。程式控制器支援條件轉移、條件子程式呼叫和零開銷迴圈。迴圈緩衝器儲存將要執行的指令。
在目前的嵌入式多媒體應用中有一些採用了多處理技術的解決方案,一般的結構如圖4-1所示,雙核心引擎透過雙口RAM無縫連線,形成了一個硬體/軟體綜合的平臺,可以執行作業系統和使用標準API的應用:
同樣的多處理技術,也可以用在Blackfin系列DSP上。在這樣的架構中DSP主要負責媒體處理、訊號處理;而RISC則主要完成控制、包處理等等。
但實際上Blackfin系列的處理器並不僅僅是一個單純的DSP,它是一高效能的雙MAC處理器,額外擁有其他類似微處理器所常見的一些特性,可以與普通RISC的MCU相媲美。如圖4-2所示為OMAP架構的處理器和Blackfin系列處理器的對比:
OMAP系列的處理器內部為ARM和DSP的雙核結構,ARM核心負責執行嵌入式作業系統、應用軟體等;C5X負責影片、影象處理。而Blackfin系列的處理器,可以同時執行嵌入式作業系統、上層應用和進行一般的訊號處理。
而Blackfin系列DSP處理器中BF561更是採用了對稱多處理的架構,在一顆BF561晶片內部集成了2個BF533DSP核心,如圖4-3所示:
BF561主頻高達600M,並且支援並行處理,保證了其強大的`數字訊號處理能力,並且支援低電壓低電流供電。能夠滿足多功能的數字消費類產品對於效能、功耗方面的要求。
BF561靈活的多處理架構能夠支援多種工作模式,如圖4-6所示:
第一種模式(DSP+RISC),BF561內部的2個核可以分為,一個可以用來進行訊號處理;而另外一個則可以用來執行作業系統,進行乙太網傳輸,以及其他控制相關的任務。
第二種模式(PUREDSP),在訊號處理過程中,可以將1個任務交給2個不同的核去處理,奇數幀由CoreA完成,偶數幀由CoreB完成;或者2個不同的任務也可以由CoreA和CoreB分別完成。處理器的效能得到了成倍的提高。
基於Blackfin系列DSP的應用例項
(1)IP機頂盒
基於Blackfin+MCU/uClinux架構的嵌入式IP機頂盒的解決方案:
&nbs
p; 其中,32位RISCMCU負責執行嵌入式linux,進行無線區域網/乙太網傳輸、硬碟儲存、音訊編解碼、檔案管理以及控制等方面的處理。MCU從網路接收到的媒體流,可以作為儲存到硬碟或者透過SPI介面(速率可達12Mbps)傳給BF533,BF533專門負責H.264@D1格式的影片編解碼。功能模組如圖5-2所示:
(2)可視VoIP電話
隨著多媒體技術和通訊技術的快速發展,目前單一的語音通訊方式已經不能夠完全滿足人們的通訊要求,人們迫切需要改善通訊方式。可視IP電話可以利用網路雙向實時傳輸通話雙方的影象和語音,達到面對面交流的效果。隨著目前寬頻接入的普及,為可視電話的推廣和發展提供了一個很好的基礎。
下面給出了一個基於BF533和ARM9(400MHz)MCU的可視VoIP電話解決方案:
硬體方面:
SAMSUNGS3C2440(400MHz)
ADIBF533(600MHz)
TFTLCD(3.5”以上)
FLASH
SDRAM
CCD攝像頭
影片A/D
音訊A/D
音訊D/A
乙太網MAC+PHY晶片
軟體方面:
ARM9(400MHz)支援:
作業系統(Linux)
影片解碼(H.264、MPEG4)
音訊解碼(G.711、G.723.1、G.729、MP3)
&
#61557;乙太網通訊(TCP/IP協議棧等)
H.323協議棧
圖形使用者介面(GUI)
ADIBF533支援:
影片採集編碼(H.264、MPEG4)
音訊採集編碼(G.711、G.723.1、G.729)
迴音消除
透過上面使用ARM9+BF533以及相關的軟體支援,我們可以實現以下功能:
在區域網和廣域網內進行音影片的電話對講
多媒體娛樂功能:可以播放MPEG4影片和MP3、WMA音樂
支援email服務
支援SMS、MMS簡訊
支援軟體盤、手寫輸入
可外接鍵盤和滑鼠
可視電話的基本結構和核心技術:
1.可視電話的基本結構包括:
影片輸入/輸出模組,影片編解碼器
音訊輸入/輸出模組,音訊編解碼器
延時單元
資料處理、儲存單元
系統控制單元
網路介面單元
2.可視電話的核心技術:
語音和影片壓縮技術視可視電話的核心技術。可視電話作為通訊終端產品,必須保證足夠好的語音和影片質量,同時佔用的頻寬要儘量小。語音和影片壓縮技術的發展目標就是:在保證壓縮後的語音和影象質量的同時,儘量提高壓縮率。
2.1語音編碼技術
語音通訊視可視電話最基本的功能。受網路條件的限制,可視電話不可能佔用太大的頻寬。為了適應低位元速率語音通訊的要求,ITU-T推出了G.72X系列語音壓縮標準。其中G.723.1、G.728、G.729和G.729A,在IP電話中得到了廣泛應用。不同的語音壓縮標準所採用的技術提供不同的位元速率、時延和語音質量。
2.2影片編碼技術
原始的影片資料需要佔用非常高的頻寬,如果需要透過網路傳輸必須在保證在一定的影象質量的前提下透過壓縮技術儘量降低影片資料的位元速率,以適應不同的網路條件.因此影片壓縮演算法的效率決定了可視電話的影象質量和應用前景。
目前在網路監控、影片點播的應用中,MPEG4格式的影片壓縮演算法較為流行,其位元速率一般在數百Kbps到1Mbps左右。ITU-T推出的低位元速率影片壓縮標準對推動可視電話的發展和實用化起到了重要的促進作用。H.261是ITU-T推出的第一個低位元速率影片壓縮標準,位元速率為p×64kbit/s,其中p=1~30,影象格式為CIF(352*288)和QCIF(162*144)。目前H.264的演算法能夠將同樣的影片壓縮到更低的位元速率,但其計算複雜度也大大增加。相信隨著DSP晶片處理能力的進一步提高,H.264網路影片傳輸方面的應用將越來越流行。
2.3通訊協議
為保證可視電話在網路上可靠的通訊,不同的終端必須執行統一的通訊控制協議來保證相互協同工作。
ITU-T推出的H.320/323標準,面向不同的網路,不同的網路介面,不同的信令過程,以及為適應不同的網路而最佳化設計的包結構。複用協定規定了影片資料、語音資料等的打包標準,而控制協定的作用是在終端之間些商通訊方式,如影片編碼標準的協商,語音編碼標準的協商,通道頻寬的協商等。基於乙太網的可視電話通常採用H.323控制協定。
3.基於ARM9+BF533的解決方案
目前ARM9系列的處理器在手持終端上的應用如PD
A、SmartPhone、PMP產品上已經有了非常廣泛的應用,在可視電話上也有非常明顯的優勢。
3.1語音和影片編碼
語音和影片編碼需要非常強的數學運算能力,通常採用ASIC晶片或通用DSP來實現。ADIBF533具有非常強的運算能力,完全能夠滿足影片壓縮的要求,並且具有非常強的靈活性,透過軟體可以靈活滿足產品升級的要求和針對網路頻寬調整壓縮率。
BF533接受從CCDSensor採集的影片碼流,從Microphone採集的語音碼流分別進行壓縮,壓縮後透過SPI介面傳送給ARM9晶片。
3.2語音和影片解碼
ARM9在400MHz的主頻下完全能夠直接進行音影片的解碼播放,而無需再傳送給DSP做解碼播放,大大降低了DSP的負擔和系統的複雜程度。
3.3網路傳輸、通訊協議
ARM9透過嵌入式Linux能夠很好的支援TCP/IP協議,可以透過localbus擴充套件乙太網。
基於Linux也可以實現H.323協議,並且佔用很少的CPU處理能力。
3.4使用者介面
ARM9內建LCD控制器,可以支援較高解析度的TFTLCD,用來顯示本地和解壓後的影象。並且基於Linux,華恆科技已經在ARM9的平臺上普遍的實現了Microwindows、Minigui等嵌入式GUI的支援,可以實現較為完備的圖形使用者控制介面。
另外,ARM9內建了1到2個USB介面,可以接隨身碟進行資料交換,或者擴充套件USB鍵盤以及透過USB介面與主機相連,配置可視電話的工作模式。並且可以支援RTC、Watchdog,以及透過GPIO擴充套件按鍵等。
從上面應用中不難看出,ADSP系列處理器在嵌入式網路多媒體中的應用有著顯著的優點:價效比高,體積小,功耗低,外圍介面電路設計簡單。