WebCam Test
在過去的兩年里,VCX 論壇一直致力於開發一個可靠、客觀與全面的網絡攝像頭圖像質量標準。幾周前,VCX-WebCam 2023 已正式推出,這一國際標準是首批關注網絡攝像頭圖像質量的標準之一。它可用於消費級視頻會議攝像頭的視頻圖像質量評估。
VCX-WebCam的評分是盡可能在遵循國際標準定義下,通過明確且透明的測試程序產生。整個分析過程是基於從捕獲的拍攝視頻中提取的幀。評分分析算法被應用於這些幀,以產生KPI(關鍵性能指標)結果,這些結果成為評分系統的計算指標,以產生一個單一的數字評分結果。
此票文章只為簡單的概述標準里所包含的測試項目,詳情還請參考VCX-WebCam的測試白皮書。
將KPI轉化為單獨的分數,是根據每個KPI的最差值和最佳值的定義,使用獨特的變換來完成的。
有些指標需要用不同的方法來評估感知的圖像質量。銳化就是一個很好的例子,欠銳化對圖像效果沒有好處,因為圖像會顯得模糊平淡,而過度的銳化會很快導致圖像的產生偽影或噪聲,塗抹感變得嚴重。
因此,評估方法中會有一個 “最佳點”,低於或高於這個點則降低分數。網絡攝像頭評分由 6 個重點領域驅動。
單個評分指標被合併為相關的子組(例如,自動曝光和自動白平衡被歸為一組)。然後通過加權過程將這些子組相加,產生最終的 VCX 分數。
VCX WebCam 2023 攝像頭評分完全由實驗室環境中捕獲的視頻生成,涵蓋一系列測試條件,旨在反映攝像頭最有可能使用的環境。
一、測試設備及圖卡
圖卡 |
TE295 圖卡 |
TE255-D280 均光片 |
|
TE264X-V2-D280,100000:1 動態範圍圖卡 |
|
人頭模型: |
|
光源設備及校准 |
|
電視(作為彩色背景,滿足測試項中要求即可) |
|
電視校准設備 |
|
相機固定/對準支架 |
iQ-Bench-M -2m 定製版導軌(含配件) |
人頭模型自動轉動裝置 |
|
圖像質量分析軟件 |
|
電動移動裝置 |
(TE295 &人頭模型)移動調整裝置 |
VCX-WebCam 詳細方案和設備/圖卡咨詢請來信洽商 sales@dhd.com.tw
二、測試項目描述
1、視覺噪聲
現代 ISP 中的降噪算法在性能上差別很大。與傳統的信噪比(SNR)不同,ISO 15739中規定的視覺噪聲方法能更好地代表人類視覺對被測相機中噪聲的感知方式。
亮度通道L*和兩個色度通道a*,b*的視覺噪聲是針對colorchecker的所有色塊確定的,然後通過對比度敏感度函數(CSF)進行加權,以模仿人類視覺在 50cm 距離的 140ppi 顯示器上 100% 的觀看。
與 ISO 15739 相比,VCX-WebCam 的一個變化是採用專門針對視頻的 CSF,而不是靜態圖像,因為與單張圖像相比,視頻中噪聲的時間性會導致噪聲感知的差異。變化的方面是對比度敏感性函數的形狀.
亮度對比靈敏度函數(L-CSF)與色度對比靈敏度函數(C-CSF)
測試程序要求設置攝像機和OECF圖卡之間的距離,使視場(FOV)與OECF圖卡的mark標記對齊,以達到預期的分辨率。應按照下表中的條件拍攝5秒鐘的視頻。從視頻的最後一秒截取的幀應被用於噪聲評估。由此產生的KPI與分析軟件的OECF結果文件中報告的 “setting3 “視覺噪聲值相對應。
視覺噪聲測試條件
2、對比度、動態範圍、曝光
曝光、gamma校正和色調響應對亮度、動態範圍和圖像的整體效用有很大的影響。
測試場景
2.1 對比度響應
測試應使用透射式的20灰階OECF圖卡,並將透射式光源調整到測試中的條件。具體設備建議是LE7-IR。
設備的設置應使FOV與OECF圖卡的mark標記正交,以達到預期的分辨率。曝光應保持在自動模式,並遵循下面圖表中的每個照明條件拍攝5秒鐘的視頻。
該指標越高,在指定的區域內就越能感受到局部的對比度。雖然一些對比度的增強對主觀對比度印象是有益的,但一個非常高的值會導致觀察者不愉快的效果。
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_12.png?fit=866%2C468&ssl=1)
來自不同設備的樣本數據 – 設備E在低區顯示高對比度,設備H在中區顯示非常高的對比度。設備H的對比度過於強烈,會對VCX評分產生很大影響
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_16.png?fit=866%2C343&ssl=1)
對比度響應測試條件
2.2 動態範圍
測試使用與對比度響應測試中相同的圖像。動態範圍應根據ISO15739:2013計算為L_max和L_min的比率。L_max的值應被定義為飽和點,而L_min是指導致信噪比為3的亮度。
2.3 曝光準確度
根據ISO 11664-2:2020,在經典的24色卡中,根據第21色塊(18%灰色)的亮度值L*評估曝光準確度。除非另有規定,測試應在測試條件表的照明條件下進行,並使用以下關鍵指標。
– Convergence time(收斂時間)–從場景變化到21號色塊(18%的灰塊)或人體模型ROI的L*收斂的時間,單位為毫秒。
– Convergence target(收斂目標)–第21色塊(18%的灰塊)的L*值落在規格限制之內。
– Convergence stability(收斂穩定性)–收斂後21號色塊(18%的灰塊)的L*值的標準偏差。
– 21號色塊的靜態L*值 ColorChecker
– 頭轉臉- L*和21色塊的標準差跨越短和長的頭轉序列
每個測試條件都對這三個目標進行評估:
帶淺色膚色模特(”Alexis”)的攝像頭演播室圖卡_TE295
帶深色膚色模特(”Richard”)的攝像頭演播室圖卡_TE295
無人頭模型的攝像頭演播室圖卡_TE295(模特被移除)。
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_7.png?fit=866%2C772&ssl=1)
Richard與Alexis 模特頭
3、空間頻率響應
空間頻率響應(SFR)包括與攝像機再現場景中細節的能力有關的所有測量(分辨率、紋理損失和銳化)。
需要注意的是,SFR這個術語比調制傳遞函數(MTF)更通用,後者是SFR的一個特殊版本。在這種情況下,這裡只使用SFR,即使s-SFR(在正弦西門子星上測量的SFR)也可以被稱為MTF。
Resolution(分辨率/解析力)描述了被測試的系統再現場景中細節的能力。細節水平和清晰度都需被測量,這個指標與人類對顯示或打印圖像的清晰度的感知有很好的相關性。
Texture loss(紋理細節)損失反映了對比度與精細細節的再現程度。強烈的紋理損失,主要是由於強烈的降噪或數據壓縮,導致圖像像水彩畫一樣,紋理區域的自然變化減少或完全消失,如皮膚、頭髮、織物等。
Sharpness(銳度)可以通過應用邊緣銳化算法來改善。雖然這種算法可以大大增強圖像,但過於過度的銳化處理會導致各種偽影和圖像質量下降。
由於圖像增強算法的適應性和非線性,不同的測量配置將導致不同的SFR,每一種都定義了獨特的KPI,描述了圖像質量的某些方面。
測試程序要求對準設備,使其與場景正交,以24色卡的第2塊為中心,並將其放置在離圖卡75cm的地方。對於下面表中的每一種照明條件,應拍攝5秒鐘的視頻,並使用最後拍攝的幀計算相關指標。
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_8.png?fit=866%2C202&ssl=1)
空間頻響測量的光照條件概述
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_9.png?fit=866%2C566&ssl=1)
4、色彩還原
色彩還原質量表示為目標值與從拍攝的視頻中收集的相應色彩測量值之間的差異。
4.1 色彩準確度
根據ISO17321標準,應確定color checker chart的平均和最大Delta E(CIE實驗室色差)、Delta C(色度差)和Delta H(色調差)值。
對人體模型的臉部ROI應單獨收集兩種膚色的測量值。
4.2 白平衡
白平衡質量由colorchecker的第21個補丁的Delta C2000確定。對於臉部存在的場景,整個臉部ROI的Delta C2000應被評估。
雖然這個測試應重新使用色彩準確性測試的圖像,但收集新的拍攝圖,以評估下文表所列的每個測試組合的背景變化對白平衡的影響,並使用背景電視設置。計算ColorChecker中21號色塊的色差值,並報告每種背景條件下的平均值和最大值。
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_10.png?fit=693%2C800&ssl=1)
測試條件表
4.3 自動白平衡收斂性
根據ISO CIE 11664-1對24色卡中的21號色塊(18%灰度)的C*成分,對測試視頻中的每一幀進行提取,以計算以下關鍵指標(在每種情況下,應報告最大值)。
– AWB convergence time(AWB收斂時間)–從場景變化到21號色塊或人體模型ROI中C*信號收斂的時間,以毫秒計。
– Convergence target(收斂目標)–21號色塊(18%灰色塊)的C*值應落在規格限制內。
– AWB convergence stability(AWB收斂穩定性)–定義為收斂後剩餘幀數的21號色塊(18%灰色塊)的C*值的標準偏差。
– 靜態DeltaC–24色卡的21號色塊
5、圖像均勻性
有許多因素如不良的光學器件、熱效應、漏光、傳感器校准和圖像處理,都會對圖像的空間均勻性產生巨大的影響。
這個測試評估了在一系列常見的光源下,亮度和色彩的均勻性。性能最差的光源的結果將被報告為測試的KPI。
測試應使用一個均勻場測試圖,並將透射性光源調整到測試條件。設備應與圖卡正交,使照明區域充滿攝像機的整個視場。設備顯示屏和任何 LED 應被關閉或覆蓋,以避免圖像中出現任何反射光。
每種照明條件都應拍攝5秒鐘的視頻;視頻最後一秒的5個幀將被平均分析。亮度均勻性用圖像中發現的最大和最小CIE-L*計算為1-max/min。色彩均勻性表示為圖像區域內的最大ΔEab。本測試的具體設備推薦LE7-IR光源和TE255均光片。
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_11.png?fit=866%2C389&ssl=1)
光源條件
6、幀速率
設備應在離目標75cm處進行測試。幀率是通過測量放置在VCX PC測試場景人體模型插槽中的LED-Panel 跑馬燈的真實曝光來計算的。這種方法可以檢查顯示的幀數和捕獲的幀數之間的差異。理論上,一個設備可以在低光下每秒捕獲15幀,並使用同一幀兩次,以便在視頻流中仍然提供每秒30幀。
LED-Panel應被配置為至少1毫秒的間隔。在捕獲的5秒視頻中,最後30幀將被分析,以確定每幀曝光開始之間的時間,平均值應被報告為所得的幀率。該測試應在250lx、80lx、20lx–所有測試在D50下進行。設備推薦為LED-Panel V5.
注意:一個好的LED-Panel頻率設置可以確定為幀率乘以LED的數量(例如,30幀的3kHz)。在大多數情況下,這將導致每一幀都有相同的LED燈被照亮,使分析更加容易。
![](https://i0.wp.com/dhd.com.tw/wp-content/uploads/2022/12/VCX-WebCam%E6%A8%99%E6%BA%96_13.png?fit=866%2C583&ssl=1)
LED-Panel搭配(圖片效果為客戶定制)
以上就是 VCX-WebCam 白皮書中的測試內容簡析,有其他疑問或需求,歡迎隨時聯繫我們 02-3322-5960。 sales@dhd.com.tw