近日，CVPR 2023 VIZWIZ Grand Challenge Workshop 競賽成績公布。小視科技參賽團隊在顯著性目標檢測賽道獲得第一名，在視覺問答賽道中獲得第三名。

小視團隊奪得顯著性目標檢測賽道冠軍

小視團隊奪得視覺問答賽道季軍

01 VizWiz Grand Challenge 雙賽道獲“一冠一季”

CVPR是世界頂級的計算機視覺會議三大頂會之一，由IEEE主辦，有著計算機視覺領域“奧斯卡”的美譽。本屆VIZWIZ Grand Challenge Workshop 是由微軟、蘋果和科羅拉多大學博爾德分校等共同在CVPR上舉辦的國際性賽事。

這項比賽旨在解決視力障礙人群提出的需求，通過提升視覺算法的精度，滿足他們對感知周圍環境的需求，進而促使計算機視覺社區合作開發輔助技術的算法。

02 顯著性目標檢測賽道 小視冠軍方案

顯著性目標檢測是CV領域的一項重要任務，旨在識別圖片中最具顯著性的目標物體或區域，讓計算機理解圖像中的哪些部分是人們關注的重點。

官方提供的數據集，圖片均由視障人士拍攝

官方數據集包括訓練集19116張圖片、驗證集6105張圖片、測試集6779張圖片。

我們使用多模態模型預測得到顯著圖像的描述，如下圖food，擴散模型根據描述在對應的位置生成目標，再分割得到生成圖像對應的mask。利用這種方式能夠有效的生成大量高質量的數據，增加數據的多樣性。

生成圖像及其mask的流程

我們以SelfReFormer作為基礎框架，利用視覺大模型預訓練權重提升了圖像編碼器（ImageEncoder）特征提取的能力。

圖像編碼器參數量對比

SelfReformer模型架構圖

通過加入T2T模塊的轉化，將多個尺度特征進行融合，增加了模型對顯著性目標的鑒別能力，帶來了穩定的漲點。

T2T模塊多尺度示意圖

除此之外，我們利用投票機制進行模型選擇，最終融合了SwinTransFormerv2和Dinov2兩個編碼器的結果。其他的trick比如二值化閾值調整、不同尺寸的腐蝕操作都會有微小的漲點。

我們的方案共有Sm、Em、Iou三項指標位列第一，總排名第一。

03 視覺問答賽道 小視季軍方案

視覺問答任務要求模型理解問題的語義、圖像的視覺內容以及兩者之間的關系，回答基于圖像的問題。

VIZWIZ VQA數據集中，每個問題都收集了10個人的回答。采集的圖片存在拍攝場景不完整、模糊或不清晰，收集的問題和回答也較為口語化。

官方提供了20523個圖片-問題對作為訓練集，4319個作為驗證集，8000個作為測試集。

官方數據集

數據增廣上，我們使用與顯著性賽道相似的方式增加數據的多樣性，使用多模態大模型生成對應的問題-答案對，有效擴充了圖片和語料數據。

我們以Blip2作為基礎框架。對語料進行了prompt增強，對視覺和語言大模型結合的部分Q-Former進行微調，LLM部分適配T5，VIT-L, VIT-G等多種大模型預測回答的結果，最終基于投票機制對多個模型的預測結果進行融合。

Blip2模型架構圖

在本次比賽中，我們不僅豐富了在視覺大模型領域的技術棧，更是基于大模型強大的特征表示和模式識別能力，提升了生產算法在目標檢測、追蹤、分類，分割任務上的精度和場景泛化性，加速了我們的算法在各種復雜場景下的落地和實際應用能力。

比賽落幕，小視團隊在全球AI開發者面前充分展示了自身的技術硬實力。

“一冠一季”的好成績收入囊中后，小視團隊希望能為計算機視覺技術的發展，尤其是大模型應用探索更多的落地空間，為AI惠及智慧城市、工業生產、機器人等領域積累更多技術儲備。