AI ScholarWeekly是AI領(lǐng)域的學(xué)術(shù)專欄,致力于為你帶來最新潮、最全面、最深度的AI學(xué)術(shù)概覽,一網(wǎng)打盡每周AI學(xué)術(shù)的前沿資訊。
每周更新,做AI科研,每周從這一篇開始就夠啦!
本周關(guān)鍵詞:視頻理解、時間感知、BERT
本周最佳學(xué)術(shù)研究
KnowIT VQA:回答有關(guān)視頻的知識性問題
在本文中,研究人員通過結(jié)合知識和視頻問答,提出了一種新的視頻理解任務(wù)。
首先,他們提出了一個稱之為KnowIT(knowledge informated temporal)VQA的視頻數(shù)據(jù)集。該數(shù)據(jù)集源自電視劇生活大爆炸(The Big Bang Theory),其中包含了眾多知識問答。KnowIT擁有24000多個人工生成的問答對,并將視覺、文本和時間與基于知識的問題相結(jié)合。其次,他們提出了一個視頻理解模型,將視頻的視覺和文本內(nèi)容與特定的節(jié)目知識結(jié)合起來。