Meta 今天發表全新開源模型Meta SAM 2,並將其分割能力擴展到了影片領域。
SAM 2 可以分割圖像或影片中的任何對象,並在影片的所有幀中即時一致地追蹤該對象。
現有模型無法實現這一功能,因為影片中的分割比圖像中的分割更具挑戰性。
在影片中,物體會快速移動,外觀會發生變化,還會被其他物體或場景部分遮擋,我們在建構 SAM 2 時解決了其中的許多難題。
SAM 2 還可用於追蹤影片中的目標對象,以幫助更快地標注視覺數據,用於訓練電腦視覺系統,包括自動駕駛汽車中使用的系統,它還能以創造性地方式,在即時或即時影判中選擇對象並與之互動。
該項技術現已開源,以便其他人能夠探索新的功能和用例。
本文為品玩授權刊登,原文標題為「META 發佈開源模型 Meta SAM 2,實現視頻中實時分割對象」