AMST2: 집계된 다중

Scientific Reports 13권, 기사 번호: 9062(2023) 이 기사 인용

59 액세스

2 알트메트릭

측정항목 세부정보

최근 기존의 많은 시각적 추적기는 다중 레벨 컨볼루션 레이어의 공간 정보나 추적을 위한 시간 정보를 통합하여 상당한 발전을 이루었습니다. 그러나 공간적 정보와 시간적 정보의 상호 보완적인 장점은 두 가지 유형의 정보를 별도로 사용하는 경우에는 활용될 수 없습니다. 본 논문에서는 여러 수준에서 공간적 및 시간적 맥락 정보를 모두 통합하는 변환기 기반 모델을 사용하여 강력한 시각적 추적을 위한 새로운 접근 방식을 제시합니다. 다단계 공간 및 시간 인코더를 통해 정제된 유사성 맵을 통합하기 위해 집계 인코더를 제안합니다. 결과적으로 제안된 집합 인코더의 출력에는 다단계 공간적 맥락과 시간적 맥락의 전역적 맥락을 통합하는 유용한 특징이 포함되어 있다. 우리가 제안하는 기능은 다중 레벨의 공간적, 시간적 맥락에 대해 대조적이면서도 보완적인 표현을 제공합니다. 이 특성은 폐색, 모션 블러, 작은 물체 및 크기 변화로 인해 추적 실패가 발생할 수 있는 복잡한 항공 시나리오에서 특히 유용합니다. 또한 당사의 추적기는 경량 네트워크 백본을 활용하여 항공 데이터 세트에서 빠르고 효과적인 개체 추적을 보장합니다. 또한 제안된 아키텍처는 초기 템플릿 정보를 유지하면서 최신 객체의 기능을 업데이트함으로써 중요한 변화에 대해 보다 강력한 객체 추적을 달성할 수 있습니다. 7개의 까다로운 단기 및 장기 항공 추적 벤치마크에 대한 광범위한 실험을 통해 제안된 추적기가 실시간 처리 속도와 성능 측면에서 최첨단 추적 방법보다 우수한 것으로 나타났습니다.

관심 객체의 시각적 추적은 컴퓨터 비전에서 매우 중요하고 도전적인 연구 주제입니다1. 시각적 추적의 주요 목적은 서로 다른 프레임의 유사한 픽셀 간의 대응 관계를 설정하여 일련의 비디오 프레임에서 임의 개체의 위치와 크기를 추정하는 것입니다. 최근 드론 등 무인항공기(UAV)의 중요성과 활용도가 높아지면서 항공 데이터를 활용한 다양한 시각적 추적 방법이 연구되고 있다2,3. 시각적 추적의 상당한 발전에도 불구하고 항공 추적은 여전히 ​​실시간 추적, 조명 변동, 폐색, 빠른 움직임, 배경 혼란, 흐림 등 수많은 문제에 직면해 있습니다.

기존의 시각적 추적 패러다임은 (1) 탐지에 의한 추적과 (2) Siamese 네트워크 기반 추적의 두 가지 범주로 분류될 수 있습니다.

감지를 통한 추적 방법은 먼저 각 비디오 프레임에서 객체를 감지한 다음 모션 모델을 사용하여 객체의 위치를 ​​업데이트합니다. 판별 상관 필터(DCF)는 푸리에 변환을 사용하여 교차 상관 계산을 효율적으로 계산하고 실시간 처리를 달성하는 대표적인 감지별 추적 방법입니다. DCF 추적기는 또한 객체와 배경을 표현하기 위해 HOG(Histogram of Oriented Gradients)와 같은 손으로 만든 기능을 사용합니다. 그러나 DCF 추적기는 스케일 변경 및 상당한 외관 변화를 처리할 수 없는 등 몇 가지 제한 사항이 있습니다.

CNN(Convolutional Neural Network)의 심층 기능을 사용하여 딥 러닝 기반 방법은 DCF 기반 추적기보다 추적 성능이 크게 향상되었습니다12,13,14,15,16,17,18. 딥 러닝 기반 추적기의 발전에도 불구하고 일부 알고리즘에는 컴퓨팅 리소스가 부족하여 임베디드 플랫폼에 적합하지 않으며, 다른 알고리즘에는 원하는 수준의 추적 성능을 제공할 수 없습니다. 최근까지 DCF 기반 추적기는 임베디드 플랫폼과 같은 장치 제약으로 인해 딥러닝 기반 방법에 비해 약한 추적 성능을 무시하고 저가형 애플리케이션에 자주 사용되었습니다.