Đếm đám đông sử dụng mô hình học sâu trên FPGA

Tóm tắt

Học máy và học sâu đang là các công cụ quan trọng cho bài toán xử lý video trong các ứng dụng trí tuệ nhân tạo, đặc biệt trong các tác vụ thời gian thực yêu cầu về tốc độ, độ chính xác và sự linh hoạt. Vì lý do đó, chúng tôi giới thiệu một hệ thống dò tìm và đếm đám đông từ các luồng video chuẩn RTSP sử dụng mô hình học sâu. Hệ thống của chúng tôi sử dụng các thẻ FPGA là Xilinx Alveo U30 và U200 để gia tốc sự truyền phát các luồng video và sự suy luận học sâu. Tại khối đầu vào và đầu ra, công cụ Vitis Video Analysis SDK GStreamer được sử dụng để tăng các tính năng của Alveo U30 cho các luồng video RTSP. Trong khối suy luận học sâu, chúng tôi áp dụng mô hình YOLOX đã được huấn luyện để dò tìm và đếm số lượng người có trong các khung hình. YOLOX được gia tốc bởi Alveo U200 trên công cụ Mipsology Zebra framework. Hệ thống đề xuất không chỉ xử lý đa luồng mà còn đạt được sự suy luận nhanh và sử dụng tài nguyên CPU thấp hơn hệ thống chỉ sử dụng CPU cho quá trình suy luận học sâu.