Multi-Dimensional Deep Learning for Unusual Detection in Security Footage: A 3D CNN, LSTM, and Attention-Based Approach

Nadia Ali

doi:10.61710/kjcs.v3i3.114

المؤلفون

Nadia Ali Middle Technical University

الكلمات المفتاحية:

اكتشاف الشذوذ في الفيديو، الشبكات العصبية التلافيفية ثلاثية الأبعاد، اكتشاف القتال، مقاطع فيديو المراقبة، اكتشاف العنف، النمذجة المكانية الزمنية

الملخص

لا يزال الكشف الآلي عن الأنشطة غير الاعتيادية في فيديوهات المراقبة يُمثل تحديًا بالغ الأهمية نظرًا للكم الهائل من اللقطات وندرة الأحداث الشاذة. تقترح هذه الدراسة إطار عمل مبتكرًا للتعلم العميق يدمج الشبكات العصبية التلافيفية ثلاثية الأبعاد لاستخراج السمات المكانية الزمنية، وشبكات الذاكرة طويلة المدى قصيرة المدى لنمذجة التبعيات الزمنية، وآلية انتباه للتركيز على الأجزاء البارزة. الهدف الرئيسي هو تحقيق تصنيف ثنائي دقيق للغاية لمقاطع الفيديو إلى فئتين "معتادة" و"غير عادية"، مع معالجة اختلال التوازن بين الفئات والتباين البيئي. تم تدريب النموذج وتقييمه على ثلاث مجموعات بيانات واسعة النطاق، وهي UCF-Crime وXD-Violence وCCTVFights، والتي تتضمن فيديوهات مراقبة تغطي شذوذًا في العالم الحقيقي. تُظهر النتائج التجريبية أن الطريقة المقترحة تُحقق دقة إجمالية تبلغ 97.41% في مجموعة بيانات UCF-Crime، و98.11% في مجموعة بيانات XD-Violence، و98.50% في مجموعة بيانات CCTVFights، بالإضافة إلى دقة عالية، ودرجات تذكر، وF1 في مجموعات البيانات الثلاث المستخدمة في عملية التقييم، متفوقةً بذلك على المعايير الحالية. تشير هذه النتائج إلى أن الجمع بين النمذجة المكانية الزمنية وتجميع السياقات القائمة على الانتباه يُمكن أن يُحسّن بشكل كبير من أداء اكتشاف الشذوذ في سيناريوهات المراقبة المعقدة.

التنزيلات

بيانات التنزيل غير متوفرة بعد.

المراجع

A. Khandekar, V. Meneni, H. Uddin, B. Nikhil, M. Tejeshwar, and R. Al–Fatlawy, “Sustainable abnormal events detection and tracking in surveillance system,” E3S Web Conf., vol. 529, p. 04009, 2024.

J. Gao, J. Shi, P. Balla, A. Sheshgiri, B. Zhang, H. Yu, et al., “Camera-based crime behaviour detection and classification,” Smart Cities, vol. 7, pp. 1169–1198, 2024.

K. K. Verma, B. M. Singh, and A. Dixit, “A review of supervised and unsupervised machine learning techniques for suspicious behaviour recognition in intelligent surveillance systems,” Int. J. Inf. Technol., vol. 14, pp. 397–410, 2022.

P. G. I. M. Chandrasekara, L. G. Chathuranga, K. A. A. Chathurangi, D. M. K. N. Seneviratna, and R. M. K. T. Rathnayaka, “Intelligent video surveillance mechanisms for abnormal activity recognition in real-time: a systematic literature review,” KDU J. Multidiscip. Stud., vol. 5, p. 1, 2023.

D. R. Patrikar and M. R. Parate, “Anomaly detection using edge computing in video surveillance system,” Int. J. Multimed. Inf. Retr., vol. 11, pp. 85–110, 2022.

M. M. Islam, S. Nooruddin, F. Karray, and G. Muhammad, “Human activity recognition using tools of convolutional neural networks: A state of the art review, data sets, challenges, and prospects,” Comput. Biol. Med., vol. 149, p. 106060, 2022.

M. S. Mahdi, A. J. Mohammed, and M. M. Jafer, “Unusual activity detection in surveillance video scene,” J. AlQadisiyah Comput. Sci. Math., vol. 13, p. 92, 2021.

W. Ullah, A. Ullah, T. Hussain, K. Muhammad, A. A. Heidari, J. Del Ser, et al., “Artificial Intelligence of Things-assisted two-stream neural network for anomaly detection in surveillance Big Video Data,” Future Gen. Comput. Syst., vol. 129, pp. 286–297, 2022.

W. Ullah, A. Ullah, I. U. Haq, K. Muhammad, M. Sajjad, and S. W. Baik, “CNN features with bi-directional LSTM for real-time anomaly detection in surveillance networks,” Multimed. Tools Appl., vol. 80, pp. 16979–16995, 2021.

D. Bouchabou, S. M. Nguyen, C. Lohr, B. LeDuc, and I. Kanellos, “A survey of human activity recognition in smart homes based on IoT sensors algorithms: Taxonomies, challenges, and opportunities with deep learning,” Sensors, vol. 21, p. 6037, 2021.

S. Zhang, Y. Li, S. Zhang, F. Shahabi, S. Xia, Y. Deng, and N. Alshurafa, “Deep learning in human activity recognition with wearable sensors: A review on advances,” Sensors, vol. 22, p. 1476, 2022.

E. Ramanujam, T. Perumal, and S. J. Padmavathi, “Human activity recognition with smartphone and wearable sensors using deep learning techniques: A review,” IEEE Sens. J., vol. 21, pp. 13029–13040, 2021.

A. Chatterjee and B. S. Ahmed, “IoT anomaly detection methods and applications: A survey,” Internet Things, vol. 19, p. 100568, 2022.

A. Nadeem, A. Jalal, and K. Kim, “Automatic human posture estimation for sport activity recognition with robust body parts detection and entropy Markov model,” Multimed. Tools Appl., vol. 80, pp. 21465–21498, 2021.

G. Diraco, G. Rescio, P. Siciliano, and A. Leone, “Review on human action recognition in smart living: Sensing technology, multimodality, real-time processing, interoperability, and resource-constrained processing,” Sensors, vol. 23, p. 5281, 2023.

A. Gupta, A. Tickoo, N. Jindal, and A. K. Shrivastava, “Unusual activity detection using machine learning,” in Proc. Int. Conf. Recent Trends Comput. (ICRTC), 2022, pp. 551–559, 2023.

A. Sunil and M. H. Sheth, “Usual and unusual human activity recognition in video using deep learning and artificial intelligence for security applications,” in 2021 Fourth Int. Conf. Electr., Comput. Commun. Technol. (ICECCT), 2021, pp. 1–6.

U. Singh, P. Gupta, and M. Shukla, “Activity detection and counting people using maskRCNN with bidirectional ConvLSTM,” J. Intell. Fuzzy Syst., vol. 43, pp. 6505–6520, 2022.

M. Malekar, “Detecting criminal activities of surveillance videos using deep learning,” Int. J. Sci. Res. Comput. Sci. Eng. Inf. Technol., pp. 188–193, 2021.

A. Feroze, A. Daud, T. Amjad, and M. K. Hayat, “Group anomaly detection: past notions, present insights, and future prospects,” SN Comput. Sci., vol. 2, p. 1, 2021.

M. S. Mahdi, A. J. Mohammed, and W. Abdulghafour, “Detection of unusual activity in surveillance video scenes based on deep learning strategies,” J. AlQadisiyah Comput. Sci. Math., vol. 13, p. 4, 2021.

S. Sharma, B. Sudharsan, S. Naraharisetti, V. Trehan, and K. Jayavel, “A fully integrated violence detection system using CNN and LSTM,” Int. J. Electr. Comput. Eng., vol. 11, pp. 3374–3380, 2021.

M. Ramzan, A. Abid, and S. Awan, “Automatic unusual activities recognition using deep learning in academia,” Comput. Mater. Continua, vol. 70, pp. 1829–1844, 2022.

R. Kalshetty and A. Parveen, “Abnormal event detection model using an improved ResNet101 in contextaware surveillance system,” Cogn. Comput. Syst., vol. 5, pp. 153–167, 2023.

A. Shukla, “Detecting impersonation episode using teaching learning–based optimization and support vector machine techniques,” Expert Syst., vol. 40, p. 7, 2023.

Á. JaramilloAlcázar, J. Govea, and W. VillegasCh, “Anomaly detection in a smart industrial machinery plant using IoT and machine learning,” Sensors, vol. 23, p. 8286, 2023.

D. Mane, “Realtime anomaly detection in video surveillance: A mathematical modelling and nonlinear analysis perspective with MobileNet and BiLSTM,” CANA, vol. 31, pp. 306–319, 2024.

M. H. Wani and A. R. Faridi, “EASAD: efficient and accurate suspicious activity detection using deep learning model for IoTbased video surveillance,” Int. J. Inf. Technol., vol. 16, pp. 4309–4321, 2024.

U. Gawande, K. Hajari, and Y. Golhar, “Novel person detection and suspicious activity recognition using enhanced YOLOv5 and motion feature map,” Artif. Intell. Rev., vol. 57, p. 16, 2024.

M. U. Meraj, “AnomalyDetectionDatasetUCF,” Kaggle Dataset, 2021. [Online]. Available: https://www.kaggle.com/datasets/minhajuddinmeraj/anomalydetectiondatasetucf.

P. Wu, J. Liu, Y. Shi, F. Shao, Z. Wu, and Z. Yang, “XDViolence,” Original Metadata [Dataset], TIB LDM Service, 2024. DOI: 10.57702/mt1rr0km. [Online]. Available: https://roc-ng.github.io/XD-Violence/.

M. Perez, A. C. Kot, and A. Rocha, “Detection of realworld fights in surveillance videos,” in Proc. IEEE Int. Conf. Acoust., Speech, Signal Process. (ICASSP), Brighton, UK, May 12–17, 2019. [Online]. Available: http://rose1.ntu.edu.sg/dataset/cctvFights/.