Automated Emotion Recognition Using Hybrid CNN-RNN Models on Multimodal Physiological Signals.: Automated Emotion Recognition Using Hybrid CNN-RNN Models on Multimodal Physiological Signals

AMMAR AZEEZ

doi:10.61710/kjcs.v3i2.100

المؤلفون

AMMAR AZEEZ وزارة الكهرباء - المديرية العامة لنقل الطاقة الكهربائية

الكلمات المفتاحية:

Emotion Recognition، Hybrid Models، CNN-RNN، Multimodal, Physiological Signals.

الملخص

لقد برز التعرف على المشاعر كأحد أحجار الزاوية للتفاعل بين الإنسان والحاسوب، وبالتالي فتح آفاق جديدة في الرعاية الصحية والتعليم والترفيه. إن القدرة على أتمتة عمليات التعرف على المشاعر باستخدام نماذج الشبكة العصبية التلافيفية الهجينة والشبكة العصبية المتكررة توفر طريقًا واعدًا لفك تشفير الحالات العاطفية المعقدة. تطور الدراسة المقترحة نهجًا لدمج تخطيط القلب واستجابة الجلد الجلفانية وتعبيرات الوجه لأداء التعرف على المشاعر بطريقة دقيقة وفعالة. يجمع هذا الهيكل الهجين بين نقاط قوة CNN في استخراج السمات المكانية وRNNs في نمذجة التبعيات الزمنية، مما يوفر بشكل طبيعي علاجًا للتحديات التي يفرضها استخدام البيانات المتعددة الوسائط. تم إجراء تجارب مكثفة على مجموعات البيانات المرجعية المتاحة للجمهور، ويتفوق النموذج الهجين المقترح على الطرق الأحادية والتقليدية الأخرى من حيث دقة التصنيف الأعلى والمتانة. لا تشير هذه الدراسة إلى إمكانات النماذج الهجينة في تعزيز التعرف على المشاعر فحسب، بل إنها توفر أيضًا إطارًا قابلًا للتطوير وقابلًا للتكيف مع التطبيقات في العالم الحقيقي مثل مراقبة الصحة العقلية وأنظمة التعلم التكيفي. وقد أكدت النتائج كيف يمكن لتقنيات التعلم العميق سد الفجوة بشكل كبير بين التجارب العاطفية الذاتية والتحليلات الحسابية الموضوعية.

التنزيلات

بيانات التنزيل غير متوفرة بعد.

المراجع

References

Picard, R. W. (1997). Affective Computing. MIT Press.

Jerritta, S., Murugappan, M., Wan, K., & Yaacob, S. (2011). Physiological signals based human emotion recognition: A review. International Journal of Medical Engineering and Informatics, 3(2), 1-20.

Poh, M. Z., Swenson, N. C., & Picard, R. W. (2010). A wearable sensor for unobtrusive, long-term assessment of electrodermal activity. IEEE Transactions on Biomedical Engineering, 57(5), 1243-1252.

Koelstra, S., Muhl, C., Soleymani, M., et al. (2012). DEAP: A database for emotion analysis using physiological signals. IEEE Transactions on Affective Computing, 3(1), 18-31.

Soleymani, M., Lichtenauer, J., Pun, T., & Pantic, M. (2012). A multimodal database for affect recognition and implicit tagging. IEEE Transactions on Affective Computing, 3(1), 42-55.

Zheng, W. L., Zhu, J. Y., Peng, Y., & Lu, B. L. (2018). EEG-based emotion recognition using 3D convolutional neural networks and temporal electroencephalographic signals. Neural Networks, 105, 1-11.

Tang, Y. (2013). Deep learning using linear support vector machines. Proceedings of the 30th International Conference on Machine Learning (ICML-13).

Trigeorgis, G., Ringeval, F., Brueckner, R., et al. (2016). Adieu features? End-to-end speech emotion recognition using a deep convolutional recurrent network. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).

Poria, S., Cambria, E., Bajpai, R., & Hussain, A. (2017). A review of affective computing: From unimodal analysis to multimodal fusion. Information Fusion, 37, 98-125.