108 – Людино-машинний та нейрокомп'ютерний інтерфейси
Mansi Bhatnagar; Vivek Dwivedi; Ivan Minárik; Radoslav Vargic.
Анотація

Цей курс пропонує вичерпний огляд людино-машинного («людина-комп’ютер») та нейрокомп'ютерного («мозок-комп’ютер») інтерфейсів, зосереджуючись як на теоретичних, так і на технологічних основах сучасних інтерактивних систем. Студенти досліджуватимуть традиційні та нові методи користувацького інтерфейсу, включаючи командний рядок, графічні, мовленнєві та сенсорно-орієнтовані підходи. Особливий акцент робиться на таких технологіях, як аудіо- та візуальні сенсори, мікрофони, камери, дисплеї, тактильні пристрої, нюхові та смакові інтерфейси, а також біосенсори, що використовуються для комунікації типу «мозок-комп'ютер». Курс охоплює отримання сигналів, обробку, інтеграцію апаратного та програмного забезпечення та мультимодальне об'єднання даних, а також проєктування та оцінку інтерактивних систем. Практичні аспекти включають розроблення користувацьких інтерфейсів, застосування MEMS та цифрової обробки сигналів, а також інтеграцію штучного інтелекту в середовища XR. Навчальна програма підкреслює доступність, зручність використання та етичні міркування при проєктуванні інтерфейсів наступного покоління.

Цілі

Після успішного завершення цього курсу студенти зрозуміють ключові концепції та механізми, що лежать в основі інтерфейсів типу «людина-комп'ютер» та «мозок-комп'ютер». Вони зможуть описати фізіологічні та технічні основи сенсорних інтерфейсів для зору, слуху, дотику, нюху та смаку. Студенти отримають компетенції в аналізі, проєктуванні та оцінці користувацьких інтерфейсів, включаючи практичні навички роботи з аудіо- та візуальними сигналами, обробкою зображень та мовлення, а також системами XR. Крім того, вони розвинуть критичне мислення щодо інтеграції мультимодальних вхідних даних, доступності, зручності використання, а також етичного та суспільного впливу сучасних технологій інтерфейсів.

Ключові слова
Людино-машинна взаємодія; Інтерфейс «мозок-комп'ютер»; Дизайн інтерфейсу користувача; Сенсорні інтерфейси; Обробка аудіосигналів; Візуальне сприйняття; Тактильна технологія; Розширена реальність (XR); Доступність; Зручність використання; Мультимодальна взаємодія; Етика в технологіях
Дата створення
20.07.2025
Тривалість
4 годин
Мова
Українська
Ліцензія
ISBN
Література
  1. M. Mikuláštík, Komunikační dovednosti v praxi, 2. dopl. a přeprac. vyd. Praha: GRADA Publishing, a.s., 2010.
  1. J. A. Hall and M. L. Knapp, Nonverbal Communication. in Handbooks of Communication Science. De Gruyter, 2013.
  1. R. Williams, The Non-Designer’s Design Book, 4th Edition. Peachpit Press, 2014.
  1. https://www.slideshare.net/slideshow/sound-acoustics-psychoacoustics/32315432
  1. https://www.slideshare.net/slideshow/acoustics-131749521/131749521
  1. https://www.slideshare.net/slideshow/speech-signalspptx/254112278      
  1. https://en.wikipedia.org/wiki/Audio_signal#:~:text=Audio%20signals%20may%20be%20characterized,be%20single%2Dended%20or%20balanced.        
  1. Sylvain Marchand, RESPECT: A FREE SOFTWARE LIBRARY FOR SPECTRAL SOUND SYNTHESIS, SCRIME / LaBRI – CNRS, Université Bordeaux 1 351 cours de la Libération, 33405 Talence cedex, France.
  1. https://www.raypcb.com/audio sensors/#:~:text=An%20audio%20sensor%20can%20be,processing%20circuitry%20and%20a%20microphone.
  1. https://mynewmicrophone.com/how-to-plug-a-microphone-into-a-speaker/
  1. https://www.britannica.com/technology/condenser-microphone
  1. https://www.thomannmusic.com/onlineexpert_page_dynamic_microphones_what_is_a_dynamic_microphone.html
  1. https://robu.in/sound-sensor-basics-pin-configuration-working-applications-and-interfacing/
  1. https://www.britannica.com/technology/crystal-microphone
  1. Horowitz S, Nishida T, Cattafesta L, Sheplak M. Development of a micromachined piezoelectric microphone for aeroacoustics applications. J Acoust Soc Am. 2007 Dec;122(6):3428-36. doi: 10.1121/1.2785040. PMID: 18247752.
  1. https://en.wikipedia.org/wiki/Electrostatic_loudspeaker
  1. https://www.researchgate.net/publication/37413321_Loudspeaker_behaviour_under_incident_sound_fields/citations
  1. https://en.wikipedia.org/wiki/Audio_interface
  1. https://www.techtarget.com/searchcustomerexperience/definition/speechrecognition#:~:text=Speech%20recognition%2C%20or%20speeh%2Dto,convert%20them%20into%20readable%20text.
  1. https://en.wikipedia.org/wiki/Speaker_recognition
  1. Nilu Singh, R.A. Khan, Raj Shree, Applications of Speaker Recognition, Procedia Engineering,Volume38,2012,Pages3122-3126,ISSN1877-7058,https://doi.org/10.1016/j.proeng.2012.06.363.
  1. https://research.aimultiple.com/speech-recognition/
  1. https://www.shaip.com/blog/voice-recognition-overview-and-applications/
  1. https://www.slideshare.net/niranjankumar47/speaker-recognition-61526019
  1. https://www.uaudio.com/blog/audio-compression-basics/#:~:text=Compressors%20are%20one%20of%20the,also%20injecting%20coloration%20and%20tone.
  1. Sánchez López de Nava A, Somani AN, Salini B. Physiology, Vision. [Updated 2023 May 1]. In: StatPearls [Internet]. Treasure Island (FL): StatPearls Publishing; 2024 Jan-. Available from: https://www.ncbi.nlm.nih.gov/books/NBK538493/
  1. https://www.wikilectures.eu/w/LIGHT,_EYE_AND_VISION
  1. https://reflective.info/reflective-tape-technical-articles/the-difference-between-reflectivity-and-refraction-of-light/
  1. https://my.clevelandclinic.org/health/articles/21204-vision
  1. https://chromatone.center/theory/color/perception/
  1. https://ntemid.com/binocular-vision-how-do-we-see-the-things-we-see/
  1. Polatoğlu, A., & Özkesen, İ. C. (2022). Working principles of ccd and cmos sensors and their place in astronomy. Journal of Anatolian Physics and Astronomy, 2(1), 51-59.
  1. https://www.electroniclinic.com/display-panels-lcd-led-oled-amoled-and-s-amoled/
  1. https://www.dynamsoft.com/blog/insights/image-processing/image-processing-101-image-enhancement/
  1. https://www.cloudflare.com/en-gb/learning/performance/glossary/what-is-image-compression/
  1. https://www.kaspersky.com/resource-center/definitions/what-is-facial-recognition
  1. https://blog.roboflow.com/object-detection/
  1. https://en.wikipedia.org/wiki/Haptic_perception
  1. https://www.researchgate.net/profile/AlbertoBoem/publication/326390381/figure/fig2/AS:648123797999618@1531536163436/Two-VRMIs-represented-through-the-Volflex-interface.png
  1. Adrian David Cheok, Kasun Karunanayaka, Digital Smell Interface, Virtual Taste and Smell Technologies for Multisensory Internet and Virtual Reality, 2018, ISBN : 978-3-319-73863-5.
  1. https://newatlas.com/computer-rendering-taste-experience-mixed-reality-lab/29948/
  1. Abiri R., Borhani S., Sellers E. W., Jiang Y., Zhao X. (2019). A comprehensive review of EEG-based brain–computer interface paradigms. J. Neural Eng. 16:011001.
  1. Hohaia, W., Saurels, B.W., Johnston, A. et al. Occipital alpha-band brain waves when the eyes are closed are shaped by ongoing visual processes. Sci Rep 12, 1194 (2022). https://doi.org/10.1038/s41598-022-05289-6  
  1. Simard, F., BCI Paradigms Cheat sheet, https://medium.com/@re-ak/bci-paradigms-layer-cheat-sheet-ccc60a03d302, online
  1. FaceFusion, https://github.com/facefusion/facefusion, online