DZB - Zverejnená bakalárska práca

Bezdotykové ovládanie zariadení gestami rúk

Autor
Valábek, Patrik
Školiteľ
Klaučo, Martin
Oponent
Kalúz, Martin
Škola
Slovenská technická univ. v Bratislave FCHPT OIaRP (ÚIAM FCHPT)
Rok odovzdania
2021
Počet strán
40.s
Trvalý odkaz - CRZP
https://opac.crzp.sk/?fn=detailBiblioForm&sid=52328540584FDC4D94832CAB80F2
Primárny jazyk
slovenčina

Typ práce
Bakalárska práca

Študijný odbor
2647 | *kybernetika ; 2381 | *strojárstvo

Dátum zaslania práce do CRZP
22.05.2021

Dátum vytvorenia protokolu
22.05.2021

Dátum doručenia informácií o licenčnej zmluve
17.07.2021

Práca je zverejniteľná od
ihneď

Elektronická verzia
 Stiahnuť prácu (pdf)
 Prehliadať
Práca sa venuje rozpoznávaniu statických gest rúk v reálnom čase. Využitím polohy ruky na obrazovke v kombinácií s rozpoznaným gestom sa nám podarilo plne nahradiť myšku zariadenia. Vytvorený program je naprogramovaný v jazyku Python. Prácu môžeme rozdeliť na tri časti a to rozpoznávanie ruky od pozadia, tréning a testovanie rozpoznávacieho algoritmu a ovládanie zariadenia v reálnom čase. V prvej časti je potrebné pomocou web kamery zachytiť ruku užívateľa nehladiac na to čo sa nachádza v jej pozadí. Preto sme vybrali prístup, kde program zaznamená aktuálne pozadie a odfiltruje ho. Každý ďalší objekt, ktorý sa dostane do tohto prostredia bude vedieť konkrétne zaznamenať. V našom prípade to bude ruka. Pomocou takéhoto spôsobu si vytvoríme databázu obrázkov. Ruka bude znázorňovať rozličné gestá v rôznych polohách a vzdialenostiach od kamery. Pre rozoznávanie gest použijeme algoritmus strojového učenia a to konkrétne konvolučné neurónové siete (CNN). CNN sú známe ako trieda neurónových sietí používaných ako nástroj počítačového videnia v oblastiach ako rozpoznávanie obrazu a klasifikácia. Implementácia konvolučných neurónových sietí je realizovaná pomocou modulov Keras a TensorFlow. Budeme porovnávať jednotlivé siete, ktoré sme natrénovali. Pozrieme sa na grafy z priebehu tréningu týchto sietí. Vytvoríme pravdivostné matice, ktorými detailne porovnáme výkon sietí. Pozrieme sa aj na to, ako vplýva zmena svetelnej jasnosti gesta na presnosť predikcie. V poslednej časti sa pokúsime predikciu z CNN previesť na akčný zásah do zariadenia. Akonáhle CNN dané gesto rozozná, vyšle príkaz do systému. Takýmto spôsobom sa pokúsime hrať hru Tetris a nahradiť myšku zariadenia. Okrem gest, snímame aj polohu ruky, čím vieme zabezpečiť pohyb kurzora po obrazovke.

Verzia systému: 6.2.61.5 z 31.03.2023 (od SVOP)