MANIPULAÇÃO DE GESTOS COM O KINECT EM AULAS EXPOSITIVAS

Abstract

Este trabalho apresenta métodos para reconhecimento de gestos das mãos e braços, nos quais os resultados do reconhecimento são aplicados em objetos multimídia como vídeos, imagens e em apresentações em sala de aula. Para o reconhecimento dos gestos das mãos foi realizada a extração de defeitos de convexidade. Os defeitos foram extraídos através do processamento da imagem de profundidade do sensor Kinect com auxílio da biblioteca OpenCV para obter o fecho convexo e contorno das mãos. O reconhecimento de gestos considerando a posição dos braços de acordo com o movimento foi alcançado utilizando o algoritmo Dynamic Time Warping, através dos pontos do esqueleto capturados pelo sensor Kinect. Foram realizados experimentos para os gestos das mãos, que apesar das limitações impostas pelo sensor, mostrou-se o potencial do uso de reconhecimento de gestos não só para aulas expositivas, mas também para outras aplicações com necessidades semelhantes.