Fingertip data fusion of Kinect v2 and leap motion in unity

• Published in: Ingénierie des systèmes d'Information Vol. 23; no. 6; pp. 143 - 159
• Main Authors: LI, Bo, ZHANG, Chao, HAN, Cheng, BAI, Baoxing
• Format: Journal Article
• Language: English
• Published: Edmonton International Information and Engineering Technology Association (IIETA) 2018
• Subjects: Algorithms; Calibration; Data integration; Iterative methods; Multisensor fusion
• ISSN: 1633-1311; 2116-7125
• DOI: 10.3166/isi.23.6.143-159

Cet article décrit comment la fusion des données et l'application de Kinect v2 et de Leap Motion dans Unity3D sont mises en pratique. Premièrement, il s’applique une méthode basée sur Kinect v2 pour obtenir le bout des doigts. Ensuite, il calibre Kinect v2 et Leap Motion dans deux orientations différentes en deux étapes. La calibration préliminaire utilise un algorithme de tige de calibration unidimensionnelle, et la calibration fine continue à se rapprocher de la valeur vraie par itération, ce qui réalise la calibration conjointe des deux. Enfin, cet article utilise Unity3D pour fusionner les données des deux types d'équipement et effectue une interaction homme-machine avec l'objet virtuel dans l'espace virtuel d'Unity3D. Les expériences montrent que la méthode proposée dans cet article peut élargir la plage de suivi de la main et améliorer la précision de la collision entre la main humaine et l'objet virtuel. This paper describes how the data fusion and application of Kinect v2 and Leap Motion in Unity3D are implemented. Firstly, it implements a method based on Kinect v2 to obtain fingertips. Then, it calibrates Kinect v2 and Leap Motion in two different orientations in two steps. The preliminary calibration uses a one-dimensional calibration rod algorithm, and the fine calibration keeps approximating the true value through iteration, which realizes the joint calibration of the two. Finally, this paper uses Unity3D to fuse the data of the two types of equipment and conducts human-computer interaction with the virtual object in the virtual space of Unity3D. Experiments show that the method proposed in this paper can extend the hand tracking range and improve the accuracy of the collision between the human hand and the virtual object.