Research on mobile machine learning platforms for human gesture recognition in human-machine interaction systems

• Published in: Technology audit and production reserves (Online) Vol. 2; no. 2(82); pp. 6 - 14
• Main Authors: Barkovska, Olesia, Ruban, Igor, Tymoshenko, Daria, Holovchenko, Oleksandr, Yankovskyi, Oleksandr
• Format: Journal Article
• Language: English
• Published: 28.08.2025
• ISSN: 2664-9969; 2706-5448
• DOI: 10.15587/2706-5448.2025.325423

The subject of this research is mobile machine learning platforms for human gesture recognition within human-machine interaction systems, specifically for managing smart home components. One of the key challenges in gesture recognition is ensuring high accuracy, efficiency, and robustness of algorithms under real-world operating conditions. The problem lies in selecting optimal machine learning platforms capable of balancing local and cloud computing, processing speed, and adaptability to changing environmental conditions. The study presents a comparative analysis of the ML platforms Create ML (Apple) and Google Cloud AI Platform, which are used for gesture detection and recognition in smart home control systems. The obtained results demonstrate that Create ML achieves an accuracy of 95.81 %, while Google Cloud AI Platform reaches 89.43%, justifying their selection for further research. Additionally, experimental testing of sensor placement topology revealed that diagonal camera positioning increases accuracy by 0.62 % compared to parallel placement. The increased efficiency of Create ML is due to its ability to process data locally, reducing latency and dependence on an internet connection. In contrast, Google Cloud AI Platform relies on cloud resources, enabling the processing of large volumes of data but making it dependent on data transmission speed. The proposed gesture control algorithms can be used to enhance the accessibility of technology for people with disabilities, particularly in rehabilitation centers. Additionally, the research findings can be applied to contactless interfaces in medical facilities and public spaces, reducing the need for physical interaction with surfaces and improving hygiene levels. The use of mobile ML platforms in such scenarios allows for the optimization of computational resources and ensures the effective integration of gesture control into modern human-machine systems. Об’єктом дослідження є мобільні платформи машинного навчання для розпізнавання жестів людини у системах людино-машинної взаємодії, зокрема в управлінні елементами розумного будинку. Одним із ключових викликів розпізнавання жестів є забезпечення високої точності, ефективності та стійкості алгоритмів у реальних умовах експлуатації. Проблема полягає у виборі оптимальних платформ машинного навчання, здатних забезпечити баланс між локальними та хмарними обчисленнями, швидкістю обробки та адаптивністю до змінних умов навколишнього середовища. В роботі проведено порівняльний аналіз ML-платформ Create ML (Apple) та Google Cloud AI Platform, які застосовуються для детектування та розпізнавання жестів у системах управління розумним будинком. Отримані результати демонструють, що Create ML забезпечує точність 95.81 %, тоді як Google Cloud AI Platform – 89.43 %, що обґрунтовує їх вибір для подальших досліджень. Крім того, експериментальне тестування впливу топології розташування сенсорів показало, що діагональне розміщення камер підвищує точність на 0.62 % у порівнянні з паралельним. Підвищена ефективність Create ML зумовлена його здатністю до локальної обробки, що зменшує затримки та залежність від інтернет-з’єднання. Натомість Google Cloud AI Platform використовує хмарні ресурси, що дозволяє обробляти великі обсяги даних, але створює залежність від швидкості передачі інформації. Запропоновані алгоритми жестового управління можуть бути використані для підвищення доступності технологій для людей із обмеженими можливостями, зокрема в реабілітаційних центрах. Також результати дослідження можуть знайти застосування у безконтактних інтерфейсах у медичних установах та громадських місцях, що зменшить необхідність фізичної взаємодії з поверхнями та підвищить рівень гігієни. Використання мобільних ML-платформ у таких сценаріях дозволяє оптимізувати обчислювальні ресурси та забезпечити ефективну інтеграцію жестового управління у сучасні людино-машинні системи.