У своєму профілі у LinkedIn айтівець повідомив, що доволі довго грає на гітарі, але останнім часом після музичних занять він почав відчувати біль у спині.
Читайте также: Співзасновник Revolut та ще 6 українців увійшли до списку найбагатших людей планети за версією Forbes
«Коли я почав шукати причину, я зрозумів, що дуже часто сильно нахиляюсь вліво, особливо, коли сконцентрований і граю щось досить складне. Так як я це роблю зовсім несвідомо, то виправити самотужки це досить складно. Тоді у мене виникла проста ідея — комп’ютер буде слідкувати за моєю спиною замість мене», — розповів передісторію своєї розробки Олег Мацуй.
Як вирішення ситуації, айтівець написав програму, яка подає звуковий сигнал і нагадує йому випрямитись.
Її алгоритм, як зазначив Олег Мацуй, виглядає наступним чином:
- вебкамера знімає відео під час гри;
- модель комп’ютерного зору визначає ключові точки тіла (плечі, голову, спину, руки тощо);
- на основі положення цих точок програма оцінює, чи правильна у людини постава;
- якщо людина занадто довго перебуває в нахиленому положенні або неправильно сидить, програма подає звуковий сигнал, щоб вона випрямилася.
IT Risk management advisor поділився, що для визначення пози тіла він використав MediaPipe Pose, який повертає 3D-координати ключових точок тіла.
«Після цього координати нормалізуються відносно центру тіла, щоб модель була менш залежна від положення камери. Отримані ознаки подаються в просту логістичну регресію, яка оцінює положення ключових точок тіла і визначає правильну або неправильну поставу. Якщо програма визначила, що постава неправильна, то запускається таймер на п’ятнадцять секунд, за які постава має виправитись, бо інакше заграє гучна музика і я буду змушений відволіктись та проаналізувати, що відбувається», — розповів він.
Олег Мацуй також пояснив, що для тренування моделі він записав кілька відео зі своєю грою на гітарі, і під час зйомки частини з них він спеціально грав з правильною поставою, а ще частини — навпаки, навмисно нахилявся у неправильну позицію.
Після цього з кожного кадру були отримані координати ключових точок тіла, а айтівець сформував датасет, де кожен набір координат був підписаний як «правильна» або «неправильна» постава.
Читайте также: Застосунки на базі ШІ мають труднощі з утриманням користувачів, але краще монетизують свої завантаження, — свідчить звіт RevenueCat
«На цьому датасеті і була натренована модель логістичної регресії, яка навчилась відрізняти ці два стани на основі відносного положення плечей, голови та корпусу», — додав автор розробки.
На його думку, цей pet-проєкт, який поєднує хобі айтівця та машинне навчання, можна доопрацьовувати, але і у нинішньому стані програма цілком виконує свої задачі. Айтівець також поділився кодом свого проєкту з тими, кому він буде цікавим.
У коментарі для dev.ua Олег Мацуй зазначив, що раніше ніколи не працював з комп’ютерним зором, але йому вдалось розробити програму досить швидко. «Писав, в основному, на вихідних», — додав він.
Як писав dev.ua, 23-річний киянин Володимир Ющенко розробляє застосунок SlixOne, який допомагає знайти компанію для відпочинку в режимі реального часу.
Тим часом, інший айтівець розробив розширення для Chrome, яке дозволяє позбавитися від набридливих акційних цін у гіпермаркеті Rozetka.
Читайте также: Екс-топменеджер Intellias Гапачило пояснив, чому вирішив очолити оборонний стартап