Inżynierowie z MIT opracowali nowatorski system sterowania, który wykorzystuje technologię ultradźwiękową do mapowania ruchów dłoni w czasie rzeczywistym. Rozwiązanie to pozwala na bezprzewodowe i niezwykle precyzyjne operowanie robotycznymi chwytakami oraz obiektami w rzeczywistości wirtualnej, eliminując wady dotychczasowych systemów wizyjnych i sensorycznych.
Najważniejsze w skrócie:
- Technologia: Wykorzystanie zminiaturyzowanych czujników ultradźwiękowych (w formie naklejek) do obrazowania pracy ścięgien i mięśni nadgarstka.
- Precyzja: System rozpoznaje 22 stopnie swobody ruchu dłoni, co pozwala na tak złożone czynności jak gra na pianinie czy rzucanie do kosza przez robota.
- Sztuczna Inteligencja: Zaawansowane algorytmy tłumaczą surowy obraz ultradźwiękowy na konkretne pozycje palców i dłoni z opóźnieniem poniżej 120 ms.
- Zastosowania: Potencjał w telemedycynie, zaawansowanej protetyce oraz sterowaniu humanoidami w trudnych warunkach środowiskowych.
Przełom w śledzeniu dłoni: Od obrazu USG do ruchu robota
Tradycyjne metody przechwytywania ruchu dłoni od lat borykają się z istotnymi ograniczeniami. Systemy oparte na kamerach wymagają bezpośredniej linii wzroku i odpowiedniego oświetlenia, natomiast rękawice sensoryczne są często nieporęczne i ograniczają naturalną swobodę ruchów użytkownika. Inżynierowie z MIT zaproponowali trzecią drogę: zaglądanie pod skórę za pomocą ultradźwięków.
Opublikowane w prestiżowym czasopiśmie Nature Electronics badanie opisuje urządzenie o rozmiarach smartwatcha, które przylega do nadgarstka. Wewnątrz znajdują się elastyczne przetworniki ultradźwiękowe zintegrowane z hydrożelem, które generują obrazy przekroju nadgarstka. Kluczowym elementem jest tutaj interpretacja tych danych. Każdy ruch palca angażuje konkretne ścięgna i mięśnie – badacze porównują to do pociągania za sznurki marionetki. Monitorując stan tych "sznurków", system jest w stanie bezbłędnie określić konfigurację całej dłoni.
Integracja z AI i wyniki testów
Surowy obraz ultradźwiękowy jest dla człowieka nieczytelny, dlatego zespół pod kierownictwem prof. Xuanhe Zhao wykorzystał uczenie maszynowe. Algorytm GenAI został wytrenowany na danych od ośmiu ochotników o różnych kształtach dłoni i nadgarstków. W ramach testów użytkownicy wykonywali m.in. gesty amerykańskiego języka migowego (ASL) oraz manipulowali codziennymi przedmiotami, jak nożyczki czy długopisy.
System wykazał się imponującą skutecznością w przewidywaniu pozycji dłoni, co pozwoliło na:
- Bezprzewodowe sterowanie robotyczną dłonią, która w czasie rzeczywistym powtarzała skomplikowane sekwencje ruchów.
- Manipulację wirtualnymi obiektami, takimi jak powiększanie i pomniejszanie elementów w środowisku cyfrowym za pomocą gestu uszczypnięcia.
| Cecha | Systemy wizyjne (Kamery) | Rękawice sensoryczne | Opaska ultradźwiękowa (MIT) |
|---|---|---|---|
| Swoboda ruchu | Wysoka (brak kabli) | Niska (krępuje ruchy) | Bardzo wysoka (mała opaska) |
| Przeszkody wizualne | Podatna na zasłonięcie | Odporna | Całkowicie odporna |
| Precyzja | Średnia (problemy z głębią) | Wysoka | Bardzo wysoka (22 stopnie swobody) |
| Warunki pracy | Wymaga światła | Dowolne | Dowolne |
W przeciwieństwie do systemów wykorzystujących sygnały elektryczne z mięśni (EMG), które są często zakłócane przez szum elektroniczny z otoczenia, sygnał ultradźwiękowy pozostaje stabilny i pozwala na rozróżnienie subtelnych ruchów, których EMG nie jest w stanie wyłapać.
Dlaczego to ważne?
Zastosowanie ultradźwięków w ubieralnej elektronice to sygnał, że zbliżamy się do momentu, w którym interfejsy człowiek-maszyna staną się niemal przezroczyste dla użytkownika. Z perspektywy Physical AI, czyli sztucznej inteligencji operującej w świecie fizycznym, kluczowym wyzwaniem jest gromadzenie wysokiej jakości danych o ludzkiej motoryce. Opaska z MIT może służyć jako narzędzie do budowania potężnych zbiorów danych (datasets), które posłużą do trenowania nowej generacji robotów humanoidalnych.
Dla sektora medycznego technologia ta otwiera drogę do stworzenia protez nowej generacji, takich jak PSYONIC Ability Hand, które mogłyby być sterowane intuicyjnie przez pacjenta bez konieczności wszczepiania implantów do układu nerwowego. Z kolei w przemyśle, możliwość precyzyjnego sterowania robotem na odległość (teleoperacja) w warunkach, gdzie kamery zawodzą (np. przy dużym zapyleniu lub dymie), może znacząco podnieść bezpieczeństwo i efektywność pracy. Można to odczytywać jako krok w stronę pełnej integracji systemów Digital Transformation z fizycznym wykonawstwem.
Co dalej?
- Miniaturyzacja elektroniki: Obecna wersja opaski ma elektronikę wielkości telefonu komórkowego; celem jest zamknięcie całego modułu w obudowie o rozmiarach standardowego zegarka.
- Rozszerzenie bazy danych: Badacze planują zebrać dane od znacznie szerszej grupy użytkowników, aby system był w pełni uniwersalny i niezależny od budowy anatomicznej nadgarstka.
- Komercjalizacja w VR/AR: Rozwiązanie to może stać się alternatywą dla kontrolerów w zestawach rzeczywistości rozszerzonej, oferując bardziej naturalne i precyzyjne interakcje niż obecne systemy śledzenia optycznego.
Źródła
- Nature Electronics – Hand tracking using wearable wrist imaging – https://www.nature.com/articles/s41928-026-01594-4
- MIT News – Wristband enables wearers to control a robotic hand with their own movements – https://news.mit.edu/2026/wristband-enables-wearers-control-robotic-hand-with-own-movements-0325
- EurekAlert! (AAAS) – Ultrasound wristband tracks hand movements in real-time – https://www.eurekalert.org/news-releases/1121043
- Let's Data Science – MIT Engineers Design Ultrasound Wristband For Hand Tracking – https://letsdatascience.com/news/mit-engineers-design-ultrasound-wristband-for-hand-tracking-6b23c5ae
