Urządzenie przetwarzające obrazy w dźwięki pomoże osobom pozbawionym wzroku docierać do przedmiotów będących w pobliżu

Urządzenia służące zastępczo za sensory (SSDs) wykorzystują dźwięk lub dotyk, aby pomóc niedowidzącym postrzegać otaczającą ich przestrzeń. Idealny SSD asystowałby nie tylko przy rozpoznawaniu otoczenia, ale także w wykonywaniu codziennych zadań. Na przykład, przez dokładne naprowadzenie po filiżankę kawy czy do podania dłoni na przywitanie z przyjacielem.

EyeMusic skanuje obraz, a następnie ‘przedstawia’ wysokie przedmioty za pomocą wysokich tonów, natomiast niskie używając niskich tonów zgodnie z muzyczną skalą, której przyjemny dźwięk będzie podlegał regulacji.

Obraz jest skanowany cały czas od lewej do prawej z sygnałem dźwięku. Poziom położenia obrazu wskazuje koordynacja muzyki w czasie zgodnie z sygnałem rozpoczęcia, natomiast jasność jest zakodowana w natężeniu dźwięku. 

Algorytm EyeMusic używa różnych instrumentów muzycznych dla każdego z pięciu kolorów: biały (śpiew), niebieski (trąbka), czerwony (organy), zielony (harmonijka), żółty (skrzypce). Cisza reprezentuje czerń.

Przykładowy dźwięk dostępny pod adresem: http://brain.huji.ac.il/em/.

„W naszych badaniach zademonstrowaliśmy, że EyeMusic wykorzystujący przyjemne skale muzyczne przekazujące informacje wizualne, może być stosowany już po krótkim szkoleniu (w niektórych przypadkach już po pół godzinie) na temat kierowania ruchami, podobnymi do tych kierowanych z pomocą wzroku,” wyjaśnia główny prowadzący Dr. Shelly Levy-Tzedek.

„Osiągnięty poziom zgodności wskazuje na to, iż wykonywanie codziennych zadań staje się możliwe z SSD, a także na to, iż może on być stosowany w formie rehabilitacji,” dodał naukowiec.

Badanie potwierdza hipotezę, że odbiór przestrzeni zachodzący w mózgu może być niezależny od modalności, za pomocą której jest otrzymywana informacja przestrzenna oraz, że po niewielkim przeszkoleniu można stworzyć obraz przestrzeni bez użycia wzroku, a za pomocą dźwięków prowadzących do szybkich i odpowiednich reakcji.

„SSDs może mieć duży wpływ, jeżeli chodzi o dostarczenie szczegółowych informacji dotyczących otoczenia osobom z pogarszającym się wzrokiem, umożliwiając im współżycie z zewnętrznym środowiskiem oraz skuteczne poruszanie się dzięki tym informacjom. Jednakże konieczne  są dalsze badania, ażeby móc ocenić przydatność urządzenia jeżeli chodzi o osoby niewidome,” podsumowuje dr Levy-Tzedek.

Te wyniki demonstrują potencjalne możliwości wykorzystania EyeMusic w codziennych czynnościach – od dokładnego sięgnięcia po czerwone jabłka w alejce spożywczej, do (może pewnego dnia) gry na Xbox-Kinect.