Autostereoskopia, czyli prezentowanie obrazu przestrzennego bez okularów, stawia przed projektantami szczególne wymaganie: ekran musi dostarczyć lewemu i prawemu oku odpowiednie widoki, choć położenie obserwatora może się zmieniać. W pierwotnym Nintendo 3DS oznaczało to konieczność pozostawania w stosunkowo ograniczonym obszarze obserwacji. New Nintendo 3DS miał złagodzić tę niedogodność za pomocą rozwiązania nazwanego Super-Stable 3D.
Najważniejsza zmiana nie sprowadzała się do samego dodania kamery. System tworzył pętlę sprzężenia zwrotnego: wykrywał twarz, oceniał jej położenie, przewidywał ruch, a następnie odpowiednio sterował dynamiczną barierą paralaksy. Był to krok od układu wymagającego dopasowania użytkownika do ekranu w stronę ekranu dopasowującego się do użytkownika.
Od stałego obszaru obserwacji do aktywnej korekcji
Bariera paralaksy jest elementem optycznym związanym z kierowaniem obrazu przeznaczonego dla każdego oka do właściwego obszaru przed wyświetlaczem. W praktyce oznacza to istnienie położeń, z których separacja widoków działa prawidłowo, oraz takich, w których efekt przestrzenny może przestać być stabilny.
W starszej konstrukcji 3DS użytkownik musiał utrzymywać urządzenie i głowę w odpowiednim wzajemnym położeniu. Problemem nie było więc samo uzyskanie wrażenia głębi, lecz zachowanie warunków potrzebnych do jego oglądania podczas normalnych ruchów. Nawet niewielka zmiana kąta lub pozycji mogła wyprowadzić oczy poza właściwy obszar obserwacji.
Według oficjalnej dokumentacji Nintendo rozpoznawanie twarzy zastosowane w modelach New Nintendo 3DS pozwalało utrzymywać efekt 3D również podczas oglądania urządzenia z pozycji pionowej albo pod kątem. Nintendo Europe R&D opisywało rezultat jako zakres obserwacji znacznie szerszy niż w oryginalnym Nintendo 3DS. Materiały nie podają jednak w pakiecie konkretnych wartości kątowych, dlatego rozszerzenia tego nie należy przedstawiać jako nieograniczonego pola widzenia.
Jak działał Super-Stable 3D
New Nintendo 3DS zadebiutował w Japonii w październiku 2014 roku z ekranem określanym przez producenta jako Super-Stable 3D. Zgodnie z opisem technicznym Nintendo Europe R&D system wykorzystywał dynamiczną barierę paralaksy, regulowaną na podstawie śledzenia twarzy przez kamerę wewnętrzną i diodę podczerwieni.
Można wyróżnić trzy współpracujące ze sobą etapy działania:
- Wykrywanie użytkownika. Kamera wewnętrzna obserwowała twarz, a dioda podczerwieni wspierała działanie systemu.
- Ocena i przewidywanie ruchu. Oprogramowanie przetwarzało dostępne dane, aby reagować także na szybsze zmiany położenia.
- Dostosowanie optyki. Dynamiczna bariera paralaksy była regulowana tak, aby obszar prawidłowej obserwacji podążał za pozycją twarzy.
Takie rozdzielenie jest użytecznym modelem objaśniającym, ale nie należy na jego podstawie dopowiadać nieujawnionych parametrów konstrukcji. Dostarczone materiały nie określają między innymi częstotliwości aktualizacji, opóźnienia systemu, rozdzielczości śledzenia ani dokładnej budowy warstwy optycznej. Wiadomo natomiast, że regulacja nie była statyczna: wynikała z bieżącej obserwacji użytkownika.
Dlaczego sama detekcja twarzy nie wystarcza
Wykrycie twarzy opisuje jej położenie w określonej chwili, lecz ruch użytkownika trwa dalej. Gdyby bariera reagowała wyłącznie na kolejne, odseparowane pomiary, korekta mogłaby pozostawać spóźniona wobec szybszych zmian pozycji. Nintendo Europe R&D wskazuje, że w reakcji systemu na taki ruch uczestniczyły uczenie maszynowe, predykcja adaptacyjna i fuzja czujników.
Predykcja adaptacyjna oznacza w tym kontekście próbę uwzględnienia dalszego ruchu, zamiast polegania wyłącznie na jego ostatnio zarejestrowanym położeniu. Fuzja czujników odnosi się do łączenia dostępnych danych w celu uzyskania użytecznej oceny sytuacji. Pakiet źródłowy nie wymienia jednak wszystkich sygnałów wykorzystywanych przez układ, dlatego nie ma podstaw, by przypisywać poszczególnym czujnikom konkretne role.
Równie istotne jest precyzyjne nazewnictwo. Oficjalne materiały mówią o śledzeniu i rozpoznawaniu twarzy. Nie powinno się automatycznie zastępować tego określenia terminem „śledzenie oczu”, który sugerowałby dokładniejszy i inaczej zdefiniowany pomiar. Dla działania urządzenia kluczowe było uzyskanie informacji wystarczającej do odpowiedniego przesuwania obszaru obserwacji.
Co rzeczywiście zmieniło się dla użytkownika
W pierwotnym podejściu stabilność efektu zależała przede wszystkim od utrzymania właściwej relacji między ekranem a głową. W rozwiązaniu Super-Stable 3D część tego zadania przejęło urządzenie. Kamera i algorytmy śledziły zmianę położenia, a bariera optyczna była dostosowywana do wyniku pomiaru.
Nie oznacza to, że wymagania dotyczące pozycji zniknęły. Bardziej trafne jest stwierdzenie, że system zwiększał tolerancję na ruch i zmianę kąta obserwacji. Oficjalna pomoc Nintendo podkreśla właśnie możliwość utrzymania obrazu 3D podczas patrzenia pod kątem lub przy pionowym ustawieniu urządzenia. Jest to różnica praktyczna: użytkownik nie musi równie rygorystycznie pilnować jednego statycznego położenia.
Z technicznego punktu widzenia Super-Stable 3D nie zmieniał podstawowego celu autostereoskopii. Nadal chodziło o prezentację przestrzeni bez zakładania okularów. Zmienił się natomiast sposób utrzymywania warunków obserwacji. Zamiast liczyć jedynie na to, że twarz pozostanie w przewidzianym miejscu, urządzenie próbowało dostosować do niej działanie bariery.
Warunki i ograniczenia śledzenia
Aktywna korekcja jest zależna od jakości informacji wejściowej. Instrukcja kalibracji Nintendo wymaga, aby funkcja Super-Stable 3D wykrywała twarz. Producent zaleca również, by nie zasłaniać rysów twarzy ani kamery wewnętrznej. Są to nie tylko wskazówki serwisowe, lecz także bezpośrednia informacja o ograniczeniach metody.
Jeśli kamera nie może poprawnie obserwować użytkownika, system traci podstawę potrzebną do dopasowania bariery. Z tego powodu dynamicznego rozwiązania nie należy traktować jako całkowicie niezależnego od sposobu korzystania z urządzenia. Nadal potrzebna jest widoczna twarz i niezasłonięta kamera, a działanie pozostaje związane z możliwościami układu rozpoznawania.
Materiały producenta nie uzasadniają również wniosku, że obraz 3D staje się prawidłowy z każdego kierunku. Mowa o istotnie szerszym zakresie obserwacji oraz utrzymaniu efektu przy zmianie pozycji i kąta, a nie o dowolnym rozmieszczeniu widzów wokół ekranu. To ważne rozróżnienie, szczególnie przy porównywaniu Super-Stable 3D z innymi odmianami wyświetlaczy bezokularowych.
Kalibracja jako część systemu optycznego
Obecność procedury kalibracyjnej pokazuje, że stabilizacja 3D była funkcją wymagającą prawidłowej współpracy użytkownika, kamery, przetwarzania obrazu i bariery. Kalibracja nie była więc jedynie ustawieniem kosmetycznym. Jej powodzenie zależało od wykrycia twarzy, a instrukcja zwracała uwagę na zachowanie widoczności rysów i obiektywu kamery.
W razie problemów z funkcją logicznym pierwszym krokiem jest zatem sprawdzenie warunków wymienionych w dokumentacji: czy kamera wewnętrzna nie jest zasłonięta oraz czy system może rozpoznać twarz. Pakiet źródłowy nie dostarcza podstaw do tworzenia bardziej rozbudowanej listy porad diagnostycznych, ale te dwa wymagania wynikają bezpośrednio z oficjalnej procedury.
Znaczenie konstrukcji dla autostereoskopii
Faktem potwierdzonym przez materiały Nintendo jest zastosowanie dynamicznej bariery paralaksy, śledzenia twarzy za pomocą kamery wewnętrznej i diody podczerwieni oraz metod obejmujących uczenie maszynowe, predykcję adaptacyjną i fuzję czujników. Potwierdzone jest także rozszerzenie użytecznego zakresu obserwacji względem oryginalnego 3DS.
Interpretacją techniczną jest natomiast wniosek, że najważniejszą cechą rozwiązania było zamknięcie układu w pętli sprzężenia zwrotnego. Kamera dostarczała informacji o użytkowniku, przetwarzanie pozwalało ocenić zmianę jego pozycji, a element optyczny reagował na wynik. Żaden z tych składników rozpatrywany osobno nie opisuje pełnej innowacji.
New Nintendo 3DS jest dzięki temu interesującym przykładem przejścia od pasywnego ograniczenia optycznego do systemu reagującego na obserwatora. Nie wyeliminował wszystkich warunków właściwych autostereoskopii opartej na barierze paralaksy, ale przeniósł część odpowiedzialności za utrzymanie obrazu przestrzennego z użytkownika na urządzenie.
Podsumowanie
Super-Stable 3D nie polegał jedynie na dodaniu rozpoznawania twarzy do istniejącego ekranu. Jego istotą było powiązanie obserwacji użytkownika z dynamicznym sterowaniem barierą paralaksy. Kamera wewnętrzna, podczerwień, predykcja i przetwarzanie danych umożliwiały poszerzenie praktycznego zakresu oglądania obrazu 3D.
Rozwiązanie pozostawało zależne od wykrywania twarzy i niezasłoniętej kamery, nie dawało więc nieograniczonej swobody obserwacji. Pokazywało jednak ważny kierunek rozwoju autostereoskopii: zamiast wymagać od widza pozostawania w jednym „słodkim punkcie”, wyświetlacz może aktywnie próbować utrzymać właściwe okno obserwacji podczas ruchu.
