Neues-Terrain-02 – Blind Orientieren

Gerhard Jaworek und Sebastian Ritterbusch sprechen über Hilfsmittel für Menschen mit Blindheit zur Unterstützung von Orientierung und Mobilität (O&M) von damals bis heute: Blind Orientieren (2:49:21, 77MB)

Der Langstock ist das wichtigste Hilfsmittel in der Fortbewegung. Durch das Pendeln in der Bewegung wird etwa die Körperbreite abgetastet, unter anderem um Hindernisse zu erkennen und auch den Untergrund wahrzunehmen. Am Untergrund kann man Wegbegrenzungen und taktile Bodenindikatoren, die Bestandteil von Blindenleitsystemen sind, gut erkennen.

Eine besondere Herausforderung ist das Überqueren von größeren Freiflächen und Plätzen, hier war der Blindenkompass ein sehr gutes Hilfsmittel: Frühere Modelle bestanden aus einer sich mit Magnetfeld zunächst frei ausrichtenden Platte, die zum Ablesen fixiert werden konnte. Auf der Scheibe sind die Himmelsrichtungen und weitere Unterteilungen durch Punktschrift aufgebracht. Zum Einhalten einer Richtung beim Überqueren eines Platzes kann man nun regelmäßig die gewählte Himmelsrichtung kontrollieren und sich bei Bedarf neu ausrichten.

Sehr wichtig ist auch die Nutzung des Gehörs: Neben den Geräuschen der Umwelt können Schnalzlaute, Klicken oder Klatschen die Umgebung durch Echoortung erfahrbar machen und helfen, Ampelmasten, Abzweigungen und Eingänge zu finden. Inzwischen ist das Klicksonar wichtiger Bestandteil vieler Mobilitätstraining.

Die Verwendung von GPS-Trackern hat sich auch früh als sehr hilfreich herausgestellt. Bis zum Jahr 2000 wurde das GPS-System im Zuge der Selective Availability absichtlich gestört und konnte für die Öffentlichkeit nur eine Genauigkeit von 100m erreichen. Für Blinde wurde GPS interessant, als diese Ungenauigkeit aufgehoben wurde.

Mit sprechenden Trackern konnten Pfade aufgezeichnet und wiederholt werden. Außerdem konnten diese als Dateien anderen Personen zur Verfügung gestellt werden. Die einzelnen Punkte wurden jeweils mit Richtungsangaben, wie auf einem Ziffernblatt einer Uhr, vermittelt, z.B. „Bäcker XY in 200m auf 11 Uhr“. Das manuelle Setzen von Pfadpunkten erforderte dabei einige Überlegungen. Die Landmarken müssen stets eindeutig und gleichzeitig robust gegenüber Ungenauigkeiten des GPS sein.

Ein weiteres verbreitetes Mittel waren auch taktile Karten und Globen- hier wurden und werden Karten fühlbar gedruckt oder gefertigt, damit sie erfahrbar werden. Leider sind diese oft recht groß und unhandlich, so dass sie nicht mobil sind. Einfache schematische Darstellungen, z.B. die Form einer Kreuzung, X-, Y- oder T-Kreuzung können von Mobilitätstrainern oder Begleitpersonen einfach auf die Hand oder den Rücken der blinden Person gezeichnet werden.

Viele der früheren Hilfsmittel vereinen sich heute in aktuellen Smartphones- exemplarisch sprechen wir über die Features der Apple iPhones, die auf die eine oder andere Art auch auf Smartphones mit anderen Betriebssystemen und Hersteller umgesetzt sind. Im Falle der Apple-Produkte wird die Zugänglichkeit mit dem in das iOS-System integrierten Bildschirmleseprogramme VoiceOver realisiert. Sprachausgabe und veränderte Bedientesten machen dies möglich. Hier können blinde Personen sich beispielsweise Bedienelemente auf dem Touchscreen vorlesen lassen, bevor sie bei Bedarf ausgewählt werden. Ein nettes Feature von VoiceOver ist der sogenannte Bildschirmvorhang. Ist er aktiv, so wird die Beleuchtung ausgeschaltet, die Touch-Funktion bleibt aber erhalten. Somit kann der Akkuverbrauch gesenkt werden und blinde Benutzer können sich sicher sein, dass niemand unbefugtes in ihren Bildschirm schaut.

Für die Eingabe von Texten bietet der Multitouch-Bildschirm mehrere Möglichkeiten- neben der ertastenden Methode des Tippens wie auf einer Tastatur mit sprachlicher Rückmeldung gibt es auch die Braille-Tastatur, bei der jedes Zeichen durch eine Drückkombination von sechs Fingern im Sinne des Braillezeichens erfolgt. Damit können Texte sehr schnell eingegeben werden. Eine weitere Alternative ist auch die Spracheingabe für Texte.

Sehr passend sind dafür auch die neuen Entwicklungen bei Smartwatches, so ist beispielsweise die Apple Watch genauso mit VoiceOver zu bedienen und sie liefert bei vielen Anwendungen eine Bedienung des Smartphones ohne dieses aus der Tasche nehmen zu müssen. Zusätzlich sind haptische Signale, die Smartwatches liefern, eine große Bereicherung in der Signalisierung für Navigation und Anwendungen.

Eine sehr hilfreiche App ist die mitgelieferte Kompass-App, die das Überqueren von Freiflächen und Plätzen deutlich vereinfacht- anstatt dass man beim mechanischen Kompass immer wiederholt die Richtung testet bekommt man hier kontinuierlich die Ausrichtung und damit die Gehrichtung vermittelt.

Zusammen mit einem Vario kann man mit dem Kompass auch eine gute Orientierung als Mitfliegender im Segelflug erhalten. Einen Eindruck von einem Flug mit einem Motorsegler kann man in der ersten Folge des Omega Tau Podcasts erhalten, denn hier hört man nur und sieht nichts. Das soll nicht heißen, dass Blinde alleine ohne sehende Hilfe Segelfliegen können, aber Gerhard Jaworek fliegt mit Begleitung und navigiert und steuert nach Anweisungen des Piloten, des Marios und des sprechenden Kompasses.

Auch für die Orientierung am Nachthimmel ist der Kompass sehr hilfreich, wie auch die App Universe2Go, zu der Gerhard Jaworek auch beigetragen hat. Universe2Go ist ein sprechendes Handplanetarium, mit dessen Hilfe blinde Menschen auch Objekte Himmel finden können.

Weiterhin gibt es viele Navigations- und Orientierungsapps auf Smartphones. Sehr bekannt und populär ist die App BlindSquare, die aus der Open Street Map und Foursquare über die Umgebung informiert. Durch Filter nach Typen und Distanz werden alle bekannten Gebäude und Orte in Richtung und Entfernung in Sprache dargestellt. Dies hilft nicht nur der direkten Orientierung, sondern ermöglicht auch die Erstellung einer Mental Map bzw. kognitiven Karten

Die Nutzung solcher akustischer Informationen ist natürlich nicht mit normalen Over-Ear oder In-Ear Kopfhörern möglich, denn der normale Hörsinn darf nicht blockiert werden. Hier sind Kopfhörer mit Knochenleitung und Bluetooth-Anbindung eine sehr gute Lösung, da sie die akustischen Signale und Sprachausgaben hörbar machen ohne das normale Hören zu behindern.

Ergänzend zu Umgebungsinformationen sind Navigationslösungen ein wichtiges Hilfsmittel. Ein Beispiel ist hier die Lösung von Navigon, die neben einer Fußgängernavigation, einer guten Unterstützung über VoiceOver zusätzlich die Karten auch offline- also ohne Netzverbindung- zur Verfügung stellt.

Die Mailingliste Apple-Freunde bietet eine gute deutschsprachige Plattform über die Zugänglichkeit von Apple-Produkten und Apps auf den mobilen Geräten.

Eine kostenlose Navigationslösung ist die App ViaOptaNav, die durch große und kontrastreiche Bedienungselemente auch für Personen mit eingeschränktem Sehsinn leichter zu bedienen ist. Sehr schön ist hier auch der Routenüberblick, der im Vorfeld eine virtuelle Begehung des Weges ermöglicht. Zusätzlich können wie bei BlindSquare auch Umgebungsinformationen abgerufen werden, sie beschränkt sich aber auf die Informationen aus dem Kartenmaterial. Außerdem bietet diese App auch eine gute Anbindung an die Smartwatch.

Ebenfalls gut an die Smartwatch angebunden ist die mit dem Smartphone mitgelieferte Navigationslösung von Apple. In manchen Fällen ist auch die Google Maps Lösung sehr hilfreich, besonders, wenn der öffentliche Nahverkehr in die Navigation mit eingebunden werden soll.

Für das Aufzeichnen, Weitergeben und spätere Ablaufen von Wegen über GPS-Punkte bietet sich die iOS-App MyWay an. Es gibt sie in einer kostenlosen MyWay Lite Version und in der MyWay Classic in der auch Informationen über die Umgebung abgerufen werden können.

Zum Mobilitätstraining gehört weiterhin die haptische Vermittlung von Kreuzungstypen und Karten. Zum Zeitpunkt der Aufnahme bietet Touch Mapper einen besonders interessanten Service: Nach Angabe einer Adresse und der gewünschten Auflösung kann man sich eine taktile Karte senden lassen. Alternativ kann man kostenlos ein 3D-Modell herunterladen, das man mit einem 3D-Drucker drucken kann.

Viele der erwähnten Lösungen verwenden Kartendaten der Open Street Map (OSM), die durch die Zusammenarbeit vieler Menschen entstanden ist und frei zur Verfügung steht. Bisher kann diese freie Karte nicht überall mit der definierten Qualität von kommerziellen Kartenquellen mithalten, doch ist sie in manchen Bereichen sogar aktueller und genauer als die kommerziell erhältlichen Lösungen. Neben monatlichen Treffen bietet die Karlsruher OSM-Community auch halbjährlich größere Events an. Das nächste ist das Karlsruhe Hack Weekend 28.-30. Oktober 2016.

Informationen über die öffentlichen Verkehrsmittel in der Umgebung erhält man beispielsweise über den Abfahrtsmonitor – hier können die nächsten Haltestellen mit den nächsten Verbindungen abgerufen werden. In Karlsruhe ist das Stadtbahnsystem etwas besonderes: Als erste Zweisystem-Stadtbahn der Welt konnten die S-Bahnen sowohl in der Stadt als auch auf Strecken der Bahn fahren.

Für die Auswahl und Abfrage für Züge der Deutschen Bahn gibt es den DB-Navigator für eine Vielzahl von verschiedenen mobilen Plattformen. Die Deutsche Bahn bietet auch online buchbare Umstieghilfen an, die man mindestens einen Tag vor der Reise buchen kann. Letztlich können mit der MyTaxi App auch Taxis geordert und auch bezahlt werden.

Eine besondere Lösung ist die App BeMyEyes, wo blinde Personen Anfragen stellen können, die von Sehenden über eine Videoverbindung beantwortet werden, z.B. ob die Kleidung farblich zusammenpasst, oder was der in die Kamera gezeigte Tetrapack enthält. Auch die fest installierte Foto-App auf dem iPhone ist mit VoiceOver bedienbar. Durch Rückmeldungen, wann und wo ein Gesicht zu sehen ist, können auch blinde Menschen zumindest Personen fotografieren. Das wird sich aber künftig sicherlich auch auf andere Gegenstände ausweiten.

Ganz ohne Technik ist und bleibt der Blindenführhund für viele blinde Personen eine sichere und lebhafte Lösung für die individuelle und unabhängige Mobilität. Was ihn auszeichnet, ist z.B. die erlernte intelligente Gehorsamsverweigerung. Der Hund begibt sich und seinen blinden Besitzer niemals in Gefahr und verweigert einen Befehl, der eine derartige Situation herbeiführen würde.

Podcasts

Neues-Terrain-01 – Freiflächen

Daniel Koester (cv:hci) und Sebastian Ritterbusch (iXpoint) erklären, wie Computer für uns den freien Weg vor unseren Füßen erkennen können:
Freiflächen (2:10:58, 62MB)

Im Gespräch mit Daniel Koester am Computer Vision for Human-Computer Interaction Lab (cv:hci) geht es um die Erkennung des freien Weges vor unseren Füßen. Das cv:hci befasst sich mit der Fragestellung, wie Menschen mit Computer oder Robotern interagieren, und wie gerade die Bildverarbeitung dazu beitragen kann. Das Thema lässt sich auch gut mit dem Begriff der Anthropromatik beschreiben, der von Karlsruher Informatikprofessoren als Wissenschaft der Symbiose von Mensch und Maschine geprägt wurde und im Institut für Anthropromatik und Robotik am Karlsruher Institut für Technologie (KIT) erforscht und gelebt wird. So wurde der ARMAR Roboter, der elektronische Küchenjunge (Video), ebenfalls am Institut an der Fakultät für Informatik  entwickelt.

Schon früh stellte sich heraus, dass die Steuerung von Programmierung von Computern mit höheren Programmiersprachen wie Fortran, BASIC oder Logo durch Anlehnung an die menschliche Sprache große Vorteile gegenüber der Verwendung der Maschinensprache besitzt. Damit liegt das Thema ganz natürlich im Bereich der Informatik ist aber auch gleichzeitig sehr interdisziplinär aufgestellt: Das Team des KaMaRo (Folge im Modellansatz Podcast zum KaMaRo und Probabilistischer Robotik) entwickelt den Roboter in einem Team aus den Disziplinen Maschinenbau, Elektrotechnik und Informatik.

Mit der Freiflächenerkennung befasst sich Daniel Koester seit seiner Diplomarbeit, wo er die Frage anging, wie die Kurzstreckennavigation für blinde Personen erleichtert werden kann. Hier besteht eine Herausforderung darin, dass zwischen einer Fußgängernavigation und der Umgebungserfassung mit dem Blindenlangstock eine große informative Lücke besteht. Nach Abschaltung der Selective Availability des GPS liegt die erreichbare Genauigkeit bei mehreren Metern, aber selbst das ist nicht immer ausreichend. Dazu sind Hindernisse und Gefahren, wie Baustellen oder Personen auf dem Weg, natürlich in keiner Karte verzeichnet. Dabei können Informationen von anderen Verkehrsteilnehmern Navigationslösungen deutlich verbessern, wie das Navigationssystem Waze demonstriert.

Die Erkennung von freien Flächen ist außer zur Unterstützung in der Fußgängernavigation auch für einige weitere Anwendungen sehr wichtig- so werden diese Techniken auch für Fahrassistenzsysteme in Autos und für die Bewegungssteuerung von Robotern genutzt. Dabei kommen neben der visuellen Erfassung der Umgebung wie bei Mobileye auch weitere Sensoren hinzu: Mit Lidar werden mit Lasern sehr schnell und genau Abstände vermessen, Beispiele sind hier das Google Driverless Car oder auch der KaMaRo. Mit Schall arbeiten Sonor-Systeme sehr robust und sind im Vergleich zu Lidar relativ preisgünstig und werden oft für Einparkhilfe verwendet. Der UltraCane ist beispielsweise ein Blindenstock mit Ultraschallunterstützung und der GuideCane leitet mit Rädern aktiv um Hindernisse herum. Mit Radar werden im Auto beispielsweise Abstandsregelungen und Notbremsassistenten umgesetzt.

Die hier betrachtete Freiflächenerkennung soll aber keinesfalls den Langstock ersetzen, sondern das bewährte System möglichst hilfreich ergänzen. Dabei war es ein besonderer Schritt von der Erkennung bekannter und zu erlernenden Objekte abzusehen, sondern für eine größere Robustheit und Stabilität gerade die Abwesenheit von Objekten zu betrachten. Dazu beschränken sich die Arbeiten zunächst auf optische Sensoren, wobei Daniel Koester sich auf die Erfassung mit Stereo-Kamerasystemen konzentriert. Grundsätzlich ermöglicht die Analyse der Parallaxe eine dreidimensionale Erfassung der Umgebung- dies ist zwar in gewissem Maße auch mit nur einer Kamera möglicht, die sich bewegt, jedoch mit zwei Kameras in definiertem Abstand wird dies deutlich leichter und genauer. Dies entspricht dem verbreiteten stereoskopischen Sehen von Menschen mit Augenlicht, doch mitunter kommt es zu Situationen, dass Kinder bei einem schwächeren Auge das stereoskopische Sehen nicht erlernen- hier können temporär Augenpflaster zum Einsatz kommen.

Zur Rekonstruktion der Tiefenkarte aus einem Stereobild müssen zunächst korrespondierende Bildelemente gefunden werden, deren Parallaxenverschiebung dann die Bildtiefe ergibt. Ein Verfahren dazu ist das Block-Matching auf Epipolarlinien. Für ein gutes Ergebnis sollten die beiden Sensoren der Stereo-Kamera gut kalibriert und die Aufnahmen vor der Analyse rektifiziert sein. Die Zuordnung gleicher Bildelemente kann auch als lokale Kreuzkorrelation gesehen werden. Diese Tiefenrekonstruktion ist auch den menschlichen Augen nachempfunden, denen durch geeignete Wiederholung zufälliger Punkte in einem Bild eine räumliche Szene vorgespielt werden kann. Dieses Prinzip wird beim Stereogrammen oder Single Image Random Dot Stereogram (SIRDS)  ausgenutzt. Weiterhin muss man die Abbildungseigenschaften der Kameras berücksichtigen, damit die Parallaxverschiebungen auf horizontalen Linien bleiben. Ebenso müssen Vignettierungen ausgeglichen werden.

Algorithmen, die nur lokale Informationen zur Identifikation von Korrespondenzen verwenden, lassen sich sehr gut parallelisieren und damit auf geeigneter Software beschleunigen. Für größere gleichmäßige Flächen kommen diese Verfahren aber an die Grenzen und müssen durch globale Verfahren ergänzt oder korrigiert werden. Dabei leiden Computer und Algorithmen in gewisser Weise auch an der Menge der Daten: Der Mensch ist ausgezeichnet darin, die Bildinformationen auf das eigentlich Wichtige zu reduzieren, der Computer hat damit aber große Schwierigkeiten.

Für den Flowerbox-Testdatensatz (2GB) wurden Videos mit 1600×1200 Pixeln aufgelöste und synchronisierte Kameras in Stereo aufgezeichnet. Beispiele für synchronisierte Stereokamera-Systeme im Consumer-Bereich sind die Bumblebee oder das GoPro 3D-System. Die Kameras wurden leicht nach unten gerichtet an den Oberkörper gehalten und damit Aufnahmen gemacht, die dann zur Berechnung des Disparitätenbildes bzw. der Tiefenkarte verwendet wurden. Ebenso wurden die Videos manuell zu jedem 5. Bild gelabeled, um die tatsächliche Freifläche zur Evaluation als Referenz zu haben. Der Datensatz zeigt das grundsätzliche Problem bei der Aufnahme mit einer Kamera am Körper: Die Bewegung des Menschen lässt die Ausrichtung der Kamera stark variieren, wodurch herkömmliche Verfahren leicht an ihre Grenzen stoßen.

Das entwickelte Verfahren bestimmt nun an Hand der Disparitätenkarte die Normalenvektoren für die Bereiche vor der Person. Hier wird ausgenutzt, dass bei der Betrachtung der Disparitätenkarte von unten nach oben auf freien Flächen die Entfernung kontinuierlich zunimmt. Deshalb kann man aus der Steigung bzw. dem Gradienten das Maß der Entfernungszunahme berechnen und damit die Ausrichtung und den auf der Fläche senkrecht stehenden Normalenvektor bestimmen. Die bestimmte Freifläche ist nun der zusammenhängende Bereich, bei denen der Normalenvektor ebenso aufrecht steht, wie bei dem Bereich vor den Füßen.

Die Evaluation des Verfahrens erfolgte nun im Vergleich zu den gelabelten Daten aus dem Flowerbox-Datensatz. Dies führt auf eine Vierfeld-Statistik für das Verfahren. Im Ergebnis ergab sich eine korrekte Klassifikation für über 90% der Pixel auf Basis der realistischen Bilddaten.

Die veröffentlichte Software ist im Blind and Vision Support System (BVS) integriert, in der erforderliche Module in der Form eine Graphen mit einander verknüpft werden können- bei Bedarf auch parallel. Eine ähnliche aber gleichzeitig deutlich umfassendere Architektur ist das Robot Operation System (ROS), das noch viele weitere Aspekte der Robotersteuerung abdeckt. Eine wichtige Bibliothek, die auch stark verwendet wurde, ist OpenCV, mit der viele Aspekte der Bildverarbeitung sehr effizient umgesetzt werden kann.

Die Entwicklung der Hardware, gerade bei Mobilgeräten, lässt hoffen, dass die entwickelten Verfahren sehr bald in Echtzeit durchgeführt werden können: So können aktuelle Smartphones Spiele Software des Amiga Heimcomputers in einem interpretierten Javascript Emulator auf der Amiga Software Library auf Archive.org nahezu in Orginalgeschwindigkeit darstellen.

Für die Umsetzung von Assistenzsystemen für blinde und sehgeschädigte Menschen ist aber auch immer der Austausch mit Nutzern erforderlich: So sind Freiflächen für sich für blinde Personen zunächst Bereiche ohne Orientierbarkeit, da es keinen tastbaren Anknüpfungspunkt gibt. Hier müssen entweder digitale Linien erschaffen werden, oder die Navigation sich weiter nahe an fühlbaren Hindernissen orientieren. Am cv:hci ist der Austausch durch das angeschlossene Studienzentrum für sehgeschädigte Studierende (SZS) unmittelbar gegeben, wo entwickelte Technik sich unmittelbar dem Alltagsnutzen stellen muss.

Die entwickelte Freiflächenerkennung war nicht nur wissenschaftlich erfolgreich, sondern gewann auch einen Google Faculty Research Award und die Arbeitsgruppe wurde in der Lehre für ihr Praktikum den Best Praktikum Award 2015 ausgezeichnet.

Literatur und weiterführende Informationen

Neues-Terrain-00 – Die Nullfolge

Gehard Jaworek (SZS) und Sebastian Ritterbusch (iXpoint) sprechen über den Podcast und das Projekt:
Die Nullfolge (3:46, 1,9MB)

Der Podcast ist Teil des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten TERRAIN Projekts zur Verbesserung der Orientierung und Mobilität von blinden und sehgeschädigten Menschen.

Ohne den Sehsinn verbleibt unter anderem noch der Hörsinn, der Tastsinn beispielsweise für den Untergrund unter den Füßen und der Langstock. Sehr wichtig ist die Durchführung eines Mobilitätstrainings, wo Wege erlernt werden, aber auch wie man sich in unbekanntem Terrain orientieren kann.

So behandelt der Podcast, wie Menschen neues Terrain betreten, welche Forschungsergebnisse und Technologie dafür eingesetzt werden können, was es neues im TERRAIN-Projekt gibt, und welche gesellschaftlichen Fragestellungen sich dabei ergeben.

Der Einzug von Navigationssystemen in unser Leben hat nicht nur Sehenden die Mobilität und Orientierung verbessert, sondern auch für Blinde helfen diese auf Smartphones sich besser in ihrer Umgebung zurecht zu finden.

Leider können Navigationssysteme nur wenig über den Weg vor einem sagen, Kreuzungen und Ampeln erkennen oder die Position von Hauseingängen identifizieren- hier gibt es noch viel zu tun.