Camera-based Mobile Interaction with Physical Objects

Beschreibung

Despite the rise of smartphones and the ubiquity of digital services, interacting with physical media and physical objects, is still essential in daily life. Printed books are more convenient than E-books and points of interests become particularly interesting if one stands in front of them. Digital services, however, enable use cases that physical media fails to offer. While the digital world is increasingly getting dynamic and interactive – physical media remains static. One cannot read the latest gossip about Madonna with just a CD in the hand. Instead we cur-rently use a search engine to find Madonna’s Facebook page for a virtual meet-up with other fans. There is no easily accessible link that closes the gap between physical objects and digital services. Camera-based mobile interaction techniques that exploit computer vision in smartphone applications enable to use physical objects to access digital services. This book provides a comprehensive investigation of mobile camera-based interaction tech-niques with a focus on the users’ perspective. It defines the research field described by the notion ‘Mobile Interaction with the Real World’ and provides a categorization of the state of the art. Camera-based interaction techniques are systemized and analyzed through user stud-ies. The book presents the design, implementation, and evaluation of three interaction tech-niques: Point & Shoot, Continuous Pointing, and handheld Augmented Reality. The interface design of handheld Augmented Reality applications is analyzed through participatory design and controlled experiments. Further, the book provides an investigation of off-screen visuali-zations for handheld Augmented Reality, which is of particular importance for the small screens of mobile devices. Guidelines to develop camera-based applications for smartphones are derived from extensive empirical work. The guidelines enable developers to choose ap-propriate interaction techniques, implement adequate algorithms, and design usable interfaces.
Trotz der großen Verbreitung von Smartphones und digitalen Diensten ist die Interaktion mit physischen Objekten glücklicherweise immer noch von essenzieller Bedeutung in unserem Alltag. Gedruckte Bücher sind bequemer zu lesen als E-Books, Sehenswürdigkeiten bekommen eine besondere Bedeutung, wenn wir vor ihnen stehen und es werden mehr physische Musik CDs als digitale Alben verkauft. Digitale Dienste eröffnen jedoch Möglichkeiten, die physische Medien nicht bieten. Während die digitale Welt immer dynamischer und interaktiver wird, bleiben physische Medien statisch. Nur mit einer CD ist es nicht möglich, die letzten Neuigkeiten über Madonna lesen. Stattdessen muss eine Suchmaschine verwenden werden um Madonnas MySpace Seite für ein virtuelles Treffen mit anderen Fans zu finden. Es gibt keine leicht zugängliche Verbindung, welche die Lücke zwischen physischen Objekten und digitalen Diensten schließt. Kamerabasierte mobile Interaktionstechniken ermöglichen es, physische Objekte auszuwählen, um auf digitale Dienste zuzugreifen. Im einfachsten Fall erstellt der Benutzer ein Foto mit einem Mobiltelefon und erhält relevante Informationen über das fotografierte Objekt. Diese Dissertation präsentiert die erste umfassende Untersuchung von mobilen kamerabasierten Interaktionstechniken unter besonderer Berücksichtigung der Nutzerperspektive. Adressierte Forschungsfragen sind: Bieten diese Interaktionstechniken einen Vorteil für den Benutzer? Welche Interaktionstechnik sollte bevorzugt werden? Wie sollte die Benutzeroberfläche für handheld Augmented Reality Systeme gestaltet sein? Wie sollten physische Objekte außerhalb des Bildschirms visualisiert werden? Antworten auf diese Fragen können Interaktionsdesigner bei der Entwicklung von entsprechenden Anwendungen anleiten und sie ermöglichen die Untersuchung von geeigneten Algorithmen für solche Systeme. Diese Arbeit definiert den durch den Begriff "Mobile Interaction with the RealWorld" beschriebenen Forschungsbereich und bietet eine Kategorisierung bisheriger Arbeiten. Drei verschiedene kamerabasierte Interaktionstechniken werden identifiziert und durch Studien analysiert. Wir entwerfen, implementieren und evaluieren die Interaktionstechniken Point & Shoot, Continuous Pointing und handheld Augmented Reality. Es wird gezeigt, dass kamerabasierte Interaktionstechniken effizienter sein können und von Nutzern im Vergleich zu manuellen Techniken bevorzugt werden. Weiter zeigen wir, dass kamerabasierte Interaktion nicht nur von technisch versierten Benutzern, sondern auch vom durchschnittlichen Verbraucher verwendbar ist. Durch einen Vergleich der drei Interaktionstechniken wird belegt, dass handheld Augmented Reality bevorzugt wird und die gefühlte Arbeitsbelastung senken kann. Während handheld Augmented Reality bereits umfassend mit einem technischen Schwerpunkt untersucht wurde, ist diese Arbeit die erste, die das Interface-Design von handheld Augmented Reality Anwendungen betrachtet. Mittels partizipativen Designs werden Designalternativen für die Augmentierung von gedruckten Fotobüchern und Musik CDs entwickelt. Wir zeigen, dass eine an den physischen Objekten ausgerichtete Augmentation effizienter für die Darstellung von Informationen ist. Im Gegensatz dazu, wird auch gezeigt, dass Steuerelemente am Bildschirm des mobilen Geräts ausgerichtet sein sollten. Da die Visualisierung von VIII Objekten außerhalb des Fokus des Benutzers, insbesondere aufgrund der geringen Bildschirmgröße von mobilen Geräten, von besonderer Bedeutung ist, wird diese untersucht. Durch Veröffentlichung von mobilen Anwendungen werden erstmals kontrollierte Experimente zum Vergleich existierender Visualisierungstechniken mit einer großen Anzahl an Teilnehmern durchgeführt. Es wird außerdem gezeigt, dass eine Off-Screen Visualisierung eine große Auswirkung auf die Verwendbarkeit von augmentierten Karten hat und es wird nachgewiesen, dass die entwickelte Visualisierungstechnik eine höhere Benutzbarkeit als etablierte Techniken hat.

Autor*in

Niels Henze

Themen in »Camera-based Mobile Interaction with Physical Objects«

Interaktion Interaktionstechnik Interface Design Mobile Interaktion Off-screen Visualisierung Visualisierung handheld Augmented Reality

Stimmen zu »Camera-based Mobile Interaction with Physical Objects«

Details

Link teilen