The human-machine interfaces (HMIs) of today’s premium automotive infotainment systems
are complex embedded systems which have special characteristics in comparison to GUIs of
standard PC applications, in particular regarding their variability. The variability of infotainment
system HMIs results from different car models, product series, markets, equipment
configuration possibilities, system types and languages and necessitates enormous testing efforts.
The model-based testing approach is a promising solution for reducing testing efforts and
increasing test coverage. However, while model-based testing has been widely used for function
tests of subsystems in practice, HMI tests have remained manual or only semi-automated and
are very time-consuming and work-intensive. Also, it is very difficult to achieve systematic
or high test coverage via manual tests. A large amount of research work has addressed GUI
testing in recent years. In addition, variability is becoming an ever more popular topic in the
domain of software product line development. However, a model-based testing approach for
complex HMIs which also considers variability is still lacking. This thesis presents a modelbased
testing approach for infotainment system HMIs with the particular aim of resolving the
variability problem. Furthermore, the thesis provides a foundation for future standards of HMI
testing in practice.
The proposed approach is based on a model-based HMI testing framework which includes
two essential components: a test-oriented HMI specification and a test generation component.
The test-oriented HMI specification has a layered structure and is suited to specifying data
which is required for testing different features of the HMI. Both the dynamic behavior and
the representation of the HMI are the testing focuses of this thesis. The test generation component
automatically generates tests from the test-oriented HMI specification. Furthermore,
the framework can be extended in order to automatically execute the generated tests. Generated
tests must first be initialized, which means that they are enhanced with concrete user
input data. Afterwards, initialized tests can be automatically executed with the help of a test
execution tool which must be extended into the testing framework.
In this thesis, it is proposed to specify and test different HMI-variants which have a large set of
commonalities based on the software product line approach. This means the test-oriented HMI
specification is extended in order to describe the commonalities and variabilities between HMI
variants of an HMI product line. In particular, strategies are developed in order to generate
tests for different HMI products. One special feature is that redundancies are avoided both for
the test generation and the execution processes. This is especially important for the industrial
practice due to limited test resources. Modeling and testing variability of automotive HMIs
make up the main research contributions of this thesis.
We hope that the results presented in this thesis will offer GUI testing research a solution
for model-based testing of multi-variant HMIs and provide the automotive industry with a
foundation for future HMI testing standards.
Die Mensch-Maschine-Schnittstellen (HMIs) von Infotainmentsystemen der heutigen Premi-umfahrzeuge sind sehr komplexe und eingebettete Systeme. Sie haben im Vergleich mit
herkömmlichen PC-Applikationen besondere Eigenschaften, insbesondere bezogen auf ihre
Variabilität. Die Variabilität von Infotainmentsystem HMIs ergibt sich aus unterschiedlichen
Fahrzeugsmodellen, Produktserien, Märkten, Ausstattungen, System- sowie Sprachvarianten.
Die hohe Anzahl der Varianten führt zu enorm hohem Testaufwand. Modellbasiertes Testen ist
ein vielversprechender Ansatz, um den Testaufwand durch die automatische Testfallgenerierung
und Testausführung zu reduzieren und gleichzeitig die Testabdeckung zu erhöhen. Während
modellbasiertes Testen bereits für Funktionstests häufig eingesetzt wird, bleiben HMI Tests
meist noch manuell oder teil-automatisiert. Außerdem kann durch manuelles Testen eine sys-tematische Testabdeckung nur sehr schwierig erreicht werden. Zahlreiche Forschungsarbeiten
befassen sich mit dem GUI-Testen. Variabilität ist im Bereich der Software-Produktentwicklung
ein immer beliebteres Forschungsthema. Ein modellbasierter Testansatz für komplexe HMIs
mit Berücksichtigung der Variabilität ist allerdings immer noch nicht vorhanden. Diese Doktorarbeit
präsentiert eine modellbasierte Testmethode für Infotainmentsystem HMIs mit dem
besonderen Ziel das Variabilitätsproblem zu lösen. Zusätzlich bietet diese Doktorarbeit eine
Basis für zukünftiges HMI-Testen in der Industrie an.
Der Ansatz in dieser Doktorarbeit basiert auf einem modellbasiertem HMI-Testframework, das
zwei essentielle Komponenten beinhaltet: eine Test-orientierte Spezifikation und eine Komponente
zur Testgenerierung. Die Test-orientierte Spezifikation hat eine geschichtete Struktur
und ist darauf ausgerichtet, die fürs Testen relevanten Daten zu spezifizieren. Sowohl dynamisches
Menüverhalten als auch die Darstellung des HMI sind die Testziele. Die Testgenerierung
erzeugt automatisch Tests aus der Test-orientierten HMI Spezifikation. Das Testframework
kann um eine automatische Testausführung erweitert werden. Nachdem die generierten Tests
instanziert werden, ist es möglich sie automatisch innerhalb eines Testautomatisierungsframeworks
durchzuführen.
Diese Doktorarbeit befasst sich mit Methoden, um die HMI-Varianten effizient zu spezifizieren
und zu testen und basiert auf Ansatz für Software Produktlinien. Das bedeutet, die Testorientierte
Spezifikation ist erweitert um sowohl die Gemeinsamkeiten als auch die Spezialitäten
der Varianten zu beschreiben. Insbesondere werden Strategien entwickelt, um Tests für unter-schiedliche Varianten der Produktlinien automatisch zu generieren. Die Besonderheit dabei ist,
dass Redundanzen sowohl für den Generierungsvorgang als auch den Ausführungsvorgang ver-mieden werden können. Das ist wegen den eingeschränkten Ressourcen und aus Effizientsgründen
besonders wichtig für die Industrie. Die Modellierung und das Testen von variantenreichen
HMIs stellen die Hauptbeiträge dieser Dissertation dar.
Die Ergebnisse dieser Doktorarbeit können hoffentlich als eine Lösung für modellbasiertes
Testen der multi-varianten HMIs dienen und der Automotive-Industrie eine Basis der zukünftigen
HMI Testenstandards liefern.
Linshu Duan