DevBlog: QA Detektive

Hallo ihr Lieben, ich bin Dorina, meines Zeichens die Leiterin der QA Abteilung für Anno 1800. Damit ihr mich besser kennenlernen könnt, hier zunächst ein paar Anmerkungen zu meiner Person:
Ich arbeite jetzt seit 13 Jahren in der Games Branche im Bereich QA, mit meinen ersten Schritten damals als studentische Aushilfe an Anno 1701. Einige Jahre später wurde ich dann fest als Development-Testerin für Anno 2070 angestellt. Heute empfinde ich es als große Ehre, die QA für Anno 1800 zu leiten und hoffe, dass dieser Blog euch einen guten Eindruck über die abwechslungsreiche Arbeit in der Qualitätssicherung verschafft.

Zum Thema Game Testing und QA scheinen die meisten Spieler eine teilweise sehr starke Meinung zu vertreten, denn Bugs sind häufig Gegenstand von hitzigen Diskussionen. Wenn selbst die Community Fehler im Spiel entdecken kann, sollte es doch schließlich nicht allzu schwer für die Entwickler sein, diese schnell und einfach zu beheben. Oder steckt hinter der Jagd nach Bugs vielleicht doch mehr?
Um genau diese Frage zu beantworten stellen wir heute das Anno 1800 QA Team ins Rampenlicht  und werfen dabei einen Blick auf den komplexen Alltag eines Spieletesters.

Das QA Vorurteil – Jeden Tag nur Spiele zocken
Es gibt da dieses hartnäckige Vorurteil, das QA Tester den Großteil ihres Tages mit zocken verbringen. Sich in seinem Projekt auszukennen ist sicherlich ein wichtiger Teil des Jobs, in der Realität macht das eigentliche Spielen allerdings nur einen eher kleinen Teil des Alltags aus.

Stundenlang zu spielen, um ein Gefühl für das Feeling und die Funktionalität deines Projektes zu bekommen, passiert in der Realität tatsächlich eher selten. Unsere tägliche Routine wird vielmehr durch sehr spezifische Aufgaben bestimmt, bei denen wir bestimmte Features des Spiels auf Herz und Nieren testen um die Qualität einzuschätzen und um gemeldete Fehler zu untersuchen. Bei der Analyse eines Fehlers stellen wir häufig fest, dass die Ursache augenscheinlich nichts mit dem auftretenden Problem zu tun hat. Dadurch entwickelt sich die Fehlersuche zu einer komplizierten Untersuchung, da für das Reproduzieren eines Fehlers nicht nur die Ursache, sondern auch alle Zusammenhänge mit anderen Mechaniken und Spielelementen analysiert werden müssen.

Mit jedem neuen Meilenstein in der Entwicklung bekommen wir eine ausführliche Liste an Features, die bis zur nächsten Entwicklungsphase getestet werden müssen. Diese Liste bestimmt also die Ziele und um diese zu erreichen, ist Zusammenarbeit im Team und mit anderen Entwicklern (wie den für das Feature verantwortlichen Game Designern) unglaublich wichtig.
Als zentrale Anlaufstelle für die Produktion von Anno 1800 sitzt unser QA Team in der Mitte des Studios.  Unsere Lage im Studio erlaubt uns eine gute Übersicht über das ganze Projekt und ermöglicht direktere Kommunikation mit den anderen Entwicklern; man könnte sagen das die QA das wachsame Auge der Spieleproduktion ist. Spawnt jemand von uns bei einem Entwickler ernten wir manchmal nervöse Blicke, denn höchstwahrscheinlich funktioniert eines Ihrer Features gerade nicht wie es sollte.

Der Detektiv und sein Handbuch
Wenn wir mit der Untersuchung eines Falls beginnen sind analytische Fähigkeiten, Erfahrung und Wissen über die unterschiedlichen Bereiche der Entwicklung unsere Werkzeuge zum Erfolg. Während wir an einem Fall arbeiten, wird das detaillierte Design Dokument (oder kurz DDD) zum Handbuch für den QA Detektiv. Das DDD definiert die Funktionen aller Spielelemente und hilft uns beim Erstellen von Testfällen, ob diese sich dem Design entsprechend verhalten und funktionieren. Wie in einem Belastungstest versuchen wir dabei sogar das System bewusst auszuhebeln um Fehlerquellen aufzuspüren. Ein wenig so als würden wir versuchen den Motor eines Autos bewusst an seine Grenzen oder ein System zum Absturz zu bringen. Die dadurch entstehenden Daten werden in einem Feedback-Report an den entsprechenden Feature Owner und weitere verantwortliche Entwickler weitergeleitet.

Ihr erinnert Euch an die Handelsrouten, die wir in unserem DevBlog letzte Woche vorgestellt hatten?
Das DDD beschreibt dieses Feature und alle zugrundeliegenden Systeme bis ins kleinste Detail: von Mechaniken, wie das Hinzufügen von Schiffen zu einer Handelsroute, Beschreibungen wie das Menü funktionieren soll, verbundene Audio Elemente, dargestellte Texte, die Funktionalität von Buttons und vieles mehr. Dies ist gleichzeitig die große Checkliste unserer Tests, in denen wir überprüfen, ob alle Elemente auch wie erwartet funktionieren.
Wenn das nächste Update dann einen Fix für den Fehler beinhalten, gehen wir erneut durch die Feature Liste um zu sehen, ob der Fehler behoben ist und ob sich keine neuen Bugs eingeschlichen haben.

Aber es geht nicht nur um das Entdecken und Ausmerzen von Bugs; wir helfen ebenfalls beim Balancing des Spiels, von den Produktionsketten bis zur Bewertung der Schwierigkeit der Kämpfe. Dabei müssen wir uns ständig selbst Fragen: funktioniert alles wie gedacht, fühlt sich der Spielfluss gut an und ist das Feature komplex genug (oder vielleicht sogar zu komplex)?
Die aus unseren Tests resultierenden Berichte werden dann mit den verantwortlichen Entwicklern im Detail diskutiert. Wenn dann Änderungen aufgrund des Feedbacks vorgenommen werden, heißt es für uns wieder zurück zum Anfang des Prozesses um neues Feedback zur Verfügung zu stellen.

Ein weiterer Unterschied zwischen der Arbeit in QA und QC (Qualitätskontrolle) ist, dass wir das Projekt als Ganzes überprüfen. Sollten wir herausfinden das ein bestimmtes Tool nicht richtig funktioniert oder sogar der Entwicklungsprozess behindert sein könnte, erhält das Produktionsteam sofort von uns Meldung und einen dementsprechenden Bericht.

Auf der Jagd nach Bugs!
Wenn wir während unserer Tests einen Bug finden, wird dieser in unserem Bug-Tracking Tool verzeichnet und in einem Bericht an den Game Designer weitergeleitet. Wie zuvor beschrieben setzt dies den Test- und Feedback-Prozess in Gang, bis der Fehler am Ende behoben wurde.

Ihr seid bestimmt mit dem Zitat „Kein Plan überlebt die erste Feindberührung“ vertraut?
Wenn wir Fehler nach Tests beheben besteht immer die Möglichkeit, dass der Fix irgendeinen anderen Fehler auslöst. Häufig wissen wir dabei zuerst nicht, was diesen Fehler eigentlich hervorruft und somit machen wir uns erneut auf die Suche nach dem Auslöser.
Durch die unglaublich komplexe Natur eines modernen Videospiels gibt es eine Grundregel: Wenn wir einen Fehler beheben, lösen wir damit eventuell einen Neuen aus. Ich vergleiche diesen Umstand gerne mit dem Schmetterlings-Effekt, bei dem jeder Flügelschlag eine unerwartete Serie an Ereignissen auslösen kann. Der Komplexität eines Spiels geschuldet, kann sich dieser Prozess von Fall zu Fall ändern, weil Bugs während der Entwicklung zum Alltag gehören. Wir stellen dabei sicher, dass die Produktion nicht blockiert wird, denn das beheben von Bugs könnte im schlimmsten Fall viele Stunden Arbeit für unser Coding-Team bedeuten.

Das Spiel besser machen
Unsere Arbeit hat noch eine weitere Ebene, welche nicht unbedingt mit dem unmittelbaren Beheben von Fehlern zu tun hat. Beim Observieren des Spiels und des DDD könnte uns auffallen, dass ein Element in einem Feature fehlt oder aufgrund unserer Erfahrung Probleme im Gameplay auslösen könnte. Sollte dies der Fall sein, stellen wir Vorschläge zur Verbesserung bereit, die erläutern was eventuell fehlt oder wie das Balancing verbessert werden könnte. Unser Team besteht aus verschiedenen Spielertypen und mit den unterschiedlichsten Jahren an Erfahrung und dieses gesammelte Wissen spielt hierbei eine wichtige Rolle. Diese Vielfalt erlaubt es uns schlussendlich eine Situation aus den unterschiedlichsten Blickwinkeln zu betrachten.

Sind da eifrige Bug-Jäger unter Euch?
Ich hoffe, dass dieser Blog euch einen guten Einblick in den komplexen Alltag eines Game Testers, der mit seiner Arbeit alle Aspekte der Produktion beeinflusst, geben konnte.
In der QA zu arbeiten erfordert Enthusiasmus, Passion und ein tiefes Verständnis für Videospiele und den Titel an dem Ihr gerade arbeitet.

Was denkt Ihr über den Joballtag eines professionellen Spieletesters – waren Euch die Informationen aus diesem Blog bereits vertraut oder konnten wir Eure Augen ein wenig öffnen? Wir würden außerdem gerne wissen ob Ihr bereits selbst auf der Jagd nach Bugs wart, ob nun als Teil einer Testphase eines Spiels, Mitglied einer Community oder vielleicht sogar auf einem professionellen Level?
Um den QA Aufgaben eines komplexen Aufbauspiels wie Anno 1800 gewachsen zu sein, verlangt es Erfahrung, Leidenschaft und Teamarbeit.