{"id":3137,"date":"2022-07-28T08:43:12","date_gmt":"2022-07-28T08:43:12","guid":{"rendered":"https:\/\/blogs.zeiss.com\/digital-innovation\/de\/?p=3137"},"modified":"2022-08-05T14:13:11","modified_gmt":"2022-08-05T14:13:11","slug":"kriterienkatalog-fuer-die-bestmoegliche-wahl-von-testautomatisierungswerkzeugen","status":"publish","type":"post","link":"https:\/\/blogs.zeiss.com\/digital-innovation\/de\/kriterienkatalog-fuer-die-bestmoegliche-wahl-von-testautomatisierungswerkzeugen\/","title":{"rendered":"Kriterienkatalog f\u00fcr die bestm\u00f6gliche Wahl von Testautomatisierungswerkzeugen"},"content":{"rendered":"\n

Im ersten Teil der Blogserie<\/a> haben wir die Herausforderungen bei der Wahl des geeigneten Werkzeugs f\u00fcr die Testautomatisierung skizziert. Im zweiten Teil <\/a>ging es um die Relevanz und eine m\u00f6gliche Klassifizierung von Auswahlkriterien der Werkzeuge, die sich zum Teil standardisieren lassen, aber fallweise auch variabel sein m\u00fcssen. In diesem dritten Artikel stellen wir die Liste der Kriterien, den Kriterienkatalog, dessen Verprobung und die Ergebnisse daraus vor. \u00a0<\/p>\n\n\n\n

\"Symbolbild:
Designed by Freepik<\/a><\/sup><\/em><\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Liste der Kriterien<\/h2>\n\n\n\n

Die folgende Abbildung stellt die finale Liste der Auswahlkriterien dar.  Dabei wurden die variablen Kriterien<\/em> als „SuT-Kriterien“ gekennzeichnet. Die ermittelten Kriterien k\u00f6nnen angepasst, erweitert und aktualisiert werden.<\/p>\n\n\n\n

\"Tabellarische
Abbildung 1: Liste der Kriterien<\/em><\/figcaption><\/figure>\n\n\n\n

Die Standardkriterien<\/em> sind in vierzehn (14) Oberkriterien unterteilt, wie z.B. in Kompatibilit\u00e4t, Bedienbarkeit, Performance oder Dokumentation. Den Oberkriterien sind Unterkriterien zugeordnet. So hat das Oberkriterium Dokumentation beispielweise drei (3) Unterkriterien.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Kriterienkatalog<\/h2>\n\n\n\n

Nachdem die Kriterien feststanden, erstellten wir im n\u00e4chsten Schritt den eigentlichen Kriterienkatalog. Da verschiedene, mehrdimensionale Ziele in die Entscheidungen einflie\u00dfen, eignete sich daf\u00fcr ein systematischer Ansatz. Er l\u00e4sst eine multi-kriteriale Entscheidungsanalyse (auch Multi Criteria Decision Analysis oder MCDA genannt) zu. Eine dieser Anwendungsformen der multi-kriterialen Entscheidungsanalyse ist die sogenannte Nutzwertanalyse (Gansen 2020, S. 5). Die Nutzwertanalyse findet \u00fcberall dort Anwendung, wo eine Bewertung vorgenommen oder eine Beurteilung getroffen wird, z. B. im Projektmanagement, im Controlling.<\/p>\n\n\n\n

<\/div>\n\n\n\n
\"Tabellarische
Abbildung 2: Beispieltabelle Nutzwertanalyse<\/em><\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Anforderungen an den Kriterienkatalog<\/h2>\n\n\n\n

F\u00fcr die eigentliche Anfertigung des Kriterienkatalogs definierten wir zun\u00e4chst die Anforderungen. Sie sind im Folgenden tabellarisch in Form von User Stories zusammengefasst und stellen alle notwendigen Arbeitsschritte dar.<\/p>\n\n\n\n

Nr.<\/th>User Stories<\/th><\/tr><\/thead>
1<\/td>Als Benutzer m\u00f6chte ich die Projektstammdaten eingeben, damit ich besser nachvollziehen kann, von wem, wann und f\u00fcr welches Projekt der Katalog erstellt wurde.<\/td><\/tr>
2<\/td>Als Benutzer m\u00f6chte ich einen neuen Katalog erstellen, um eine neue Nutzwertanalyse durchf\u00fchren zu k\u00f6nnen.<\/td><\/tr>
3<\/td>Als Benutzer m\u00f6chte ich eine Nutzwertanalyse durchf\u00fchren, um eine objektive Entscheidung treffen zu k\u00f6nnen<\/td><\/tr>
4<\/td>Als Benutzer m\u00f6chte ich die Kriterien gerecht und leicht gewichten, um die Relevanz f\u00fcr das Projekt besser steuern zu k\u00f6nnen.<\/td><\/tr>
5<\/td>Als Benutzer m\u00f6chte ich einen \u00dcberblick \u00fcber die Bewertungsgrundlage haben, um die L\u00f6sungsalternativen besser bewerten zu k\u00f6nnen.<\/td><\/tr>
6<\/td>Als Benutzer m\u00f6chte ich einen klaren \u00dcberblick \u00fcber die durchgef\u00fchrte Nutzwertanalyse haben, damit ich schnell das Werkzeug mit dem h\u00f6chsten Nutzen finden kann.<\/td><\/tr>
7<\/td>Als Benutzer m\u00f6chte ich die zuletzt bearbeitete Nutzwertanalyse aufrufen, um sie weiter bearbeiten zu k\u00f6nnen.<\/td><\/tr>
8<\/td>Als Benutzer m\u00f6chte ich den Katalog exportieren, damit ich diesen weiterleiten kann.<\/td><\/tr><\/tbody><\/table>
Tabelle 1: Anforderungen an den Kriterienkatalog<\/em><\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Aufbau des Kriterienkatalogs<\/h2>\n\n\n\n

Der Kriterienkatalog wurde mit Excel, sowie Visual Basic for Applications (VBA) entwickelt. Das entwickelte Tool wurde in verschiedene Arbeitsmappen unterteilt, die jeweils eine spezifische Aufgabe widerspiegeln.<\/p>\n\n\n\n

Die Einstiegsmaske<\/h3>\n\n\n\n

Beim \u00d6ffnen der Datei erscheint ein Dialogfenster (siehe Abbildung 3). Zun\u00e4chst ist auszuw\u00e4hlen, ob der zuletzt bearbeitete Katalog aufgerufen oder ein neuer Katalog erstellt werden soll. Im Falle eines neuen Katalogs wird dann ein Formular angezeigt, das vom Benutzer ausgef\u00fcllt werden muss. Die Eingaben des Benutzers zu den SuT-Kriterien werden dem Katalog als variable<\/em> Kriterien<\/em> hinzugef\u00fcgt (siehe Abbildung 4).<\/p>\n\n\n\n

<\/div>\n\n\n\n
\"Abbildung
Abbildung 3: Einstiegsmaske des Kriterienkatalogs<\/em><\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Abbildung 4: Angaben der SuT-Kriterien im Katalog<\/em><\/p>\n\n\n\n

<\/div>\n\n\n\n

Die Nutzwertanalyse<\/h3>\n\n\n\n

Die Nutzwertanalyse wird in vier Schritten durchgef\u00fchrt. Nach der Identifizierung der Kriterien folgt deren Gewichtung. Danach wird die Kriterienerf\u00fcllung gemessen und schlie\u00dflich der Nutzwert jeder Alternative berechnet (Gansen 2020, S. 6). Sind die Bewertungskriterien sachgerecht beurteilt, kann mit Hilfe der Nutzwertanalyse eine objektive, rationale Entscheidung getroffen werden (K\u00fchnapfel 2014, S. 4).<\/p>\n\n\n\n

<\/div>\n\n\n\n

Gewichtung der Kriterien<\/strong><\/h4>\n\n\n\n

Nachdem die Kriterien, insbesondere die variablen Kriterien<\/em>, ausgearbeitet worden sind, ist eine Gewichtung dieser Kriterien vorzunehmen. Entscheidend ist es, die Kriterien entsprechend ihrer Bedeutung f\u00fcr das spezielle Testautomatisierungsprojekt so zu gewichten, damit sie optimal zur Erreichung der Ziele des Projekts beitragen. Die Summe der Gewichtungen von Standardkriterien<\/em> und variablen Kriterien<\/em> soll jeweils 100% ergeben. Bei den Standardkriterien<\/em> werden zuerst die Oberkriterien mit Hilfe der Paarvergleichsmethode gewichtet, in Form einer Matrix zusammengestellt und paarweise miteinander verglichen (Wartzack 2021, S. 315).<\/p>\n\n\n\n

<\/div>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Abbildung 5: Paarweiser Vergleich der Oberkriterien f\u00fcr ein Beispielprojekts<\/em><\/em><\/p>\n\n\n\n

<\/div>\n\n\n\n

Oberkriterien: Sicherheit, Installationsaufwand, Sprachunterst\u00fctzung<\/p>\n\n\n\n

Anschlie\u00dfend wird die Wichtigkeit jedes Unterkriteriums anhand einer Ordinalskala von null bis zwei bestimmt:<\/p>\n\n\n\n

0 = „unwichtig“; 1 = „teilweise wichtig“; 2 = „wichtig“<\/em><\/p>\n\n\n\n

Die vergebenen Punkte werden addiert und mit der entsprechenden Gewichtung des Oberkriteriums multipliziert. Daraus ergibt sich eine proportionale Gewichtung aller Standardkriterien<\/em>. Entsprechend wird mit den anderen Ober- bzw. Unterkriterien verfahren. Am Ende betr\u00e4gt die Summe aller Gewichtungen der Standardkriterien<\/em> am Ende 100%.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Messung der Kriterienerf\u00fcllung<\/strong><\/h4>\n\n\n\n

Ausgangspunkt ist die Beantwortung der Frage: \u201eIn welchem Ma\u00dfe ist das Kriterium bei der zu bewertenden Testautomatisierungswerkzeugen erf\u00fcllt?\u201c. F\u00fcr den Kriterienerf\u00fcllungsgrad wird ein 5-stufiges Modell verwendet, dargestellt in Tabelle 2 (Gansen 2020, S. 17).<\/p>\n\n\n\n

0<\/td>Nicht erf\u00fcllt.<\/td><\/tr>
1<\/td>Ist unzureichend \/ kaum erf\u00fcllt.<\/td><\/tr>
2<\/td>Ist teilweise erf\u00fcllt.<\/td><\/tr>
3<\/td>Ist in gutem Umfang erf\u00fcllt.<\/td><\/tr>
4<\/td>Ist in sehr gutem Umfang erf\u00fcllt \/ vollst\u00e4ndig erf\u00fcllt.<\/td><\/tr><\/tbody><\/table>
Tabelle 2: Bewertungsschema der Kriterienerf\u00fcllung<\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Wird die Note 4 vergeben, erf\u00fcllt das Tool ein Kriterium vollst\u00e4ndig. Im Falle der Nichterf\u00fcllung wird die Note 0 vergeben. Auf diese Weise werden die entsprechenden Eigenschaften eines Testautomatisierungswerkzeugs zu einer messbaren Gr\u00f6\u00dfe.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Aggregation der Bewertungen<\/strong><\/h4>\n\n\n\n

Liegt der Erf\u00fcllungsgrad jedes Kriteriums vor, kann der Nutzwert berechnet werden. F\u00fcr den Nutzwert gilt folgende Formel:<\/p>\n\n\n\n

\n
\n
\"\"<\/figure>
\n

N i<\/sub> = Nutzwerte der Alternative i<\/p>\n\n\n\n

Gj = Gewichtung des Kriterium j<\/p>\n\n\n\n

nij = Teilnutzen der Alternative i in Bezug auf das Kriteriums j<\/p>\n<\/div><\/div>\n<\/div>\n<\/div>\n\n\n\n

Die Teilnutzen werden aufsummiert. Das Ergebnis stellt den tats\u00e4chlichen Wert eines Werkzeugs dar. Anhand der ermittelten Nutzwerte l\u00e4sst sich schlie\u00dflich eine Rangfolge der betrachteten Alternativen aufstellen und f\u00fcr die Entscheidungsfindung nutzen (Gansen 2020, S. 6). Es l\u00e4sst sich die Werkzeugl\u00f6sung w\u00e4hlen, die alle Anforderungen am besten erf\u00fcllt und die den gr\u00f6\u00dften Nutzwert aufweist.<\/p>\n\n\n\n

Es gibt Kriterien, die sich als notwendig herausstellen. Diese werden als Ausschlusskriterien (K.O.-Kriterien) bezeichnet. Wenn ein Ausschlusskriterium (K.O.-Kriterium) nicht erf\u00fcllt ist (0)<\/em>, liegt ein Versto\u00df vor, der zum sofortigen Ausschluss einer Alternativl\u00f6sung f\u00fchrt.<\/p>\n\n\n\n

\"\"
Abbildung 6: Bewertung und Auswahl<\/em><\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Navigationsleiste und Export<\/h4>\n\n\n\n

Die Navigationsleiste gibt dem Benutzer einen \u00dcberblick \u00fcber die Struktur des Katalogs und erm\u00f6glicht es, sich m\u00fchelose darin zu bewegen.<\/p>\n\n\n\n

<\/div>\n\n\n\n
\"Screenshot
Abbildung 7: Navigationsleiste des Kriterienkatalogs<\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Der Katalog kann als PDF- oder Excel-Datei exportiert und der Speicherort daf\u00fcr frei gew\u00e4hlt werden.<\/p>\n\n\n\n

<\/div>\n\n\n\n
\"\"
Abbildung 8: Ausschnitt der leeren Vorlage des Kriterienkatalogs<\/em><\/figcaption><\/figure>\n\n\n\n
<\/div>\n\n\n\n

Ergebnisse der Verprobung des Kriterienkatalogs<\/h2>\n\n\n\n

Aus der Verprobung konnten folgende relevante Erkenntnisse gewonnen werden:<\/p>\n\n\n\n