.png)
Inhalt
- Veränderungen im Gartner Magic Quadrant for Software Test Automation (November 2019)
- Wohin bewegt sich der Markt?
- Stärken/Schwächen der drei Leaders (SmartBear, Tricentis, Eggplant)
- Fazit und Ausblick
Was bedeutet das?
In diesem Magic Quadrant Report geht es um eine Unterkategorie der Software Testing Tools, die der Software Test Automation. Gemäss Gartner müssen diese Tools funktionale Tests designen, entwickeln, warten, verwalten und ausführen können. Typischerweise soll das neben dem Web auch auf Mobile, Desktop, in der Cloud und auf Embedded Systemen funktionieren. Dies wurde auf Herz und Nieren und vor allem gegen das UI und das API geprüft.
… ohne funktionierende Testautomation bricht jede DevOps-Toolchain – Serge Wolf
Continuous Testing ist das Schlagwort und ohne funktionierende Testautomation bricht jede DevOps-Toolchain. Dies wird zunehmends anspruchsvoller, denn die Applikationen, die heute entwickelt werden, sind sogenannte «Multiexperience-Applikationen». Somit gilt es neben einer modernen Web-Oberfläche gleichzeitig die mobilen Kanäle (App, Wearable), Desktops wie auch Voice Assistants oder Chatbots zu testen. Doch dies hilft, damit sich die Anbieter solcher Automationslösungen immer weiterentwickeln müssen. Gleichzeitig ist es aber zunehmend schwerer für eine Nischenlösung, die sich beispielsweise auf AI-Web-Automation fokussiert, wie testim.io, sich je auf diesem magischen Quadranten präsentieren zu können.
Dies hat auch dazu geführt, dass sich die drei Leader in ihrem Quadranten behaupten können, indem sie ihr Portfolio mit Zukäufen (beispielsweise flood.io, Zephyr, NCC) verbreitern, um auf alle Veränderungen im Markt auch eine Lösung bereit zu haben.
Die Lösungen und Hersteller im Quadranten sind von dem her sehr unterschiedlich aufgestellt. Dies sieht mittlerweile auch Gartner selbst ein und kommt zum Schluss, dass dies vermutlich der letzte «Magic Quadrant für Software Test Automation» sein wird. Dies, weil das Gebiet zu breit und zu komplex geworden ist. Ich zitiere:
Gartner anticipates that this research will be the final Magic Quadrant for Software Test Automation, as it no longer provides the correct perspective for understanding and evaluating the vendor landscape. – Gartner
Doch was hat sich konkret im Magic Quadrant getan? Was machen die Leaders, die Herausforderer und die Visionäre?
Eggplant
Eggplantsoftware ist seit letztem Jahr im Leader-Quadranten und hat sich speziell im AI-Testing hervorgetan. In der Schweiz ist Eggplant noch nicht so stark vertreten, aber man sollte sich die Firma und deren Software genauer anschauen. Denn auch im Forrester «Omnichannel Functional Test Automation Tools, Q3 2018» sind sie ganz oben rechts angekommen:
.jpeg)
Eggplant hat ihren Hauptsitz in London und wurde 2008 gegründet. Gemäss eigenen Angaben haben sie über 650 Firmenkunden.
Stärken
Test Augmentation
Eggplant hat einen starken Fokus auf die Verwendung von Datensets und Modellen, um dem Tester zu helfen, wo und wie viel zu testen ist.
Multi-OS
Eggplants Lösungen laufen auch auf MacOS und vielen weiteren Technologien.
Customer Survey
Bei unabhängigen Kundenumfragen erhielt Eggplant stets sehr gute Werte.
Schwächen
API
Gegenüber den anderen Leaders liegt hier Eggplant klar im Hintertreffen.
Funktionales Wachstum
In der Breite wie auch in der Tiefe wachsen die Lösungen von Eggplant langsamer als deren Konkurrenten.
Pricing
Referenzkunden haben sich bezüglich Preisgestalung und Verhandlungsflexibilität negativ geäussert.
SmartBear
SmartBear wächst momentan sehr stark und ist mittlerweile ein Sammelsurium von guten Einzellösungen geworden. Kürzlich kamen mit Cucumber und Bitbar zwei namhafte Lösungen hinzu. Mittlerweile bietet SmartBear über 14 Produkte an.
SmartBear hat nach eigenen Angaben über 6.5 Millionen Benutzer und über 22’000 Kunden. Gemäss Wikipedia hat SmartBear über 300 Mitarbeiter, aber vermutlich ist diese Zahl nicht mehr ganz aktuell.
Stärken
Breite
Für moderne Applikationen hat SmartBear für fast alles eine Top-Lösung bereit.
API
Hier ist SmartBear klarer Marktführer. Ihre Lösung SoapUI gehört, speziell auch bei Softwareentwicklern, zum Standardarsenal.
OpenSource
SmartBear kümmert sich schon seit Beginn um die OpenSource Community im automatisierten Software-Testing. Speziell sind hier die Produkte Swagger oder auch wieder SoapUI zu erwähnen.
Schwächen
TestCase Design
Die Themen Test Design oder Testfall-Generierung fehlen fast gänzlich im Portfolio, sind jedoch aktuell wichtige Werkzeuge für den modernen Software-Tester.
Konfiguration/UX/Lizenzen
Kunden beklagen sich über die umständliche Konfiguration und die mangelnde Bedienerfreundlichkeit. Weiter ist das Lizenzmanagement unklar.
Produkt-Dubletten
SmartBear kaufte jüngst viele Firmen auf. Die Überlappung der Funktionalität unter deren Produkten ist teilweise immens.
Tricentis
Tricentis ist der einzige der drei Leaders, der seit fünf Jahren im Leaders-Quadranten ist. Alleine 2019 hat Tricentis drei Firmen übernommen (IntelliCorp, LiveCompare und TestProject).
Tricentis hat über 1’600 Kunden und speziell in der Schweiz sicher den grössten Fussabdruck der drei Leaders. Gartner empfiehlt, Tricentis sich genauer anzuschauen, wenn man nach dem «best in class» modellbasierten Testing-Vorgehen sucht und dabei viele Technologien und Applikationen bedienen möchte.
Stärken
Model-Based
Tricentis Tosca eignet sich als einzige Lösung speziell gut auch für Businessanwender.
Partnerschaften
Die Tricentis hat es geschafft, gute Partnerschaften mit namhaften globalen wie auch mit relevanten lokalen Expertenfirmen* zu schliessen. Dieses Ökosystem hilft dem Markt, gute Lösungen mit Tricentis zu bauen.
*Anm. des Autors: Vermutlich hat hier Gartner speziell an die infometis gedacht.
Customer Experience
Kunden bewerten Tosca sowohl bei modernen, Legacy- wie auch Packaged-Applications jeweils als sehr gut.
Schwächen
Produktintegration
Durch die vielen Zukäufe hat die Integration in ein Portfolio gelitten. D.h. Lösungen wie qTest brauchen länger, bis das Zusammenspiel mit den anderen Tricentis-Lösungen funktioniert.
Software-Entwickler
Developer lassen Tricentis Tosca des öfteren links liegen, da die Lösung sich nicht gut in die bestehende Entwicklungssuite integrieren lässt oder Tosca für diese Personengruppe einfach zu wenig technisch/hip ist.
Repository
Ein paar Referenzkunden haben sich negativ geäussert bezüglich der Wartbarkeit von grossen Repositories.
Fazit
Der Software-Testautomationsmarkt ist aktuell $ 2.8 Milliarden gross und wächst momentan ca. 14.3% pro Jahr. Viele Kunden setzen mittlerweile mehrere Lösungen ein. Dies einfach aus dem Grund, dass die Breite der eingesetzten Technologien zu gross ist für ein einziges Tool. Eine Single Vendor Strategie scheint out zu sein.
Der ganze Markt wird sich künftig stark in Richtung SaaS und Services bewegen. Wer hier die Nase vorn hat, speziell mit AI und ML, wird künftig das Rennen machen.
Automate Now!
Möchten Sie gerne mehr wissen zum Thema oder brauchen Sie konkrete Unterstützung, dann melden Sie sich noch heute bei uns!
