Wie Eventbrite sein QA-Team aufbaute und skalierte
Eventbrite wurde 2006 gegründet und unterstützt mittlerweile mehr als 949.000 Organisationen und Kreative auf der ganzen Welt, die 2019 mehr als 309 Millionen Tickets für über 4,7 Millionen Veranstaltungen in mehr als 180 Ländern abwickeln. Der Laser-Fokus von Eventbrite auf die Bereitstellung von Qualität für Kunden ist ein Schlüsselfaktor für den Erfolg des Unternehmensder im Börsengang am 20. September 2018 gipfelte.
Die Herausforderung
Als das QA-Team von Eventbrite Anfang 2016 seine kostenlose Testversion von TestRail startete, befand sich das Unternehmen bereits in der Phase des Hyperwachstums, die es zwei Jahre später an die Börse bringen sollte. Sie befanden sich in einer ähnlichen Situation wie viele QA-Teams in wachstumsstarken Startups: Sie verwalteten ihre Testfälle mit einer Reihe von zusammengeschusterten Tabellenkalkulationen.
Andrew Smelser, SQA Engineering Manager bei Eventbrite, erinnert sich: "Die QA bei Eventbrite begann an der Basis. Wir begannen einfach damit, Tests in einem kostenlosen Tool wie Google Sheets aufzuschreiben."
Das Problem war, dass mit dem exponentiellen Wachstum von Eventbrite die Verwendung von Tabellenkalkulationen für Tests zu einem Engpass und einer Belastung wurde. Tabellenkalkulationen waren zwar schnell und flexibel, aber sie waren nicht skalierbar. Sie waren schwer zu organisieren, schwer auszuwerten und anfällig für Fehler.
Die Lösung
Stattdessen musste das QA-Engineering-Team eine Lösung finden, die dies ermöglichte:
Beschleunigung der Veröffentlichungszyklen ohne Qualitätseinbußen, da der Druck, neue Funktionen zu entwickeln, und das potenzielle Risiko neuer Fehler nur noch weiter zunehmen werden.
Skalieren Sie ihre Fähigkeit, eine ständig wachsende technische Abteilung zu unterstützen, standardisieren Sie die Nachverfolgung und reporting für wichtige Qualitätskennzahlen und sorgen Sie für eine klare, präzise und aussagekräftige Kommunikation zwischen unterschiedlichen Abteilungen.
Bieten Sie einen wettbewerbsfähigen Preis und einen flexiblen Arbeitsablauf, der es den Teammitgliedern ermöglicht, sich schnell einzubringen, während das Team je nach Bedarf und Umständen des Unternehmens vergrößert oder verkleinert wird.
Andrew Smelser
SQA-Ingenieur
Sichtbarkeit
Andrew Smelser, SQA Engineering Manager bei Eventbrite, erklärt: "Als Eventbrite so weit wuchs, dass es ein dediziertes QA-Tool benötigte, wandten wir uns an TestRail."
Der erste Schritt war die Zentralisierung der Testaktivitäten. "Wir empfahlen den Teams die Verwendung von TestRail, da wir alle Informationen an einem leicht zugänglichen Ort zusammenfassen konnten", erklärt QA Engineer Diego Girotti.
Die Verwendung von TestRail als Drehscheibe verbesserte die Transparenz der Testarbeit sowie die Nachvollziehbarkeit und Nachprüfbarkeit des Testverlaufs. TestRail ermöglichte auch Personen außerhalb von QA und Entwicklung einen besseren Einblick in die Testarbeit von Eventbrite und in wichtige Geschäftskennzahlen wie Testabdeckung, Prozentsatz der Regressionstests und Automatisierung.
Smelser fasst zusammen: "Wenn man diese Plattform hat, gewinnt man eine Menge an Transparenz, im Gegensatz zur Arbeit in Sheets mit unterschiedlichen Berechtigungen."
Flexibilität
Einer der wichtigsten Vorteile von TestRail gegenüber Tabellenkalkulationen war seine Flexibilität und der intuitive Arbeitsablauf. Obwohl einige der Softwareentwickler im Team sich gegen die Verwendung eines neuen Tools sträubten, wurden sie von der Benutzerfreundlichkeit von TestRail überzeugt, insbesondere von der Möglichkeit, Tests aus externen Quellen zu importieren.
Laut Smelser ist "TestRail nicht präskriptiv" und verlangt keine starre Methode der Verwendung. Die einzelnen Teams bei Eventbrite nutzen TestRail so, wie es ihnen am besten passt, und können dabei alle Testartefakte in einem einzigen Tool verfolgen und speichern.
Diese Freiheit war ein großer Vorteil für Eventbrite. Der Einsatz von TestRail bedeutete nicht zwangsläufig, dass frühere workflows vollständig ersetzt wurden; vielmehr stellte TestRail eine Erweiterung dieser workflows dar und half, sie effizienter zu gestalten.
Kompatibilität mit Testautomatisierung
Für das Eventbrite-Team bedeutete dies, dass seine Gesamtstrategie für das Testmanagement trotz wechselnder Tools und Umgebungen stabil, konsistent und verlässlich blieb. Während sich Eventbrite weiterentwickelt, bietet TestRail die Stabilität, um Unternehmensinitiativen wie die zunehmende Testautomatisierung und die Implementierung einer CI/CD-Pipeline zu unterstützen.
Kunden wollen wissen, ob ihre Projekte bereit für die Auslieferung sind, und mit TestRail kann das Team von Eventbrite mit Zuversicht nachweisen, dass sie die einzigartigen Anforderungen des Projekts abdecken und dass das Produkt alle Tests bestanden hat.
Preisgestaltung
Für Eventbrite bedeutete dies, dass das Team schnell skalieren konnte, ohne sich durch langwierige Preis- oder Vertragsverhandlungen quälen zu müssen. Sie waren nie an eine bestimmte Anzahl von Nutzern gebunden; sie zahlten für das, was sie nutzten, und wenn neue geschäftliche Herausforderungen auftauchten, konnten sie sich schnell anpassen.
Smelser meint: "Durch die Möglichkeit, im Voraus zu zahlen und dann monatliche Gebühren von diesem Guthaben abzuziehen, je nachdem, wie viele Sitze wir tatsächlich nutzten, konnten wir unseren Vertrag um ein paar Monate verlängern. Und natürlich gilt für uns auch das Gegenteil: Wir haben unser Guthaben manchmal schnell aufgefressen, weil wir so schnell gewachsen sind. Aber wir sind mit dieser Flexibilität sehr zufrieden."
Andrew Smelser
SQA-Ingenieur
Verschiebung der Kultur rund um die Qualität
Während Sichtbarkeit und Flexibilität wesentliche Vorteile für das Eventbrite-Team waren, lag der wahre Wert von TestRail darin, dass die Einführung von TestRail dem Team half, die Qualitätskultur im gesamten Unternehmen erfolgreich zu verändern.
"Auf Unternehmensebene verändern wir die Kultur der Verantwortung für Qualität", erklärt Smelser. "Das ist ein wichtiger Teil unserer agilen Initiative: Qualität gehört allen. Das Ideal ist, dass alle Entwicklungsteams für die Qualität verantwortlich sind."
Diese Bewegung - dass die Qualität in den Händen der Entwickler liegt und nicht ausschließlich bei der Qualitätssicherung - nahm Gestalt an in einem Vorstoß zur "Linksverschiebung" des Testens in der gesamten Organisation. "Das Ziel ist es, früher und häufiger zu testen", erklärt Smelser. Und im Zentrum dieser Verlagerung stand TestRail.
TestRail ermöglichte es dem QA-Team von Eventbrite, mit dem Produkt- und dem Technikteam zusammenzuarbeiten, um neue Sprints zu planen und die Qualität von Anfang an in den Entwicklungsprozess zu integrieren. Die Einbindung der Entwickler in den Testprozess trug auch dazu bei, die Entwicklung auf reale Ergebnisse für die Endbenutzer zu konzentrieren, was zu besserem Code, schnelleren Releases und höherem Wert für den Kunden.
Dieses neue Paradigma veränderte die Rolle der QS-Mitglieder innerhalb der Organisation. Es ermöglichte dem QA-Team, einen größeren Beitrag zu leisten, indem es ein "On-Demand"-Testteam bildete, das den Qualitätssicherungsbedarf mehrerer Teams im gesamten Unternehmen decken konnte. Wenn das Testen bestimmter Funktionsbereiche oder Integrationen zu lange dauerte, wiederholt fehlschlug oder im Laufe der Zeit zu einer höheren Anzahl von Kundenreklamationen führte, konnte das On-Demand-Team laut Smelser "in TestRail einsteigen und sehen, was [das Team] testete", und verschiedene Strategien zur Verbesserung empfehlen.
Durch die Standardisierung des Testmanagements in einem zentralen System und den Zugang für alle Teammitglieder konnte das QA-Team von Eventbrite sein Ziel der ständigen Verbesserung von Tests und QA besser umsetzen. Durch die Überprüfung der Metriken für die Anzahl und den Schweregrad der in den verschiedenen Sprints identifizierten Fehler mithilfe von TestRail konnte das Team genauer einschätzen, wie lange es für die Entwicklung, das Testen und die Auslieferung qualitativ hochwertiger Versionen benötigen würde.
Sie waren auch in der Lage, mehr funktionsübergreifende Stakeholder in Gespräche über Qualität einzubeziehen, indem sie die Punkte zwischen Produkt, Technik, QA und Support miteinander verbanden, um die Auswirkungen neuer Änderungen auf die Gesamtqualität des Eventbrite-Ökosystems von Apps zu analysieren.
Die Ergebnisse
Die Flexibilität und Benutzerfreundlichkeit von TestRail ermöglichte es funktionsübergreifenden Teammitgliedern bei Eventbrite, neue Benutzer schnell einzubinden und neue Entwicklungstools zu integrieren und gleichzeitig eine stabile, aber schnelle Testumgebung aufrechtzuerhalten.
Die Verfolgung aller manuellen und automatisierten Testvorgänge über eine zentrale Plattform erhöhte die Transparenz des gesamten Testbetriebs und half dem Team, die Qualität seiner Produkte mit jeder neuen Version zu überwachen.
Diese Sichtbarkeit beeinflusste dann die Gespräche auf Geschäftsebene über den gesamten Softwareentwicklungs- und -bereitstellungsprozess von Eventbrite selbst, was einen Kulturwandel erleichterte und eine sinnvollere Übernahme agiler Prozesse im gesamten Team vorantrieb. Durch die Einbindung des gesamten Teams in die Tests und die Qualitätssicherung konnte Eventbrite effizienter skalieren und gleichzeitig die Qualität des Produkts für die Endbenutzer ständig verbessern (selbst als die Anzahl der TestRail-Benutzer bei Eventbrite in weniger als vier Jahren um mehr als 400 % anstieg).
Letztendlich ist TestRail aus drei Gründen weiterhin die richtige Testmanagementlösung für Eventbrite:
TestRail war in der Lage, mit den Testmanagement-Anforderungen von Eventbrite zu skalieren, vom wachstumsstarken Start-up bis zum börsennotierten Unternehmen.
TestRail bietet ein ausgewogenes Verhältnis zwischen Funktionen und Benutzerfreundlichkeit, das die Verwendung für die QA- und Engineering-Teams von Eventbrite erleichtert.
TestRail hat ein flexibles, wettbewerbsfähiges Preismodell, das Eventbrite zugute kommt.
Andrew Smelser
SQA-Ingenieur
Schließen Sie sich mehr als 10.000 QA-Teams an, die TestRail nutzen, um fehlerfreie Produkte schneller auf den Markt zu bringen.
3D-Systeme
Solitea
