Einrichten von A/B-Tests

Diese Anleitung beschreibt, wie ein A/B-Test auf Anwendungsebene durchgeführt wird, indem zwei unterschiedliche Versionen der Anwendung gleichzeitig ausgeführt werden. Der Load Balancer von Codesphere übernimmt die Verteilung des Traffics nativ und stellt sicher, dass Nutzer einer Version zugewiesen werden und dabei bleiben.

Umgebungsisolierung​

Um einen Test durchzuführen, muss die „Control“ (aktuelle Produktion) von der „Variant“ (dem Experiment) isoliert werden.

1. Control (v1) bereitstellen:
   • Den aktuellen stabilen, produktionsreifen Code in einer Landscape in Codesphere bereitstellen.
   • Diese Landscape production-control nennen.
2. Variant (v2) bereitstellen:
   • Eine doppelte Landscape erstellen (oder die erste klonen).
   • Diese Landscape production-variant nennen.
   • Den experimentellen Code (neue Funktionen, Architekturänderungen usw.) in diese spezifische Landscape pushen.

Analytics-Instrumentierung (Beispiel PostHog)​

Da beide Landscapes letztlich unter derselben öffentlichen URL laufen, weiß das Analytics-Tool nicht automatisch, welche Version ein Nutzer sieht. Die Nutzersitzung muss explizit mit „Super Properties“ (oder „User Traits“) markiert werden.

Im Code der Control-Landscape​

Das Analytics-Initialisierungsskript (meist im Header oder in einer Konfigurationsdatei) suchen und direkt nach der Initialisierung Folgendes hinzufügen:

// App v1 (Control)
posthog.register({
    experiment_group: "Control"
});

Im Code der Variant-Landscape​

Im experimentellen Codebase das Snippet aktualisieren, um die neue Version widerzuspiegeln:

// App v2 (Variant)
posthog.register({
    experiment_group: "Variant-A"
});

Traffic-Routing​

Nachdem nun zwei laufende Apps und die Analytics-Einrichtung vorhanden sind, muss der reale Traffic zu ihnen geleitet werden. Codesphere übernimmt dies nativ, ohne dass externe Tools wie Nginx oder HAProxy benötigt werden.

Domain konfigurieren​

1. Zum Tab Domains in Codesphere navigieren.
2. Die öffentliche benutzerdefinierte Domain auswählen (z. B. app.example.com).
3. Beide Landscapes verknüpfen:
   • production-control
   • production-variant

Verifizierung​

Bevor das Update angekündigt wird, sollte überprüft werden, ob der Split und die Markierung korrekt funktionieren.

1. Ein Inkognito-Fenster öffnen​

Zur öffentlichen Domain navigieren.

2. Konsole prüfen​

Die Entwicklertools des Browsers öffnen (F12) und Folgendes ausführen:

posthog.get_property('experiment_group')

3. Live-Events prüfen​

Navigieren zu:

PostHog → Live Events

Sicherstellen, dass die eingehenden Events aus der eigenen Sitzung die Eigenschaft experiment_group enthalten.

4. Routing testen​

• Das Inkognito-Fenster schließen.
• Ein neues öffnen.
• Mehrmals wiederholen.

Analyse & Entscheidung​

Sobald Traffic fließt, die Daten anhand von Segmentierung statt komplexer Mathematik analysieren.

Die Analyse​

1. Das Dashboard öffnen (z. B. PostHog Insights).
2. Einen Trendgraphen oder Funnel erstellen (z. B. „User Signups“).
3. Eine Aufschlüsselung (Breakdown) nach der Eigenschaft anwenden:

experiment_group

4. Die Ergebnisse vergleichen.

Es werden zwei unterschiedliche Linien angezeigt:

• Control
• Variant-A

Der Rollout​

Basierend auf den Ergebnissen wird eines der folgenden Szenarien ausgeführt:

Szenario A: Die Variant gewinnt​

(Höhere Konversion oder bessere Leistung)

1. Zum Tab Codesphere Domains navigieren.
2. production-control von der Domain entfernen.
   → 100 % des Traffics fließen nun zu production-variant.
3. Die alte Control-Landscape stilllegen.

Szenario B: Die Variant schlägt fehl​

(Fehler oder geringere Konversion)

1. Zum Tab Codesphere Domains navigieren.
2. production-variant von der Domain entfernen.
   → 100 % des Traffics kehren zur stabilen production-control zurück.
3. Die Variant-Landscape stilllegen und den Code offline untersuchen.