Claude oder ChatGPT: Was passt für welche Büro-Aufgabe?

Wofür das gut ist

Viele Büros fragen: “Nehmen wir Claude oder ChatGPT?” Eine pauschale Antwort gibt es nicht. Beide Werkzeuge werden von ihren Herstellern laufend verändert. Funktionen, Preise und Modelle wechseln. Was heute stimmt, kann in einem halben Jahr überholt sein. Deshalb finden Sie hier keine Rangliste, sondern ein Verfahren: Sie testen beide mit Ihren eigenen Aufgaben und bewerten das Ergebnis nach festen Kriterien. Das dauert etwa eine Stunde und gibt Ihnen eine Entscheidung, die zu Ihrem Büro passt.

Was Sie brauchen

• Je einen Zugang zu Claude und zu ChatGPT. Für den Test genügen einfache Zugänge, solange Sie keine echten Kundendaten eingeben. Claude bietet laut Preisseite auch einen kostenlosen Plan an. Was die Tarife jeweils enthalten, steht auf den Preisseiten der Hersteller.
• Drei bis fünf typische Aufgaben aus Ihrem Alltag, zum Beispiel: eine Kundenmail beantworten, ein langes Schreiben zusammenfassen, einen Text kürzer und freundlicher machen, eine Checkliste erstellen.
• Erfundenes oder anonymisiertes Testmaterial für jede Aufgabe.
• Eine Kollegin oder einen Kollegen, die oder der die Ergebnisse mit bewertet.

So geht es

1. Schreiben Sie die Aufgaben auf. Wählen Sie solche, die bei Ihnen wirklich oft vorkommen.
2. Bereiten Sie zu jeder Aufgabe ein kurzes Testmaterial vor, ohne echte Namen und Daten.
3. Geben Sie in beide Werkzeuge denselben Prompt mit demselben Material ein. Nur dann ist der Vergleich fair.
4. Lassen Sie jedes Ergebnis von sich und einer zweiten Person nach den Kriterien unten bewerten. Notieren Sie Punkte von 1 (schwach) bis 5 (sehr gut).
5. Prüfen Sie auch die Rahmenbedingungen: Was kostet der Firmenzugang? Gibt es einen Vertrag zur Auftragsverarbeitung? Wo lässt sich einstellen, ob Eingaben zum Training genutzt werden? Diese Angaben lesen Sie in der aktuellen Hilfe und den Vertragsunterlagen des Herstellers nach, nicht in diesem Text.
6. Entscheiden Sie. Es ist völlig in Ordnung, wenn je nach Aufgabe ein anderes Werkzeug gewinnt.

Diese Kriterien sind für Büros sinnvoll:

• Richtigkeit: Stimmen die Inhalte, ohne dass etwas erfunden wurde?
• Treue zur Vorlage: Hält sich das Ergebnis an Ihre Vorgaben, etwa Länge, Ton, Sie-Form?
• Ton: Klingt der Text nach Ihrem Büro?
• Aufwand danach: Wie viel müssen Sie noch nachbessern?
• Bedienung: Kommen Ihre Leute damit zurecht?

Der Prompt

Mit diesem Prompt bekommen Sie Testaufgaben, die zu Ihrem Büro passen:

Ich möchte zwei KI-Werkzeuge vergleichen und brauche dafür fünf realistische Testaufgaben.

Mein Büro: [Branche, z. B. Hausverwaltung mit 20 Mitarbeitenden]
Typische Schreib- und Büroaufgaben bei uns: [3 bis 5 Beispiele nennen]

Erstelle für jede Aufgabe:
1. einen Titel,
2. ein kurzes, vollständig erfundenes Testmaterial (keine echten Namen, Adressen oder Beträge, nur Platzhalter wie "Max Muster"),
3. den Prompt, den ich unverändert in beide Werkzeuge kopieren kann,
4. drei Punkte, woran ich ein gutes Ergebnis erkenne.

Halte alles so kurz, dass ich es in zehn Minuten durchführen kann.

Und dieser Prompt hilft bei der Auswertung. Geben Sie ihn nur mit den beiden Ergebnistexten ein, die Sie vergleichen wollen:

Ich habe dieselbe Aufgabe an zwei KI-Werkzeuge gegeben. Die Aufgabe war: [Aufgabe]. Meine Kriterien: Richtigkeit, Treue zur Vorlage, Ton, Aufwand beim Nachbessern.

Ergebnis A:
[Text A]

Ergebnis B:
[Text B]

Vergleiche beide anhand meiner Kriterien. Nenne konkret, was bei A und bei B besser oder schwächer ist. Markiere Stellen, an denen etwas erfunden oder falsch sein könnte. Triff am Ende keine Pauschalentscheidung, sondern nenne die Unterschiede.

Ein Beispiel

Ein erfundenes Beispiel: Ein kleines Maklerbüro testet drei Aufgaben: eine Absage an einen Interessenten, die Zusammenfassung eines langen Schreibens und eine Checkliste für die Objektübergabe. Zwei Mitarbeiterinnen bewerten beide Werkzeuge mit Punkten. Ergebnis: Bei der Absage gefällt ihr der Ton des einen Werkzeugs besser, bei der Checkliste das andere. Das Büro entscheidet sich nach dem Test für das Werkzeug, mit dem die meisten im Team ohne Einweisung zurechtkamen, und legt für Spezialfälle eine zweite Option fest.

Darauf sollten Sie achten

• Datenschutz: Für den Test keine echten Kundendaten. Im Echtbetrieb nur Firmenzugänge mit Vertrag zur Auftragsverarbeitung nutzen oder Daten vorher entfernen.
• Prüfen durch einen Menschen: Beide Werkzeuge können überzeugend klingende Fehler machen. Prüfen Sie jedes Ergebnis, bevor es das Haus verlässt.
• Aktualität: Aussagen zu Funktionen und Preisen gelten nur zum Zeitpunkt der Prüfung. Schauen Sie in die aktuelle Herstellerhilfe.
• Kein Rechtsrat: Ob ein Zugang für Ihre Berufsgruppe zulässig ist, klärt Ihre Datenschutzbeauftragte oder Ihr Datenschutzbeauftragter.

Varianten

• Blindtest: Lassen Sie jemanden die Ergebnisse mit “A” und “B” beschriften, ohne zu sagen, von welchem Werkzeug sie stammen.
• Wiederholung: Machen Sie den Test in einem halben Jahr noch einmal, weil sich die Werkzeuge ändern.