Was ist Answer Relevance?
Die schnelle Definition
Answer Relevance bezeichnet, wie direkt, vollständig und angemessen eine Antwort die gestellte Frage oder Aufgabe behandelt. Bei der Bewertung generativer Systeme wird geprüft, ob die wesentlichen Aspekte der Anfrage beantwortet werden und ob Abschweifungen, unnötige Wiederholungen oder fehlende Teilantworten die Nutzbarkeit mindern.
Warum ist Answer Relevance wichtig?
Die Metrik hilft, Antwortsysteme, RAG-Pipelines und redaktionelle Antworten anhand wiederholbarer Testfälle zu vergleichen. Dafür braucht es eine klar definierte Anfrage, erwartete Schlüsselaspekte, ein geeignetes Bewertungsverfahren und dokumentierte Grenzen des eingesetzten menschlichen oder modellbasierten Prüfers.
So wird Answer Relevance in der Praxis eingesetzt
- Testset erstellen: Reale Fragen, erwartete Nutzerabsicht, notwendige Teilaspekte und zulässige Antwortgrenzen vor der Bewertung festhalten.
- Rubrik definieren: Direktheit, Abdeckung wichtiger Punkte, unnötige Inhalte und Umgang mit Mehrdeutigkeit in einer nachvollziehbaren Skala beschreiben.
- Antworten bewerten: Menschliche Referenzurteile oder kalibrierte Judge-Modelle nutzen und Anfrage sowie Antwort unverändert archivieren.
- Fehler lokalisieren: Geringe Relevanz getrennt auf Retrieval, Prompt, Kontextfenster, Antwortstruktur oder fehlende Produktdaten zurückführen.
Praxisbeispiel
Auf die Frage nach den Öffnungszeiten nennt eine relevante Antwort zuerst die Wochentage und Uhrzeiten und weist auf eine abweichende Feiertagsregel hin. Eine lange Beschreibung des Geschäfts ohne Öffnungszeiten wäre trotz korrekter Fakten nicht relevant; erfundene Zeiten wären relevant formuliert, aber nicht korrekt.
Häufige Fehler
- Ein Relevanzwert wird als Beweis für faktische Richtigkeit oder Quellenbindung ausgegeben.
- Ein einziges Judge-Modell bewertet seine eigene Antwort ohne Kalibrierung, Referenzurteile oder Prüfung von Abweichungen.
- Nur leicht zu beantwortende Testfragen werden verwendet, sodass mehrdeutige und mehrstufige Nutzeraufgaben unberücksichtigt bleiben.
Bedeutung für Google, Bing und KI-Suchsysteme
Answer Relevance ist vor allem eine Qualitätsmetrik für Antworten und kein veröffentlichter Rankingfaktor. Für Inhalte ist das Prinzip dennoch nützlich: Eine Seite sollte die tatsächliche Frage präzise beantworten und Belege getrennt absichern. Für belastbare KI-Evaluation muss Relevanz gemeinsam mit Groundedness und Korrektheit geprüft werden.
Verwandte Begriffe
Zusammenfassung: Answer Relevance misst, wie direkt und vollständig eine Antwort die Anfrage behandelt. Sie wird mit realistischen Testfällen und klarer Rubrik bewertet und darf nicht mit Faktentreue verwechselt werden; Retrieval, Prompt und Antwortstruktur sind getrennt zu diagnostizieren.
