KI im Recruiting: Warum das Ranking von Lebensläufen nie objektiv ist

Ein Lebenslauf, hundertmal durch dasselbe KI-Tool geschickt, kein einziges Zeichen geändert. Heraus kamen Scores zwischen 66 und 99 von 100. So verhält sich das Open-Source-Screening-Tool, das HackerRank im Juni 2026 veröffentlicht hat, im ganz normalen Betrieb, ein Tool, das auf einem Sprachmodell (LLM) läuft, genau wie ChatGPT, Gemini oder Claude. Wenn ihr überlegt, eure Vorauswahl an ein solches Sprachmodell zu übergeben, lohnt sich ein Blick auf diesen Fall, bevor ihr euch auf eine Zahl verlasst, die objektiv aussieht.

Worüber wir hier reden: Sprachmodelle, nicht KI im Allgemeinen

"KI im Recruiting" ist ein weites Feld, und nicht jede Spielart hat dieselben Probleme. Ältere Bewerbermanagement-Systeme filtern über feste Keyword-Regeln, klassisches ATS, das ist eine andere Fehlerklasse mit anderen Schwächen. Dieser Artikel handelt konkret von Sprachmodellen (LLMs), also den großen KI-Chatbots wie ChatGPT, Gemini oder Claude und den Tools, die direkt auf ihnen aufbauen, auch der HackerRank Hiring Agent läuft mit einem solchen Modell.

Und genau das macht die Sache dringlicher, als sie auf den ersten Blick wirkt. Ein klassisches ATS muss eingekauft, eingerichtet und meist von der IT freigegeben werden. Ein Sprachmodell braucht nichts davon. Jede Person mit einem kostenlosen ChatGPT-Account kann in einer Minute hundert Lebensläufe hineinkopieren und sich eine Rangliste ausgeben lassen, ganz ohne Softwarebeschaffung und ganz ohne dass die Geschäftsführung je davon erfährt. Es geht hier also nicht nur um Unternehmen, die bewusst in ein KI-Recruiting-Tool investiert haben, sondern um jede einzelne Person im Team, die aus Zeitdruck kurz ChatGPT fragt.

Derselbe Lebenslauf, 33 Punkte Unterschied

Der Entwickler Dan Kinsky hat den HackerRank Hiring Agent, ein von Interview Street als Open Source veröffentlichtes Screening-Tool, hundertmal mit ein und derselben PDF laufen lassen. Harte Fakten blieben stabil: Ob jemand nachweislich Python kann, sah das Tool jedes Mal gleich. Interessant wurde es bei den weichen Kriterien. Sobald das Modell einschätzen sollte, ob ein Projekt "architektonische Tiefe" zeigt, riss die Spanne auf: 66 Punkte im schlechtesten Lauf, 99 im besten, bei exakt derselben Datei.

Was das praktisch bedeutet, zeigt der Blick auf den Cutoff. Wer die Schwelle bei 85 Punkten setzt, ein völlig üblicher Wert, sortiert denselben Kandidaten mit demselben Lebenslauf in rund 65 Prozent der Läufe aus (Analyse von Pinggy). Ob er durchkommt, hängt damit weniger an seiner Qualifikation als daran, wie der Würfel gerade fällt.

Warum ausgerechnet Sprachmodelle würfeln

Ein Sprachmodell (LLM) rechnet bei jeder Anfrage neu aus, welches Wort als nächstes am wahrscheinlichsten ist, und wählt dann innerhalb dieser Wahrscheinlichkeiten. Bei einer harten Tatsache wie "steht Python im Lebenslauf" ist die Sache eindeutig, da kommt praktisch immer dasselbe heraus. Bei einer Frage wie "wie überzeugend ist dieser Werdegang" liegen im Trainingsmaterial hunderte leicht unterschiedliche Antworten und keine einzige richtige. Also fällt das Ergebnis bei jedem Lauf ein bisschen anders aus.

Das lässt sich auch nicht wegpatchen. Die nächste Modellgeneration wird schneller sein und mehr können, würfeln wird sie trotzdem, weil genau darin die Funktionsweise besteht.

Sobald sich am Lebenslauf wirklich etwas ändert, wird es unruhiger

Das Rauschen bei identischem Dokument ist erst die Basislinie. Kommt tatsächlich etwas dazu, eine zusätzliche Sprachqualifikation, ein anderes Hobby oder eine umformulierte Zeile im Anschreiben, wird es deutlich wackliger.

Eine Feldstudie zum LLM-gestützten Ranking von Kandidat:innen hat das durchgespielt: Wer heute auf Platz 2 steht, landet morgen auf Platz 5. In einem Test mit Gemini sprang ein Kandidat innerhalb von 48 Stunden von Platz 10 auf Platz 1. Die Übereinstimmung zwischen zwei KI-Durchläufen lag bei 14 Prozent. Zwei menschliche Gutachter kommen auf rund 49 Prozent (hair.ventures), und die gelten schon als notorisch uneinig.

Dazu kommt eine zweite Schicht, die unangenehmer ist als reines Rauschen: Die Schwankungen treffen nicht alle gleich. Eine Audit-Studie zu ChatGPT-Bewertungen von Lebensläufen fand ethnische Diskriminierung, am stärksten bei Stellen mit hohen Sprachanforderungen (arxiv.org), also ausgerechnet dort, wo ein zusätzliches Sprachniveau im Lebenslauf naheliegt. Eine andere Untersuchung maß 42 Prozentpunkte Unterschied in der Einstellungsquote bei identischer Qualifikation, je nachdem, welches KI-Tool beim Schreiben des Lebenslaufs geholfen hatte (i10x.ai).

Für so ein System ist eine Hobby-Zeile also schon ein zusätzlicher Input, auf den es empfindlich und ungleich reagiert.

Der Bias steckt schon in den Trainingsdaten

Das Modell hat nie selbst jemanden eingestellt. Es hat aber Millionen Texte gelesen, in denen andere eingestellt, abgelehnt und befördert haben: Lebensläufe, Stellenanzeigen, Karriereratgeber, Bewertungen, alles was im Netz über beruflichen Erfolg steht. Daraus lernt es, welche Wörter, Namen und Formulierungen in der Vergangenheit statistisch mit Erfolg zusammenfielen. Mit Eignung hat das wenig zu tun.

Das wiegt schwerer als jede einzelne Fehlmessung. Die Trainingsdaten zeigen, wer in einem ungleichen Arbeitsmarkt bisher Zugang bekommen hat: welche Namen als vertrauenswürdig galten, welche Unis zählten, wessen Lücken im Lebenslauf durchgingen und wessen nicht. Das war schon vor dem ersten Sprachmodell schief, geprägt von Jahrzehnten ungleicher Chancen und von Machtstrukturen, die älter sind als jede KI. Das Modell übernimmt diese Schieflage als gelernte Regel, und es legt sie nicht ab, nur weil im Prompt steht, es solle fair urteilen. Einen Fairness-Begriff außerhalb seiner Trainingsdaten hat es schlicht nicht.

Deshalb reicht auch der naheliegende Fix nicht, Namen und Geschlecht aus dem Lebenslauf zu löschen. Der Bias verteilt sich über lauter kleine Umwege: das Hobby, das den sozialen Hintergrund verrät, oder das Sprachniveau, das mit der Herkunft korreliert. Einzelne Felder könnt ihr entfernen, die gelernten Umwege nicht.

Die Versuchung ist trotzdem groß

Bei 300 Bewerbungen auf eine Stelle klingt ein Tool, das in Sekunden ein Ranking ausspuckt, nach echter Entlastung, gerade in kleinen HR-Teams ohne eigene Screening-Kapazität. Anders als bei klassischer Recruiting-Software muss dafür auch niemand etwas einkaufen oder einrichten, das Sprachmodell ist ja schon offen im Browser. Der Score fühlt sich objektiv an, weil er eine Zahl ist. Er sieht nach Messung aus, ist aber nur eine Momentaufnahme, die beim nächsten Lauf anders ausfällt.

Und warum ihr es trotzdem lassen solltet

Wer nach KI-Score sortiert, trifft eine Zufallsentscheidung und behandelt sie wie ein Urteil. Fragt dann eine abgelehnte Bewerberin nach, warum es nicht gereicht hat, gibt es keine ehrliche Antwort. Derselbe Lauf könnte am nächsten Tag anders ausgehen.

Dazu kommt, wie sich die Fehler verteilen: Sie treffen systematisch die, deren Herkunft, Sprachstil oder Bildungsweg vom gelernten Muster abweicht. Für eine Organisation, die für soziale Gerechtigkeit antritt, wird daraus schnell ein Widerspruch zum eigenen Auftrag. Eine Blackbox, die denselben Lebenslauf mal mit 66 und mal mit 99 bewertet und dabei die Leute aussortiert, die es ohnehin schwerer haben, passt schlecht zu dem, wofür ihr arbeitet.

Was das mit dem EU AI Act zu tun hat

Die EU sieht das ähnlich. Der AI Act stuft Systeme, die Bewerbungen filtern oder Kandidat:innen ranken, als Hochrisiko-Anwendung ein, mit Pflichten zu Dokumentation und menschlicher Aufsicht und Bußgeldern bis 15 Millionen Euro. Die volle Compliance-Frist ist zwar auf Dezember 2027 verschoben, wie wir in unserem Artikel zum EU AI Act im Recruiting beschrieben haben. Am Grundproblem ändert das nichts: Ein System, das bei identischem Input um 33 Punkte schwankt, lässt sich schwer dokumentieren und noch schwerer einer abgelehnten Bewerberin erklären.

Was stattdessen hilft

Sprachmodelle können beim Vorsortieren helfen, solange die Kriterien hart und überprüfbar sind: abgeschlossene Ausbildung, geforderte Sprachkenntnisse, ja oder nein. Sobald es um Eignung, Potenzial oder Persönlichkeit geht, gehört die Entscheidung zurück zu Menschen, die ihre Einschätzung erklären können und dafür geradestehen.

Praktisch heißt das: Nutzt das Sprachmodell zum Filtern von Mindestanforderungen, nicht zum Sortieren nach Qualität. Und schaut euch die Bewerbungen an, die knapp unter eurer Schwelle liegen. Genau da sitzen die Leute, die ein Score-Würfel gerade aussortiert hat.

Wenn ihr offene Stellen im gemeinnützigen und wirkungsorientierten Bereich besetzen wollt: Auf baito für Arbeitgeber findet ihr, was wir dafür anbieten. Wie andere Träger und Impact-Startups gerade ausschreiben und einstellen, seht ihr im Organisationsverzeichnis und in den NGO-Jobs. Und für den ersten Schritt im Prozess haben wir einen Ratgeber zur perfekten Stellenanzeige geschrieben.