Så byggde vi vår CV-bedömare

Varför jobbannonsen inte räcker

En jobbannons skrivs för att få folk att söka. Den är en säljtext. Den innehåller meningar som “du är driven och gillar högt tempo” och “hos oss är vi allt från bagare till snöplogare”. Den är skriven för att låta lockande, inte för att avgöra vem som passar.

Att bygga en bedömning på den är som att värdera en bostad utifrån mäklarannonsen.

Det syns direkt när man mäter. Vi körde fyra olika annonser för i praktiken samma roll genom samma modell och fick fyra olika kravlistor. Skillnaden låg inte i att jobben var olika, utan i vem som råkat skriva annonsen.

Värre var att det smög sig in krav som ett CV omöjligt kan svara på. “Kan arbeta kvällar och helger” är ett rimligt krav för jobbet, men det står inte i något CV. Alltså var kravet alltid ouppfyllt, för alla, och spärrade toppen för precis alla.

Vi hade 45 riktiga ansökningar, bedömda för hand som facit. Nio av dem var toppkandidater. Systemet hittade en.

Vi antog att felet satt i hur vi instruerat modellen, så vi skrev om instruktionerna. Sju gånger. Ingen av gångerna hände någonting.

Det som faktiskt flyttade något

Vi gjorde ungefär trettio mätningar innan bedömningen satt. Sexton av dem var försök att lösa saker genom att skriva tydligare instruktioner. Femton av de sexton flyttade ingenting alls.

Det var den dyraste lärdomen och den mest användbara. När något inte fungerar i ett sådant här system är det sällan formuleringen. Det är vad man matar in, och vem som skrev det.

Så vi slutade laga instruktionerna och bytte underlag.

Rollen beskrivs nu en gång per befattning, av en människa, i vanlig text. Vad arbetet består av. Vad som räknas som samma sorts arbete. Var gränsen går nedåt. Texten skrivs en gång och gäller varje utlysning av rollen, oavsett vem som skriver annonsen. Jobbannonsen används inte som bedömningsgrund alls.

De krav ett CV inte kan besvara ligger inte kvar. Tillgänglighet frågar vi om i ansökan. Bemötande hör man i samtalet. Ett CV berättar vad någon har gjort, inte hur hen är.

Så fungerar bedömningen i dag

Bedömaren läser bara den version av CV:t som kandidaten själv har gått igenom och godkänt, aldrig en modells tolkning av en PDF som kandidaten inte sett.

Sedan arbetar den i fyra led.

Först skrivs varje post i CV:t om till funktioner: “tog emot betalning och hanterade växelkassa”, “mötte flera kunder samtidigt under rusning”. Det görs utan att rollen vägs in, och vi mäter i kod om modellen lånat ord ur kravprofilen som inte står i kandidatens egen post.

Sedan samma sak för rollen. Sedan matchningen, krav för krav, som en tabell: täckt, delvis eller saknas, med en rad i CV:t att peka på för varje svar.

Och först därefter nivån. Den sätter inte modellen. Den räknas i kod ur tabellen, och motiveringen rekryteraren läser skrivs ur samma rader. Modellen kan alltså inte längre argumentera för ett utfall och leverera ett annat, vilket var precis vad som hände i version ett.

Skalan är avsiktligt grov. Ett CV kan inte skilja den näst bästa från den tredje bästa, och att låtsas annat är att sätta siffror på gissningar.

Reglerna ovanpå pekar alla åt samma håll. Vid tvekan går nivån uppåt: ett felaktigt “låg” kostar en kandidat sin chans, ett felaktigt “hög” kostar rekryteraren ett ögonblick. Gammal erfarenhet sänker ett steg, aldrig till låg. Saknade datum straffar aldrig. Ett CV som inte finns är inte samma sak som ett svagt CV.

Toppgruppen är ren nu. Av de tolv kandidater bedömaren satte högst hade ingen svag bakgrund enligt vår egen läsning, och sju av våra nio toppkandidater låg där. Första versionen hittade en.

Det den ännu inte gör tillräckligt bra är att skilja tjugo månader från tre veckor under samma titel. Det är nästa sak vi mäter.

Vad CV:t får väga, och varför

Varje kandidat får två nivåer. Bakgrund, ur CV-bedömningen. Profil, ur samtalet, med kandidatens egna ord under varje nivå.

Profilen väger tyngst. Det är ett val, och det går att belägga.

Frank Schmidt och John Hunters genomgång av urvalsmetoder är den mest citerade i fältet. 2022 gjorde Paul Sackett och kollegor om räkningen med bättre metod, och listan flyttade om. Strukturerade intervjuer blev den starkaste enskilda prediktorn för hur någon presterar på jobbet, starkare än logiktest och personlighetstest.

Antal års erfarenhet hamnade sist. Van Iddekinge och kollegor gick 2019 igenom 81 urval med över elva tusen personer och fann ett samband nära noll, även när erfarenheten var direkt relevant för rollen.

Det är obekvämt, för erfarenhet är det första vi tittar på.

Forskningen avgjorde hur vi byggde. Samtalet bär bedömningen, och en svag bakgrund är ett skäl att tveka, inte ett tak. Först när CV:t inte visar något som liknar arbetet och samtalet dessutom ger färre än två starka svar stannar kandidaten på Medium.

Skillnaden är konkret. En kandidat med fyra starka intervjusvar och en svag bakgrund kan numera hamna högst upp. Länge kunde hon inte det, hur bra hon än var i samtalet.

Så vi kastade inte CV:t, vi flyttade ner det. Två mått som mäter olika saker är tillsammans bättre än det bästa av dem ensamt. Ett CV säger vad någon har gjort. Ett samtal säger hur.