I 1990’erne argumenterede Killeen m.fl. (1992) stærkt for "den økonomiske værdi af vejledning", efterfulgt af "den sociale værdi af vejledning" (Killeen m.fl., 1999). Denne dobbeltsidede tilgang til emnet havde til formål at informere politikere om fordelene ved at investere i vejledning af høj kvalitet.

Senest har fx Sampson m.fl. (1999, 2000, 2004) (I), Mayston (2003) (II), Hiebert (2004) (III), Magnusson & Lalande (2005) (IV) konkluderet, at fordelene ved vejledningsaktiviteter skal gøres mere tydelige ved:

• at bibeholde og forbedre det nuværende og fremtidige finansieringsniveau
• at udvikle en evidensbaseret metode (V) til at vise, i hvilket omfang de forskellige former for aktiviteter kan give positive resultater for forskellige vejledte

Både kvantitative og kvalitative resultater skal til, hvis man skal kunne fordele ressourcerne og opstille mål.

Det at skaffe beviser på, hvad der virker, og hvad der ikke virker, vil variere på forskellige niveauer for forskellige mennesker og organisationer. For eksempel:

• De vejledte er sandsynligvis mest interesserede i at få adgang til kvalitetsydelser, der kan hjælpe dem med at træffe beslutninger, der er vigtige for deres liv og arbejde. Altså: Var den pågældende ydelse tilgængelig og nyttig?
• Ledere og vejledere er sandsynligvis mest interesserede i formative spørgsmål – dvs. hvilke elementer af vejledning bidrog mest effektivt til de opnåede resultater, og hvordan håndteres disse elementer optimalt, så de kan bidrage til den enkeltes fremtidige udvikling?
• Politikere er sandsynligvis mest interesserede i summative evalueringer og cost-benefit-resultater – dvs. har den pågældende ydelse opnået de forventede resultater, og hvad er de omkostningsmæssige konsekvenser for nuværende og fremtidige aktiviteter?
• Arbejdsgivere er sandsynligvis mest interesserede i at få de rigtige personer ind i virksomheden – dvs. var vejledningen effektiv med hensyn til rekruttering af de "rigtige" personer til arbejdsmarkedet?

Problemet er derfor, hvordan man bedst kan udvikle forskellig slags evidens, der kan imødekomme forskellige aktørers behov.

I såvel Storbritannien som andre lande findes der forskellige modeller til kvalitetssikring. De er udviklet til og anvendes i vejledning i forhold til planlægning, styring og andre aktiviteter.

Disse tilgange omfatter forsøg på at

• standardisere den organisationsmæssige selvevalueringsproces (VII)
• måle effektiviteten af vejledning på baggrund af "ideelle inputfaktorer" (VIII)
• indsamle beviser for at påvise sammenhænge (IX)
• skelne mellem de forskellige input-, proces- og resultatfaktorer, der er forbundet med vejledning (X)
• anvende en trefaset kvalitetssikringsmodel for vejledning (XI).

Selvom disse teoretiske tilgange varierer, rummer de den røde tråd, at kvalitetssikring typisk indeholder evalueringen af input, processer og resultater. Denne fælles tilgang er illustreret herunder.

Input
For eksempel:

• Antal brugere, brugernes karakteristika og antal møder pr. vejledt
• Antal og type vejledere - og deres kvalifikationer
• Infrastruktur, herunder lokaler og andre relevante ressourcer
• Omkostninger, herunder økonomiske ressourcer til vejledning, tid og andre ressourcer, der er øremærket til vejledningsaktiviteter.

Processen
For eksempel:

• Indholdet i vejledningen, herunder fokus og type (fx information, vejledning, grundig evaluering) og midler (fx telefon, personlig samtale, gruppearbejde, internet)
• Procedurer, fx hvor hurtigt forespørgsler besvares, tid for gennemførelse af aftaler og retningslinjer for vejledere
• Kvalitetssikring og -styring.

Resultater
For eksempel:

• Brugertilfredshed
• Den vejledtes personlige udvikling, herunder opbygning af kompetencer i forhold til at tage beslutninger og styre karrieren
• Procentdel af brugere, der påbegynder uddannelse eller kommer i arbejde.

Der hersker en vis forvirring med hensyn til den terminologi, der anvendes af politikere, akademikere, ledere og/eller vejledere. Sultana (2005) (VI) henviser fx til en stor europæisk undersøgelse, der har analyseret "indikatorer og kriterier for vejledning" (XII). og konkluderer, at "nøgleord som fx "output" og "resultater" (for ikke at nævne forskellen mellem "information", "vejledning" og "rådgivning") har forskellig betydning i forskellige nationale kontekster (fx lægges der nogle steder vægt på vejledningssamtalen, mens andre fokuserer på kvantitative forhold som fx job- eller uddannelsesplacering" .

Dette ses tydeligt i, at ord som fx output, mængde og produktivitetsfremgang (XIII) også dukker op i sprogbrugen i forhold til kvalitetssikring af vejledning. Et "output" kan fx repræsentere antal handlingsplaner (XIV). På samme måde kan måling af "mængde" betyde antal vejledte på et givent tidspunkt. I modsætning hertil bruges "resultater" ofte til at beskrive aktivitetens virkning, fx i forhold til brugertilfredshed eller antallet af vejledte, der er påbegyndt uddannelse og/eller er kommet i arbejde (XV).

For at kunne måle det, der skal kvalitetssikres, skal man have en klar idé om, (a) hvad der skal måles, (b) hvilke systemer og procedurer der findes til at indsamle og sammenholde relevante data og (c) hvilke muligheder for styring og kvalitetssikring, der kan sikre, at der følges op på data, så ændringerne gennemføres og vejledningskvaliteten opretholdes. Hvad angår det, der skal måles, defineres input og processer typisk som organisationsmæssige serviceniveaustandarder. Der findes fx minimumsstandarder for personalets kvalifikationer (en inputfaktor) og for fastsatte procedurer, som fx telefonisk besvarelse af forespørgsler inden for et bestemt antal "ring" (en procesfaktor). Resultatfaktorerne defineres ofte som fastsatte resultatmål, fx en procentdel af graden af brugertilfredshed og antallet af vejledte, der er påbegyndt uddannelse og/eller er kommet i arbejde.

Input og processer har stor betydning for kvalitetssikring, men resultatet eller "slutproduktet" er endnu vigtigere: Har vejledning haft en positiv og væsentlig betydning for vejledte, og hvis dette er tilfældet, hvad har omkostningerne været for den enkelte og for organisationen?

Der er seks vigtige problemstillinger vedr. definition og måling af, hvad der skal kvalitetssikres inden for vejledning:

• Det er en af de store udfordringer for vejledning, OM der er indsamlet og analyseret data, så man kan påvise, om nogle metoder og strategier er mere effektive end andre. Kan det rent faktisk tænkes, at en analyse af data vil afsløre, at bestemte strategier måske kun er rigtig effektive i forhold til bestemte enkeltpersoner eller målgrupper? Hvis det er tilfældet, er det nødvendigt at kommunikere dette budskab tydeligt til de ansvarlige myndigheder.
• Terminologien til at beskrive kvalitetssikring og dens sammenhæng med evaluering eller måling af vejledning skal ikke blot gøres mere tydelig, men også mere konsekvent i og på tværs af organisationerne, således at data kan blive mere generelle og lettere at sammenligne. Dette gælder også i forhold til at indføre lignende fremgangsmåder i andre lande, således at dataindsamlingens volumen og kvalitet kan forøges.
• Der skal skabes en balance mellem vejledningens omkostnings-effektivitet og dens kvalitet. Pass m.fl. (2000) (XVI) betegner omkostningseffektivitet som "den optimale levering af en ydelse med en bestemt ressource". Denne definition anvendes ofte, hvor organisationen har et bestemt udgiftsniveau, og hvor serviceoutput ikke kan værdisættes i penge. Kvalitetssikringsmodeller anerkender i stor udstrækning det vigtige i at relatere leverings-omkostningerne til kvaliteten og effektiviteten (se fx EFQM og Sampson m.fl.). Men vi har ikke mange data, som analyserer omkostningerne eller som belyser, hvordan omkostningerne er i forhold til særlige målgrupper og/eller vejledningsaktiviteter.
• I diskussionen om kvalitetssikring og målingseffekt inden for vejledning er det efterhånden erkendt, at der er forskelle i forestillinger og forventninger – eller rent ud sagt "spændinger" mellem politikere og vejledere. Savikas (2001) (XVII) hævder, at politikere og vejledere ser kvalitetsresultaterne fra to helt forskellige synsvinkler. De først ser ofte resultaterne fra vinklen "kvantitativt kvalitetsresultat", mens de sidste ofte ser dem under synsvinklen "kvalitativt kvalitetsresultat". Hughes (2005) antyder, at der findes en tredje dimension: "kvantitative, kvalitative resultatindikatorer", der fastsættes af de ansvarlige for vejledningsaktiviteterne. Argumentet er, at der skal lægges større vægt på den organisationsmæssige kontekst, og at der skal opnås større harmoni mellem de ansvarlige for kvalitetssikringen og – på den anden side - vejledernes tilgang, der oftest fokuserer på den vejledte.
• Det gælder om at skabe et system med indhold og relevans for både ledere og vejledere. Der er muligheder for at videreudvikle dette ud fra eksisterende, centraliserede datastyringssystemer - og forbinde dem med mere lokale politikker og metoder.
• Er vejlederne tilstrækkelig uddannet i teknikker til dataindsamling og –analyse? Mens der sjældent rejses tvivl om ordet "kvalitet", kan ordene "måling" eller "resultatindikator" godt give anledning til problemer. Det sidstnævnte kan måske opfattes som noget strafbetonet, hvor det snarere skal opfattes som evaluering og udvikling af vejledningen. Mere uddannelse og træning i at anvende analyse- og forskningsmetoder kan derfor være en hjælp til at opnå et tættere samarbejde mellem politikere, ledere og vejledere.

Det er en udfordring at finde data, der kan vise, hvilken vejledning der er mest effektiv i forhold til enkeltpersoner og målgrupper med særlige vejledningsbehov. Men denne - helst dynamiske - evidens vil gøre det muligt for ledere og vejledere at forbedre de vejledtes udbytte af vejledning og vil også være et overbevisende argument for større investeringer i vejledning.

II - Op. cit.

IIII - Mayston, D. (upubliceret), Identifying Ideal Practice in Measuring and Maximising the Effectiveness of IAG for Adults. Centre for Performance Evaluation and Resource Management, York University.

IIIIII - Hiebert, B. (2005) International Competencies for Educational and Vocational Guidance Practitioners, The Career Counsellor Newsletter, nr. 17, s. 11, The Canadian Career Development Foundation, januar 2005.

IVIV - Magnusson, K. & Lalande, V. (2005), New Strides in Canadian Career Development Research., The Career Counsellor Newsletter, nr. 17, s. 3-4, The Canadian Career Development Foundation, januar 2005.

VV - Den faktabaserede metode (evidence-based practice, EBP) er en proces, der anvendes til selvstændig og livslang tilegnelse af viden, hvor det at varetage vejledtes ønsker skaber et behov for at få vigtig information om diagnoser, prognoser, respons og andre faktorer, der har indflydelse på den enkeltes karriereudvikling. (Hughes, 2003).

VIVI - Op. cit. s. 1, afsnit 1.2.

VIIVII - The EFQM Excellence Model, www.guidance-research.org/EG/ip/theory/tp/efqm

VIIIVIII - Mayston, D. (2002a), Evaluating the Benefits of Career Guidance, Centre for Guidance Studies: Research Report Series, University of Derby.

IXIX - Sampson, J.P., Reardon, R.C., Peterson, G.W. & Lenz, J.G. (2004), Career Counseling and Services: a Cognitive Information Processing Approach, kapitel 14, Belmont, CA: Brooks/Cole.

XX - den Boer, P., Mittendorf, K., Scheerens, J. & Sjenitzer, T. (2005), Indicators and Benchmarks for Lifelong Guidance, Thessaloniki: Cedefop.

XIXI - Evangelista, L. (2003), Quality assurance in career guidance services – a tri-variable model, Professionalità Journal, nr. 78, Italien: Editrice la Scula – www.orientamento.it/orientamento/tri-variable.pdf

XIIXII - Sultana, R.G. (under udgivelse), Indicators and Benchmarks in Career Guidance: Summary report on the conclusions of the mutual learning activity, Cedefop/Bundesagentur für Arbeit, debatmøde i Nürnberg, Tyskland, den 27.-28. oktober 2005.

XIIIXIII - Watts, A.G. & Dent, G. (under udgivelse), The ‘P’ Word: Productivity in the Delivery of Career Guidance Services, British Journal of Guidance and Counselling.

XIVXIV - Watts & Dent (s. 17) beskriver termen ‘måling af output’ i forbindelse med brugertilfredshed.

XV - Advice’ resultatmål for 2005/2006 omfatter en brugertilfredshed på 90 % og en uddannelsesrate på 50%.

XVIXVI - Pass, C., Lowen, B. & Davies, L. (2000), Dictionary of Economics (3. udgave), Glasgow, Harper Collins. I Watts, A.G. & Dent, G. (i trykken), The ‘P’ Word: Productivity in the Delivery of Career Guidance Services, (s. 3), British Journal of Guidance and Counselling.

XVIIXVII - Savickas, M. (2001), Quality Outcomes for Career Development: The Perspectives of Policy and Practic,. indlæg præsenteret på det andet internationale symposium om karriereudvikling og offentlige politikker, Vancouver, Canada.

EFQM-modellen

Tri-variable model