Kategorier
Universitetspolitikk

Indikatorer som ikke indikerer så mye

I år bruker Norge omtrent 41,6 milliarder kroner på offentlig forskning[. Det er forståelig at samfunnet til gjengjeld for denne store investeringen ønsker å måle hva de får igjen for pengene. Og det gjøres og blir presentert i nettsider med offentlig statistikk og i ulike rapporter og artikler, for eksempel Forskningsrådets årlige Indikatorrapport og Kunnskapsdepartementets årlige «Tilstandsrapport for høyere utdanning» og Forskningsbarometer.  Til sammen skal disse gi et nyttig, meningsfullt, ikke-fordreid og komplett bilde av status innen høyere utdanning og forskning.

Men så enkelt er det selvfølgelig ikke, og indikatorbatteriet, og ikke minst bruken av det, tellekantsystemet, er derfor og med gode grunner diskutert oppad stolper og nedad vegger.  Er indikatorene nyttige? Nyttige for hva? Gir de et balansert eller forvrengt bilde? Fremmer de interessene til noen institusjoner eller grupper over andres? Er de meningsfulle? Blir de “misbrukt”, i den forstand at de ulike indikatorene blir vurdert hver for seg og ikke sett i sammenheng med hverandre? Listen av spørsmål er lang som et vondt semester.

Indikatorene som ikke bare gir minst mening, men også dessverre skaper kontraproduktiv aktivitet, er de som måler forskningsproduksjon per akademisk ansatt uten å justere for faktisk forskningstid.  Vi kan finne mange eksempler på dette i artiklene i sektoren, for eksempel i Khrono (“Idrettshøgskolen best av alle på publisering” , “Bergen passerte Oslo på mest EU-midler”, “Får mest fra Forskningsrådet per faglige årsverk”), og senest i Universitetsavisa («Torsdag legger han fram en dyster statistikk for NTNU-styret»). 

Et eksempel er når man forveksler publiseringsproduktivitet med antall publiseringspoeng per UFF-ansatt.  Dersom  både Per og Mari blir målt på hvor mange artikler de produserer, men Mari bare får bruke halvparten så mye tid på forskningsproduksjon som Per, er det selvfølgelig urimelig å måle produktivitet i form av antall artikler i året.  Man må justere for faktisk forskningstid.  Og slik er det også når man akkumulerer dette opp på institusjonsnivå.

Grafen under illustrerer hvor substansielt feil målemetoden er.  Figuren illustrerer publiseringsproduktiviteten til de to eldste og de to yngste universitetene. Her er produksjonen av publiseringspoeng per UFF-tilsatt satt som en prosent av produksjonen til den mestproduserende av disse fire.  De to yngste universitetene våre har en produksjon av publiseringspoeng per UFF som er henholdsvis 36 og 44 prosent av produksjonen til det mestproduserende universitetet. Beregningene er gjort med utgangspunkt i data fra DBH.

Men justerer vi for forskningstid per årsverk for UF-ansatte, ser vi en helt annen situasjon.  Da er publiseringsproduktiviteten ved de to yngste universitetene henholdsvis  64% og 80% av det mestproduserende universitetet.  Vi har her antatt at den gjennomsnittlige FOU-tiden ved de to yngste universitetene er omtrent 25% (som er tilfelle for OsloMet), og ved de to eldste universitetene omtrent 45%.  

Selvfølgelig er det umulig å ta hensyn til alle faktorer som influerer en indikator. Man bør allikevel strebe etter å konstruere indikatorer som er så meningsfullt sammenlignbare på tvers av institusjonene som mulig.  Det mest opplagte, og som i tillegg er enkelt å få til, er å justere for tiden man har allokert for oppgaven som indikatoren måler.

Velger vi indikatorer ut fra hva vi enkelt har tall på eller ut fra vi faktisk burde måle? Noen av de viktige indikatorene i tellekantsystemet til UH-sektoren tildekker i stedet for å avdekke, og krever for mye forklaring til at de er nyttige. De er ikke bare meningsfattige, de er også skadelige. Feilrepresentasjon av sektorens institusjoner kan både føre til at beslutninger blir tatt på feil grunnlag, og være demotiverende.

Det er først når vi har ryddet unna et aspekt som umuliggjør sammenlikning at vi kan begynne å lete etter mening bak forskjellene.  Da kan vi forstå at forskningens overheadsandel korrelerer negativt med forskningstiden, at forskningsperiodenes lengde korrelerer positivt, og at finansieringen til de eldre universitetene muliggjør en sterkere administrativ og strategisk forskningsstøtte og substansielt flere postdoktorander og stipendiater.  Og da kan vi bruke slik innsikt til å styrke effekten av ressursene våre, med andre ord øke produktiviteten og kvaliteten.

Denne artikkelen ble oppdatert 7/6 2019 med en graf og referanse til flere artikler. Ellers, se en liten allegori i en tidligere artikkel, om hvordan man i en bindersfabrikk kan forveksle produksjon og produktivitet.  

Kategorier
Universitetspolitikk

Bindersfabrikken

Det var en gang at Per, Pål og Espen Askeladd var ute og søkte seg arbeid.  Og de fikk alle napp i Univers & Hansen Binders og Spiker (som på folkemunne gjerne ble kalt UH-fabrikken).

Per ble bedt om å bruke halvparten av tiden sin på å lage binders, mens Pål skulle bare bruke en fjerdedel, eller litt over en dag i uka, på dette.  Og slik var det i fabrikken. Noen skulle bruke nesten hele sin tid på å lage binders, noen nesten ingen tid. Og jo mer tid du hadde til å lage binders, jo bedre bindersmaskiner og mer støtte hadde du, for eksempel til bindersassistenter, binderskonferanser og søknadsskriving til bindersprosjekter.

Hver måned ble en plakat med “Månedens Ansatt” slått opp i kantina, og lister, diagrammer og kurver ble vist i rapporter og presentasjoner, hvor alle de ansatte var rangert etter hvor mange binders de laget.  Khronen Tidende skrev stadig om det i sine spalter og intervjuet ansatte som laget mange binders.

 Pål og andre med lite binderstid klaget en del på dette.  “Mål oss gjerne på bindersproduksjon, men da må det være på antall binders per time jeg bruker på dette”, pleide Pål å si. “Jeg lager halvparten så mange binders som Per, men jeg har bare halvparten så mye tid å lage binders på. Måler du på antall binders per time jeg lager binders slår jeg Per på gode dager.”

Espen Askeladd fikk seg også en jobb, med å lete i asken etter korrelasjoner. Men det er en helt annen historie.

Og snipp snapp snute, så er ikke fortellingen ute.  Den fortsetter i en helt annen form her.

Kategorier
Universitetspolitikk

Rekrutteringsstillinger til besvær

Universitetet i Oslo og Høyskolen i Oslo og Akershus er gode venner og støttesspillere, og jeg opplever at UiO gleder seg til at HiOA tar sin plass som Norges neste universitet.  Men om rekrutteringsstillinger er vi nok derimot av ulik oppfatning. For i innlegget “Statsbudsjett til besvær” skriver rektor Ole Petter Ottersen at:

“Andre institusjoner kommer ikke like godt ut i resultatbasert finansiering (som UiO. red.anm). Men mange av dem som taper på resultater, kommer godt ut av det når det gjelder rekrutteringsstillinger. Her er det UiO som taper – med bare seks nye stipendiatstillinger av totalt 80 for hele sektoren.”

Det er nok sant at UiO opplever å få færre rekrutteringsstillinger enn de har fått i mange tidligere tildelinger, men en grunn er nok at UiO tidligere har fått svært mange.  UiO har totalt hele 937 rekrutteringsstillinger finansiert av KD, populært kalt KD-stillinger. HiOA har 83.

For stor historisk differanse

UiO har flere forskere, og forskergrupper med lengre tradisjoner enn HiOA, så det er fair at de har flere, og har opp i gjennom tiden fått flere, kd-stillinger. Men høyskoler og profesjonsmiljøer har også et forsknings og utviklingsoppdrag, og det blir da viktig å se på hvordan dette oppdraget og deres fagområder støttes.. For hvis vi nå regner ut antall KD-stillinger per forskerårsverk, som kan være et godt mål på om institusjonene har en balansert andel rekrutteringsstillinger, ser vi at UiO har 0,26 og HiOA 0,07.  HiOA ligger ikke bare i bunnsjiktet, men distansen opp til resten er stort, som du kan se i figuren under.

Figur 1

For å si det på en mer effektiv måte, skulle HiOA hatt like mange KD-stillinger som UiO, skulle vi hatt 323, som er 240 flere enn vi har i dag.  Men det har vi altså ikke.  

Så vil noen si at det er urimelig at HiOA sammenliner seg på dette med UiO.  Men vi kan se til andre institusjoner også, og skulle vi hatt like mange KD-stillinger per UF-stilling som Høyskolen i Sørøstnorge (HSN), skulle vi hatt 133 (altså 50 flere enn vi har i dag), skulle vi hatt like mange som Universitetet i Agder, skulle vi hatt 258 (175 flere enn i dag). HiOA har kommet dårlig ut i disse tildelingene år etter år.

Behov for å lukke tildelingsgapet

Det er vanskelig å godta denne forskjellen. Det er en skjevfordeling som har røtter i historie og det at politisk og administrativ ledelse i vår sektor ikke har tilpasset tildelingene til utviklingen som har pågått i lang tid i sektoren.  For HiOA vil det være mulig å ta raske og avgjørende steg i oppbyggingen av viktige forskningsmiljøer innenfor profesjonsutdanningene hvis vi får lukket noe av det vi mener er et uforholdsmessig stort gap i tildelte KD-stillinger. Det vil bety mye, både for HiOA, våre utdanninger og forskningsmiljø, men også for samfunnet, Norge. Forskningen som skjer innenfor våre fagfelt er ofte direkte påvirkende til utvikling og omstilling i velferdssamfunnets yrker.

Derfor er jeg overrasket over at Ottersen klarer å definere UiO som “taper” når det kommer til rekrutteringsstillinger. Historisk, og faktuelt også i dagens situasjon, er UiO en av de store mottagerne av slike stillinger.

I vår prosess med å bli et sterkt universitet innenfor våre profiler, så håper jeg at vår gode partner og støttespiller UiO unner oss å nærme seg en rettferdig andel av KD-stillinger slik at vi kan konkurrere med jevnbyrdighet. I vårt samfunnsoppdrag for å håndtere Norge og verdens behov for arbeidskraft, og løsninger på globale utfordringer, opplever jeg at vi ikke står i motsetning til hverandre i Pilestredet og på Blindern, vi står sammen. Derfor bør det være et felles ønske om å styrke HiOAs FoU-aktivitet.