Det er ikke kun kvaliteten af spørgeskemaer, KUBIS har svært ved at sikre. Deltagernes anonymitet er også en svær ting at håndtere.
Mailen man modtog med invitation til at deltage i brugerundersøgelsen lød som følger:
Københavns Universitets Biblioteks- og Informationsservice – KUBIS
Kære biblioteksbruger,
Hjælp os med at gøre biblioteket bedre – og deltag i årets brugerundersøgelse, det tager ca. 5 minutter.
Undersøgelsen er anonym, men hvis du vil deltage i konkurrencen om tre iPad 2, så skriv også dit navn og din mailadresse nederst i spørgeskemaet og vær med i lodtrækningen d. 14. december. Alle konkurrencedata slettes så snart vinderen er fundet.
Venlig hilsen
Michael xxx
Universitetsbibliotekar
Samme tekst blev gentaget på engelsk. Efter en kort undersøgelse af denne “anonymitet” forfattede jeg en mail til afsenderen:
Kære Michael xxx,
Jeg har modtaget 2 mails med dig som afsender, hvor KUBIS ønsker at undersøge brugernes tilfredshed.
Jeg har udfyldt skemaet, og samtidigt angivet navn + email i den sidste kasse, da jeg gerne står ved min besvarelse.
Dog er der én ting som undrer mig. Du skriver i mailen:
“[..]
Undersøgelsen er anonym,
[..]
Your answers will be completely anonymous
[..]”
Og giver i mailen samtidigt udtryk for, at man skal angive navn og adresse til sidst i skemaet, hvis man vil deltage i konkurrencen om en iPad 2. Noget der også signalerer anonymitet.
Men hvad betragter du som “completely anonymous”?
Jeg har en smule kendskab til Rambølls surveyXact værktøj, og bemærker at de links der er inkluderet i mailen netop sikrer at I kan identificere respondenterne. De enkelte besvarelser bliver koblet op på personens email (via “nøglen” i URLen i emailen), og det er således muligt for jer at se emailadressen på de enkelte besvarelser.
Hvis I ønsker det, kan I således tage de 10 sureste besvarelser, slå emailadresserne på respondenterne op hos surveyXact, og derefter slå dem op i Jeres eget system. Da man er oprettet med CPR-nummer osv. hos KB, kan I således finde CPR-nummer, adresse osv. på respondenterne.
Det er naturligvis ikke kun de sure respondenter, I kan finde identiteten på, men alle der besvarer undersøgelsen.
Er det i lys af dette ikke særdeles problematisk, at der i mailen bliver lovet fuld anonymitet, medmindre folk selv opgiver deres navn?
Det er for mig hip som hap, om I laver en anonym undersøgelse eller ej. Men det er særdeles problematisk, at I lover folk anonymitet, når I ret nemt kan finde identiteten bag hvert udfyldt skema. Bare fordi I ikke /ønsker/ at identificere folk, så har I bevaret muligheden. Meget interessant, da surveyXact værktøjet ellers giver mulighed for at “udelukke” sig selv fra identificérbare data når man opretter undersøgelser i systemet.
Med venlig hilsen,
Anders
Jeg fik først et svar, hvor modtageren synes en smule konfus over min pointe. Men han videresendte mailen til ham der praktisk havde stået for oprettelsen af undersøgelsen, hvorfra jeg fik følgende svar:
Kære Anders
Det er korrekt at vi i princippet har mulighed for at efterspore præcis hvem der har givet hvilke svar. Faciliteterne til fuldstændig anonym udsendelse har vi desværre ikke været helt så opmærksomme på som vi måske burde. Det er dog sket med et formål, som jeg vender tilbage til.
Men jeg kan beskrive proceduren for hvordan vi efterfølgende behandler de personhenførbare data.
Den 13. december, når undersøgelsen lukkes, eksporteres samtlige data fra SurveyXact. Det har vist sig at ca. 8% af de mailadresser vi har i vores brugerbase, som har dannet grundlag for udsendelsen, ikke er opdaterede, eller direkte forkerte, og derfor “bouncer” mailen. Disse mailadresser sorteres fra, og det er med det formål, at mailadresserne kan spores i besvarelserne.
Herefter foretager vi lodtrækningen blandt de respondenter der har opgivet adresse, og når vinderne er fundet, slettes såvel mailadresser og oplyste postadresser. Datamaterialet i SurveyXact slettes ligeledes, og besvarelserne, nu uden mail- og postadresser, uploades igen, med henblik på at udnytte de rapporteringsværktøjer der ligger i systemet, og som er bedre end hvad Excel kan tilbyde os. Det videre analysearbejde foretages således uden at vi har adgang til hverken mail- eller postadreser.
Jeg vil gerne takke dig for at have henledt vores opmærksomhed på dette emne, og vi vil i fremtidige undersøgelser beskrive denne anonymiseringsprocedure i udsendelsen af mails. Det lyder som om du har et godt kendskab til SurveyXact, og hvis du har tips og tricks til hvordan vi kan optimere processen yderligere vil jeg være taknemmelig, om du ville dele dem med os.
Med venlig hilsen,
Christian xxx
Jeg må give KUBIS cadeau for deres evne til at dreje tingene i eget favør, ligesom vi så med selve udformningen af undersøgelsen. Men svaret giver desværre ikke mening, selvom det søger at forklare den manglende anonymitet med en kombination af inkompetence og imødekommenhed.
At de ikke har været opmærksomme på muligheden for anonymitet (især da den pointeres i deres mails) er utroligt, da det ellers er let at aktivere og veldokumenteret i manualen. Det skulle i øvrigt endda være inkluderet i det gratis kursus der bliver tilbudt af surveyXact.
Det må betragtes som en søforklaring, at de skal bruges folks emailadresser til at sortere besvarelser fra fra emails hvor deres invitation til undersøgelsen er bounced. Hvis en email ikke eksisterer, bliver der selvsagt ikke udfyldt et skema med IDet for den mail, og der er således ikke noget at sortere fra. Forklaringen med at de henter alle datane ned (incl. emailadresser), for derefter at slette mailadresser og derefter uploade dem igen for at lave analysen virker ret… usandsynlig.
Hvor jeg oprindeligt tilskrev deres dårlige spørgeteknik inkompetence og deres ikke-anonyme undersøgelse ren ondskab, er jeg ved at hælde til at der i begge tilfælde må være tale om inkompetence. Ellers ville de ikke forsøge at overbevise mig med en forklaring, der åbenlyst ikke hænger sammen.