Rapport fra EAHIL-konferansen i Cardiff, 9.-13. juli 2018

Mer effektiv jobbing med systematiske søk?

Av Regina Küfner Lein, Bibliotek for medisin, Universitetet i Bergen

Vi vet alle at det er tidkrevende for både bibliotekaren og forskeren å utføre uttømmende søk i mange databaser og å gå gjennom et stort materiale. Mer effektivitet i arbeidet med systematiske oversikter var et tema som flere tok opp i sine foredrag ved årets EAHIL-konferanse i Cardiff i juli.

EAHIL står for European Association of Health Information and Libraries. De første to dagene av konferansen ble det holdt halv- og heldagskurs, de neste tre dager var det plenumsforelesninger, posterutstilling og flere parallelle sesjoner med foredrag. I år var mottoet Inspiring-involving-informing. Det er alltid mye inspirasjon å hente fra EAHIL-konferansene og nye ting å lære.

Er tre databaser nok for å skaffe referanser til en systematisk oversiktsartikkel? Spørsmålet ble stilt av Irma Klerings fra Cochrane i Østerrike. Hun hadde testet om et avgrenset litteratursøk som man utfører i en såkalt Rapid Review ville ført til andre konklusjoner sammenliknet med et omfattende litteratursøk til en vanlig systematic review. Hun tok utgangspunkt i 60 Cochrane systematic reviews, som hadde basert seg på søk i 5 eller flere databaser, og gjennomførte nye søk i bare 3 databaser:
Medline, Embase og CENTRAL (=Trials i Cochrane library).

Søk i disse tre databaser samt gjennomgang av referanser fra inkluderte studier ga 94% av de inkluderte studiene fra Cochrane reviews. Det er ganske bra, men det viktigste spørsmålet er om et begrenset antall inkluderte studier førte til andre konklusjoner i reviewen? Faktisk ble konklusjonen det motsatte for én review, i tre reviews var det ikke mulig å konkludere, og i én var konklusjonen mindre sikker.

Dessverre viser Klerings prosjekt at en begrensning av antall databaser for søking ikke er en egnet løsning dersom man ønsker å konkludere like sikkert.

Assessing the impact of searching fewer databases in rapid reviews by Irma Klerings:
https://eahilcardiff2018.files.wordpress.com/2018/08/assessing-the-impact-of-searching-fewer-databases-in-rapid-reviews.pdf

Kan vi spare tid ved å velge Rapid Reviews eller andre Rapid Evidence Products? Målet til Alicia F. Gomez-Sanchez og Rebeca Isabel Gomez var å gi en oversikt over disse “Rapid-produktene, og metoder som bør brukes for å lage slike raske oversikter. Mens de jobbet med prosjektet ble de mer og mer frustrert fordi det viste seg at organisasjoner som Cochrane, Canadian Coordinating Office for Health Technology Assessment (CCOHTA), known today as CADTH.), Verdens helseorganisasjon WHO, Agency for Healthcare Research and Quality (AHRQ) og flere brukte ulike definisjoner, og
hadde ulike anbefalinger for metoden for Rapid reviews. Det var blant annet forskjeller om en protokoll er nødvendig, hvor mange databaser som bør søkes i, og hvilke avgrensinger på dato og språk som er forsvarlig.

Konklusjonen deres er at det mangler en validert terminologi for rapid reviews. Det er heller ingen konsensus om metoden, men de fleste anbefalte at prosessen skal være transparent!

Rapid reviews drive us crazy by Alicia F. Gomez-Sanchez & Rebeca Isabel Gomez
http://researchprofiles.herts.ac.uk/portal/en/persons/alicia-ftima-gomezsnchez(7603fd1e-7984-47c4-897f-725c231429d9).html

PRISMA-RR:
http://www.equator-network.org/wp-content/uploads/2018/02/PRISMA-RR-protocol.pdf

Artikkel: Rapid reviews summit:
https://www.cadth.ca/sites/default/files/pdf/RR%20Summit_FINAL_Report.pdf

Andrew Booth tok opp temaet Hvor mange treff er egentlig nok? Han var opptatt av arbeidet til forskeren som må gå gjennom store mengder treff. Booth valgte å undersøke 20 systematiske oversikter der bibliotekarer var involvert, fra ti store organisasjoner som Cochrane, NICE, og CRC i York. Det totale antall treff forskerne ble presentert for varierte mellom 73 og 102267. I Cochrane var gjennomsnittet på 25.000 referanser. Når man relaterer det totale antall treff til antall studier som ble inkludert, får man et forholdstall NNR som står for Number needed to retrieve. Det er et uttrykk for hvor mange referanser man må gå gjennom for å finne én som kan inkluderes. NNR er en parallell til det vi kjenner i medisinen som «Number needed to treat (NNT)» som uttrykker antall pasienter som skal behandles for at én blir bra. Det gjennomsnittlige tallet for Number needed to retrieve lå på 52 til 860. Legger man så til grunn at man greier 2 referanser per minutt, som i mine øyne er veldig raskt, betyr det at forskeren må bruke mellom en halv time og 7 timer for gjennomgangen av materialet. Jeg tror vi skal se på det som en minstetid, det kan godt dobles eller tredobles avhengig av temaet og hvor godt tittel og abstractet er skrevet for å ta en avgjørelse. Dessuten skal to forskere
gjennomgå materialet, og det må brukes tid for konsensus.

For å få et bedre tallgrunnlag anbefalte Booth at vi noterte antall treff vi fant i litteratursøket, antall fulltekst som måtte leses, og antall inkluderte studier.

How many research results are enough … and what can we do about it? By Andrew Booth :
https://eahilcardiff2018.files.wordpress.com/2018/08/how-many-search-results-are-enough-and-what-can-we-do-about-it.pdf

Om ikke vi kan spare tid i søkingen, kan kanskje programvare for textmining hjelpe oss?

Jeg har ikke brukt text mining noe særlig, og var spent på kurset om Automation technologies i arbeidet med HTA og systematiske litteratursøk; kurset var holdt av James Thomas og Claire Stansfield fra EPPI Centre i London. James Thomas er for øvrig én av forfatterne til boka «An Introduction to Systematic Reviews» sammen med Gough og Oliver.

Ut fra beskrivelsen av kurset forventet jeg å lære om verktøy for å enklere screene eller analysere mengden av dataene, men var forbauset at man brukte ulike software for textmining til å finne flere søkeord, altså brukte teknologien til oppbygging av søkestrategien. PubMed PubReminer er sikkert kjent for mange. Både PubReminer og MeSHAnalyzer baserer seg på PMID og analyserer utvalgte referanser for ordbruken. Derfra kan vi få gode tips for flere relevante søkeord. Et annet verktøy vi så
på i kurset var TerMine som analyserer tekst. Man kan kopiere inn flere abstract av artikler og resultatene fremstilles i form av en frekvenstabell over termer.

Målet med textminingsverktøyene er ikke til å skaffe forskerne enda flere referanser, men til å ikke miste muligens relevanet referanser. Jeg vil samtidig holde fast ved at valg av søketermer og oppbygging av søkestrategi bør foregå i tett samarbeid mellom bibliotekar og forskeren.

Jeg skal i alle fall se nærmere på MeSH Analyzer og TerMine! Vil du lese noe mer om text mining, finner du lenke til noen publikasjoner om bruk av textmining for å screening og identifisering av studier på EPPIs webside: http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=3489

Et annet tema som flere var opptatt av var den til dels dårlige rapporteringen av søkestrategier i systematiske oversikter. Jane Falconer og Kim Coles hadde sjekket reviews fra egen institusjon, London School of Hygiene & Tropical Medicine, som er en høyt rangert institusjon i alle mulige lister. Innlegget på EAHIL var for øvrig avklart med direktøren deres som ønsket det velkommen for å påpeke og lære av feil. Dessverre var resultatene nedslående, hva rapporteringen av søkene angikk. Det var feil og mangler på databasenavn, utgiveren, tidsspenn, og for 45 % av reviewene avslørte de
store mangler i kvaliteten av søkene. Reviewene var publisert i renommerte tidsskrifter, men ingen i referee-prosessen har reagert. De undersøkte nærmere med forskerne fra sin institusjon og avslørte manglende kompetanse hos forskerne om søkemetoden og tidsbruk for søk. Et direkte resultat var at flere forskere kontaktet biblioteket for litteratursøking for fremtidige systematiske review!

I diskusjonen etter innlegget var det flere interessante innspill:
Det blir skrevet flere SR fremover, og forskerne må bli gjort oppmerksom på kravene om
rapporteringen. Bør flere søkestrategier fagfellevurderes av bibliotekarer? Kompetansen om søking, rapportering og fagfellevurdering bør også være med i våre jobbbeskrivelser.

Jeg tenker at vi som bibliotek kan mer eksplisitt tilby noen standardformuleringer for metoden for å ivareta rett rapportering av søkene, der vi har utført søkene.

For dette innlegget vant Falconer første prisen for muntlig presentasjon av en førstegangsdeltaker ved EAHIL! Dessverre er ikke Falconer & Coles presentasjon tilgjengelig på nett: Quality and reporting of literature search strategies in systematic reviews published by London School of Hygiene & Tropical Medicine affiliated authors: an assessment using PRISMA, AMSTAR and PRESS criteria. By Jane Falconer and Kim Coles. Presentation at EAHIL 2018, Cardiff.

Annet som jeg noterte meg som interessant og nyttig: Keynote speaker Cormac Russell tipset om å dele opp undervisningen i korte bolker på ca 15 minutter. Grunnen er at mennesket ikke kan holde konsentrasjonen over særlig lengre tid enn 15-20 minutter. Lager man et avbrekk da, kan man fortsette kurset med nye 15-20 minutter. For eksempel kan foreleseren be publikum til å reflektere eller snakke sammen om hva de har fått ut av timen så langt. Denne enkle måten å stoppe opp i en undervisningstime kan vi bruke i egen bibliotekundervisning også.

Cormac Russell holdt for øvrig et interessant innlegg om hvordan samfunnet har endret syn på helsehjelp: Fra oppdragende helsehjelp, der man forteller til pasienten, til en tid med veiledende helsehjelp for pasienten, og videre til helsehjelp der pasienten er direkte involvert. Neste naturlige ledd er selvhjelp der pasienten enda mer er ansvarlig og er en medprodusent av helsehjelpen.

Flere av oss har sikkert vært bort i denne tematikken. Jeg har tidligere i år hatt noen søkeoppdrag om pasienten som medhjelper, medforsker eller co-producent.

Flere presentasjoner på EAHIL Cardiff sin webside: https://eahilcardiff2018.wordpress.com/posters-and-presentations/

Alt i alt var det mange nyttige innspill å ta med hjem fra EAHIL 2018, men det viktigste var å få en bekreftelse på at vi strever med de samme tingene, og at mange prøver å finne gode løsninger. Jeg takker NFF for reisestøtten.

Det er heldigvis ikke lenge til neste års EAHIL. Kanskje noen løsninger presenteres på EAHIL i Basel i juni 2019? Følg med på https://eahil2019.net/

Reklamer