Sortering etter relevans?

kj02hkon
Innlegg: 3
Registrert: tir 15 jul, 2014 9:23

Sortering etter relevans?

Legg innav kj02hkon » tir 15 jul, 2014 9:40

Oria, som vi kaller "Biblioteksøk" ved UBO, er et spennende nytt produkt som gir mange muligheter. Men ikke alt synes helt i boks, f.eks. sortering av trefflisten etter "relevans". To spørsmål, ett enkelt og ett kanskje ikke fullt så enkelt:
1. Går det an å endre default treffliste fra sortert etter relevans til sortert etter f.eks. trykkeår?
2. Hva ligger bak sorteringen etter relevans? Jeg skjønner ikke hva dette betyr i Oria.
Jeg prøver meg på søk på meg selv "halvor kongshavn" ettersom jeg kjenner min egen produksjon godt. Trefflisten blir den samme og like underlig (på topp en liten stensil fra 1995 av total marginal betydning) og like lite relevant (hva er relevansen for denne stensilen?) enten jeg
a. søker uten å være innlogget
b. søker etter innlogging
c. har tilpasset mine resultater som "Forsker" i en rekke fag eller
d. har tilpasset mine resultater som "Bibliotekar" i få fag.

Vennlig hilsen
Halvor Kongshavn, UBO

Astrid Anderson
Innlegg: 3
Registrert: tir 29 jul, 2014 8:14

Re: Sortering etter relevans?

Legg innav Astrid Anderson » tir 29 jul, 2014 9:26

Inspirert av Halvor, forsøkte jeg et søk på mitt navn "Astrid Anderson" i enkelt søk. Jeg fikk først opp et treff på en artikkel forfattet av "Vargas, Astrid ; Anderson, Stanley H." Deretter kommer det to anmeldelser av noe skrevet av "Astrid Anderson", og først på fjerde plass noe faktisk forfattet av "Astrid Anderson". Det er en doktoravhandling, og både den, en publiksajon i UBOs skriftserie og hovedoppgaven rangeres som mer relevante enn en monografi forfattet av "Astrid Anderson" utgitt på et nivå 2-forlag. Den samme rangeringen av publikasjoner forfattet av "Astrid Anderson" kommer hvis jeg søker i avansert søk på forfatter - ikke-publiserte avhandlinger og en mindre viktig skriftserieutgivelse anses som mer relevant enn nivå 2-monografien.

Verre er det for pedagogen "Astrid Anderson" som ikke dukker opp i trefflista før på 17. plass med artikkel i fagfellevurdert tidsskrift når man søker på forfatter (sannsynligvis fordi den er gammel). Det er likevel rart at treff med forfattere som "Søe, Astrid ; Giesemann, Anette ; Anderson, Traute-Heidi" rangeres som mer relevante.

For å være litt mindre navlebeskuende, prøvde jeg avansert søk med den norske antropologen Signe Howell som forfatter. Hun har en omfattende publikasjonsliste fra viktige internasjonale tidsskrifter og forlag. Der rangeres både bokkapitler i norske bøker, bøker hvor Howell er redaktør, publikasjoner fra urangerte occasional papers, redaktørkommentarer i Norsk Antropologisk Tidsskrift o.l. før en av hennes aller viktigste monografier, utgitt på et nivå 2-forlag. Den dukker først opp på side 3 av trefflista. Lenger enn det fikk jeg ikke kommet i kontrollen av Signe Howells resultater fordi Oria ikke ville la meg bla lenger enn til side 2 ved nye forsøk.

Det er vanskelig å forstå kriteriene for relevans i disse trefflistene, og jeg lurer på hvordan jeg skal forklare dette for studentene jeg skal kurse i litteratursøk for første gang om et par uker.
Astrid Anderson, fagreferent ved UBO

Cathrine Fjeldstad
Innlegg: 308
Registrert: man 23 jun, 2014 11:28

Re: Sortering etter relevans?

Legg innav Cathrine Fjeldstad » tir 29 jul, 2014 9:41

Nå har jeg ikke testet dette, men jeg har snust litt rundt på backoffice, og der finnes det muligheter for å øke vekten som legger på treff i forfatter f.eks. Oversikten som ligger i kursversjonen er slik:
Field Boosting Level

in the title (title) 3.5
as author/creator (creator) 3.0
in subject (sub) 2.5
TOC (toc) 1.5
Description (desc) 1.5
ISBN (isbn) 1.0
Language (lang) 1.0
Additional Title (addtitle) 0.01


Du kan lage egne slik Boosts, det finnes også en for å booste treff fra egen institusjon.

Disse valgene finner du på oria backoffice: Primo Home > Advanced Configuration > Search Engine Configurations > Results boosting
Cathrine Fjeldstad
UNIS - The University Centre in Svalbard

Silje Eikrem Færøy
Innlegg: 43
Registrert: tor 19 jun, 2014 9:29

Re: Sortering etter relevans?

Legg innav Silje Eikrem Færøy » man 04 aug, 2014 12:29

Relevansen er underleg. Når eg søkjer på "spill" på mitt bibliotek er 7 av treffa på førstesida referansar, til alt overmål på japansk, frå noko som heiter JapanKnowlegde. Sida eg vert sendt til krev brukarnamn og passord (takk, Google translate...). Så her er noko som skurrar i standardoppsettet for relevans!

Interessant det du skriv om Field Boosting, Cathrine. Men kan vi endre det i hovudinstansen vår utan å bryte med standardoppsett? Eg er i det heile ganske forvirra på kva vi kan endre sjølve, og kva som vert overskrive av standardoppsett! Har av den grunn gjort minimalt i BackOffice så langt.
Silje Færøy
Høgskulen i Volda

kj02hkon
Innlegg: 3
Registrert: tir 15 jul, 2014 9:23

Re: Sortering etter relevans?

Legg innav kj02hkon » man 04 aug, 2014 14:13

Takk for innspill. Men klokere blir vi ikke, blir vi?
En impuls drev meg til å invertere søkestrengen jeg gjorde for forrige innlegg - fra "halvor kongshavn" til "kongshavn, halvor". Relevansen forandrer seg! Noe annet kommer først, ikke fullt så irrelevant, men ikke så voldsomt relevant heller (hovedoppgaven min fra 1986), før en ikke spesielt relevant 20 år gammel bibliografi i et tidsskrift. Osv.
Altså: det er helt umulig å se noen "relevans" i disse trefflistene. Og når det er sånn når jeg søker på eget navn, tar jeg uten videre for gitt at det er det samme ved søk på andres navn (eller andre søketermer).
Hvor er dere, autoritativt hold, som kan gi noe fornuftig svar?

Hilsen Halvor Kongshavn, UBO

Silje Eikrem Færøy
Innlegg: 43
Registrert: tor 19 jun, 2014 9:29

Re: Sortering etter relevans?

Legg innav Silje Eikrem Færøy » tir 05 aug, 2014 7:42

silje skrev:Relevansen er underleg. Når eg søkjer på "spill" på mitt bibliotek er 7 av treffa på førstesida referansar, til alt overmål på japansk, frå noko som heiter JapanKnowlegde.


Vidare testing viser liknande resultat når eg søkjer på diverse andre tilfeldige enkeltord, t.d. is, spade, form - i trefflista dukkar JapanKnowledge opp fleirfaldige gongar! Er det slik at når ei ny søkekjelde vert lagt til i Oria, så får den høgst relevans...? Ser at JapanKnowlegde står på lista over nye søkekjelder her: http://www.bibsys.no/nye-sokekilder-i-oria/
Silje Færøy
Høgskulen i Volda

Asbjørn Risan
Innlegg: 77
Registrert: tir 09 des, 2008 11:43

Re: Sortering etter relevans?

Legg innav Asbjørn Risan » man 11 aug, 2014 11:08

Relevans er vanskelig og vurdering av relevans vil variere fra person til person som har ulikt utgangspunkt for denne subjektiv vurderingen. Det vil være misforhold mellom en datamaskin som vil forholde seg objektivt til relevans og et menneske som har et konkret behov å vurdere relevansen på bakgrunn av. Datamaskinen forholder seg til søkeuttrykket, postene og regler som er satt opp for relevansrangering.

Det har vært noen spørsmål i denne tråden om relevans og vi skal prøve å gi et svar på disse:

1) Det går ikke å endre standardsortering til noe annet en relevans.

2) Systemet tar ikke hensyn til om et tidsskrift er på nivå 1 eller 2. Det vil kunne være en ulike vekting mellom materialtyper, eksempelvis ser det ut til at referanser har høyere vekt enn annet materiale, men ikke innad innen en materialtype.

3) Når trefflisten bygges opp får alle dokumenter en relevansscore basert på et sett med regler og hvor godt søkeuttrykket matcher informasjon i posten og hvor denne er å finne. Eksempelvis vil treff på søkeordet i tittel bli rangert høyere enn et treff i beskrivelsen av dokumentet. Poster med høyest score blir plassert øverst. Vi har mulighet til å skru på dette, men har valgt å gjøre minst mulig da vi regner emd at standardverdiene er satt av en årsak og at det kan være vanskelig å ha full oversikt over konsekvensene av endringene. Når vi får erfaringer med hvordan dette slår ut kan man gjøre endringer.

4) Tilfellet med "Vargas, Astrid ; Anderson, Stanley H." som tilfredsstiller søket "Astrid Anderson" er fordi ";" blir filtrert bort i søkeuttrykket og i postene og sammenstillingen av de ulike forfatterne gir da treff på fornavnet til den ene forfatteren og etternavnet på den andre.

5) Tilpasning av resultater etter fag og nivå (forsker, student) gjelder for artikler. Hvis man har valgt økonomi som fag vil man få treff fra økonomitidsskrift høyere opp i trefflisten.

6) Treff fra JapanKnowledge: Nye søkekilder får ikke høyere rangering, men psotene fra denne kilden har "Spade" i tittelen og kommer derfor høyt opp. I og med at dette er en kilde som gir mye støy (og den sannsynligvis er mindre relevant for de fleste brukere) har vi deaktivert denne på sentralt hold. De som ønsker å søke i denne kan aktivere den lokalt. Dette vil få effekt i løpet av ca 10 dager.


Gå tilbake til «Oria»

Hvem er online

Brukere i dette forumet: Ingen registrerte brukere og 52 gjester