2010-05-20

Johan Frostegård glömde Impact factor i Sydsvenskan

När Johan Frostegård - helt riktigt i Sydsvenskans nöjessektion - framför idéer om "riskerna" att Google Scholar kanske "förföljer" KI och andra forskarna för att "styra anslagen" genom att indexera sammanfattningarna av publicerade studier "glömde" han bort impact factor.

Impact factor har jag diskuterats tidigare på Nyhetsbloggen där jag nu kände behov av att bemöta hans underliga argument eftersom dom indirekt hotar tredje världens utveckling.

Sammanställningen av möjligheter liksom problem var dock inte fullständig. En god sådan i enkel punktlista utan att missa något viktigt rörande "problem" finns dock i Wikipedia:

Impact factor - Criticisms | Wikipedia

Värt att peka på är att ett antal problem motsvarande de som ges i citatet nedan bygger på antagandet att personen som använder IF inte har grundläggande kunskaper i statistik och förstår fördelningar:

"The impact factor is often misused to evaluate the importance of an individual publication or evaluate an individual researcher. This does not work well since a small number of publications are cited much more than the majority - for example, about 90% of Nature's 2004 impact factor was based on only a quarter of its publications, and thus the importance of any one publication will be different from, and in most cases less than, the overall number."

Detta "problem" kan liksom annan statistik användas för att få något att verka bättre än vad det är om mottagaren av informationen inte vet att det är möjligt. Rörande vetenskapliga journaler och publicerad forskning har jag dock väldigt svårt att se riktigt vad den målgruppen är.

Möjligen några annonsörer i journaler men samtidigt har jag ännu svårare att se att effekten av annonsering alls påverkas av mycket mer än räckvidden och hur annonsen är utformad och jag tror annonsörerna mycket bättre själva förstår att bedöma effekten av annonser än journalerna själva. Inte heller tror jag att annonsörerna är särskilt godtrogna.

Eigenfactor i kontext av Impact factor och Google Scholar

En "besläktad" - i någon mening mer eller mindre det samma är eigenfactor. Värdet den har är dock att tillgång till den inte på samma sätt är styrd av vad du betalar för.

Däremot om Eigenfactor ännu är lika bra som Impact factor är jag mindre säker på. Min bild är att Eigenfactor kommer behöva några år till innan den laverar lika bra.

En intressant fråga är naturligtvis om Google till Google Scholar skapar sitt index helt själva eller om de köper in färdigt data att bygga på. Jag har inte försökt leta igenom pressmeddelanden och dylikt som kan indikera om Google köper in data här. Allmänt är dock mitt intryck att Google sedan ett par år allt oftare köper in data och utifrån vad jag enstaka gånger sett när jag sökt i Google Scholar vill jag inte utesluta att impact factor kanske delvis ligger till grund för deras index.

Eigenfactor score

Ett alternativ till impact factor som i princip är samma sak (d.v.s. görs på ungefär samma sätt) är eigenfactor score. Data är fritt tillgängligt. Läs mer i:

Eigenfactor score: Viktigaste journaler, tidningar och universitet och ämnenas storlek (svenska)
Eigenfactor (engelska).

Inga kommentarer: