Comba, Valentina: La valutazione delle pubblicazioni: dalla letteratura a stampa agli open archives. (Bollettino AIB. 43.vol. 2003. 1.no. 65-75.p.) c. cikkét Mohor Jenő tömörítette.
Bevezetés
Az értékelés olyan központi helyet elfoglaló tevékenység, amit mind az akadémiai világban (a kutatásban és az oktatásban), mind a javak és szolgáltatások előállításának világában egyaránt gyakorolnak. Egy tevékenység, egy termék (a javak valamelyike), egy szolgáltatás vagy egy publikáció értékelése képezi a döntést, a kiválasztás alapjául szolgáló eszközt, ami alapjául szolgál az új cselekvéseknek és kezdeményezéseknek is. Valentina Comba írása a kutatás és a széles értelemben vett tudományos kommunikáció világát értékelő eszközök tanulmányozásához kíván hozzájárulni, s megpróbál válaszolni arra a (szónoki) kérdésre, hogy a könyvtárosoknak részeseivé kell-e lenniük a publikációk értékelési folyamatainak.
A szerzőt a nyolcvanas években kezdte érdekelni ez a téma, amikor a tanszékvezetői helyekért versenyt futó orvos-tanárok a munkáikra való hivatkozások számát (és a bibliográfiai adatokat) keresték. Az on-line bibliográfiai keresések abban a könyvtárban, ahol Comba dolgozott, meglehetősen költségesek voltak: az SCI-hez (Science Citation Index) való kapcsolódás óradíja a száz dollárt is meghaladta. Az érdekeltek líra-százezreket fizettek az adatokért és ráadásul a keresőrendszer igényeinek megfelelően kellett kitölteniük saját bibliográfiai adataikat, melyben a legkisebb hiba eredménye is „no hits” , „nincs találat”-ot eredményezett, s aztán az on-line keresést megszakítva a hibát kellett keresgélni.
A kilencvenes évekre a hivatkozások keresése szinte járványos betegséggé vált és terjedt, mint az influenza; bubópestis-járvánnyá pedig az impakt faktor (IF) helytelen használatával vált, amikor azt az egyes tudományos publikációk minőségének értékelésére kezdték használni. Comba sokféle módon próbálta megértetni az indikátorok használatának módját, sőt még napilapba is írt a témáról, hogy minél szélesebb körben ismertesse nézeteit.
Publikációinak és előadásainak tapasztalata alapján kijelentette, hogy a kutatóintézetek értékelésére jelenleg használt kritériumok irodalmából a feltett szónoki kérdésre határozott és egyértelmű „igen!” válasz kerekedik ki. A könyvtárosoknak teljes mélységben ismerniük kell a hivatkozás-indexek szerkezetét, s ekként az indikátorok azokból való kidolgozásának módjait; a könyvtárosok jobban meg tudják ismerni a bibliometriai eszközöket, mint más kutatók; a könyvtárosok tudják az értékelő „zsűrik” rendelkezésére bocsátani a forrásokat, az adatbázisokat és az indexeket, oly módon, hogy valamennyi lehetséges elem figyelembe vehető legyen.
A bibliográfiai hivatkozás
A hivatkozáselemzés a dokumentumok és a periodikumok, továbbá személyek, munkacsoportok, intézmények és nemzetek (országok) értékelésére használatos.
A hivatkozáselemzés történetének rekonstruálásához a legjobb módszer Eugene Garfield személyes honlapjának (www.garfield.library.upenn.edu) felkeresése, ahol teljes bibliográfiája mellett néhány korai írásának PDF-formátumú változatát is megtaláljuk. Ezek egyike 1955-ből való1, amelyben Garfield egy hivatkozási index használatát javasolja, mely új megközelítést nyújt a tudományos irodalom tartalmi értékeléséhez. Ugyanebben az írásában említi a hivatkozás-repertórium példájaként az 1873 óta megjelenő Shepard Citations c. kiadványt, mely az USA 48 államának büntetőpereit tartalmazza, hivatkozással az ítéletekre és azokra az egyéb adatokra, amelyek befolyással voltak az ítéletekre. Azt a lelkes hitet, amellyel Garfield a Science Citation Indexet a tudományszociológia tanulmányozása elsődleges eszközének2 és a tudományos munkák Nobel-díjra való érdemessége egyik bizony(tékául ajánlotta, elkezdték vitatni a tudósok, akik tartottak a személyek, intézmények és periodikumok értékelésében rejlő veszélyektől3. Ettől kezdve válik gyakori vitatémává nemcsak a hivatkozásindikátorok helytelen használata, hanem az a – dokumentálható – irányzat is, mely álnok módon „felfújja” az impakt faktort és a hivatkozások számát, hogy megnövelje egy periodikum, egy intézmény vagy egy szerző értékelésének mennyiségi vonatkozásait.
A hivatkozásokkal kapcsolatos viselkedés és a hivatkozások értéke tanulmányozásához nagy hasznunkra lehet Christine Borgman és Jonathan Furner szemléje4. Mielőtt részletesen áttekintenénk, hogy a tudósok milyen kritikákkal illetik a hivatkozások kvantitatív használatát az értékelés során, különösen hasznos a szemlének a hivatkozás-viselkedésre vonatkozó néhány részletét felidézni.
A hivatkozásokra alapozott értékelés, az „evaluative link analysis” (bár ez az elnevezés a hipertextes linkekre vonatkozik, a szerzők alább következő megállapításai a hivatkozások mindkét fajtájára vonatkoznak) védelmére felhozott érvek alapjául a Garfield által megformált „hivatkozási előírások” szolgálnak, melyek rámutatnak, hogy mikor kell hivatkozni5. Ezek az érvelések azon alapulnak, hogy azok a szerzők, akik hivatkoznak, nyilvánvalóan pontosan meghatározzák az értékes, illetve a hivatkozásra méltó munkákat; így tehát valamennyi hivatkozott mű méltó arra, hogy rá hivatkozzanak, következésképpen a hivatkozások mennyisége a minőség egyik mutatója. Borgman és Furner viszont arra mutat rá, hogy Garfield „mikor idézzünk”-je a hivatkozó szerző viselkedésének nem leírása, hanem azt előíró útmutatás.
Az „evaluative link analysis” kritikusainak érvelése ezzel szemben sokkal mélyebben elemzi a hivatkozók viselkedését és motivációit. Végkövetkezteté- sük szerint a hivatkozók viselkedését egész sor tényező határozza meg, melyek nem szükségszerűen írhatók körül a hivatkozott munkák minőségével. Azon szubjektív tényezők között, melyek az egy adott munkára való hivatkozást befolyásolják, vannak személyes és politikai érdekűek vagy személyes haszonnal járók (ellentétben a szakmai vagy a kutatást szolgáló érdekekkel). A szemle a korábbi munkákra hivatkozó szerzőket (esetleg) befolyásoló tényezők következő listáját tartalmazza:
- a tartalom ninősége;
- a szerző neme (azaz férfi);
- a szerzők száma: a hivatkozott mű több szerző publikációja;
- forrás: a hivatkozott munka inkább folyóiratcikk, mint könyvfejezet, tézis stb.;
- a kapott hivatkozások mennyisége;
- téma: a hivatkozott munka friss, és „még meleg” témával foglalkozik;
- megközelítés: a hivatkozott dokumentum szemle, vagy egy korábbi munka reviziója;
- tudományterület: a hivatkozott munka inkább az alap, mint az alkalmazott kutatások körébe tartozik;
- „asszimiláció”: a munka nem olyan témákkal foglalkozik, amelyek már asszimilálódtak a közkeletű ismeretek korpuszába.
Ha viszont a hivatkozott munkák hogy úgy mondjuk „kortársak”, vagy folyamatban lévő kutatások, a hivatkozást befolyásolható tényezők a következők:
- tartalmi hasonlóság;
- szakterület: a területnek, melyben a dokumentumok megjelennek magas hivatkozási mutatói vannak;
- meggyőződés: a hivatkozott munka alátámasztja a szerző állításait, vagy a hivatkozott dokumentum szerzője nagy tekintélynek örvend, s ezáltal „fényt ad” a hivatkozó szerzőnek;
- rendelkezésre állás: a hivatkozott dokumentum könnyű hozzáférhetősége;
- önhivatkozás: a hivatkozott munka és a hivatkozó dokumentum szerzője azonos;
- periodikum önhivatkozás: a hivatkozott munka abban a periodikumban jelent meg, amelyben a hivatkozó publikálni kívánja saját munkáját;
- társadalmi (társasági? barátsági?) hivatkozás: a hivatkozott munka szerzője barát, kolléga, társszerző, a terület szaktekintélye, a hivatkozó szerző tanítványa, vagy éppen szerkesztője (szerkesztő bizottsági tagja) a megcélzott folyóiratnak;
- nyelvi önhivatkozás: a hivatkozott munka nyelve azonos azzal, melyen a hivatkozó szerző ír;
- „nemzeti” önhivatkozás: a hivatkozott munkát a hivatkozóval azonos nemzetiségű szerző írta;
- időbeli távolság: a hivatkozott mű kevéssel a hivatkozó írás előtt jelent meg.
Az önhivatkozást is részletekbe menően elemzik: Borgman és Furner egy sereg, az önhivatkozással foglalkozó tanulmányt áttekintve, azt a végkövetkeztetést hangsúlyozza, hogy az önhivatkozás nem feltétlenül jelent indokolatlan egoista magatartást, hanem megfigyelhetően gyakoribb egyes szakterületeken, (pl. a fizika esetében), amit az adott szakterületen a felfedezések természete is magyaráz.
A hivatkozásmutatók értékelésbeli felhasználásának bírálata
Sokan vannak azok, akik „frontálisan” támadják a hivatkozásmutatók felhasználását az értékelésre (különösen személyek és intézmények esetében). A bírálatok leginkább a ma már a Web of Science-be beépült Science Citation Index-ből származtatott és az Institute of Scientific Information (ISI) által kidolgozva a „Journal Citation Reports”-ban (JCR) évente megjelenő hivatkozásmutatókat érik.
A rövidség kedvéért csak két szerzőre hivatkozunk e tárgykörben. Selgen, a bibliometriával is foglalkozó norvég onkológus-kutató néhány, a leginkább hivatkozottak közé tarozó írása az orvosi-biológiai területtel foglalkozik6. Éppen azzal, ahol az impakt faktor (a továbbiakban : IF) használatának „bubópestise” a legjobban elterjedt, nemcsak az impakt faktor növekedésén örvendező szerkesztőségi cikkek megszületésére adva alkalmat, hanem arra is, hogy ezzel kapcsolatban hamis versengések és hasonló jelenségek alakuljanak ki, amiken aztán cikkekben, levelezési rovatokban vitatkoznak. Selgen táblázatokkal, grafikonokkal pontosítja az IF-nek a tudományos irodalom értékelésére való használatával szembeni motivációit, melyek a következők:
- statisztikusan az IF nem szignifikáns az egy periodikumban megjelenő egyes cikkek értékelésére;
- az önhivatkozásokat semmi nem korrigálja az ISI Journal Citation Reportjában;
- a review-k és a terjedelmesebb cikkek – melyekre hangsúlyosabban hivatkoznak – inflálják egyes folyóiratok IF-jét;
- az IF konstrukciós folyamataiban nem veszik figyelembe a leveleket, az újságh(reket stb., amelyek egyes folyóiratok (mint pl. a Nature) esetében releváns részt képeznek;
- az adatbázisnak hiányos a lefedettsége (se könyvek, se webdokumentumok, se kongresszusi akták stb.);
- az adatbázist az amerikai és az angol nyelvű publikációk dominálják;
- egy cikk hivatkozási aránya befolyásolja egy folyóirat IF-jét, ám ez fordítva nem áll fenn.
Selgen arra is felhívja a figyelmet, hogy a nagy gyorsasággal fejlődő orvosi-biológiai területen a fejlődés hamar „túlteszi magát” egy-egy meghatározó, sokat idézett munkán, a Journal Citation Report viszont két évet vesz figyelembe, így könnyen előfordul, hogy a biokémiában, molekuláris biológiában egészen más hivatkozási trendek élnek.
A Római Egyetem matematika professzora, A. Figá Talamanca több ízben szólalt fel e témában. Egyik írásában7 (mely a Science Citation Indexben persze nem szerepel, hiszen nem az ISI-Thomson által figyelembe vett folyóiratok valamelyikében publikálta, és ráadásul olaszul) a Journal Citation Report indikátorainak teljes használhatatlanságát panaszolja, olyan szakterületeken, mint pl. a matematika, ahol a tudósok megszokott kommunikációs csatornái távol állnak a JCR által figyelembe vett tipikustól – vagyis a folyóiratcikktől – és a hivatkozások döntő többsége két évesnél sokkal régebbi publikációkra vonatozik.
Elég áttekinteni Selgen cikének a Web of Science szerinti kilencvennyolc hivatkozását, hogy észrevegyük, a JCR adat-használata egészen más az orvosi-biológiai szakterületen, mint a tudományban általában. A Nature 2002 február 14-i számának hírrovata rámutat arra a sok torzulásra, amiknek eredményeképpen egyre ritkább a konvergencia a sokszor idézett cikkek és azok minősége között. A cikk a JRC-t előállító cég kereskedelmi hátterével is foglalkozik, a Thomsont vádolva, mely az ISI-t megvásárolva kapitalista üzletet csinál az adatok eladásából, és visszasírva a régi, romantikus időket, amikor még Garfield volt az ISI „gazdája”.
A hivatkozási mutatók használata Olaszországban
Az ISI mutatóit számos országban használják a kutatóintézetek és az egészségügyi struktúra értékelésére. (Kari Raivio, a Helsinki Egyetem rektora írja a Nature-ben8, hogy tudomása szerint Finnország az egyetlen, ahol a folyóirat impakt faktort az ország jogszabályaiban kanonizálták, és kiszámítja, hogy egyetlen cikk, melyet egy nem kettes, hanem hármas impakt faktorral rendelkező folyóiratban publikáltak, akár 7000 dollár növekedést is eredményezhetett 2000-ben egy finn kórház költségvetési támogatásában.)
Olaszországban is megvásárolták az ISI adatait az 1981–1999 közötti olasz publikációkról, és alapos feldolgozás után közzétették annak eredményeit9, lehetővé téve a különféle finanszírozó bizottságoknak, hogy képet kapjanak a tudományos produktivitásról, ami számos más mutatóval együtt helyet kapott a pénzek, támogatások odaítélésének kritériumai között. A kutatások értékeléséről összeállított kötet10 ad szélesebb képet az olasz gyakorlatról. Megjegyzendő, hogy a tanulmányok nem az impakt faktort használják, hanem a hivatkozásokat („Citation Impact”), valamint hogy az olasz egyetemi rendszer értékelését végző országos bizottság (Comitato nazionale per la valutazione del sistema universitario) a brit „Research Assessment Exercise” alapján végzi tevékenységét. A kötetből az egyes egyetemek helyi kutatási finanszírozását befolyásoló eszközöket és módszereket is megismerhetjük.
Az egészségügyben is használják a hivatkozási mutatókat a tudományos jellegű egészségügyi intézmények értékelésében. Egy 2002-es minisztériumi körlevél részletesen leírja az értékelés céljait és azokat a kritériumok, amelyek alapján a publikációkat figyelembe veszik. Habár a kritériumok rendkívül pontosak, az alkalmazott indikátor a publikált dokumentumok évére vonatkozó impakt faktor – ez esetben tehát felmerülnek mindazok a problémák, melyeket Selgen vetett fel az IF használhatóságáról, éppen az orvosi-biológiai szakterületeken.
A hipertextes linkek és a nyitott archívumok hozta újdonságok
Borgman és Furner szemléje a hivatkozásoknak a hipertext-linkeken keresztüli módjait is bemutatja, hangsúlyozva, hogy a linkek nyilvánvalóan többdimenziósak: születhettek kutatási motivációból (vagy nem), lehetnek „szociális” és lehetnek technológiai motivációik is. Azok az új lehetőségek azonban, amelyeket a linkek kínálnak a kutatómunkában, igen nagy érdeklődésre tartanak számot, mind a tudomány, az új információk visszakeresése, mind az értékelés terén. A web használatának bibliometriai tanulmányozása (ami „webometria” nevet kapott11) meg tudja adni a használat mértékét, a hivatkozásokhoz egészen hasonló értelemben (ezért is hívják web impakt faktornak – WIF). Ám épp oly tekintélyes mértékben vitatják is, elsősorban a keresőmotorok működése miatt, melyeken ezek a számlálások alapulnak. A keresőmotorok saját „lefedettsége” ugyanis igen változatos, sőt, működésük is igen változékony, ingatag és gyéren dokumentált.
Mindenesetre az a kijelentés, miszerint szükség van a bibliometria olyan irányú fejlődésére, hogy magába foglaljon mindent, ami a hálózatokon jelenik meg, és „linkje van” más releváns tanulmányokhoz, szinte tautológiának tűnik, tekintettel mindarra, amit eddig az ISI indikátorairól elmondtunk. Elég még egyszer aláhúznunk, hogy Selgennek a British Medical Journalban publikált és on-line ingyen hozzáférhető cikke a Web of Science szerint 98 hivatkozást kapott, míg Figá Talamanca szintén „free online” munkája, melyet egy konferenciakötetben publikált, egyet sem. Egyébként a WOS kizárólag a kereskedelmi jellegű folyóiratokban megjelent publikációkat veszi figyelembe (és leginkább az amerikaiakat, és leginkább az angolul írottakat) és ignorálja a nyitott archívumok világát, a csak a weben közzétett konferenciai közleményeket, a folyóiratokon kívüli, a hálón publikált PDF dokumentumokat és így tovább.
Az elektronikus publikációkkal kapcsolatos kutatások párhuzamosan indultak az elektronikus források használatára vonatkozó kutatásokkal, ami a kereskedelmi elektronikus folyóiratok konzorciumi licensz-tárgyalásainak sarkalatos gazdasági témája. A kevésbé használt folyóiratok meghatározására szolgáló használati statisztikákat az értékeléstől csak egy kis lépés választja el, hiszen a szerzők nem szívesen helyezik el munkájukat archívumokban, ha nem tudják statisztikailag dokumentálni, hogy ki (hányszor, honnan és milyen módon) használta kézirataikat.
A digitális könyvtárak használatának tanulmányozása teljes egészében a szükségleteknek ebben az új közegében mozog, és sok tanulmányból azt láthatjuk, hogy az információk rendelkezésre állása a nyílt archívumokban (sokkal inkább, mint a licenszekkel fedett elektronikus periodikumokban) hatalmas mértékű könnyebbséget eredményezett a hozzáférésben és a használatban.
Alapvető fontosságú a használati szokások (usage pattern) tanulmányozása, azonban szükséges egy olyan kezdeményezés, mely ellenáll a használat mennyiségét számláló log file elemzés folyamatos kényszerének. Lényegében tehát szükséges egy JCR, azokról a publikációkról, melyek a nyílt archívumokban vannak elhelyezve, sőt, netán a személyes honlapokon lévőkről (amelyekről könnyen háttérbe tudnak szorulni, persze számos különböző okból kifolyólag).
Ezt a célt kívánja elérni az OpCit13 projekt, a CiteBase létrehozója, mely jelenleg a fizikai, informatika, információtudomány szakterületek archívumokba helyezett munkái „linkelésének” fázisában van. A projekt eredményeit a D-lib magazine-ban publikálták: S. Hitchcock, D. Bergmark, T. Brody, C. Gutteridge, L. Carr, W. Hall, C. Lagoze és S. Harnad „open citation linking”-ről (nyílt hivatkozási kapcsolatról) beszélnek, szemben a CrossRef14 által megvalósított „citation linking”-gel, ami viszont csak azoknak működik, akik olyan gazdag egyetemen dolgoznak, amely sok elektronikus periodikum licenszét engedheti meg magának (egy igen fontos kivétellel: a WHO sikeres licensz-alkujának köszönhetően a HINARI projektbe bevont szegény országok több mint 3000 elektronikus folyóirathoz és számos adatbázishoz tudnak hozzájutni).
A CiteBase a nyílt archívumokban elhelyezett publikációkból kiindulva hozza létre a munkák hálózatát, ahol idézetek és hivatkozások, kommentárok, kritikák, levelek és recenziók egyaránt „linkelve vannak”, így tehát mérhetővé válik a nyílt archívumokban publikált dokumentumok befolyása („impaktja”). Mindenképpen szükséges lesz azonban, hogy minden aktív nyílt (szabad hozzáférésű) archívum csatlakozzon ehhez a kezdeményezéshez.
Zárszó
Az internet korában a projektek sikere nagyrészt inkább az együttműködésen alapul, mintsem a belső és külső versengésen. A bevezetőben feltett, a könyvtárosoknak az értékelő tevékenységben való szerepét érintő szónoki kérdést mindezen körülmények közepette kell értelmezni. Az információs szakemberek abban a helyzetben vannak (ha jól tanultak és jól dolgoztak), hogy cselekvően kísérhetik az elektronikus publikálás átalakulását az oktatás és a kutatás területén.
Jegyzetek
GARFIELD, E.: Citation indexes for science: a new dimension in documentation through association of ideas. In: Science, vol. 122. 1955. no. 3159. pp. 108–111.
GARFIELD, E.: Citation indexing for studying science. In: Nature, vol. 227. 1970. no. 259. pp. 669–771.
CROOM, D. L.: Dangers in the use of the Science Citation Index. In: Nature, vol. 227. 1970. no. 263. p. 1173.
BORGMAN, C. – FURNER, J.: Scholarly communication and bibliometrics. In: Annual Review of Information Science and Technology, 36. vol. 2002. pp. 3–72.
GARFIELD, E.: When to cite. In: Library Quarterly, vol. 66. 1996. pp. 449–458.
SELGEN, P.O.: Citation rates and journal impact factor are not suitable for evaluation of research. In: Acta Ortopaedica Scandinavica, vol. 69. 1998. pp. 224–229.; Why the impact factor of journals should not be used for evaluating research. In: British Medical Journal. vol. 314. 1997. no. 7079. pp. 498–502.
FIGÁ TALAMANCA, A.: L’Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica. In: IV seminario Sistema informativo nazionale per la metamatica: SINM 2000: un modello di sistema informativo nazionale per aree disciplinari, Lecce, 2 ottobre 2000.
http://siba2.unile.it/sinm/4sinm/interventi/fig-talam.htm
Nature, vol. 415. 2002. no. 6873. pp. 726–729.
BRENNO, E. – FAVA, G.A. et al.: La ricerca scientifica nelle universitá italiane: una analisi delle citazioni della banca dati ISI. Roma, CRUI, 2002.
http://www.crui.it/pubblicazioni/ISI/ISI-imp.pdf
La valutazione della ricerca in Italia: repertorio di fondi Web, a cura di F.Rossi ed E.Stefani. Roma, CRUI, 2002.
http://www.crui.it/pubblicazioni.html
ALMIND, T.C. – INGWERSEN, P.: Informetric analyses of the World Wide Web: methodological approaches to „Webometrics”.In: Journal of documentation, vol. 53. 1997. pp. 404–426.
SNYDER, H.W. – ROSENBAUM, H.: Can search engines be used as tools for Web-link analysis? In: Journal of documentation, vol. 55. 1999. pp. 375–384.