A Tudománymetria: barát vagy ellenség? elnevezésű konferencia három intézmény képviselőinek hatékony közreműködésével valósulhatott meg. Bilicsi Erika (Magyar Tudományos Akadémia Könyvtár és Információs Központ, Szakinformatikai Osztály, a továbbiakban MTA KIK), Maróthy Szilvia (Digitális Bölcsészet folyóirat; Magyar Tudományos Akadémia Bölcsészettudományi Kutatóközpont) és Virág Gabriella (ELTE Egyetemi Könyvtár és Levéltár Oktatás- és Kutatástámogatási Osztály) azt a célt tűzték ki, hogy szem előtt tartva a tudománymetria fontosságát, felszínre hozzák annak vitatott hatékonyságát, ösztönözzék a megoldási javaslatok létrehozását és közös fórumot biztosítsanak oktatók és kutatók számára. Az esemény három szekcióban zajlott, amely egy 20 perces, részletes bemutató előadással kezdődött, ezt 5–10 perces hozzászólások követték. A szekciók végén az előadók a közönség, illetve egymás gondolataira reagálhattak egy kerekasztal-beszélgetés keretein belül. A konferencia helyszíne az MTA KIK tanácsterme volt.

Bilicsi Erika köszöntőjében elmondta: nem csupán egy egyszeri workshopot szerettek volna létrehozni, hanem egy állandó fórumot. Az állandóság döntéshozói szinten is változásokat szülhet, ha konkrét alternatívák és megoldási javaslatok, dokumentumok jönnek létre ezen diskurzusok eredményeként. A rendezvény apropója az Eugene Garfield által létrehozott Science Citation Index volt, amelyet 1963. november 30-án publikáltak először.

Az első szekcióban, mely a Tudománymetria és/vagy kutatásértékelés? címet viselte, az első előadó Soós Sándor (MTA KIK Tudománypolitikai és Tudományelemzési Osztály) volt. Hozzászólók: Borsi Balázs (Eszterházy Károly Egyetem), Szentpéteri Márton és Gyenge Zsolt (Moholy-Nagy Művészeti Egyetem), Péter Róbert (SZTE BTK Angol-Amerikai Intézet) valamint Vida Zsófia (MTA KIK Tudománypolitikai és Tudományelemzési Osztály). Az első szekciót Virág Gabriella (ELTE Egyetemi Könyvtár és Levéltár, Oktatás- és Kutatástámogatási Osztály) vezette.

Soós Sándor: Tudománymetria és/vagy kutatásértékelés?

Soós Sándor előadásában először a tudománymetriával kapcsolatos félreértéseket igyekezett tisztázni, ehhez a három leggyakoribb tévhitet prezentálta, melyek a következők: a tudománymetria publikációs statisztikák előállítása; a tudománymetria a tudományos teljesítmény mérése; a tudománymetria kutatásértékelés. Előadásában nagy hangsúlyt fektetett a Leideni manifesztumra, amelynek pontjai alapos áttekintést igényelnének: ez támogathatná a tudományterületi sajátosságok figyelembevételét is. Több pontját részletesen is ismertette például az adatgyűjtés- és elemzés folyamata legyen nyílt, látható és egyszerű; figyelembe kell venni a tudományterületek eltérő publikációs és idézési szokásait; valamint kerülni kell a mérőszámok értékeinek abszolutizálását és felesleges precizitással való alkalmazását.

Megkérdőjelezte a peer review és a magasan jegyzett folyóiratok korrelációját; és aggályát fejezi ki az impakt faktorral kapcsolatban. Felmerült a kérdés: vajon a mérőszám értelmezésével van a baj?

Magyarországon a döntéshozók az MTMT-t használják értékelésre, ugyanis ez az a rendszer amelyből olyan adatok nyerhetők ki, melyeket figyelembe tudnak venni a pályázatok kiértékelésénél.

Borsi Balázs: Tudománymetria és benchmarking: házasság szerencsés csillagzat alatt?

Borsi Balázs a tudománymetriát – közgazdász szemmel – mint menedzsmenttudományt közelítette meg.  Alapvetően úgy gondolja, a tudománymetriában is alkalmazható lenne a gyakorlat és a teljesítmény elve. Hozzászólása a benchmarking alapelveinek ismertetésével kezdődött, amelyek többek között a következők: fókuszált vizsgálat; szakszerű mérés kvantitatív és kvalitatív eszközökkel; teljesítmény és gyakorlat kettéválik, melyben helyet kap a kontextus; célja a tanulás: az eredményeinkből tanuljunk, lássuk, hogy hol kell beavatkozni, hol és miben kell még fejlődni; csak az összehasonlítható dolgokat hasonlítsuk össze; illetve a módszer alkalmazására való törekvés. Úgy gondolja, hogy a tudománymetriánál is fontos volna, hogy ne csak a teljesítményt vizsgáljuk, hanem az ahhoz vezető gyakorlatot, és vizsgáljuk meg az a mögött rejlő kontextust.

Szentpéteri Márton és Gyenge Zsolt: Valódi értékek a tudományban

Szentpéteri Mártont el sem gondolkodtatja a konferencia címében szereplő kérdés: a tudománymetria szerinte a mai társadalom ellensége, a neoliberális gazdaság szüleménye. Szentpéteri elmondta, nem egy tudományos tény, hogy meg kell felelnünk az elvárásoknak. Úgy véli, a döntéshozók által meghozott döntések nem egy ideológiailag független térben zajlanak. Gyenge Zsolt egyetértett Szentpéteri Márton véleményével megoldásként javasolta többek között az impakt faktor kiváltását, a kvalitatív mérési módszereket, valamint az open access publikálást, amely a tudománynak nagyobb láthatóságot és átláthatóságot biztosítana. A tudománymetria révén a kutatóknak „kötelességük” tudományterülettől függetlenül minél magasabban rangsorolt folyóiratokban minél magasabb számú publikációt megjelentetni, és véleménye szerint egyre erősebben érvényesül a publikálj vagy pusztulj elv.

Péter Róbert: Tudománymetria a (digitális) bölcsészet szemszögéből

Péter Róbert szerint a bölcsészettudomány mindenképpen hátrányban van a természettudománnyal szemben. A nemzetközi adatbázisokban való megjelenés a nyelvi, illetve a dokumentumtipológiai szempontok miatt is rendkívül nehéz. Ezen a tudományterületen hazánkban leginkább magyar nyelvű publikációk születnek: többnyire monográfiák, szakkönyvek. Péter Róbert hozzászólásában gyakorlati problémákat fogalmazott meg a tudománymetriával szemben. Ezek egyike, hogy sokévnyi munkával felépítettek egy adatbázist, ami az MTMT-ben ez egyéb/nem besorolt kategóriába került. Véleménye szerint egy másik probléma lehet a h-index, amely egy (önidézésekkel) könnyen befolyásolható mérőszám. Másfelől pedig szerinte aggályos a negatív megítélésből idézett közlemények jelenléte: azaz a negatív idézettség.

Vida Zsófia: Puha és kemény tudományok viszonya a tudományos térben

Vida Zsófia a Web of Science segítségével előállított tématerületi térképekkel bizonyította, hogy látványos és érdekes összefüggések tárhatók fel az adatbázis használatával. Hangsúlyozta az MTMT fontosságát is, ugyanis: jelenleg ez a nemzeti tudományos biliográfiánk, amely – hibáival és esetlegességeivel együtt is – a teljességre törekszik, amelyre még a nemzetközi adatbázisok sem képesek. Rendkívül fontos az, hogy kutatóként ismerje a „nagy neveket”, illetve a magas számú publikációval rendelkező szerzőket az adott tudományterületen – elsősorban ezen információk segítségével fog nekilátni a kutató a kutatómunkának.

Az első szekció kerekasztal-beszélgetése

Elsőként Holl András (MTA KIK informatikai főigazgató-helyettes) kért szót, aki a kutatói áldozat szerepre, illetve az MTMT2-őt ért kritikákra reagált. Elmondta, hogyha a Marsra költözne a kutatói közösség az MTMT-vel, és ott mindenkit annak megfelelően értékelnének, hogy milyen szempontok jók a kutatóknak, az is kudarchoz vezetne. Muszáj a társadalom elvárásait követni, ez adhat jelenleg keretet a kutatói közösség számára. Tudományterületenként eltérő az MTMT-s szakterületi táblázatok tartalma, és az ezekben érvényesülő feltételeket az MTA adott tudományos osztálya határozza meg – e szerint tudják érvényesíteni a beállításokat az MTMT munkatársai az adatbázisban. Szentpéteri Márton kifejtette kutatóként ellenállást kell tanúsítania és a szempontrendszernek ideológiailag független térben kell megszületnie. Bíró Tamás (Országos Rabbiképző – Zsidó Egyetem, egyetemi docens, rektorhelyettes) rámutatott a „negatív idézés” pozitív hozadékára: abban az esetben sem számítana a negatív idézés, ha a kétes megítélésű publikáció hatására új nézőpontok kerülnek előtérbe?

Demeter Márton (NKE ÁNTK Társadalmi Kommunikáció Tanszék) az átláthatóságra hívta fel a figyelmet: a kutatónak fontos lenne tudnia, hogy kitől kap szakvéleményt, hogy megfelelően tudjon reagálni egy a doktorinál használatos módszerre. Dér Ádám (MTA KIK Szolgáltatásfejlesztési Osztály) Soós Sándor előadására reflektált, miszerint van korreláció a magasan jegyzett folyóiratok és azok lektoráltsága között, és egy olyan tendenciát azonosít, miszerint minél kevesebb publikáció jelenik meg egy-egy magas mérőszámmal rendelkező folyóiratban, annál nagyobb lesz az adott közlemény hatása.

A második szekció a Hétköznapi tudománymetria elnevezést kapta.

A workshop ezen szakasza Rusvai Mónika (MTA KIK Tudománypolitikai és Tudományelemzési Osztály) előadásával kezdődött, Lantos Edit (MTA Könyvtár és Információs Központ), Demeter Márton (NKE ÁNTK Társadalmi Kommunikáció Tanszék), valamint Nagy Gyula (SZTE Klebelsberg Könyvtár) hozzászólásaival folytatódott. A konferencia ezen szakaszának moderátora Bilicsi Erika volt.

Rusvai Mónika: A bölcsészettudományok monstruitása

Rusvai Mónika előadásában azt elemezte, hogy milyen nehézségekkel kell szembenéznie a bölcsészet- és társadalomtudományok területén (Social Sciences and Humanities = SSH) kutatóknak, s ehhez igyekezett megoldási javaslatokat, alternatívákat hozni. Az alapvető probléma, hogy a természettudományokban alkalmazott kvantitatív és kvalitatív eszközkészlet igen korlátozott módon áll a tudománymetristák rendelkezésére, s igencsak nagy gondot jelent az SSH terület elemzése. Alapvetően öt problémás területet tárgyalt: a bölcsészettudományok lefedettsége alacsony a nemzetközi adatbázisokban; az SSH terület nagyobb mértékben publikál monográfiákban, illetve könyvfejezet alapú művekben; a természettudományban használatos rövid időablakok nem teszik lehetővé a bölcsészettudomány szerkezetének elemzését; a természettudományok területéhez képest nem jellemzők a többszerzős publikációk, így az idézettség  is lassabb ütemű fejlődést fog mutatni; továbbá az angol nyelv van túlsúlyban a nemzetközi adatbázisokban, míg hazánkban a hazai bölcsészettudományi területen leginkább magyar nyelven publikálnak.

Megoldást jelenthet az SSH területek szerkezetének, összetételének vizsgálata, és a természettudományi területhez hasonló metrika létrehozása. A másik lehetőség pedig, hogy a természettudományi módszerektől radikálisan eltérő, a bölcsészettudomány sajátosságait figyelembe vevő új rendszert hozunk létre.

Összegzésként Rusvai Mónika elmondta, hogy a tudománymetriának nem célja a rendszerbe kényszerítés, és hogy egymás ellen fordítsa a különböző tudományterületek kutatóit, hanem alternatívát kínál, hogy mindenki megismerhesse a saját területének szerkezetét, és ezzel a tudással hatékonyabb működésre sarkalljon.

Lantos Edit: Egy egyszerű esettanulmány

Lantos Edit hozzászólásában egy rendkívül alaposan összeállított gyakorlati példát mutatott be annak reprezentálására, hogy mit tud tenni az a kutató, aki egy kevéssé trendi témában publikál. Előadása összeállításához a Web of Science és a Scopus adatbázisokat vette alapul, illetve számos olyan repozitóriumot említett meg, amely az idézetek keresését segíti. Bemutatta, hogy azonos kulcsszavak keresésével milyen találati halmazokat kap a nemzetközi adatbázisokban.

Visszatérve a korábbi előadások témájához megjegyezte: igen, az önidézésre szükség lehet/van, mert a pályázatok szempontjából ezen idézetek is rendkívül hangsúlyosak lehetnek.

Demeter Márton: Tudománymetria: minőségbiztosítás vagy retorikai fegyver? Tudománymetriai mérések felhasználása a tudományos és közéleti diskurzusban

Demeter Márton egyetértett a korábbi szekcióban elhangzott Szentpéteri Márton és Gyenge Zsolt véleményével, ugyanakkor hozzátette, nem ideológiai, hanem stratégiai szempontból kell alkalmazkodnunk a jelenlegi világhoz. Ezt követően az MTMT-vel kapcsolatban fogalmazott meg kritikát, miszerint több olyan közleményt is talált már a rendszerben, amely teljesen téves adatokkal rendelkezett.

Az előadó felhívta rá a figyelmet, hogy egy releváns és igazságos, az egyéni szimpátiától és beállítottságtól független kritériumrendszerre volna szükség, amely mindenki számára egyenlő és mindenki be is tartja azt. Nem csupán a tudósközösség, de a társadalom érdekeit nézve is kiemelten fontos feladat volna egy új szempontrendszer felállítása. Véleménye szerint a tudománymetria egy olyan terület, amelynek számos következménye lehet (pl. a pályázatok elbírálásánál), éppen ezért egy transzparens rendszerre volna szükség, amelyben nyomon követhetővé válna, hogy ki mit mondott, és hogy lehetőség legyen reagálni a kapott kritikákra.

Nagy Gyula: Tudománymetria egy tudományegyetemen 

Nagy Gyula már hozzászólása elején leszögezte, hogy nincs jó megoldás, a jelenlegi rendszerben kell valamilyen szintű megoldást, alternatívát találni. A hazai kiadású folyóiratoknak minél nagyobb reprezentációt kell biztosítani a nemzetközi adatbázisokban, ami persze a mostani feltételrendszer mellett nem egyszerű feladat. Véleménye szerint több tudománymetriai mérőszámra volna szükség.

Hozzászólásában a Szegedi Tudományegyetem Klebelsberg Könyvtár oktatás- és kutatástámogatási tevékenységét ismertette, s példaként a Szegedi eszköztárat említette meg, illetve prezentálta a legújabb szolgáltatásukat, a Scopus profiltisztítást, amelyet a tudósközösség igényei szerint alakítottak ki. Ez jobb tudománymetriai mérőszámok eléréséhez, hatékonyabb visszakereshetőséghez, nagyobb idézőszámhoz és bővebb, pontosabb publikációs listához vezethet.

Kiemelten fontos feladatnak tartja a repozitórium építését, fejlesztését, illetve annak további szolgáltatásokkal (pl. Altmetrics mérőszámok megjelenítése) való bővítését.

Összegzésként elmondta, úgy látja, hogy a szerzők sokkal tudatosabban teljesítik a kötelességeiket, könyvtárosként pedig proaktivitásra volna szükség, a lehetőségekre nyitottan reagálva kell támogatni őket.

A második szekció kerekasztal-beszélgetése

Elsőként Holl András kért szót, aki rögtön reagált az MTMT2 kapcsán felmerült kritikákra. Elmondta, hogy az MTMT önfelvitelen alapszik, és lehetetlen feladat kiszűrni a rendszerbe felvitt összes téves adatot, de ezek a pályázatok elbírálása során kitűnnek, javításra kerülnek. Ez egy bibliográfiai adatbázis, nem csupán az értékelésre lehet használni. Az MTMT-vel kapcsolatban vannak törekvések, például, hogy a kiadók és szerkesztőségek vegyék fel a megjelenő publikációk bibliográfiai adatait, illetve megjegyzi, hogy a rendszerben már lehetséges választani az úgynevezett Frascati osztályozások közül – ennek segítségével pedig még kifinomultabb adatok kinyerésére lesz alkalmas a rendszer.

Lantos Edit kiemelte, hogy az elmúlt időszakban azt tapasztalja, hogy a szerzők – a kezdeti felháborodást követően – egyre jobban kezdik megkedvelni az új rendszert. Rávilágított, hogy már nem csupán tudományosztályozást, de kulcsszavakat is meg tudnak adni.

Bilicsi Erika felhívta a figyelmet az MTA KIK DOI regisztrációs tevékenységére, mellyel bátorítani szeretné a kutatói közösséget az azonosító használatára.

Soós Sándor megjegyezte, hogy a tudománymetriát nem az egyéni érdekek miatt alakították ki.

Bilicsi Erika Demeter Mártont – mint főszerkesztőt – a KOME folyóirat nemzetközi adatbázisokban (Scopus, Web of Science) való indexálásáról kérdezte. Demeter Márton ismertette, hogy a kiadvány a Scopusban megjelenik, míg a Web of Science-be való bekerülés egy összetettebb folyamat.

A harmadik szekció az Alternatív mérési módszerek címet viselte.

Dér Ádám (MTA KIK Szolgáltatásfejlesztési Osztály) előadását Görögh Edit (Debreceni Egyetem Egyetemi és Nemzeti Könyvtár) hozzászólása követte. Ennek a szakasznak Maróthy Szilvia volt a moderátora.

Dér Ádám: Alternatív mérési módszerek

Dér Ádám először egy kutatást ismertetett amelyből kiderült, hogy a legtöbben az impakt faktort használják a tudománymetriai mérőszámok közül, s ennek kapcsán megjegyezte, hogy a mai mérőszámok igen lassúak. Megemlítette a DORA deklarációt, illetve a San Francisco Declaration on Research Assessment-et, amelyek új indikátorok létrehozását és alkalmazását sürgeti.

Jó példaként megemlítette a Research Excellence Framework (REF) használatát, amely az Egyesült Királyságban terjedt el. Ez a tudománymetriai mérőszám megmutatja, hogy az adott tanulmány milyen hatással volt a gazdaságra, társadalomra, kultúrára stb., illetve milyen haszonnal bírt. Dér Ádám itt fontosnak tartotta megismételni Borsi Balázs gondolatait, miszerint a teljesítmény mérése során meg kell különböztetni a teljesítményt az azt lehetővé tevő gyakorlattól.

Ezt követően bemutatott pár alternatív módszert (Altmetrics, PlumX, Impactstory), s ezek közül részletesen ismertette az Altmetricset. Ismertette, hogy ennek milyen adatok lehetnek a forrásai. Itt fókuszba került például a Twitter, amely tekintetében, ha a legutóbbi időszak trendjeit vizsgáljuk, igen erős bulvárosodást tapasztalhatunk.

Görögh Edit: A tudományos értékelés újragondolva

Görögh Edit az alternatív értékelési módszereket egy átfogó, komplex Open Science osztályozási ábrával vezette be. Hozzászólásában ő is kiemelte a REF tudománymetriai értékét, illetve kitért az Altmetrics forrását jelentő Twitterre. Utóbbiról úgy nyilatkozott, hogy ez egy eszköz a transzaparenciára, még akkor is, ha Magyarországon ennek a közösségi médiumnak nincs akkora kultúrája, mint más országokban. Hangsúlyozta a könyvtárosok tudományos kommunikációban betöltött szerepét. Rávilágított, hogy könyvtárosként ismernünk és támogatnunk kell a szerzői azonosítók létrehozását, a DOI regisztrációt, a repozitóriumi fejlesztést, illetve az Open Access publikálási lehetőséget.

Open Science Taxonomy (Forrás: www.fosteropenscience.eu/)

Záró kerekasztal-beszélgetés

Holl András az alternatív metodikákkal kapcsolatban megjegyezte, hogy ezen eszközök a későbbi idézettséget generálhatják. Görögh Edit óvatosságra intett, körültekintően kell bánni az Altmetrics mérőszámaival. Demeter Márton elmondta, hogy az alternatív módszerek egyik hátránya azok könnyed kijátszhatósága, azonban a DEENK munkatársa szerint az impakt faktor is olyan mérőszám, amely manipulálható.

Ezen a ponton került szóba a ResearchGate, illetve az Academia.edu tudományos közösségi oldalak jelenléte és hatása. Holl András szerint ezen szolgáltatások célja, hogy felvásárolja őket egy multinacionális cég; továbbá elmondta, hogy etikát, szerzői jogokat nem ismerve, nem fair eszközökkel osztanak meg tartalmakat.

Dér Ádám felvetette, hogy jutalmazási rendszerre volna szükség az átláthatóbb tudományos publikáláshoz. illetve együttműködésekre vagy az intézmény által kifizetett APC díjakra. Itt szembekerül egymással a „felülről való megkövetelés”, illetve a jutalmazás elve; utóbbi mindenképpen jobb benyomást keltene a kutatói közösségben.

A PlanS előírja a repozitóriumi elhelyezést, s annak kialakítási feltételeiről részletesen ír. Holl András emlékeztetett, a lemaradó országok nem fogják tudni teljesíteni a magasabb technikai instrukciókkal kialakított tudástárakat.

Virág Gabriella zárószavai egyben összefoglalták a workshop tartalmát. Véleménye szerint ahhoz, hogy a tudományos kommunikáció gördülékeny és zökkenőmentes legyen, szükséges, hogy a kutatói és tudós közösség megkapja a megfelelő támogatást. A könyvtárosoknak aktívnak kell lenniük, ismerniük kell a DOI regisztráció menetét, támogatni kell a szerzői önarchiválást, a repozitóriumi elhelyezést, illetve a repozitóriumok fejlesztését, valamint ismerniük kell az open access-szel és open science-szel kapcsolatos trendeket. A tudományos kommunikáció mozgatórugója lehet a könyvtár hatékony oktatás- és kutatástámogatási tevékenysége. Virág Gabriella Soós Sándor előadására is reflektált. Szerinte kiemelten fontos feladat egy átlátható keretrendszer létrehozása, amelynek folyamatában a kutató, a könyvtáros és a döntéshozó együttesen vesz részt.

Maróthy Szilvia megköszönte a színvonalas előadásokat, és bátorította az előadókat, hogy az itt elhangzott előadásokból szülessenek publikációk a Digitális Bölcsészet folyóirat számára.

A konferencia nem azzal a céllal jött létre, hogy megválaszolja a címben felvetett kérdést, miszerint a tudománymetria barát, vagy ellenség. Sokkal inkább hasonlított egy többórás brainstormingra, ahol kutatók és könyvtárosok saját nézőpontjukból mutatták be a tudománymetriával kapcsolatos álláspontjukat.

A konferencia honlapjának elérhetősége:
http://openaccess.mtak.hu/index.php/esemenyek/12-tudomanymetria-barat-vagy-ellenseg