A hivatkozásszám nő, az elavulás csökken. Van-e kapcsolat?

Marton János – Radó Rita – Sramek Réka

Bevezetés

A tudomány információból állít elő információt. E szakadatlan, hol gyorsabb, hol lassúbb folyamatban a meglévő ismeretek kiegészülnek, megváltoznak, igazolást nyernek, vagy érvényüket vesztik. Kérdés, válasz, pontosítás, korrigálás, cáfolás, e mozzanatok képezik a tudományos viták folyamatát, amelyben az igazság körvonalazódik, alakot ölt, fejlődik, kiteljesedik.

Az előrehaladás következménye, hogy a tudományos eredmények előbb-utóbb közismertté, vagy meghaladottá válnak. Mindkét folyamat oda vezet, hogy az idő előrehaladtával csökken a valamely tudományos eredményről beszámoló közlemény felhasználása. Ismeretelméleti álláspontunk az, hogy az elavulás nem minősíti a tudományos eredményt, nem jelzi téves, vagy egyéb módon fogyatékos voltát. Éppenséggel a nagy felfedezések azok, amelyeknek kezdeti nagy visszhangja nemritkán gyorsan lecseng, azzal együtt, ahogy közismertté válnak. Idézik még őket, de korántsem a használat mértékében.

Az elavulás a bibliometria talán legbizonytalanabb szakterülete. Ma, 40 éves „fejlődés” után ott tart, hogy szinte semmit se lehet fenntartás nélkül kijelenteni, még a statisztikai vizsgálatokkal kapcsolatosan sem, nemhogy ismeretelméleti vonatkozásban, pontosabban szinte mindennek az ellentétét, illetve tagadását is kimutatták egyesek.

A kérdés azonban érdekesebb és fontosabb annál, semhogy félresöpörjék, vagy feladják kutatását a bibliometria művelői. Szinte minden jeles kutató végzett vizsgálatokat az elavulás területén, nem az érdeklődés hiányán múlt tehát az, hogy nem lehet végleges igazságokat felmutatni.

Az elavulás vizsgálatára a folyóiratcikk hivatkozásokat használják legkiterjedtebben. Hatalmas lökést adott ennek, amikor 1975-ben először kiadták a Science Citation Indexnek (SCI) a Journal Citation Reports (JCR) c. mellékletét, benne az összes referált folyóirat által adott hivatkozások és kapott idézetek év, és idézett/idéző folyóirat szerinti bontásával. Ezzel a korábban fáradságos és időtrabló kézi idézetelmezési vizsgálatok sokat vesztettek értékükből, különösen, ha csak olyan módszereket alkalmaztak, amiket az SCI JCR-ből is reprodukálni lehet.

Valószínűleg erősen hozzájárult az elavulási vizsgálatok népszerűségéhez az a párhuzam, amelyet Burton és Kebler fedezett fel 1960-ban: a valamely folyóiratévfolyam cikkeiben található hivatkozások koreloszlása időben visszafelé haladva exponenciálisan csökken, s ebből következően ugyanezt teszi valamely cikk/cikktömeg megjelenés utáni idézettsége is. Itt jegyezzük meg, hogy kétféle módon vizsgálható az idézettség időbeli alakulása: szinkron vizsgálatról beszélünk akkor, ha az idéző cikktömeg változatlan (pl. a jelen évből való), szemben a diakron módszerrel, amelyben az idézett cikktömeg azonos, s ennek idézettségét követik a későbbi években.

Az idézettség exponenciális csökkenése párhuzamba állítható (meg is tették) a radioaktív elemek sugárzásának időbeli csökkenésével. Erre is, arra is kimérhető a felezési idő. A felfedezők nagyobb örömére az is kiderült, hogy az elavulás „sebessége” szakterületenként más és más. Érdekes módon nincs viszont különbség a hivatkozások koreloszlásában a társadalomtudományok és a természettudományok egésze közt (Leavy 1983, Glänzel és Schoepflin 1999).

A divat hamar felkapta a témát, sikk lett a gyors elavulásról mint a gyors fejlődés jeléről beszélni. Vizsgálatözön indult el, s tart máig is, többnyire zavartalanul beszélve az elavulásról (aging, obsolescence, obliteration), pedig egyre sűrűbb felhők gyülekeztek az ismeretelméleti horizonton. A talált eredmények nemhogy nem vágtak össze a várakozásokkal, hanem egyenesen fordított képet adtak: a szerzők, országok, folyóiratok, témák számára saját közleményeik avultak el leggyorsabban. Egyesek kétségbe estek és fűt-fát összehordtak (Barinova és mtsai. 1967), mások a teljes ismeretelméleti értelmezhetetlenség álláspontjára helyezkedtek: „az informatikai felezési idő ... nincs kapcsolatban a tudományos szakirodalom avulásának sem a tényleges, sem a tudományos, sem ... az informatikai fajtájával”. (Száva-Kováts 1979) Mi hát akkor? – kérdezhetné valaki. Van válasz, bár ez a tagadással ellentétben nem ismeretelméleti jellegű: „Az informatikai felezési időnek nevezett bibliometriai mérőszám a ... hivatkozások publikációs életkor szerinti szóródásának egyik mutatószáma.” (Száva-Kováts 1979)

Ennyire azért nem vigasztalan a helyzet. Már 1965-ben zseniális ötlettel jelentkezett a tudománymetria megalapítója és máig legjelentősebb személyisége, Derek Price, amit azonban hiába támasztottak alá mások adatai (Griffith et al., 1979, Parker 1982, Marton 1985), nem tört át máig sem, nem vált közkeletű ismeretté. Price a fejéről a talpára állította az elavulást: bevezette az újdonság effektus fogalmát (immediacy effect) miszerint nem a régebbi cikkek idézettsége esik, hanem ellenkezőleg, az új cikkek kapnak több és több idézetet újdonságuk mértékében. A fent említett ismeretelméleti ellentmondásokat mindenesetre kiküszöböli az újdonságeffektus. Részletesebben tárgyalja a jelenséget (Marton 1999).

Hosszú és érdektelen felsoroláshoz vezetne, ha végigmennénk minden vizsgálaton, amely valamely területen az idézés, vagy a könyvtárhasználat adataiból levonja, hogy van, vagy nincs elavulás. Egy elvi felvetésről kell itt megemlékeznünk: hamar rájöttek, (Line 1974) hogy a puszta idézetszámok félrevezetők a tényleges elavulást illetően: figyelembe kell venni a szakirodalom növekedését is, amely szintén exponenciális (többnyire). Mivel azonban valamely szakterület irodalmában egyáltalán nem csak a szorosan odatartozó irodalmat idézik, a korrekció legalábbis nehézkes. Ha Braun és mtsai. (1977) adatai alapján akarná valaki kiszámítani a „valós” elavulást a radioanalitikai kémiában, arra jönne rá, hogy a használat fokozódik (!) az időben visszafelé haladva, mivel a szakterület növekedése gyorsabb, mint a cikkeiben lévő hivatkozások lecsengése.

A szakirodalom növekedésének mondvacsinált kiküszöbölése helyett jobb képet ad a tényleges elavulásról a valamely téma hoszszabb időszakot átfogó szakirodalmának tényleges használata. Ez úgy történik, hogy az idéző közlemények által adott hivatkozásokból a megfelelő évi idézett cikkekre jutók számát elosztják az illető (idézett) évi cikkszámokkal. Az így kapott idézetsűrűség (citation density) adatok koreloszlása megfelel a tényleges használtság mértékének (Gupta 1990). Gupta e cikkében magáénak állítja az elsőséget az idézetsűrűség segítségével való elavulás kimutatásban, ám saját munkáinkból is ismerünk korábbit (Marton 1983).

Az elavulás vizsgálatában elég nagy nehézséget jelent, hogy az időeloszlási függvény nem teljes hosszában exponenciális. Valamely folyóirat (hogy példával szemléltessük a dolgot) cikkeire jutó idézetek mennyisége (idézetsűrűség) a publikáció évében alacsony, ezt egy erős felívelés követi, majd általában a 2-4. évben maximumot ér el az idézettség, s ezt követi az exponenciálisan csökkenő szakasz. Egy tipikus idézetsűrűségi eloszlást mutatunk be az 1. ábrán. Kimutattuk, hogy az első évekre eső felívelés erőssége és koraisága magas korrelációt mutat a lecsengés sebességével (Marton 1985). Ez is az újdonság effektus mellett szól.

A felívelés és a lecsengés sebessége egyes mérések szerint minden kombinációban (lassú és gyors felívelés, lassú és gyors lecsengés) előfordulhat a folyóiratokban, illetve az általuk kapott idézetek eloszlásában (Moed et al. 1998). Ennek a jelenségnek fontos szerepe van a folyóiratok relatív idézettségét tükröző impakt faktor esetében. Az impakt faktor egyszerűen fogalmazva valamely folyóirat tavalyi és tavalyelőtti cikkeinek idei átlagos idézettsége (Garfield 1972). Az impakt faktor rendszeres kiszámítását is a fent említett SCI JCR tette lehetővé. Természetszerűleg csak az SCI-ben referált folyóiratoknak van impakt faktora, és az is természetes, hogy csak az SCI folyóiratbázisától kapott idézeteiket veszik figyelembe. Mármost, ha egy folyóirat „későn érő”, azaz mondjuk csak a 4. évben éri el idézettsége a maximumot, akkor a 2-3. évek alapján számított impakt faktor alapján nem a legjobb idézettsége szerint nyer besorolást (Moed et al. 1998). Vinkler (1999) ennek a várakozásnak ellentmondva a különböző „időablakokkal” (2, 5 és 10 év) számított impakt faktorok szerinti rangsorok nagymértékű hasonlóságát mutatta ki a kémiai folyóiratoknál. Metcalfe (1995) különböző szakterületek folyóiratait összehasonlítva kimutatta, hogy impakt faktoruk szoros korrelációban van az általuk adott hivatkozásokból az első két évre adottak százalékértékével. Marton (1985) az impakt faktor és az elavulási hányados közt állapított meg magas korrelációt hét élettudományi szakterületen.

Itt jegyezzük meg, hogy a felezési időt nem egységesen értelmezik a szakirodalomban. Vannak, akik az exponenciális szakaszban mért elavulási hányados (a szomszédos évek hivatkozásértékeinek hányadosa) alapján számolnak, ahogy ez megfelel a radiofizikai analógiának (Griffith et al. 1979, Marton 1985), és vannak, akik (nyilván praktikus okokból) azt az időt számolják ki, amely az illető idézettömeg felét tartalmazza (Burton és Kebler 1960, Száva-Kováts 1979). Használják emellett az átlagos életkort is a hivatkozások koreloszlásának jellemzésére (Glänzel és Schoepflin 1999).

Price egy igen egyszerű mérőszámot dolgozott ki (Price 1971), az ún. Price indexet, ami nem más, mint a vizsgált hivatkozás, vagy idézettömegből (hivatkozás, amit adnak, idézet, amit kapnak a cikkek) az első öt évre esők százalékaránya. Kimutatták (Glänzel és Schoepflin 1994; Egghe 1997), hogy a Price index jó korrelációban van a felezési idővel és az elavulási hányadossal, ha a felezési idő 15 éven belülre esik. Az esetek túlnyomó többségében ez a helyzet. A Price index (PI) és a felezési idő (t_1/2) közt a következő összefüggés áll fenn (Marton 1981):

t_1/2 = 1,505/(2-log(100-PI))

Griffith et al. (1979) kimutatták, hogy az SCI összes folyóiratából számított hivatkozáseloszlásnak 0,89 az elavulási hányadosa (a szomszédos évek értékeinek hányadosa) a kezdeti, kb. 20 éves időszakban, s arra is rámutattak, hogy ettől mindössze egy századra, 0,88-nál van az az elavulási hányados, amelynél a Price index éppen a felezési idővel esne egybe. (A gyakorlatban, mivel az első öt évben a felívelési szakasz is benne van, még ha a lecsengés pontosan megfelel is a 0,88-as elavulási hányadosnak, a Price index értéke kisebb lesz a felezési időnek megfelelő 50%-nál.) Mindenesetre elmondható, hogy a Price index érdemi mutatója a szakirodalom elavulásának.

A hivatkozáseloszlások általában nem „passzentosan” illeszkednek az exponenciális görbéhez. Ez a tény többeket arra indított, hogy megkérdőjelezzék az exponenciális eloszlást, amely szorosabban véve nem is exponenciális, hanem lognormál eloszlás (Egghe 1997). Peterson (1988) lineárisnak látta a maximum utáni szakaszt, bár elismerte, hogy ez lehetetlenség, hiszen akkor a görbének metszenie kellene az x tengelyt, s ezt követően a hivatkozások negatív értéket vennének föl... Pollmann (2000) ezzel ellentétben hiperbolikus függvényt talált legjobban illeszkedőnek egy vizsgált bibliográfiához, s azt is megállapította, hogy ugyanilyen függvénnyel írható le az emberi felejtés is. Vár még feladat a statisztikára.

Többen is megállapították, elsőként (Száva-Kováts 1976), hogy a hivatkozások időbeli csökkenésének mértéke - az informatikai felezési idő - a várakozásokkal ellentétben nem rövidül, hanem hosszabbodik, ahogy előre megyünk időben, azaz az idézetek elemzéséből nem következik az ismeretek annyit emlegetett gyorsuló elavulása. Száva-Kováts az információrobbanás előtti és utáni kort 1939-1969 hasonlította össze, s mérései birtokában a fentebb bemutatott ismeretelméleti álláspontra helyezkedett. Megközelítése azonban kiegészítést kíván. A felezési idő hosszabbodása nincs kapcsolatban az információrobbanással, hanem egy folyamatos, azóta is tartó jelenség (Garfield 1979, Marton 1981, Leavy 1983).

Ugyancsak folyamatos jelenség a tudományban a folyóiratcikk hivatkozások egy cikkre jutó értékeinek növekedése (Garfield 1977, Száva-Kováts, 1979, Marton 1981, Yitzhaki 1991). Önként adódott a kérdés, hogy van-e összefüggés a két jelenség közt. Ezt eddig senki sem vizsgálta, ezért vállalkoztunk rá.

A folyóiratcikkekben nemcsak folyóiratcikkekre hivatkoznak. Kérdés, hogy az egyéb publikációknak milyen elavulási sajátságai vannak, hogyan befolyásolják az általános képet. A kérdés ismeretelméleti vonatkozása, hogy van-e és milyen mértékű a folyóiratok, illtve a folyóiratcikkek mint a prioritást meghatározó információforrások előretörése a tudományban.

Az élettudományban a konferencia publikációk száma többszörösen felülmúlja a folyóiratcikkekét. (A Szent-Györgyi Albert Orvostudományi Egyetemen 1998-ban 507 folyóiratcikkre 1344 konferencia publikáció jutott.) A kétféle publikációtípus azonban korántsem egyforma súlyú. Az MTA Szegedi Biológiai Központ kutatói által írt folyóiratcikkek idézettsége hatszorosan (!) múlta felül a teljesszöveges előadáspublikációk idézettségét (Marton 1991). Ez utóbbiak száma egyébként csak egyötöde volt a folyóiratcikkekének. A legtöbb konferencia közlemény ugyanis csak előadáskivonat, ú. n. abstract. Ezeknek szinte semmi tudományos súlyuk nincs, amit jól érzékeltet az, hogy mint Goldman és Loscalzo (1980) kimutatták, az orvostudományi folyóiratokban az idézetek maximum 5%-át kapták előadáskivonatok, az esetek nagyrészében azonban az 1%-ot sem érte el részesedésük. Az 1976-ban publikált orvostudományi előadáskivonatok 1979 végéig összesen gyűjtött átlagos idézettsége nem érte el a kettőt. Glänzel és Schoepflin (1999) kimutatták, hogy a természettudományokban a folyóiratok 80%-ában 70% fölött van a folyóiratoknak adott hivatkozások aránya, míg a társadalomtudományokban fordított a helyzet: a folyóiratok 80%-ában 70% alatt van a folyóiratcikkeknek adott hivatkozások részesedése. Az általuk is vizsgált élettudomány 95% feletti értékkel kimagaslik a folyóiratok hivatkozás-részesedése terén.

Célkitűzés

Vizsgálatunknak négy célkitűzése volt:

1. Adatokat szerezni a hivatkozások koreloszlása és a cikkenkénti hivatkozásszám növekedésének esetleges összefüggéséről.

2. Adatokat szerezni a hivatkozás/cikk érték és a hivatkozások koreloszlásának esetleges összefüggéséről.

3. Adatokat szerezni a koreloszlás publikációtípustól (folyóirat és nem folyóirat) való függéséről.

4. Adatokat szerezni a folyóiratcikkek és az egyéb publikációk szerepéről, és e szerep időbeli változásáról az élettudományokban.

Anyag és módszer

12 kísérletes biológiai folyóirat, valamint a Journal of the American Chemical Society és a Proceedings of the National Academy of Sciences USA 1–4, az 1968-as és 1998-as év közepén megjelent füzeteiből vettünk füzetenként egy-egy, 10 egymásutáni cikkből származó mintát. Az összes mintaszám egy-egy évben 340 (3400 cikk). A cikkek hivatkozásai közt elkülönítettük a folyóiratoknak és nem folyóiratoknak adottakat, s mindkét kategóriában megszámoltuk az 1-5 éves korú hivatkozásokat.

9 nagy biokémiai folyóiratot és 9 kardiológiai folyóiratot vizsgáltunk. Az 1974-ben és az 1998-ban adott hivatkozásaikat SCI JCR megfelelő köteteiből vettük. Minden esetben megszámoltuk az 1–5 éves, a 6–10 éves és a 10 évesnél idősebb hivatkozásokat. Az összesített adatokat az egyes folyóiratok adatainak átlagolásával számítottuk ki.

Eredmények

Az 1. táblázatban láthatjuk a biokémiai és kardiológiai folyóiratok hivatkozás/cikk adatainak változását 1974-1998 közt. A biokémiai folyóiratoknál nagy emelkedést, a kardiológiaiaknál mérsékeltebbet tapasztalunk.

1. táblázat 

Biokémiai és kardiológiai folyóiratminták cikkszám és hivatkozás adatai 
(9-9 folyóirat)

A 2. táblázatban a három korcsoportnak a biokémiai folyóiratok hivatkozásaiból való részesedését találjuk. 

Megvitatás

Minden mintánk Price index értéke belül van azon a tartományon, amely az informatikai felezési idő megbízható tükrözéséhez szükséges. Emiatt a Price index értékekből levont következtetések az időbeli lecsengésre általában is érvényesek.

A biokémiai és kardiológiai folyóiratok összehasonlításából kiderül, hogy a Price index mindkét diszciplinában közel azonos mértékben (50-43, illetve 40-35) csökkent, tekintet nélkül arra, hogy a kardiológiai folyóiratokban a hiv./cikk értékek alacsonyabbak voltak és kevésbé emelkedtek, mint a biokémiaiakban.

Mindkét mintában észrevehető (2. és 3. táblázat) hogy a Price index csökkenéséért elsősorban a 10 évesnél idősebb cikkek részesedésének emelkedése a felelős, azaz nem arányosan öregedett a hivatkozásállomány, hanem elsősorban a kimondottan régi cikkek idézettsége fokozódott. (Lehet természetesen, hogy nem az effektív idézettség nőtt, hanem több lett az idézhető régi cikk. Ennek vizsgálata nehéz ugyan, de egyszer sort kell rá keríteni.)

Kérdés volt ezen kívül egyrészt, hogy a különböző publikációtípusokra adott hivatkozások koreloszlása eltér-e egymástól lényegesen, másrészt pedig, hogy az idézettségből való részesedés abszolút és relatív mértéke hogyan változott. A válasz világosan megfogalmazható: a folyóiratok szerepe rendkívül erősen nőtt a vizsgált 30 év alatt az egyéb publikációk rovására (4. táblázat).

Ha a célkitűzésben felvetett 2. kérdésre kívánunk felelni, adataink egyértelműen mutatják, hogy a koreloszlás erős kapcsolatban van a hivatkozás/cikk értékekkel. Mind az időbeli változások, mind az azonos évi alacsony és magas hivatkozás/cikk értékű cikkek összehasonlításából ez derül ki. Leszögezhető, hogy az informatikai felezési idő hosszabbodásáért nem az ú.n. információrobbanás lényegében tisztázatlan fogalma és jelensége a felelős, hanem elsősorban a hivatkozás/cikk értékek tartós és átalános emelkedése. Az ismeretelméleti magyarázat bár nem bizonyított, kézenfekvő: integrálódik a tudomány, egyre jobban egymásra épülnek az eredmények.

Irodalom

BARINOVA, Z. B. – VASZILEV, R. F. – GRANOVSZKIJ, J. V. – MULCSENKO, V. M. – NALIMOV. V. V. – NAPASZTNIKOV, E. V. – ORIENT, I. M. – PREOBRAZSENSZKAJA, G. B. – SZTRAHOV, A. B. – TEREKIN, A. T. – FARBEROVA,T. L.: Investigation of scientific journals as communication channels, appraising the contribution of individual countries to the world scientific information flow. In: Naucsno-Teh. Inf., Szer. 2. 12. köt. 1967. p. 3-11.

BRAUN, T, – LYON, W. S. – BUJDOSÓ, E.: Literature growth and decay: an activation analysis resume. In: Analyt. Chem., 49. köt. 1977. p. A682-A688.

BURTON, R. E. – KEBLER, R. W.: The “half-life” of some scientific and technical literatures. In: Amer. Doc., 1960. 11. sz. p. 18-22.

EGGHE, L.: Price index and its relation to the mean and median reference age. In: J. Am. Soc. Inform. Sci., 48. köt. 1997. p. 564-573.

GARFIELD, E.: Citation analysis as a tool in journal evaluation. In: Science, 178. köt. 1972. p. 471-479.

GARFIELD, E.: Trends in biochemical literature. In: Trends in Biochemical Science, 4. köt. 1979. N290-N295.

GLÄNZEL, W. – SCHOEPFLIN, U.: A stochastic model for the ageing of scientific literature. In: Scientometrics, 30. köt. 1994. p. 49-64.

GLÄNZEL, W. – SCHOEPFLIN, U.: A bibliometric study of reference literature in the sciences and social sciences. In: Inf. Proc. Manag., 35. köt. 1999. p. 31-44.

GOLDMAN, L. – LOSCALZO, A.: Fate of cardiology reserach originally published in abstract form. In: New Engl. J. Med., 303. köt. 1980. p. 255-259.

GRIFFITH, B.C. – SERVI, P.N. – ANKER, A.I. – DROTT, M.C.: The aging of scientific literature: a citation analysis. In: J. Doc., 35. köt. 1979. p. 179-196.

GUPTA, U.: Obsolescence of physics literature: exponential decrease of the density of citations to Physical Review articles with age. In: J. Am. Soc. Inform. Sci., 41. köt. 1990. P. 282-287.

LEAVY, M.D.: Obliteration in the natural and social sciences: citation data in search of a theory. In: Int. Forum Inf. and Doc., 8. köt. 1983. p. 27-31.

LINE, M. B.: The half life of periodical literature: apparent and real obsolescence. In: J. Doc., 35. köt. 1979. p. 46-55.

MARTON J.: A hivatkozáseloszlás változásai öt vezető biokémiai folyóiratban 1962-1977 között. In: Tudományos és Műszaki Tájékoztatás, 28. köt. 1981. p. 141-144.

MARTON J.: Obsolescence or immediacy? Evidence supporting Price’s hypothesis. In: Scientometrics, 7. köt. 1985. p. 231-233.

MARTON J.: Bibliometria. In: In.: Könyvtárosok kézikönyve. Szerk.: Horváth T. és Papp I. Budapest, Osiris Kiadó, 1999. p. 81-147.

METCALFE, N. B.: Journal impact factors. In: Nature, 376. köt. 1995. p. 720.

MOED, H.F. – VAN LEEUWEN, TH.N. – REEDIJK, J.: A new classification system to describe the ageing of scientific journals and their impact factors. In: J. Doc., 54. köt. 1998. p. 387-419.

PARKER, R.H.: Bibliometric model for management of information store. II. Use as a function of age of material. In: J. Am. Soc. Inform. Sci., 33. köt. 1982. p. 129-133.

PETERSON, C. J.: Citation analysis of astronomical literature: comments on citation half-lives. In: Publ. Astron. Soc. Pacif., 100. köt. 1988. p. 106-115.

PRICE, D. J. D. S.: 1971 Citation measures of hard science, soft science, technology and nonscience. In: Communication among scientists and engineers. Ed.: NELSON, C.E – POLLOCK, D. K. Lexington, Heath Lexington Books, 1971. p. 4-23.

PRICE, D. J. D. S.: 1965 Networks of scientific papers. Science, 149. köt. 1965. p. 510-515.

SZÁVA-KOVÁTS E.: A természettudományi folyóiratirodalom hivatkozás állományában mért felezési idő változása a publikációrobbanás korában. In: Tudományos és Műszaki Tájékoztatás, 23. köt. 1976. p. 3-13.

SZÁVA-KOVÁTS E.: Az informatikai felezési idő. A szakirodalom avulás informatikai mutatószámának felülvizsgálata. Budapest, OMKDK, 1979.

VINKLER, P.: Ratio of short term and long term impact factors and similarities of chemistry journals represented by references. In: Scientometrics, 46. köt. 1999. p. 621-633.

YITZHAKI, M. – BEN-TAMAR, D.: Number of references in biochemistry and other fields: a case study of the Journal of Biological Chemistry throughout 1910 – 1985. In: Scientometrics, 21. köt. 1991. p. 3-22.