Ekrānšāviņš/https://paperpile.com/g/h-index-web-of-science/
Līga Grīnberga, LZA Fizikas un tehnisko zinātņu nodaļas zinātniskā sekretāre
Pērn laikraksta “Zinātnes Vēstnesis” septembra numurā publicētais akadēmiķa Roberta Eglīša raksts par Hirša indeksu reitingu Latvijas zinātnieku starpā gan raisīja diskusijas sociālajos medijos, gan rosināja citus zinātniekus padziļināti pievērsties šim jautājumam. Jaunās zinātnieces Lienes Spruženieces viedokļraksts “Kā pēc zinātniekiem nevajadzētu mērīties ar H-indeksiem” tika publicēts laikraksta decembra numurā, zināmā mērā oponējot iepriekšējā raksta autoram un raisot vēl aktīvāku viedokļu apmaiņu dažādu jomu zinātnieku vidū sociālajos medijos.
Laikraksts "Zinātnes Vēstnesis", Nr.2 (651), 2025. gada 24. februāris (PDF).
Latvijas Zinātnes padome (LZP), kas nodrošina zinātnisko projektu izvērtēšanu un uzraudzību, tātad pastarpināti spēj novērtēt Hirša indeksu ietekmi uz projektu kvalitāti un vērtēšanu, pērn 24. oktobrī publicēja plašu informāciju par to, kas būtu jāņem vērā veidojot reitingus. Tajā LZP direktore Lauma Muižniece uzsvēra, ka: “Zinātnes vērtēšanai jābūt caurspīdīgai, metodoloģiski pamatotai un daudzpusīgai, ņemot vērā gan ekspertu vērtējumu, gan dažādus zinātniskās darbības rādītājus. Labā prakse paredz izmantot samērīgu un atbildīgu pieeju, ne paļaušanos tikai uz vienu bibliometrisko indikatoru. Svarīgi, ka tiek vērtēta arī pētniecības kvalitāte, nozaru specifika un zinātnes sociālā ietekme. Starptautiski atzīti principi, piemēram, DORA deklarācija un Vienošanās par pētniecības izvērtēšanas reformu (COARA), uzsver nepieciešamību pēc daudzveidīgiem kritērijiem un objektīvas pieejas. Zinātnes novērtēšanas mērķim jābūt ne tikai individuālu rādītāju salīdzināšanai, bet arī ilgtermiņa attīstības veicināšanai un izcilības stiprināšanai visā zinātnes ekosistēmā.”
Šoreiz “Zinātnes Vēstnesis” uzrunāja LZA ārzemju locekļus astrofiziķi Daini Draviņu un fiziķi Jāni Timošenko, kā arī kvantu fiziķi Andri Ambaini, aicinot viņus dalīties ar savu skatījumu, kāda loma Hirša indeksam ir viņu zinātnes nozarē un karjerā.
Ilggadējs LZA ārzemju loceklis, LZA Lielās medaļas laureāts, Lundas Universitātes Zviedrijā astronomijas profesors Dainis Draviņš par Hirša indeksa lietošanu un lietderību sniedza savu skatu otrpus Baltijas jūras:
“Hirša indeksi tiek izmantoti daudzviet pasaulē, lai izvērtētu zinātnieku un institūtu ietekmi. Pateicoties plaši pieejamām datu bāzēm, šie indeksi ir viegli atrodami un savas vienkāršības dēļ viegli lietojami, it sevišķi apstākļos, kad trūkst citu variantu zinātniskās darbības vērtēšanai.
Kā piemēru varu minēt, ka, strādājot ekspertu grupā Eiropas Pētniecības padomē (European Research Council, ERC) Briselē, vienu gadu bija bažas, ka kādai jaundibinātai grantu programmai piesūtīs milzīgu skaitu pieteikumu. Ja skaits kādai darba grupai sāk pārsniegt, teiksim, 100 vai 200 (kamēr pieejamo grantu skaits ir tikai ap 10), vairs nav reāli iespējams visus pieteikumus detalizēti izvērtēt, jo sevišķi veicot darbu ārpus saviem parastiem universitātes pienākumiem. Lai vienkāršotu darbu, ERC administrācija toreiz sagatavoja sarakstu ar projektu pie teicēju Hirša indeksiem, ko izmantot, lai pirmā gājienā atlasītu mērenu pieteikumu skaitu, kurus tad varētu detalizēti izskatīt. (Galu galā, pieteikumu skaits nebija tik liels, kā sākotnēji baidījāmies, un indeksus toreiz neizmantojām.)
Līdzīga situācija rodas, kad pasaulē pievilcīgi akadēmiski amati pievilina ļoti lielu kandidātu skaitu, kur pat 200 nav retums. Lai veiktu pirmo atlasi, jāatrod kāds ātri pielietojams kritērijs, un te Hirša indekss ir vienkāršs un vilinošs. Ja Hirša indeksa lietošana šādos apstākļos var būt pamatota, tas arī tiek lietots, lai izvērtētu individuālus zinātniekus: tā ir daudz nedrošāka pieeja, kas nereti noved pie mulsinošiem jeb mānīgiem secinājumiem un perspektīvā rada risku, ka zinātniskā darbība tiek virzīta ar mērķi nevis iegūt jaunus rezultātus, bet gan uzlabot savu Hirša reitingu.
Manā jomā – fizikā un astrofizikā – lielākie citējuma skaitļi nereti atrodami publikācijām, kurām ir pielietošanas raksturs, satur tabulas, apraksta metodes, piemēram, instrukcijas, kā modelēšanai pareizi izmantot kādu datorprogrammu. Man labi pazīstams kolēģis ir galvenais autors vienai tādai publikācijai (uz kuru atsaucas eksperimentos, ko veic CERN laboratorijā). Pēc Scopus datiem tas ir citēts apmēram 7500 reižu, pēc NASA ADS apmēram 9000 reižu, bet pēc Google Scholar pat ap 25000 reižu! Tas noteikti apliecina darba vērtīgumu un izmantojamību, bet, ja tāds milzīgs skaitlis tiek izrauts no konteksta, tas var būt mulsinošs. Šis piemērs arī rāda, ka citējumu skaits atšķiras starp datu bāzēm. Iemesls ir atšķirīga žurnālu izvēle, kurus izmanto kā citējumu avotus.
Pēdējā laikā atšķirības ir kļuvušas izteiktākas, jo valda zināma neskaidrība, ko uzskatīt par “publikāciju” vidē, kur klasiski arhīva žurnāli mijas ar jaundibinātiem, bet konferenču prezentācijas it kā tiek “publicētas” interneta vietnēs. Datu bāzēm žurnālu izvēle nav vienkārša, ko nereti komplicē grūtības izprast, vai attiecīgā publikācija ir zinātniski nenopietnā “plēsējžurnālā”, kur par samaksu ātri publicē darbu, kas kļūst pieejams no attiecīga interneta servera (vismaz, kamēr uzņēmums vēl nav paguvis bankrotēt). Starp jaundibinātiem žurnāliem ir arī tādi ar nopietnām ambīcijām, bet kuriem vēl nav izveidojusies tikpat stingra kvalitātes kontrole kā vecākiem un ar tradīcijām. Tie nereti piedāvā publicēt par mērenam izmaksām, un pētniekiem ar ierobežotiem līdzekļiem var būt izdevīgi tos izmantot. Taču, ja raksti par attiecīgo tematiku pulcējas tādā žurnālā, to savstarpējie citējumi var netikt ieskaitīti. Daudz citējumus atrod lielu konsorciju publikācijās, kur parādās rakstu virknes ar daudziem simtiem līdzautoru, nereti citējot viens otru, kaut citu autoru izkārtojumā. Te prasās izpratne par konsorciju iekšējo darbu, ja grib izvērtēt konkrēta līdzautora ieguldījumu. Atceros, ka kādā publikācijā, kur piedalījos kopā ar vairāk nekā 1000 līdzautoriem, mums izsūtīja alfabētiski pirmā autora personas aprakstu, lai mēs – līdzautori – kaut cik atpazītu šo pirmo personu.
Kad raksts ar, teiksim, 1000 līdzautoriem tiek citēts, normāli rodas 1000 citējumi, kas ievietojas datu bāzēs, katram līdzautoram “nopelnot” pa citējumam. Pretstatā viena autora citēts darbs papildina datu bāzes tikai ar vienu vienību. Ir iespēja mēģināt precizēt citējumu statistiku, norobežoties tikai ar, piemēram, pirmā autora darbiem jeb sadalot citējumu ar līdzautoru skaitu. Tomēr, tādā veidā nevar izprast, kurš/kuri bijuši galvenie darbinieki. Autoru secības izvēlei prakse ir atšķirīga starp disciplīnām un starp ģeogrāfiskām vietām: dažās izkārto alfabētiski, citos galvenajam autoram ir pirmā vieta, bet citviet svarīgākais ir pēdējais. Vispār tipiskais līdzautoru skaits būtiski atšķiras starp dažādām disciplīnām.
Situācija var būt īpaša nozarēs, kas sevišķi strauji attīstās. Dažās veiksmi iezīmē nevis pamazām publicēts raksts kādā arhīvu žurnālā, bet gan sniegts referāts kādā lielākā konferencē. Ja tematika strauji attīstās, oriģināldarbi pēc pāris gadiem vairs netiek citēti – tad tos paguvis aizvietot kādu citu autoru apkopots pārskatu raksts jeb pat monogrāfija. Mēreni lielus citējuma skaitļus ātrāk iegūst darbinieki, kas strādā ar to, kas tieši tobrīd aktuāls, sekojot plašai viduvējai straumei. No otras puses, daži īsti oriģināli atklājumi gandrīz nemaz netiek citēti vairāku gadu garumā, kamēr tos “atklāj” no kādas nereti pavisam citas perspektīvas. Apjomīgākas tabulas un plašāki apkopotus darbus senāk varēja publicēt kā žurnālu pielikumus, bet mūsdienās tie normāli nonāk elektroniskās datu bāzēs, kuru saturu var būt grūti citēt un kuri bieži netiek citēti parasto žurnālu publikācijās. Līdzīgi ierobežojumi skar darbus ar ietilpīgām datorprogrammu izstrādēm, kuri tiek publicēti “tikai” datu bāzēs. Darbinieki šajās jomās mēģina atrast veidus, kā atsaukties uz viņu darbiem, kuru formāts neatbilst klasiskajiem citējumiem. Piemēram, tas, ka šīs datu bāzes nepārtraukti izmainās, prasa, ka citātos jāuzdod datums, kad no turienes dati atlasīti. Daži žurnāli pieļauj tādus citātus, citi – ne.
Vecākiem pētniekiem it kā vajadzētu būt lielākam citējumu skaitam. Jā, tā ir, bet vispār citējumi agrākos gados bija mazākā skaitā. Caurmēra skaits darbu, kas katrā rakstā tiek citēti, mūsdienās pieaudzis. Ja pirms pārdesmit gadiem katrā rakstā bija varbūt 10 vai 15 norādes, tagad nereti tiek citēti 100 vai vairāk. Tas apgrūtina salīdzināt, piemēram, kāda jaunāka pētnieka desmitgadi ar kādas vecākas personas atbilstošu laika posmu. Šādi piemēri rāda, ka, lai izvērtētu zinātnisko ekselenci, nepietiek laipot starp citējumu skaitļiem, bet arī ir jāizprot kas vairāk par tematiku un darbiniekiem.
Pieredze tomēr ir tāda, ka Hirša indekss ir lietojams kā visai derīga informatīva norāde par veselu universitāšu, fakultāšu un pat lielāku institūtu aktivitātes līmeņiem, tos salīdzinot ar citiem, kas darbojas līdzīgās jomās. Dažādiem projektiem un to darbiniekiem būs atšķirīgi publikāciju ieradumi un iespējas un, ja to skaits ir pietiekami liels, var ticēt, ka kopīgie publikāciju citējumi atspoguļo caurmēra aktivitātes līmeni. Taču par individuālām pētnieku grupām vai atsevišķiem pētniekiem tāda indeksa lietošanai piemīt būtiskas nedrošības un, ja to lieto, lai izvērtētu specifiskus pētniekus, vajadzīga laba izpratne par attiecīgās tematikas darbību un specifiku. Tas attiecas it īpaši, ja citējumu skaits ir neparasti zems vai arī neparasti augsts. Tas, ka Hirša indeksa lietošana ir vienkārša, tā daudzviet ir tikusi neveikli izmantota, pamatoti izraisot aizkaitinājumus. Kā reakcija ir izstrādāti “Leidenes manifests pētniecības metrikai” un “Sanfrancisko deklarācija par pētniecības novērtējumu”. Šie (un citi) dokumenti apraksta problemātiku, kas radusies zinātnisko darbību izvērtēšanā: arī, ja visumā nekādu lielu domstarpību par vēlamiem principiem nav, tomēr paliek neērtais fakts, ka adekvāta zinātniskā darba izvērtēšana prasa teju vai zinātnisku darbu un, meklējot īsceļus, izmantojot Hirša indeksu vien, viegli var aizvest neceļos”.
Pērn par LZA ārzemju locekli ievēlētais, vienlaikus arī viens no jaunākajiem akadēmijas locekļiem, Maksa Planka biedrības Friča Hābera institūta grupas vadītājs un vadošais pētnieks, kura Hirša indekss ir lielāks nekā gadu skaits, Dr.phys. Jānis Timošenko saka:
“Par Hirša indeksu domāju, ka tam ir zināma vērtība un tas kaut ko var pateikt par konkrēto zinātnieku, taču šis ir drīzāk kvalitatīvs nekā kvantitatīvs rādītājs, ko nekad nevajag aplūkot ārpus konteksta un citām metrikām. Manuprāt, H-indekss vairāk raksturo konkrētā zinātnieka aktivitāti nekā darba kvalitāti. Cilvēkiem, kas strādā lielākās grupās un kuriem ir plašāki sadarbības tīkli, būs automātiski lielāks publikāciju skaits un lielāks arī H-indekss. Taču tas neko daudz nepasaka par viņu spēju veikt patstāvīgu pētniecisko darbu vai veikt izcilus atklājumus. No otras puses, noteiktā kontekstā arī informācija par pētnieka spēju sadarboties ar citiem var būt vērtīga.
Protams, kā jau daudzreiz atzīmēts, H-indekss arī ir ārkārtīgi jutīgs pret kopējo zinātniskā darbībā pavadīto laiku, līdz ar to nav iespējams indeksu izmantot, lai salīdzinātu cilvēkus ar dažādu darba stāžu. Savukārt par cilvēkiem, kas atrodas viņu karjeras pašā sākumā un ir tikko publicējuši savus pirmos rakstus, H-indekss vispār neko daudz nepasaka par šo darbu potenciālo ietekmi nākotnē un līdz ar to arī par konkrēto cilvēku. Pilnīgi noteikti H-indeksu nevar izmantot, lai salīdzinātu zinātniekus, kas darbojas dažādās nozarēs, jo publicēšanas un citēšanas tradīcijas dažādās jomās ir atšķirīgas. Pat ja skatās uz tādām ļoti tuvām nozarēm kā ķīmija un fizika, tad zinātniekiem, kas daudz publicējas ķīmijas žurnālos bieži vien būs lielāks H-indekss nekā tiem, kas publicē savus darbus labos fizikas žurnālos.
Kopumā šķiet, ka mēģinājumi izveidot vispārīgu, absolūtu skalu, kas ļautu saranžēt zinātniekus (tā pat arī zinātniskās institūcijas, zinātniskos žurnālus u.tml.) un kas darbotos visos dzīves gadījumos, ir neauglīgi. Praktiskāk būtu izstrādāt atlases kritērijus, kas piemēroti tieši konkrētajam amatam, projektam vai finansējuma mērķiem. Kas attiecas uz mūsu institūtu un personisko pieredzi, kad meklējam jaunu kolēģi, neviens nopietni neskatās uz H-indeksa skaitli. Taču, protams, publikāciju sarakstam ir liela loma, tikai to vērtē niansētāk, nekā vienkārši izrēķinot kādu matemātisku citējamības skaitli. Atlasē drīzāk lomu spēlē tādu publikāciju skaits, kurām konkrētais kandidāts ir galvenais autors, bet būtiski arī tas, cik atbilstošas ir šīs konkrētās publikācijas attiecīgās pozīcijas/pētījuma/projekta ietvaros. Līdzīgi arī projektu izvērtēšanā – ir jāskatās, kāds ir konkrētā finansējuma mērķis (veicināt sadarbību, iesaistīt jaunus cilvēkus, izstrādāt jaunu metodiku/tehnoloģiju), un jāpakārto atlases metrikas šim mērķim atbilstoši.”
Savukārt Eiropas Pētniecības padomes (ERC) gran ta ieguvējs, Baltijas zinātņu akadēmiju medaļas un LZA Lielās medaļas laureāts kvantu fiziķis Dr.phys. Andris Ambainis pauž:
“Manuprāt, Hirša indekss var būt labs pirmais filtrs, ar kura palīdzību ātri var gūt pirmo iespaidu par zinātnieka sniegumu. No otras puses, tas ir tikai pirmais filtrs. No savas pieredzes, atceros vismaz 4 gadījumus (gan Latvijā, gan ārzemēs), kad, vērtējot kandidātus uz akadēmiskajiem amatiem vai zinātniskajiem apbalvo jumiem, esmu izvēlējies augstāk vērtēt kandidātu, kam Hirša indekss ir mazāks.
Būtiskākais par Hirša indeksu – tas parāda, cik lielā mērā zinātnieks ir iekļāvies plašākā zinātniskā vidē, kas citē viņa darbus. Tas neparāda šīs plašākās zinātniskās vides saturisko kvalitāti. Ir zinātnieku kopienas, kas strādā pie šī brīža aktuālākajiem zinātniskajiem jautājumiem un risina ļoti sarežģītas problēmas. Ir zinātnieku kopienas, kas pēta to, kas bijis aktuāls 30 gadus atpakaļ, un taisa aizvien jaunas nelielas variācijas par šo tēmu, kaut arī tam īsti vairs nav saturiskas vērtības. Hirša indeksu var sakrāt abos gadījumos. Un, skatoties tikai uz Hirša indeksu, mēs riskē jam nepamanīt atšķirību starp augsti oriģinālu darbu un ražīgu vecas zinātnes atkārtošanu nedaudz jaunā formā.
Otrkārt, citējamības dabiskais ātrums diezgan būtiski atšķiras dažādās zinātnes nozarēs. Piemēram, ideju aprite klasiskajā matemātiskajā datorzinātnē ir būtiski lēnāka nekā mākslīgā intelekta vai mašīnmācīšanās jomā – gan attiecībā uz laiku, kādā top zinātniskais raksts, gan attiecībā uz to, cik ātri to sāk citēt. Mehāniski salīdzinot zinātniekus pēc Hirša indeksa, mēs riskējam pārvērtēt tos, kas nāk no jomām ar ātru ideju apriti.
Treškārt, rangs pēc Hirša indeksa vienmēr būs labvē līgs pieredzējušiem zinātniekiem, kam bijis ilgāks laiks, lai šo Hirša indeksu sakrātu. Šis indekss mēdz vairāk atspoguļot zinātnieka pagātni, nevis viņa šībrīža darba kvalitāti (kas parādīsies citējumos 5-10 gadu laikā) vai nākotnes potenciālu. Tāpēc laba eksperta vērtējums vienmēr būs vērtīgāks par mehānisku Hirša indeksu skaitīšanu. Hirša indeksus var salīdzināt pārdesmit sekunžu laikā. Nākamais solis, skatoties uz man nezināmiem zinātnieku profiliem, vai viņi ir publicējušies savas nozares vadošajos žurnālos, kuriem ir augsti standarti pret tajos publicēto saturu. Fiziķa gadījumā – vai viņš ir publicējies Physical Review Letters? Datorzinātnieka gadījumā – vai viņa darbi ir atbilstošās datorzinātnes nozares galvenajās konferencēs? Ja izrādās, ka zinātnieks apgalvo, ka nodarbojas ar mašīnmācīšanos, bet publikāciju sarakstā nav redzams neviens izdevums, ko atpazītu mašīnmācīšanās eksperts, tas ir pamats šaubām par darba kvalitāti arī tad, ja Hirša indekss ir diezgan pieklājīgs. Visbeidzot, pilnvērtīgai vērtēšanai jāiedziļinās zinātniskā darba būtībā. Jānovērtē gan izvēlēto tēmu oriģinalitāte, gan paša zinātnieka pienesums. Vai, ja tēma ir pārāk tālu no manis, jāatrod kāds, kas to spēj izdarīt.”