Mūsų mokslininkas pateko į labiausiai cituojamų mokslininkų sąrašą: kodėl tai neturėtų būti svarbiausia žinia apie mokslą

Pastaruoju metu keli kolegos man persiuntė universitetų pranešimus apie mokslininkus, patekusius į „labiausiai cituojamų tyrėjų“ sąrašus, klausdami, ką iš tiesų parodo toks reitingas ir kiek reikšminga į jį patekti. Jau ne vienus metus tyrinėju mokslininkų pasiekimus, todėl tokių pasiteiravimų sulaukiu vis dažniau. Prisipažinsiu – ir šie manęs nenustebino. Vis dėlto šį kartą supratau, kad verta į juos atsakyti ne privačiai, o viešai.

Klausimas nėra toks paprastas, kaip gali pasirodyti iš pirmo žvilgsnio. Universitetų naujienose nuolat matome panašias antraštes: „Mūsų mokslininkas pateko tarp geriausių pasaulyje“, „Mūsų tyrėjas – tarp labiausiai cituojamų“, „Mūsų profesorius įtrauktas į prestižinį sąrašą“. Tokios žinios kuriamos tam, kad parodytų universiteto stiprybę ir mokslininkų pasiekimus. Visgi kaip mokslininkė, tyrinėjanti mokslo vertinimo sistemas, norėčiau pasiūlyti pažvelgti į jas kiek kitaip.

Šiuo tekstu nesiekiu kritikuoti konkrečių mokslininkų. Daugelis jų sukūrė reikšmingų tyrimų, vadovauja stiprioms tyrėjų grupėms, bendradarbiauja tarptautiniu mastu ir neabejotinai prisideda prie mokslo pažangos. Problema ne mokslininkai. Problema – tai, ką universitetai pasirenka laikyti svarbiausia žinia apie mokslą.

Kas iš tikrųjų yra tie labiausiai cituojamų mokslininkų sąrašai?

Pirmiausiai, daugelis jų sudaromi remiantis bibliometriniais rodikliais, apskaičiuotais iš tarptautinėse duomenų bazėse sukauptų publikacijų. Kuo daugiau publikacijų ir kuo dažniau jos cituojamos, tuo aukštesni bibliometriniai rodikliai. Pastaruoju metu Lietuvoje plačiai cituojamas „Research.com“ reitingas naudoja vadinamąjį D indeksą – konkrečios disciplinos H indekso versiją, apskaičiuotą pagal publikacijų ir citatų duomenis šiuo metu didžiausioje duomenų bazėje „OpenAlex“.

Verta atkreipti dėmesį, kad „Research.com“ pirmiausia yra komercinis projektas, kurio veikla grindžiama įvairiais reitingais. Ta pati platforma lygina mokamas studijų programas bei kitas paslaugas, o „geriausių mokslininkų“ sąrašai jai tėra vienas iš būdų pritraukti lankytojų ir dėmesio. Kitaip tariant, tai rinkodaros produktas, o ne akademinio vertinimo institucija.

Panašiai veikia ir kitas Lietuvoje noriai cituojamas sąrašas – Stanfordo universiteto „World’s Top 2% Scientists List“. Tai vieša duomenų bazė, kurią sudaro Stanfordo universiteto mokslininkų komanda, vadovaujama profesoriaus Johno Ioannidžio, remdamasi „Elsevier“ citavimo duomenų baze „Scopus“. Mokslininkai joje vertinami pagal bendrą citatų skaičių, H indeksą ir sudėtinį citavimo rodiklį (vadinamąjį c-score) 22-ose mokslo srityse. Metodika aprašyta recenzuotame straipsnyje (Ioannidis, Baas, Klavans ir Boyack, PLOS Biology, 2019), o duomenys skelbiami viešoje „Elsevier“ duomenų saugykloje.

Šis sąrašas nuo „Research.com“ skiriasi tuo, kad yra nemokamas, skaidrus ir sukurtas pačių mokslininkų. Visgi iš esmės jis toks pat – automatiškai pagal citavimo formulę sugeneruotas reitingas, tik pagal kitą algoritmą ir kitą duomenų bazę. Šiandien, kai bibliometriniai duomenys plačiai prieinami, įvairių panašių reitingų sukūrimas tampa vis paprastesnis, todėl pats patekimas į vieną ar kitą tokį sąrašą dar nieko nepasako apie mokslinio darbo kokybę, originalumą ar reikšmę visuomenei.

Svarbu suprasti, kad šie sąrašai nėra mokslinės premijos ar ekspertinio pripažinimo forma. Niekas nesėdi prie stalo ir nevertina konkrečių mokslininkų idėjų, atradimų ar jų reikšmės visuomenei. Mokslininkų neatrinkinėja ekspertų komisija, lyginanti darbų originalumą ar poveikį. Dažniausiai toks reitingas (sąrašas) sugeneruojamas automatiškai pagal pasirinktą formulę ir duomenų bazėse sukauptus skaičius.

Todėl patekimas į tokį sąrašą pirmiausia priklauso nuo to, kaip konkrečioje duomenų bazėje apskaičiuojami bibliometriniai rodikliai, ir nuo pačios mokslo srities ypatumų. Tai gali būti įdomi ir tam tikrame kontekste naudinga informacija. Visgi kyla klausimas – ar čia tikrai svarbiausia žinia, kurią universitetas gali pasakyti apie savo mokslininką?

Ką iš tiesų matuoja citatos?

Citavimo rodikliai pirmiausia matuoja dėmesį akademinėje bendruomenėje: kiek kitų mokslininkų mini, aptaria ar naudoja konkretų darbą savo tyrimuose. Tai gali būti naudinga informacija, bet ji nėra tapati mokslinio darbo vertei.

Svarbu prisiminti, kad citata nėra pritarimo balsas. Mokslininkai cituoja ne tik tuos darbus, kuriais remiasi, bet ir tuos, kuriuos kritikuoja, taiso ar su kuriais nesutinka. Todėl didelis citatų skaičius pirmiausia rodo, kad darbas sulaukė dėmesio, bet savaime neatsako į klausimą, ar jis buvo kokybiškas, originalus ar teisingas.

Kitaip tariant, citatos rodo, kad apie darbą kalbama. Jos nebūtinai rodo, ką apie jį kalbama.

Be to, tyrimas gali būti dažnai cituojamas todėl, kad nagrinėja populiarią temą, priklauso sparčiai augančiai tyrimų krypčiai arba yra sukurtas dideliame tarptautiniame bendraautorių tinkle. Kartais citatų skaičių lemia ir metodologiniai straipsniai, kuriuos tyrėjai cituoja beveik automatiškai. Visgi nė viena iš šių aplinkybių savaime neatsako į klausimą, ar konkretus darbas padėjo išspręsti svarbią problemą, ar pasiūlė naują supratimą, ar turėjo ilgalaikį poveikį visuomenei.

Per pastaruosius du dešimtmečius bibliometrijos tyrėjai ne kartą atkreipė dėmesį į kiekybinių rodiklių ribotumus. Tokie kiekybiniai rodikliai gali būti naudingi kaip viena iš papildomų informacijos priemonių, bet jie nebuvo sukurti tam, kad patys savaime apibrėžtų mokslininko vertę ar mokslinio darbo kokybę.

Ne viskas, kas svarbu, yra lengvai suskaičiuojama

Būtent čia išryškėja dar viena problema. Citavimo rodikliai ne tik supaprastina mokslinę kokybę, bet ir sistemingai privilegijuoja tam tikras disciplinas bei tam tikrus mokslinės komunikacijos būdus.

Sritys, kuriose vyrauja straipsniai tarptautiniuose anglų kalbos žurnaluose, kur mokslininkai dirba dideliuose tarptautiniuose tinkluose ir kur publikacijų bei citatų srautai yra itin intensyvūs, natūraliai sukaupia daugiau citatų. Tai nėra nei gerai, nei blogai – tiesiog taip veikia skirtingos disciplinos.

Socialiniuose ir humanitariniuose moksluose situacija dažnai yra visiškai kitokia.

Istorikas gali parašyti knygą, kuri dešimtmečiams pakeis visuomenės supratimą apie valstybės raidą. Teisininkas gali suformuluoti argumentus, kurie vėliau atsispindės įstatymuose, teismų praktikoje ar viešojo administravimo sprendimuose. Komunikacijos tyrėjas gali prisidėti prie valstybės politikos kovojant su dezinformacija, o filosofas – formuoti viešąsias diskusijas apie dirbtinio intelekto etiką, žmogaus teises ar demokratijos ateitį.

Tokių darbų poveikis dažnai pasireiškia ne mokslininkų citatose, o žmonių gyvenime. Jį galima pamatyti pasikeitusiuose teisės aktuose, mokyklų programose, kultūros politikoje, visuomenės diskusijose ar institucijų sprendimuose. Ir būtent toks poveikis bibliometrinėse duomenų bazėse dažnai lieka beveik nematomas.

Dar daugiau – dalis svarbiausių tokių darbų gali būti parašyti nacionaline kalba ir skirti ne tarptautinei akademinei bendruomenei, o mokytojams, teisėjams, valstybės institucijoms, kultūros organizacijoms ar plačiajai visuomenei. Jie gali pakeisti valstybės sprendimus ar visuomenės požiūrį į svarbius klausimus, bet nesurinkti tūkstančių citatų.

Todėl klausimas nėra vien apie rodiklių tikslumą. Klausimas yra apie tai, kokį mokslą nusprendžiame matyti ir pripažinti.

Kai universitetas pagrindiniu pasiekimu paskelbia vietą cituojamumo reitinge, jis netiesiogiai siunčia žinią, kad vertingiausias mokslas yra tas, kuris generuoja daugiausia publikacijų ir citatų. Toks požiūris neišvengiamai palankesnis disciplinoms, kurių poveikį lengva suskaičiuoti, ir mažiau matomas toms sritims, kurių vertė atsiskleidžia visuomenėje, kultūroje, švietime ar viešojoje politikoje.

Ne viskas, kas svarbu mokslui, yra lengvai suskaičiuojama. Ir ne viskas, kas lengvai suskaičiuojama, yra svarbiausia.

Ką pasaulis daro šiandien?

Pastarąjį dešimtmetį tarptautinėje mokslo politikoje vyksta aiškus pokytis. Vis daugiau institucijų pripažįsta, kad mokslinės kokybės negalima sutapatinti su bibliometriniais rodikliais.

Būtent dėl šios priežasties atsirado tokios iniciatyvos kaip DORA, Leideno manifestas ar CoARA. Nors jų formuluotės skiriasi, pagrindinė mintis yra labai panaši: rodikliai gali būti naudingi, bet neturėtų tapti mokslinės vertės pakaitalu.

Kitaip tariant, pasaulio akademinė bendruomenė šiandien bando taisyti klaidą, kurią pati sukūrė prieš kelis dešimtmečius – įprotį mokslininkus vertinti pagal tai, ką lengviausia suskaičiuoti.

Todėl viešas didžiavimasis komercinių platformų sudarytais reitingais tarptautiniame mokslo politikos kontekste neretai sukelia ne susižavėjimą, o klausimų. Bandydami parodyti savo pažangumą, kartais netyčia demonstruojame, kad vis dar remiamės vertinimo logika, nuo kurios daugelis pažangiausių institucijų jau pamažu tolsta.

O kuo galėtume didžiuoti vietoj reitingo pozicijos?

Paradoksalu, bet universitetų pranešimuose dažnai jau būna tai, kas iš tiesų svarbu.

Skaitome apie naujus diagnostikos metodus, technologinius sprendimus, reikšmingus atradimus, visuomenės problemas, kurias padeda spręsti moksliniai tyrimai, arba apie ilgalaikį tarptautinį bendradarbiavimą. Kitaip tariant, pačiuose pranešimuose dažnai slypi kur kas įdomesnis pasakojimas nei vieta reitinge.

Todėl kyla paprastas klausimas: jeigu mokslininkas iš tiesų sukūrė kažką vertingo, kodėl pagrindine naujiena tampa jo vieta automatiškai sugeneruotame sąraše, o ne pats atradimas?

Jeigu tyrėjas prisidėjo prie naujo medicininio metodo kūrimo, papasakokime apie metodą. Jeigu istorikas pakeitė mūsų supratimą apie svarbų valstybės raidos etapą, papasakokime apie jo idėjas. Jeigu komunikacijos tyrėjas padėjo geriau suprasti dezinformacijos veikimą, kalbėkime apie tai, ką sužinojome.

Visuomenei svarbu ne tai, kiek kartų mokslininkas buvo pacituotas. Visuomenei svarbu tai, ką jo darbas pakeitė. Universitetai dažnai turi visas galimybes papasakoti šias istorijas. Jie pažįsta savo mokslininkus geriau nei bet kuri reitingų platforma. Todėl pasirinkimas kalbėti apie vietą sąraše nėra būtinybė – tai komunikacijos pasirinkimas.

Pabaigai

Mokslo komunikacija nėra atskira nuo mokslo vertinimo – komunikacija atspindi universiteto vertybes. Kai universitetas didžiuojasi mokslininku todėl, kad jo H indeksas ar D indeksas yra didelis, visuomenei iš esmės pasakoma tik viena – šis žmogus sukaupė daug citatų. Kai universitetas pasakoja, kokią problemą mokslininkas padėjo išspręsti, kokią naują idėją pasiūlė ar kokią naudą sukūrė visuomenei, mes sužinome tai, kas iš tiesų svarbu.

Jeigu rytoj dingtų visi H indeksai, D indeksai ir TOP sąrašai, geras mokslas niekur nedingtų. Mokslininkai ir toliau kurtų naujas žinias, spręstų visuomenės problemas, rašytų knygas, ugdytų studentus ir bendradarbiautų tarptautiniu mastu. O jeigu dingtų patys atradimai, jokie reitingai jų nepakeistų.

Todėl galbūt svarbiausias klausimas šiandien yra ne tai, kiek mūsų mokslininkų pateko į vieną ar kitą sąrašą. Svarbesnis klausimas – ar universitetai, komunikuodami apie mokslą, rodo visuomenei tai, kas iš tiesų svarbu, ar tai, ką tiesiog lengviausia suskaičiuoti?

Atsakymas į šį klausimą pasako ne tik apie mūsų mokslo komunikaciją. Jis parodo, kaip patys suprantame, kas šiandien yra geras mokslas.