„Ewaluacja” to skrótowa forma używana na nazwanie procesu, który w ustawie nazywa się ewaluacją jakości działalności naukowej. W skrócie – raz na jakiś czas (teraz – 5 lat) wszystkie jednostki w Polsce prowadzące działalność naukową poddawane są ocenie. Wynik tej oceny to tzw. kategoria naukowa. Decyduje ona w części o wysokości środków jakie otrzymuje np. uczelnia z budżetu na prowadzenie swojej działalności. Od niej zależą również uprawnienia do nadawania stopni naukowych, a także możliwość ubiegania się o pewne rodzaje projektów.
Ewaluacja przeprowadzana jest na podstawie bardzo szerokiego zestawu danych, które uczelnia ma obowiązek przekazać w wyznaczonych terminach do ogólnopolskiego systemu informatycznego. Ten system to POL-on (Zintegrowanych system informacji o nauce polskiej i szkolnictwie wyższym).
Jak to robimy na ZUT
Oświadczenia
Cała sprawa zaczęła się w 2018 roku. Wtedy weszła w życie Ustawa Prawo o szkolnictwie wyższym i nauce (nazywana Ustawą 2.0 lub Konstytucją dla Nauki). Ogromne zamieszanie, w którym trzeba było się odnaleźć i podjąć słuszne z perspektywy długofalowej decyzje.
Pierwszy krok to złożenie oświadczeń o reprezentowaniu przez naukowców dyscyplin naukowych (a wcześniej ogłoszenie nowego wykazu dyscyplin – swego rodzaju rewolucja w świecie nauki). Druga rzecz to oświadczenie o wyrażeniu zgody na zaliczenie do liczby pracowników prowadzących działalność naukową. Nazwa mega skomplikowana z perspektywy zwykłego człowieka, dlatego też w środowisku naukowym używa się skrótowca – oświadczenie „o liczbie N” 🙂
Od samego początku na ZUT składanie oświadczeń realizowane było przy użyciu systemu informatycznego zintegrowanego z bazą kadrową. Pozwoliło to na kontrolę nad realizacją obowiązku ustawowego (złożenie wyżej wymienionych oświadczeń było/jest obowiązkiem każdego pracownika jednostki naukowej spełniającego kryteria określone w ustawie). To pozwoliło na spokojne podejście do tematu i ułożenie tego tematu „z głową”. Koniec końców pozwoliło też na przekazanie tych informacji za pośrednictwem API do systemu POL-on.
API – sposób komunikowania się systemów informatycznych między sobą. Szczególnie przydatny w sytuacji przekazywania danych z jednego systemu do drugiego.
Kryterium I – Publikacje
Poprzednia ewaluacja (wtedy nazywała się jeszcze oceną parametryczną) była… trudna. Z litości nie wspomnę o tym, jaki system informatyczny „wspomagał” nas wtedy w przekazywaniu publikacji (był to początek 2017 roku). Sprawozdawczość była w zasadzie zarządzaniem kryzysem. Po zakończeniu oceny było pewne, że potrzebujemy nowego systemu do rejestrowania osiągnięć publikacyjnych naszych naukowców.
Niedługo później powstał system, który pozwala na zapanowanie nad publikacjami naszych naukowców. Autor zgłasza publikację wprowadzając szczątkowe dane, odpowiednia jednostka Biblioteki Głównej ZUT dokonuje opisu bibliograficznego i w ten sposób dane o publikacjach są gotowe do dalszego wykorzystania (na cele oceny nauczycieli akademickich, nagród itd.). W tle chodzą mechanizmy pozwalające na synchronizowanie aktualnej listy czasopism punktowanych, konferencji i wydawnictw (pisałem o tym w innym wpisie – Punkty tu, punkty tam…, I znowu punkty), weryfikacji publikacji w bazie CrossRef itp.
Żeby nie było za prosto – w Ustawie 2.0 przewidziano jeszcze trzecie oświadczenia: „Oświadczenie o wyrażeniu zgody na wykazanie osiągnięcia na potrzeby ewaluacji jakości działalności naukowej”. To taki dokument, który służy na etapie samej ewaluacji do BSPM (bardzo skomplikowanych przekształceń matematycznych). Przecież nie może być tak, że ewaluacja będzie prosta, to w końcu nauka – musi być skomplikowanie. W uproszczeniu oświadczenie składa każdy nauczyciel – autor danego osiągnięcia (i w zasadzie musi być złożone w formie papierowej).
Również do zapanowania nad tym elementem wykorzystaliśmy wewnętrzny system informatyczny, pozwalający być „na bieżąco”, tak aby nie zaskoczyła nas sytuacja pod koniec okresu ewaluowanego.
Uzbrojeni w system wewnętrzny pilnujący publikacji i oświadczeń wyglądaliśmy momentu, kiedy będziemy mogli przekazać osiągnięcia do systemu centralnego (podsystem dotyczący publikacji został nazwany Polską Bibliografią Naukową, w skrócie PBN). W międzyczasie podjęliśmy (od razu zakładaliśmy, że słuszną, ale po czasie okazało się jak bardzo) decyzję o rezygnacji z wykorzystania tzw. huba migracyjnego przygotowanego jako formę przejścia między systemem PBN1 a PBN2 (tak – cały okres ewaluacji to jedna wielka zmiana w centralnych systemach informatycznych). Oszczędziło nam to ręcznej pracy i przeklikiwania się przez tysiące wpisów w celu ich ręcznego poprawienia. Uzupełnianie PBN2 rozpoczęliśmy „od zera”.
Ciężko przekazuje się dane do systemu, który cały czas powstaje (i się zmienia). Jednak byliśmy jedną z pierwszych uczelni w Polsce, która po udostępnieniu wersji produkcyjnej API PBN2 rozpoczęła przekazywanie tam danych.
Trudno przecenić komfort przekazywania informacji za pośrednictwem API. Kompletny opis jednej publikacji (wraz z oświadczeniami nr 3) w sekundę-dwie znajdował się w PBN2.
Kryterium I – Patenty
Częścią danych jakie przekazujemy do POL-on są informacje o patentach. Jako najbardziej innowacyjna uczelnia w Polsce (Ranking Perspektyw 2021) mamy tego „trochę”, kilkaset patentów (te górne „kilkaset” 🙂 ) to spory wolumen danych. Ponownie wykorzystaliśmy wewnętrzny system informatyczny zintegrowany z bazą oświadczeń. Z kolei integracja z EPO (European Patent Office) pozwoliła na spore przyśpieszenie pracy dotyczącej streszczeń opisów wynalazków.
Tutaj również musieliśmy zebrać oświadczenia autorów, a następnie wszystko przekazać do POL-on. Tutaj również przez API. Sekunda-dwie na patent 🙂
Kryterium I – Osiągnięcia artystyczne
ZUT jest uczelnią bardzo „bogatą” w dyscypliny naukowe. Jedną z nich jest również „sztuki plastyczne i konserwacja dzieł sztuki”. Tutaj również należało „zapanować” nad zbieraniem danych i ich przekazaniem do POL-on. Jak zwykle z „oświadczeniami nr 3”. I ponownie przez API. Sekunda-dwie 🙂
Kryterium II – Projekty
W nagłówkach widnieją zapisy „Kryterium I, Kryterium II, Kryterium III”. Ewaluacja jest prowadzona w trzech kryteriach – osiągnięcia naukowe (I), efekt finansowy działalności naukowej (II) oraz wpływ na otoczenie (III).
Elementem efektu finansowego są pozyskane projekty naukowe. To staje się już trochę nudne, ale również tutaj gromadziliśmy informacje o projektach w wewnętrznym systemie informatycznym. Wraz z rozwojem systemu POL-on nasz system również był dostosowywany do zakresu i struktury danych jaką musieliśmy sprawozdać. Po drodze konieczna okazała się integracja z API NBP – część projektów to kwoty w Euro, a do POL-on przekazujemy kwoty w złotych. No i ostatecznie – sekunda-dwie na projekt 🙂
Kryterium II – Działalność badawcza na zlecenie
Ważnym elementem całego systemu sprawozdawczości jest oświadczenie kierownika jednostki naukowej (w przypadku ZUT jest to Rektor) o prawidłowości przekazanych do systemów ministerialnych danych. Mając to z tyłu głowy musieliśmy zadbać o to, żeby przekazane informacje znajdowały zawsze odzwierciedlenie w rzeczywistości.
W zakresie działalności badawczej na zlecenie (często są to zlecenia z firm) do zapewnienia jakości danych posłużyła integracja wewnętrznego systemu (a jakże) z systemem finansowo-księgowym. Wewnętrzny rejestr prac badawczych sprzężony z danymi dotyczącymi faktur pozwolił na przygotowanie informacji bez większych problemów. A później już tylko API i gotowe. A tutaj to już tylko sekunda 🙂
Kryterium III – Opisy wpływu
To pewnego rodzaju nowość w ocenie uczelni. Chodzi o przedstawienie wpływu jaki uczelnia, jej działalność naukowa wywiera na otoczenie. Im większy, donioślejszy wpływ – tym lepiej. Tutaj nie było już przygotowanego w POL-on API, ale jak najbardziej pojawił się wewnętrzny system, który pozwolił na monitorowanie stanu prac poszczególnych dyscyplin. I przed Świętami Bożego Narodzenia temat mieliśmy zamknięty.
ORCID
Pewnym wyzwaniem był dla nas ORCID. Jest to ogólnoświatowa baza, w której autorzy mogą umieszczać swoje publikacje. Słowo klucz w tym zdaniu to „autorzy”. Uczelnia nie może mieć 100% wpływu na zawartość ich prywatnych profili ORCID. A tego wymagały przepisy ewaluacyjne – pod uwagę podczas oceny miały być brane tylko publikacje, które znajdowały się w profilach poszczególnych autorów. Po przeprowadzeniu analizy tematu i zebraniu argumentów rozpoczęliśmy dyskusję na forum ogólnopolskim, której wynikiem było wycofanie się Ministerstwa z tego wymogu.
Mimo tego kontynuowaliśmy prace nad zagadnieniem profili ORCID, tak aby zawierały wszystkie publikacje naszych pracowników. Baza publikacji posłużyła nam jako źródło danych. Poprosiliśmy pracowników o połączenie kont uczelnianych z kontami ORCID, i od tej pory profile są synchronizowane. Będziemy obserwować, czy wpłynie to na cytowania.
Czas na kłótnie jest teraz
Na potrzeby ewaluacji powstał jeszcze jeden mechanizm, który pozwolił na przeprowadzanie analiz w oparciu o dane dotyczące publikacji i patentów (czyli Kryterium I) przez Przewodniczących Rad Dyscyplin (to tacy szefowie ewaluowanych zespołów – uczelnia jest oceniana w każdej dyscyplinie odrębnie). Wyniki analiz pozwoliły na zintensyfikowanie prac naukowych w drugiej połowie okresu ocenianego – było wiadomo kto musi jeszcze „popracować”.
Z racji tego, że uczelnia sprawozdaje dane jako całość, a oceniane są poszczególne dyscypliny, mogło dojść do sytuacji konfliktowych. Projektowaniu wewnętrznych systemów przyświecało jedno dodatkowe założenie – jeżeli dyscypliny mają się pokłócić między sobą, to ma się to wydarzyć przed sprawozdaniem danych, a nie po ogłoszeniu wyników ewaluacji. System został zaprojektowany tak, aby na koniec nie pojawiły się konflikty, które mogłyby ciągnąć się latami.
Spokojne święta
Ewaluacja to kawał pracy. Kilka-kilkanaście tysięcy rekordów do przekazania, zadbanie o poprawność danych, terminowość przekazania. Wreszcie zgranie działań prowadzonych przez pracowników całej uczelni dla osiągnięcia jak najlepszego wyniku.
Święta 2021 mogły być zatem zmarnowane. Ale nie były. Nie zmieniło tego ogłoszenie nowej listy czasopism 1.12.2021 r. (I znowu punkty) i sprostowania tej listy 21.12.2021 r. Wszystkie narzędzia przygotowane na ZUT i sposób koordynacji prac pozwolił na zakończenie prac „na spokojnie”.