Zásady hodnocení návrhů výzkumných záměrů (VZ)
Předmětem hodnocení není primárně hodnocení instituce, resp. pracoviště či řešitelského týmu a jejich charakteristiky a výsledky – tyto aspekty jsou součástí hodnocení způsobilosti a předpokladů uchazeče k řešení VZ a záruk dosažení deklarovaných cílů a výsledků.
Není přípustné ze strany uchazeče ovlivňovat proces hodnocení a předkládat, resp. provádět změny v návrhu VZ (dopracování nebo přepracování VZ, slučování VZ apod.) s výjimkou změn uvedených v § 28 odst. 5 zákona č 130/2002 Sb. Meziresortní hodnotící komise v otázkách hodnocení nevstupují do kontaktu se zástupci uchazeče, resp. vykonavatele ani s členy řešitelského týmu.
Hodnocení ve všech meziresortních hodnotících komisích se provádí podle stejných pravidel a stejného algoritmu na základě stejných kritérií a ukazatelů. Výstupem z hodnocení meziresortní hodnotící komisí je (po formální i věcně obsahové stránce) jednotný protokol, který rezultuje v doporučení pro poskytovatele poskytnout nebo neposkytnout institucionální podporu a v jaké výši.
Ke každému návrhu VZ stanoví meziresortní hodnotící komise 3 oponenty, z nichž zpravidla nejméně jeden je zahraniční. Oponentní posudek má formu formuláře, který obsahuje škálu a slovní komentář k jednotlivým kritériím hodnocení. Kritéria hodnocení jsou implicitně obsažena v legislativě a vyhlášení. Na základě dohody jednotlivých poskytovatelů jsou z důvodu přenositelnosti oponentní posudky používané jednotlivými poskytovateli formálně a věcně jednotné.
Při hodnocení se uplatňují metody škálování, kvantifikace a slovních výpovědí/komentářů s využitím matematických metod pro zpracování a hodnocení dat, které umožní vzájemné srovnání posuzovaných návrhů VZ.
Meziresortní hodnotící komise
- posuzuje splnění podmínek a charakteristik VZ, které jsou zákonem č. 130/2002 Sb. a vyhlášením stanoveny jako podmínky/charakteristiky nutné pro poskytnutí institucionální podpory,
- vyhodnocuje oponentní posudky,
- komplexně posuzuje návrh VZ v souvislostech a kontextu souboru komisí hodnocených návrhů VZ,
- posuzuje položkovou strukturu a výši uchazečem navržených uznaných nákladů a inst. podpory v relacích s cíli a harmonogramem řešení, personálním zabezpečením a prováděnými činnostmi, a to na principu věcného uznávání navržených nákladů.
Komise pracují systémem zpravodajů, kteří mají garanci a osobní odpovědnost za
- podrobnou znalost návrhu VZ,
- přípravu podkladů pro jednání meziresortní hodnotící komise,
- přípravu a odůvodnění návrhů a stanovisek pro rozhodování meziresortní hodnotící komise.
Ve věcech hodnocení návrhu VZ rozhoduje komise, a to kolektivně na principu většinového veřejného hlasování v souladu s nařízením vlády č. 462/2002 Sb., statutem a jednacím řádem.
8. Způsob jednání meziresortní hodnotící komise
Způsob jednání upravuje statut a jednací řád. Jednání meziresortní hodnotící komise jsou neveřejná a uplatňují se při nich principy odbornosti, zachovávání mlčenlivosti, nepodjatosti, nezaujatosti a objektivity. Rozsah a termín poskytnutí informací, které může meziresortní hodnotící komise sdělovat třetím osobám, stanoví zákon č. 130/2002 Sb.
O poskytnutí institucionální podpory rozhoduje poskytovatel, jemuž byl návrh VZ předložen. Podkladem pro rozhodnutí poskytovatele je hodnocení návrhu VZ v meziresortní hodnotící komisi, poskytovatel může rozhodnout v rozporu s doporučením meziresortní hodnotící komise, pokud rozhodnutí písemně zdůvodní (§ 21 odst. 7 zákona č. 130/2002 Sb.).
Po ukončení hodnocení poskytovatel výsledky hodnocení zveřejní, včetně procedury (zásad a algoritmu) hodnocení.
Způsob a postup hodnocení návrhu VZ
Hodnocení návrhů VZ sestává ze 4 částí:
|
provádí |
max. bodů |
Část 1. Splnění podmínek a charakteristik VZ nutných pro poskytnutí institucionální podpory |
K |
0 |
Část 2. Oponentní posudky a jejich vyhodnocení |
|
|
Část 2.1 Transformace oponentské škály na číselné hodnoty |
S |
300 |
Část 2.2 Vyhodnocení oponentních posudků |
|
100 |
A. Relace r mezi dílčími kritérii (1.i) a souhrnným stanoviskem oponenta |
S |
(0) |
B. Míra s shody oponentních posudků v hodnocení podle dílčích kritérií |
S |
(30) |
C. Relace v mezi škálou a slovním komentářem oponenta k dílčím kritériím |
K |
(25) |
D. Vyváženost i návrhu VZ |
S |
(45) |
Část 3. Posouzení návrhu VZ meziresortní hodnotící komisí |
K |
100 |
A. Přínos řešení VZ |
K |
(25) |
B. Připravenost k řešení VZ |
K |
(25) |
C. Šance uspět |
K |
(25) |
D. Pravděpodobnost uspokojení potřeb |
K |
(25) |
Část 4. Posouzení navržených uznaných nákladů a institucionální podpory |
K |
0 |
Celkem max. |
|
500 |
Legenda: K meziresortní hodnotící komise
S sekretariát meziresortní hodnotící komise
Bodové skóre uvedené v závorce jsou maximální dílčí bodové hodnoty v příslušné části hodnocení.
Část 1. Splnění podmínek a charakteristik VZ nutných pro poskytnutí institucionální podpory
Vyhodnocení se provádí nezávisle na oponentních posudcích (část 2), na posouzení meziresortní hodnotící komisí (část 3) a na posouzení struktury a výše uznaných nákladů a institucionální podpory (část 4). Vyhodnocení provádí meziresortní hodnotící komise.
Část 1 není kvantifikovaná; sleduje, zda jsou splněny podmínky a charakteristiky VZ (stanovené legislativou a ve vyhlášení) nutné pro poskytnutí podpory na škále ANO, NE; při užití NE musí protokol obsahovat písemné zdůvodnění.
|
Podmínka/Charakteristika |
1 |
Předmětem je základní nebo aplikovaný výzkum (s vyloučením průmyslového) a případná související infrastruktura |
2 |
Předmět VZ je z hlavní výzkumné činnosti uchazeče |
3 |
Doba řešení je v rozmezí 5-7 let |
4 |
VZ má věcně ucelený charakter, není tvořen separátními, disjunktními a vzájemně nesouvisejícími výzkumnými činnostmi |
5a |
Pracovní kapacita řešitelského týmu (D1+D2) je alespoň 10 přepočtených úvazků |
5b |
Pracovní kapacita řešitelského týmu (D1+D2) je z intervalu <5, 10) přepočtených pracovních úvazků a existují objektivní důvody, proč není splněna podmínka 5a |
6 |
Pracovní kapacita každého výzk. pracovníka (D1) je alespoň 50 % úvazku |
Poznámky:
1 – ANO se použije v případě, že je zahrnut pouze základní nebo aplikovaný neprůmyslový výzkum a případná související infrastruktura, NE se použije v případě, že je zahrnut i průmyslový výzkum nebo vývoj či jiné činnosti, které nemají charakter výzkumu a vývoje či související infrastruktury
2 – vyhodnocují se části C1. a C3. návrhu VZ ve vztahu k části B1.
5b – v případě ANO se v protokolu specifikují objektivní důvody, proč není splněna podmínka 5a
Dílčí závěr části 1:
Vyhodnotí se pravdivostní hodnota logické formule
(p1) A (p2) A (p3) A (p4) A [(p5a) NEBO (p5b)] A (p6) = p.
Pro poskytnutí institucionální podpory musí být získaná hodnota p = PRAVDA.
Část 2. Oponentní posudky a jejich vyhodnocení
Část 2.1 Transformace oponentské škály na číselné hodnoty
Pro hodnocení návrhu VZ oponentem (na škále A až E a slovní komentář) se užívají tato kritéria:
1.1. Očekávaný přínos výzkumného záměru
1.2a. Vědecký potenciál uchazeče/vykonavatele
1.2b. Mezinárodní spolupráce
1.3a. Strategie a metody řešení výzkumného záměru
1.3b. Řešitelský tým
1.3c. Infrastruktura
1.3d. Časový harmonogram
1.3e. Finanční zabezpečení
2. Souhrnné stanovisko oponenta
Transformaci škálového hodnocení dílčích kritérií (1.i) obsaženého v posudku oponenta na číselné hodnoty provádí sekretariát meziresortní hodnotící komise ryze matematickými metodami podle následující transformační tabulky.
Transformační tabulka
|
1.1. |
1.2a |
1.2b. |
1.3a. |
1.3b. |
1.3c. |
1.3d. |
1.3e. |
Součet |
A |
18 |
17 |
15 |
9 |
18 |
9 |
6 |
8 |
100 |
A/B |
16,2 |
15,3 |
13,5 |
8,1 |
16,2 |
8,1 |
5,4 |
7,2 |
90 |
B |
14,4 |
13,6 |
12 |
7,2 |
14,4 |
7,2 |
4,8 |
6,4 |
80 |
B/C |
11,7 |
11,05 |
9,75 |
5,85 |
11,7 |
5,85 |
3,9 |
5,2 |
65 |
C |
9 |
8,5 |
7,5 |
4,5 |
9 |
4,5 |
3 |
4 |
50 |
C/D |
6,3 |
5,95 |
5,23 |
3,15 |
6,3 |
3,15 |
2,1 |
2,8 |
35 |
D |
3,6 |
3,4 |
3 |
1,8 |
3,6 |
1,8 |
1,2 |
1,6 |
20 |
D/E |
1,8 |
1,7 |
1,5 |
0,9 |
1,8 |
0,9 |
0,6 |
0,8 |
10 |
E |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Poznámka:
1. Číselná hodnota pro A/B se použije v případě, že v posudku oponenta je uvedeno A/B, A – , B +, nebo jsou uvedeny obě hodnoty A i B (analogicky pro ostatní případy B/C, C/D, D/E).
2. V případě neúplného posudku oponenta se využije postup popsaný v části 2.2.B.
Dílčí závěr z části 2.1:
Součet číselných hodnot získaných transformací tří oponentních posudků podle výše uvedené tabulky. Maximální možné bodové skóre je 300 bodů.
Část 2.2 Vyhodnocení oponentních posudků
A. Relace r mezi dílčími kritérii (1.i) a souhrnným stanoviskem (2) oponenta
Parametr r vyjadřuje relaci mezi dílčími kritérii hodnocení a souhrnným stanoviskem oponenta ve vztahu k váze jednotlivých dílčích kritérií stanovené v transformační tabulce v části 2.1. Vypočítá se jako podíl součtu číselných hodnot získaných transformací oponentního posudku a souhrnného stanoviska vyjádřeného jako ideální součet číselných hodnot dílčích kritérií. Ideální součty pro jednotlivé hladiny souhrnného stanoviska oponenta jsou uvedeny ve sloupci „Součet“ transformační tabulky v části 2.1. Výpočet provádí sekretariát meziresortní hodnotící komise.
Příklad:
Oponent 1 |
1.1. |
1.2a |
1.2b. |
1.3a. |
1.3b. |
1.3c. |
1.3d. |
1.3e. |
Součet |
2. |
Škála |
B |
A |
A |
B |
B |
C |
A |
B |
--- |
B |
Body |
14,4 |
17 |
15 |
7,2 |
14,4 |
4,5 |
6 |
6,4 |
84,9 |
r=84,9/80 |
Dílčí závěr části 2.2.A:
Parametr r relativizuje souhrnné stanovisko oponenta vzhledem k váze jednotlivých dílčích kritérií (1.i) podle transformační tabulky a nezahrnuje se do bodového skóre.
B. Míra s shody oponentních posudků v hodnocení podle dílčích kritérií (1.i)
Parametr s kvantifikuje shodu, resp. rozdíly v hodnocení návrhu VZ podle dílčích kritérií (1.i) jednotlivými oponenty. Vypočítá se podle vzorce
s = (8 – součet rozdílů hladin)/8.
Výpočet provádí sekretariát meziresortní hodnotící komise.
Příklad:
|
1.1. |
1.2a |
1.2b. |
1.3a. |
1.3b. |
1.3c. |
1.3d. |
1.3e. |
Oponent 1 |
A |
B |
A |
B |
C |
A |
A |
A |
Oponent 2 |
A |
C |
A |
A |
C |
A |
B |
A |
Oponent 3 |
A |
B |
A |
C |
B |
A |
B |
B |
s |
1 |
0,75 |
1 |
0,5 |
0,75 |
1 |
0,75 |
0,75 |
Příklad výpočtu parametru s (červeně jsou uvedeny rozdíly hladin)
pro hledisko 1.2a. pro hledisko 1.3a.
B B
1 0 1 1
C 1 B A 2 C
s = (8 – 2)/8 = 0,75 s = (8 – 4)/8 = 0,5
Dílčí závěr části 2.2.B:
Součet číselných hodnot pro každé jednotlivé dílčí kritérium (1.i) se vynásobí příslušným parametrem s, získané hodnoty se sečtou a vydělí 300. Vypočítané číslo S se vynásobí 30. Maximální možné bodové skóre je 30 bodů.
C. Relace v mezi škálou a slovním komentářem oponenta k dílčím kritériím (1.i)
Koeficient v kvantifikuje soulad mezi oponentem stanovenou škálou a uvedeným slovním komentářem. Koeficient stanoví meziresortní hodnotící komise pro každý oponentní posudek a každé dílčí hledisko (1.i). Koeficient v nabývá hodnot {0,8; 1,0; 1,2} podle těchto pravidel:
v = 1,0 přiřazená hladina {A, …, E} a slovní komentář si odpovídají
v = 0,8 přiřazená hladina {A, …, D} je nadhodnocená vzhledem ke slovnímu komentáři
v = 1,2 přiřazená hladina {B, …, E} je podhodnocená vzhledem ke slovnímu komentáři
Postup v případě neúplného oponentního posudku
1) Není-li v oponentním posudku zaškrtnutá hladina na škále, zrekonstruuje ji zpravodaj na základě oponentem uvedeného slovního komentáře a za údaj uvede písmeno z. Koeficient v je v tomto případě roven 1.
2) Jestliže oponent některé dílčí kritérium neposuzuje a uvede, že se necítí být kompetentní se vyjádřit, doplní se škálová hladina totožná se škálou souhrnného vyjádření a za údaj se uvede písmeno n. Není-li v oponentním posudku uvedena ani souhrnná škálová hladina, doplní se ze škály E za údaj uvede písmeno n. Koeficient v je v těchto případech roven 1
3) Jestliže oponent některé dílčí kritérium neposuzuje s odůvodněním, že v návrhu VZ není dostatek informací, uvede se údaj E a za údaj uvede písmeno z. Koeficient v je v tomto případě roven 1.
4) Jestliže oponent k některému dílčímu kritériu neuvede slovní komentář, koeficient v je roven 0,8.
Dílčí závěr z části 2.2.C:
Číselná hodnota pro každé dílčí kritérium (1.i) se vynásobí příslušným koeficientem v, získané hodnoty se sečtou a vydělí 300. Vypočítané číslo V se vynásobí 25. Maximální možné bodové skóre je 25 bodů.
D. Vyváženost i návrhu VZ
Parametr i kvantifikuje (na základě hodnocení provedeného oponentem) relaci mezi cíli a předpoklady k řešení na straně jedné a prostředky k jejich dosažení na straně druhé. Vypočítá se jako součin součtu číselných hodnot v dílčích kritériích 1.1, 1.2a., 1.2b. a součtu číselných hodnot v dílčích kritériích 1.3a. až 1.3e. Tento součin se dělí číslem 2500.
Dílčí závěr z části 2.2.D:
Parametr i vypočítaný pro každý jednotlivý oponentní posudek se násobí číslem 15 a výsledné hodnoty se sečtou. Maximální možné bodové skóre je 45 bodů.
Maximální možné bodové skóre v části 2.2 je 100 bodů.
Část 3. Posouzení návrhu VZ meziresortní hodnotící komisí
Podkladem pro posouzení je návrh VZ a zpracované oponentní posudky. Posouzení se zabývá analýzou výchozího stavu poznání, dopadu řešení, předpokladů k řešení a příležitostí k řešení navrhovaného VZ. Pro účely hodnocení se těmito pojmy rozumí:
výchozím stavem poznání (a) – aktuální úroveň poznání (z mezinárodního hlediska) v oblasti, která je předmětem řešení VZ, míra otevřenosti poznatkové základny, dosavadní podíl uchazeče/vykonavatele na rozvoji oboru a rozšiřování poznatkové základny (specifikováno zejména v částech C2., C4., B2., B3., B4 textové části návrhu VZ a v posudku oponenta),
dopadem řešení VZ (b) – potenciální příspěvek k rozvoji v poznání (u aplikovaného výzkumu zejména inovační potenciál a využitelnost výsledků) v souvislosti se způsobem uchopení výzkumného tématu (strategie a metody řešení, komplexnost, originalita řešení) a aktuálností řešení dané problematiky z hlediska časového a teritoriálního (specifikováno zejména v částech C5., C6., C8. textové části návrhu VZ a v posudku oponenta),
předpoklady k řešení VZ (c) – kvalifikační a věková struktura řešitelského týmu, jeho pracovní kapacita, jeho výzkumný potenciál daný počtem relevantních výsledků vztažených k přečteným pracovním úvazkům výzkumných zaměstnanců D1. a vybudovaná infrastruktura (specifikováno zejména v částech D, E textové části návrhu VZ a v posudku oponenta),
příležitostí (d) – obsazenost a otevřenost výzkumného prostoru v oblasti, která je předmětem řešení VZ z hlediska národního a mezinárodního (dáno souborem hodnocených návrhů VZ a sítí pracovišť zabývajících se stejnou/obdobnou tématikou).
Vzájemná souvislost vybraných dvojic výše uvedených aspektů návrhu VZ charakterizuje následující parametry návrhu VZ:
A. Přínos řešení VZ
Přínos řešení VZ je výsledkem vyhodnocení dopadu řešení VZ na stav úrovně poznání (u aplikovaného výzkumu zejména inovační potenciál a využitelnost výsledků) vůči výchozímu stavu poznání.
B. Připravenost k řešení VZ
Připravenost k řešení VZ poměřuje, zda předpoklady k řešení, které má uchazeč/vykonavatel vytvořeny, odpovídají výchozímu stavu poznání a umožňují ho překonat.
C. Šance uspět
Šance uspět vypovídá o pravděpodobnosti dosažení cílů a výsledků v závislosti na předpokladech k řešení a příležitostech (v konkurenci s jinými pracovišti).
D. Pravděpodobnost uspokojení potřeb
Dopad řešení VZ v závislosti na příležitostech vypovídá o pravděpodobnost uspokojení potřeb.
Parametry A. Přínos řešení, B. Připravenost k řešení, C. Šance uspět a D. Pravděpodobnost uspokojení potřeb jsou vyjádřeny souřadnicemi A (ab), B (ac), C (cd), D (db) a doplněny slovním vyjádřením v souhrnném komentáři k části 3.
Dílčí závěr z části 3:
Souřadnice jednotlivých aspektů A. až D se vynásobí a součiny se sečtou. Maximální možné bodové skóre je 100 bodů.
Část 4. Posouzení navržených uznaných nákladů a institucionální podpory
Meziresortní hodnotící komise posoudí položkovou strukturu a výši uchazečem navržených uznaných nákladů a institucionální podpory, a to na principu věcného uznávání navržených nákladů. Uchazečem navržené uznané náklady a institucionální podpora se posuzují z hlediska opodstatněnosti (tj. zda náklady zahrnuté v příslušné položce jsou nutné k řešení VZ, resp. s řešením souvisejí a jsou zdůvodněné, resp. zdůvodnitelné), z hlediska efektivnosti, hospodárnosti a dobrých mravů (tj. zda navrhovaná výše nákladů v příslušné položce je adekvátní účelu nebo výkonům a zda není nadhodnocená, resp. podhodnocená a odpovídá cenové hladině nebo zvyklostem) a z hlediska časového (tj. zda rozložení nákladů v čase odpovídá harmonogramu prováděných činností).
Dílčí závěr z části 4:
Doporučená položková struktura a výše uznaných nákladů a institucionální podpory na řešení VZ a jejich zdůvodnění v případě, že se doporučení meziresortní hodnotící komise liší od návrhu předloženého uchazečem. Výsledek posouzení uznaných nákladů se nezahrnuje do bodového skóre.