Téma uzavřeno 
 
Hodnocení tématu:
  • 0 Hlasů - 0 Průměr
  • 1
  • 2
  • 3
  • 4
  • 5
Hodnocení informatického výzkumu (prof. Bělohlávek)
06-05-2010, 09:39 PM
Příspěvek: #1
Hodnocení informatického výzkumu (prof. Bělohlávek)
Hodnocení informatického výzkumu
prof. RNDr. Radim Bělohlávek, DSc. (PřF UP Olomouc)




Přiložené soubory
.pdf  belohlavek.pdf (Velikost: 540.61 KB / Stažení: 22)
Vyhledat všechny příspěvky tohoto uživatele
06-05-2010, 11:09 PM
Příspěvek: #2
Hodnocení informatického výzkumu
recenze: RNDr. Martin Štěpnička, Ph.D. (zástupce ředitele ÚVAFM OU Ostrava), RNDr. Jiří Rákosník, CSc. (zástupce ředitele MÚ AV ČR Praha)
teze k diskusi: prof. RNDr. Ivana Černá, CSc., RNDr. Jiří Rákosník, CSc.


Přiložené soubory
.pdf  recenze_stepnicka_belohlavek.pdf (Velikost: 142.9 KB / Stažení: 13)
.pdf  recenze_rakosnik_belohlavek.pdf (Velikost: 78.11 KB / Stažení: 8)
.pdf  teze_cerna_belohlavek.pdf (Velikost: 44.18 KB / Stažení: 8)
.pdf  teze_rakosnik_belohlavek.pdf (Velikost: 44.53 KB / Stažení: 9)
Vyhledat všechny příspěvky tohoto uživatele
06-06-2010, 11:36 PM
Příspěvek: #3
Prezentace a záznamy
Prezentace a záznamy




Přiložené soubory
.pdf  prezentace_recenze_stepnicka_belohlavek.pdf (Velikost: 65.51 KB / Stažení: 7)
.pdf  prezentace_belohlavek.pdf (Velikost: 523.47 KB / Stažení: 9)
Vyhledat všechny příspěvky tohoto uživatele
06-11-2010, 04:26 PM
Příspěvek: #4
Re: Hodnocení informatického výzkumu
Nekolik prispevku na Hovorech (7.6.10) bylo venovano hodnoceni vyzkumu, inovaci, sw, jejich problemum. Mrzi mne, ze dostatecne jasne "informaticky" nezaznelo, ze objektivne - presne hodnotit proste nejde - neumime.
Vyhledat všechny příspěvky tohoto uživatele
06-12-2010, 10:25 AM
Příspěvek: #5
Re: Hodnocení informatického výzkumu
Bucha napsal(a):Nekolik prispevku na Hovorech (7.6.10) bylo venovano hodnoceni vyzkumu, inovaci, sw, jejich problemum. Mrzi mne, ze dostatecne jasne "informaticky" nezaznelo, ze objektivne - presne hodnotit proste nejde - neumime.

V praci prof. Belohlavka jsou shrnuty dva zakladni pristupy k hodnoceni (nejen) informatickeho vyzkumu - zalozeny na scientometrii a zalozeny na hodnoceni pomoci odbornych komisi. Tematicka studie stejne jako ma recenze uvadi, ze oba pristupy maji sve nedostatky. To preci obsahuje informaci, kterou postradate.
Vyhledat všechny příspěvky tohoto uživatele
06-12-2010, 11:49 PM
Příspěvek: #6
Re: Hodnocení informatického výzkumu
Záležitosti ohledně hodnocení (informatického) výzkumu zatím sleduji spíše z povzdálí. Nicméně využívám příležitosti a připojuji několik komentářů (předesílám, že možná nepříliš zasvěcených).

Měření není totéž, co hodnocení. Tento fakt, myslím, bývá málokdy explicitně zmiňován a bývá příčinou řady nedorozumění. Přesněji řečeno, řada lidí považuje za samozřejmost automaticky přejít od získaných scientometrických dat o pracovnících (pracovištích, ...) k jejich lineárnímu (!) uspořádání. Je na první pohled patrné, že tento přístup - od něhož se bude např. odvíjet financování - má řadu negativ, viz studie.
Charakteristické je, že směr úvahy bývá často takovýto: "metody měření > hodnocení > využití".

Ovšem adekvátní postup by měl podle mého soudu být spíš opačný:
- na základě způsobu využití začnu vytvářet kritéria, která by mělo splňovat dané hodnocení: např. budu požadovat, aby kvalitní výsledek nemohl být předehnán větším množstvím výsledků slabých atp.,
- jakmile bude k dispozici soubor požadavků, lze si klást otázku, zda jsou požadavky konzistentní - pokud ne, otázka bude znít, který či které z nich je nutno vypustit či oslabit, abychom měli konzistentní systém,
- jakmile budeme mít konzistentní systém požadavků na hodnocení, pak se teprve začneme zabývat tím, co nám scientometrie může poskytnout. (Něco podobného zmínil Martin Štěpnička v neformální diskusi při obědě.)

Směr úvah by se tedy měl ubírat spíše takto:
vize a strategie (chceme vynést jedno špičkové pracoviště na výsluní, anebo chceme, aby v žádném z regionů nebyl vyloženě nekvalitní výzkum třeba za cenu, že přestaneme mít špičková pracoviště...) > hodnocení (co má znamenat relace být_lepší vzhledem k naší strategii, jaká kritéria na ní budeme klást?) > výběr dat, která budeme potřebovat a metod, jak je zpracovávat.
Vyhledat všechny příspěvky tohoto uživatele
06-28-2010, 06:31 PM
Příspěvek: #7
Re: Hodnocení informatického výzkumu
Martin Víta napsal(a):Záležitosti ohledně hodnocení (informatického) výzkumu zatím sleduji spíše z povzdálí. Nicméně využívám příležitosti a připojuji několik komentářů (předesílám, že možná nepříliš zasvěcených)...

Já s tebou Martine naprosto souhlasím. Ona by celá záležitost měla začít již otázkou: "Co chcete měřit či hodnotit? Pracoviště? Celé univerzity? Jednotlivé pracovníky? Nebo samotné výsledky?" Zatím vlastně Metodika RVVI meyi tímto nedělá rozdíl. Navrhuje, jak měřit jednotlivé záznamy, ale hovoří o hodnocení. Díky absenci zaměření se na hodnocení na jednotlivých úrovních se navržené měření jednotlivých výstupu spolu s obyčejným sčítáním opravdu stává hodnocením a to na všech úrovních.

Ale i kdybychom měli akceptovatelný systém měření jednotlivých výsledků, nalézt problém hodnocení na jednotlivých úrovních je netriviální. Nebude to jen problém agregace, ale mnohem obecnější problém. Vezměme si jednoduché omezeni negativních vlivů kvantitativního přístupu k agregaci jako je fragmentace výsledků. Vědec a rozumný hospodář rozdělí výsledek na dva menší. Byl-li jeho výsledek dostatečně kvalitní, pak oba vzniklé budou ve stejné kategorii a získá 2x tolik bodů potažmo financí. Stačí triviální změna na evidenci a hodnocení jen pěti nejlepších výsledků v posledních pěti letech. (Číslo 5 je jen jako příklad, není návrhem.) Kvalitní vědci danou kvótu plní a nebudou již finančně motivováni k frgamentacím. Nekvalitní autoři většinou nemají ani jeden kvalitní výsledek a pět nekvalitních výsledků v dobrém systému nemůže překročit ani jeden kvalitní výsledek. Kvalitní ale příliš pasivní autoři mají motivaci zvýšit aktivitu. A to je jen poměrně jednoduchá úprava, nic sofistikovaného.

Nicméně toto se vztahuje na hodnocení autorů. Jak hodnotit pracoviště? jako průměr jednotlivých autorů? To nelze, vědecké práce není individální a tento přístup by k tomu vedl, ničil by vědecké týmy. Nebo by bylo možné naplňovat i neobsazené kvóty za kolegy? (10 kolegů, jen jeden publikuje, může tedy vykázat až 50 publikací) To bychom se opět vrátili k negativním vlivům kvantitativního hodnocení včetně fragmentace. Ten problém nelze vyřešit za jeden víkend. Je proto alarmující, že se tímto dosud RVVI nezabývala. Je ale jednoznačně nutné říci, že 20 výsledků není dvacetkrát více než jeden. Tuto trojčlenku je třeba odmítnout a neřešit nastavením jednotlivých hodnot u jednotlívých výsledků to, co se musí řešit o úroveň výše.
Vyhledat všechny příspěvky tohoto uživatele
Téma uzavřeno 


Skok na fórum:


Uživatel(é) prohlížející si toto téma: 1 Host(é)

Kontakty | SoSIReCr | Nahoru | Na obsah | Odlehčený (archivační) mód | RSS syndikace