Блог для «Юридичної практики» Реди Мольєне, голови Конкурсної комісії з проведення конкурсу на посади в службі дисциплінарних інспекторів

Конкурсна комісія з проведення конкурсу на посади в Службі дисциплінарних інспекторів неодноразово декларувала своїм головним завданням відбір найбільш компетентних та доброчесних кандидатів на принципах, публічності, прозорості та об’єктивності. Адже лише якщо на кожному етапі конкурсу буде реалізовано кожен із зазначених принципів можна стверджувати, що його результати є якісними та заслуговувати на довіру.

Нещодавно комісією були затверджені результати оцінювання відповідей кандидатів на ситуаційне завдання. Користуючись цією нагодою, варто детальніше проаналізувати, яким чином комісія зуміла трансформувати цей традиційно суб’єктивний інструмент оцінювання (принаймні в Україні) в надійне та об’єктивне джерело інформації щодо професійної компетентності кандидатів.

За запитом конкурсної комісії, проекти міжнародної технічної комісії залучили групу правників для розробки практичних завдань. Група складалась з науковців і практиків, які безпосередньо працюють з проблематикою дисциплінарної відповідальності суддів. Їхню роботу з методологічної точки зору супроводжував експерт-психометрист. 

Конкурсна комісія сформулювала запит перед розробниками – створити завдання, які дозволять максимально об’єктивно оцінити, як знання релевантного законодавства, міжнародних стандартів, практики судів та ВРП, так і уміння застосовувати ці знання на практиці. З цією метою, розробники мали створити низку комплектів, до яких входять ситуаційне завдання та індивідуальна інструкція з оцінювання до кожного практичного завдання. Інструкція, яка за обсягом значно переважала ситуаційне завдання, містила можливі елементи правильних відповідей кандидатів, із зазначенням кількості балів, які нараховується у випадку наявності цього елемента у відповіді кандидата.

За кілька днів до виконання практичного завдання комісія затвердила перелік джерел, які були доступні для кандидатів на комп’ютері під час виконання завдання. Також, був оприлюднений приклад практичного завдання.

Після виконання завдання відповідь кожного кандидата була роздрукована, підписана кандидатом, відсканована та негайно оприлюднена на веб-сайті ВРП.

Як і у випадку розробки практичних завдань, з метою оперативного та об’єктивного оцінювання робіт кандидатів, були залучені зовнішні експерти-оцінювачі. До їх числа також увійшли науковці, практики та психометрист, який супроводжував їхню роботу. На першому етапі, кожна робота паралельно перевірялась випадково сформованою парою оцінювачів. Тобто оцінювач не знав хто ще оцінює роботу кандидата, та які результати оцінювання. Результатом роботи оцінювача, була заповнена форма оцінювання створена розробниками практичного.

Саме завдяки наявності детальної інструкції оцінювання, був використаний аналітичний метод оцінювання. На противагу холістичному методу, який оцінює роботу як цілісне утворення в результаті формування загального враження (яке неодмінно є субʼєктивним), аналітичний метод розбиває роботу но значну кількість елементів для формування обʼєктивної оцінки вираженої в балах. Тому, відповідь на кожне запитання, оцінювалося окремо від інших. Проте, левова кількість балів нараховувалась за якісну і релевантну аргументацію з посиланням на національне законодавство, судову практику, тощо (про що напряму запитувалось).

Якщо оцінка двох оцінювачів відрізнялась більше ніж на 5%, вона передавалась для оцінювання третьому оцінювачу. Також, на третю оцінку передавались ті роботи які знаходились на межі проходження до наступного етапу конкурсу. В окремих випадках проводилась четверта оцінка (особливо, щодо робіт які балансували на межі проходження). Для подолання відмінностей в оцінюванні проводився очні обговорення між оцінювачами та обмін письмовими результатами оцінювання, з подальшим їх коригуванням.

Після отримання «сирих балів», для зручності використання в конкурсній процедурі, вони були переведені в процентилі, в шкалі від 0 до 100. В якій сто рейтингових балів отримала робота, яка отримала найбільшу кількість «сирих балів», а нуль балів – найменше. Наприклад, рейтинговий бал 85 означає, що робота кандидата увійшла до 85% найсильніших. В той же час, це не означає, що робота оцінено в 100 рейтингових балів є ідеальною, а робота оцінена в нуль абсолютно неправильною. Також некоректним, буде твердження про те, що робота оцінена в 50 балів є вдвічі «сильнішою» ніж робота оцінена в 25 балів, оскільки різниця в «сирих балах», як правило, є іншою.

Завданням цього етапу конкурсу було сформувати рейтинг кандидатів від найсильнішого до найслабшого, а не встановити певний кваліфікаційний рівень. Тому, проведення паралелей між рейтинговими балами і шкільними чи університетськими шкалами (наприклад, стверджуючи, що бали в діапазоні між 90 і 100 говорять про відмінний рівень кандидата, а бали менші за 60 про незадовільний) є абсолютно некоректним.

Відповідно до міжнародних стандартів оцінювання, відповіді кандидатів, інструкція з оцінювання і перелік розробників та оцінювачів не оприлюднюються. Проте, враховуючи український контекст, Комісія вирішила невідкладно публікувати відповіді кандидатів, оскільки це запобігало будь-який підозрам щодо втручання до змісту робіт після їх виконання чи помилки при персоналізації кодованих робіт. Також, це дозволяє як самим кандидатам, так і зовнішнім спостерігачам порівняти якість відповідей між собою. Однак, до такого порівняння слід підходити обережно: без інструкції і проходження тренінгу з її застосування, порівняння можливе лише в досить загальних рисах.

Не зважаючи на витрату значного ресурсу на підготовку та адміністрування цього етапу конкурсу, описаний підхід виправдав сподівання комісії. Він справді дозволив якісно та об’єктивно оцінити професійний рівень кандидатів та сформувати відповідний рейтинг. Тому цей підхід буде повторно використаний і  для нового конкурсу на посаду Керівника Служби дисциплінарних інспекторів. Нагадаємо, що прийом документів від охочих взяти у ньому участь триває  до 22 серпня. З оголошенням про проведення конкурсу можна ознайомитись за посиланням: https://hcj.gov.ua/news/ogolosheno-povtornyy-konkurs-na-zaynyattya-posady-kerivnyka-sluzhby-dyscyplinarnyh-inspektoriv.

«Юридична практика»