Інформація призначена тільки для фахівців сфери охорони здоров'я, осіб,
які мають вищу або середню спеціальну медичну освіту.

Підтвердіть, що Ви є фахівцем у сфері охорони здоров'я.

Журнал "Медицина невідкладних станів" Том 19, №5, 2023

Повернутися до номеру

Оцінювання на робочому місці лікарів-інтернів за спеціальністю «анестезіологія та інтенсивна терапія»: ефективність та проблемні компетенції

Автори: Бєлка К.Ю. (1), Кучин Ю.Л. (1), Фоміна Г.А. (1), Тарасенко С. (1, 2), Савченко Б.О. (1), Скольська Л.В. (1), Хоменко О.Ю. (1), Омельчук М.А. (1), Лісний І.І. (1), Ярославська С.М. (1), Мазніченко В.А. (1, 3), Науменко О.В. (1), Коваленко В.О. (1)
(1) — Національний медичний університет імені О.О. Богомольця, м. Київ, Україна
(2) — EMC hospital st. Anna, Piaseczno, Poland
(3) — ДУ «Інститут урології імені академіка О.Ф. Возіанова НАМН України», м. Київ, Україна

Рубрики: Медицина невідкладних станів

Розділи: Клінічні дослідження

Версія для друку


Резюме

Актуальність. Оцінювання на робочому місці є новою технологією оцінювання лікарів-інтернів, яка, імовірно, є більш ефективною, ніж традиційні методи оцінювання під час тестування або екзамену. Метою дослідження було вивчити ефективність технологій оцінювання на робочому місці (WPBA) лікарів-інтернів фінального року навчання: багатофакторної (360°) оцінки, прямої оцінки процедури (A-CEX) та оцінки на основі клінічного випадку — та виявити проблемні компетенції, яких випускники-інтерни набувають найменш успішно. Матеріали та методи. У період з 1 квітня по 15 червня 2023 року 36 лікарів-інтернів пройшли оцінювання на робочому місці: форму 360°-оцінки лікаря-інтерна заповнювали три представники колективу, де працював інтерн під час очної частини інтернатури (1 лікар-анестезіолог, 1 медсестра та 1 суміжний спеціаліст); форму прямої оцінки процедури заповнював викладач на очних базах безпосередньо під час виконання інтерном процедури загальної анестезії у пацієнтів низького ризику (ASA I або ІІ), передопераційного огляду пацієнтів низького ризику (ASA I або ІІ) та нейроаксіальної анестезії у пацієнтів низького ризику (ASA I або ІІ) з наступним зворотним зв’язком; оцінювання на основі клінічного випадку проводилось викладачами під час конференції інтернів, коли кожен з них подавав клінічний випадок проведеного анестезіологічного менеджменту або лікування критично хворого. Результати. За результатами багатофакторного (360°) оцінювання лікарів-інтернів більшість з них отримали 7 та більше балів з 10 можливих. Проблемними компетенціями під час багатофакторного (360°) оцінювання лікарів-інтернів були комунікація з медичною командою (OR 1,9 [1,05–3,5], p = 0,048) та менеджмент в критичній ситуації (OR 2 [1,14–3,83], p = 0,024). Проблемними компетенціями під час проведення загальної анестезії виявились: 1) менеджмент у критичній ситуації — знання/розпізнання ризиків та як їх уникнути і лікувати (OR 5,29 [1,9–14,4], p = 0,001 порівняно з документацією); 2) вирішення проблем, прийняття рішень (OR 12,6 [1,5–10,4], p = 0,007 порівняно з документацією); 3) взаємодія в команді (OR 2,7 [1,1–6,5], p = 0,049). При оцінюванні компетенцій з нейроаксіальної анестезії та передопераційного огляду проблемних компетенцій виявлено не було. Висновки. Технології оцінювання на робочому місці (WPBA): багатофакторна (360°) оцінка, пряма оцінка процедури (A-CEX) та оцінка на основі клінічного випадку — є ефективними у лікарів-інтернів фінального року навчання, поліпшують їх навички комунікації, готовність працювати самостійно, допомагають виявити недоліки вмінь. Проблемними компетенціями під час багатофакторного (360°) оцінювання лікарів-інтернів були комунікація з медичною командою та менеджмент у критичній ситуації. Проблемними компетенціями під час прямого оцінювання проведення загальної анестезії виявились: менеджмент у критичній ситуації; вирішення проблем, прийняття рішень; взаємодія в команді. При оцінюванні компетенцій з нейроаксіальної анестезії та передопераційного огляду проблемних компетенцій виявлено не було.

Background. Workplace-based assessment (WPBA) is a new technology for evaluating medical residents that is believed to be more effective than traditional multiple-choice tests or exam-based assessment methods. The aim of the study was to investigate the WPBA efficacy in final-year medical residents: multi-source feedback (360°) assessment, direct procedure assessment (Anaesthesia-Clinical Evaluation Exercise (A-CEX)) and clinical case-based assessment, and to identify difficult competencies, which graduate residents acquire the least successfully. Materials and methods. From April 1 to June 15, 2023, 36 residents were evaluated at the workplace: the multi-source feedback 360°-evaluation form was filled out by three representatives of the medical team where the resident worked during the on-site part of the residency (1 anesthesiologist, 1 nurse and 1 other specialist); the form of direct procedure assessment was filled out by the teacher on face-to-face bases directly during the resident’s performance of the general anesthesia in low-risk patients (American Society of Anesthesiologists (ASA) I or II), preoperative examination of low-risk patients (ASA I or II) and neuraxial anesthesia in low-risk patients (ASA I or II) with the following feedback; assessment based on a clinical case was carried out by teachers during the conference of residents, where each of them presented a clinical case of anesthetic management or treatment of a critically ill patient. Results. According to the results of the multi-source feedback (360°) evaluation, most of the residents have received 7 or more points out of 10 possible. Communication with the medical team (odds ratio (OR) 1.9 [1.05–3.5], p = 0.048) and management in a critical situation (OR 2 [1.14–3.83], p = 0.024) were most difficult competencies during the multi-source feedback (360°) assessment. During direct procedure of general anesthesia, the most difficult competencies were: 1) management in a critical situation — knowledge/recognition of risks and how to avoid and treat them (OR 5.29 [1.9–14.4], p = 0.001 compared to documentation); 2) solving problems, making decisions (OR 12.6 [1.5–10,4], p = 0.007 compared to documentation); 3) interaction in the team (OR 2.7 [1.1–6.5], p = 0.049). No problematic competencies were identified during the assessment of neuraxial anesthesia competencies and preoperative examination. Conclusions. WPBA techniques such as multi-source feedback (360°) assessment, direct procedure evaluation (A-CEX) and clinical case-based assessment are effective in final year residents, improving their communication skills, readiness to work independently, help identify skill deficiencies. Communication with the medical team and management in a critical situation were difficult competencies during the multi-source feedback (360°) evaluation. Difficult competences during the direct evaluation of general anesthesia turned out to be the management in a critical situation; solving problems, making decisions; interaction in the team. No problematic competencies were identified during the assessment of neuraxial anesthesia competencies and preoperative examination.


Ключові слова

анестезіологія; інтернатура; освіта, заснована на компетенціях; оцінювання на робочому місці

anesthesiology; residency; competency-based education; workplace-based assessment


Для ознайомлення з повним змістом статті необхідно оформити передплату на журнал.


Список літератури

  1. Advanced life support (Course manual). ERC guidlines 2015. Р. 13-25. DOI: 10.1016/j.resuscitation.2015.07.038.
  2. Bamber H. Evaluation of the Workplace-Based Assessment Anaesthesia-Clinical Evaluation Exercise (A-CEX) and Its Role in the Royal College of Anaesthetists 2021 Curriculum. Cureus. 2023 Apr 10. 15 (4). e37402. doi: 10.7759/cureus.37402. PMID: 37181999; PMCID: PMC10171902. 
  3. Catchpole K. Towards a Working Definition of Human Factors in Healthcare (Last accessed: July 7 2023). DOI: 10.1136/bmjqs-2013-002036. 
  4. Chuan A., Graham P.L., Wong D.M., Barrington M.J., Au-yong D.B., Cameron A.J.D., et al. Design and validation of the Regional Anaesthesia Procedural Skills Assessment Tool. Anaesthesia. 2015. 70. 1401-1411. https://doi.org/10.1111/anae.13266. 
  5. Dunn E.J., Mills P.D., Neily J., Crittenden M.D., Carmack A.L., Bagian J.P. Medical Training: Applying Crew Resource Management in Veterans Health Administration. The Joint Commission Journal on Quality and Patient Safety. 2007. 33. 6. 317-325. doi: 10.1016/s1553-7250 (07)33036-5.
  6. Fletcher G., Flin R., McGeorge P., Glavin R., Maran N., Pa-tey R. Anaesthetists’ Non-Technical Skills (ANTS): evaluation of a behavioural marker system. Br. J. Anaesth. 2003 May. 90 (5). 580-8. doi: 10.1093/bja/aeg112. PMID: 12697584. 
  7. Flin R., O’Conner P., Crichton M. Safety at the Sharp End: A guide to non-technical skills. Aldershot: Ashgate Publishing, 2008. doi: 10.1590/1518-8345.0000.2791.
  8. Glavin R.J., Maran N.J. Integrating human factors into the medical curriculum. Medical Education. 2003. 37 (suppl. 1). 59-64. DOI: 10.1046/j.1365-2923.37.s1.5.x.
  9. Gormley G. Summative OSCEs in undergraduate medical education. Ulster Med. J. 2011 Sep. 80 (3). 127-32. PMID: 23526843; PMCID: PMC3605523. DOI: 10.15694/mep.2021.000106.1. 
  10. https://education.uwmedicine.org/curriculum/exams/osce/ (Last accessed at 23/07/2023). 
  11. Jaramillo-Rincon S.X., Durante E., Ladenheim R., Díaz-Cortés J.C. Anesthesia assessment in the era of competences: state of the art. Case report. Colombian Journal of Anesthesiology. 2020. 48. 145-154. https://doi.org/10.1097/cj9.0000000000000158. 
  12. Liang Z., Howard P., Leggat S. 360° management competency assessment: Is our understanding adequate? Asia Pacific Journal of Human Resources. 2016. 55. n/a-n/a. 10.1111/1744-7941.12108. DOI: 10.1111/1744-7941.12108.
  13. Lörwald A.C., Lahner F.M., Nouns Z.M., Berendonk C., Norcini J., Greif R., Huwendiek S. The educational impact of Mini-Clinical Evaluation Exercise (Mini-CEX) and Direct Observation of Procedural Skills (DOPS) and its association with implementation: A systematic review and meta-analysis. PLoS One. 2018 Jun 4. 13 (6). e0198009. doi: 10.1371/journal.pone.0198009. PMID: 29864130; PMCID: PMC5986126.
  14. Radhakrishnan B., Katikar M.D., Myatra S.N., Gautam P.L., Vinayagam S., Saroa R. Importance of non-technical skills in anaesthesia education. Indian J. Anaesth. 2022 Jan. 66 (1). 64-69. doi: 10.4103/ija.ija_1097_21. Epub 2022 Feb 3. PMID: 35309030; PMCID: PMC8929322. 
  15. Tezlaff J.E. Evaluation of Anesthesia Residents. En Frost EAM. Comprehensive Guide to Education in Anesthesia. 2014. Springer, New York, 129-145. DOI: 10.1007/978-1-4614-8954-2.
  16. Miller G.E. The assessment of clinical skills/competence/performance. Acad. Med. 1990. 65. 0-7. DOI: 10.1097/00001888-199009000-00045. 
  17. Mortaz Hejri S., Jalili M., Masoomi R., Shirazi M., Nedjat S., Norcini J. The utility of mini-Clinical Evaluation Exercise in undergraduate and postgraduate medical education: a BEME review: BEME Guide No. 59. Med Teach. 2020. 42. 125-142. DOI: 10.1080/0142159X.2019.1652732.
  18. Weller J.M., Coomber T., Chen Y., Castanelli D. Desire paths for workplace assessment in postgraduate anaesthesia training: analysing informal processes to inform assessment redesign. Br. J. Anaesth. 2022 Jun. 128 (6). 997-1005. doi: 10.1016/j.bja.2022.03.013. Epub 2022 Apr 11. PMID: 35422311. 
  19. Youngson G.G. Teaching and assessing non-technical skills. Surgeon. 2011. 9. S35-37. DOI: 10.1016/j.surge.2010.11.004.
  20. Наказ МОЗ України від 28.06.2022 № 1114 «Про затвердження примірних програм підготовки в інтернатурі за спеціальностями «Анестезіологія та інтенсивна терапія»; «Загальна практика — сімейна медицина»; «Дерматовенерологія»; «Радіологія»; «Отоларингологія»; «Патологічна анатомія»; «Фізична та реабілітаційна медицина». https://moz.gov.ua/uploads/7/37685-dn_1114_28_06_2022_dod_1.pdf. 
  21. Програма інтернатури з анестезіології та інтенсивної терапії 2017. Last access at 24.07.2023. http://kafanest.kiev.ua/Downloads/Navchalnyi %20plan %20ta %20programa.pdf. 
  22. 2021 Curriculum for a CCT in Anaesthetics [Mar; 2009]. (Last accessed at 24/07/2023).

Повернутися до номеру