KULAK AMELİYATLARI İÇİN ÖLÇME DEĞERLENDİRME ARAÇLARI
Özet
Cerrahi yeterlik çok çeşitli faktörlere bağlıdır. Mükemmel bir ameliyat performansı ise başarılı cerrahi sonuçların temelini oluşturur. İyi cerrahi sonuçları garanti etmek için uzmanlık öğrencilerinin cerrahi becerileri objektif olarak değerlendirilmelidir. Otolojik cerrahi eğitimi için çeşitli ölçme değerlendirme araçları geliştirilmiştir. Bu derlemede kadavra temporal kemik diseksiyonunda ve gerçek cerrahi süreçte gerçekleştirilen kulak ameliyatları için geliştirilmiş ölçme değerlendirme araçları incelenmiştir. Her aracın çeşitli geçerlik ve güvenirlik çalışmaları yapılmıştır. Bu araçlar makaledeki çeviri yapılmış şekilleriyle eğitim sürecinde kullanılabilirler. Gerekli uyarlama çalışmaları yapılırsa ölçme ve değerlendirme sürecinde de kullanılabilir.Giriş
Ameliyat süreci de bir yeterlik olup her yeterlik gibi gözlenip ölçülebilmesi gerekmektedir. Ancak ameliyat sürecinde yapılanları ölçmek ve değerlendirmek üzere geliştirilmiş ölçme aracı az sayıda olup yaygın kullanılmamaktadır. Yabancı alan yazında KBB ameliyatlarında kullanılmak üzere geliştirilmiş çeşitli ölçme araçları tanımlanmıştır.Yöntem ve Gereçler
Bu derleme için otolojik cerrahi eğitim sürecinde kullanılmak üzere geliştirilmiş ölçme değerlendirme araçları ilgili alan yazın taranmıştır. Saptanan örnekler arasından pratik açıdan temporal kemik laboratuvarı ve gerçek operasyon sürecinde kullanılabilecek iki örnek seçilmiştir. Bu örnekler üzerinden bu araçların geliştirilme süreçleri tartışılırken, bu araçlar örnek olarak dilimize aktarılmıştır. Ülkemizdeki KBB eğitim pratiğinde kullanılmak üzere önerilerde bulunulmuştur. Sanal ortamda yapılan uygulamalar henüz çok yaygın kullanılmadığı için derleme kapsamına dahil edilmemiştir. Standart ölçme değerlendirme aracı geliştirme bu yazının kapsamı dışında olup, bu yazıda standart ölçme değerlendirme aracı geliştirme süreci tartışılmamıştır. Diğer taraftan örnek araçların geliştirme süreçlerindeki basamaklar konuya uzak olan kullanıcıların da anlayabileceği kadar özetlenmeye çalışılmıştır. Merak eden okuyucular özellikle istatistik değerlendirmelerin ayrıntıları için ilgili makalelere bakabilirler. Yazıyı okurken tablolara sık sık bakılması ise araçların anlaşılmasını kolaylaştıracaktır. Ayrıca bu derleme eğitim sürecinde çalışan ilgili okuyucular için, ilerde ülkemizde geliştirilebilecek KBB alanında cerrahi süreci ölçme araçları için bir başlangıç noktası olabilecektir.
KBB Uzmanlık Eğitimi ve Ölçme Değerlendirmenin yeri;
Kulak Burun Boğaz uzmanlık eğitimi farklı yeterlik alanlarından oluşmaktadır. Bu alanlar TUKMOS (Tıpta Uzmanlık Kurulu Müfredat Oluşturma ve Standart Belirleme Sistemi) tarafından KBB Uzmanlık Eğitimi çekirdek müfredatında belirlenmiştir[1]. Yetkinlik, bir uzmanın bir iş ya da işlemin gerektiği gibi yapılabilmesi için kritik değer taşıyan, eğitim ve öğretim yoluyla kazanılıp iyileştirilebilen, gözlenip ölçülebilen, özellikleri daha önceden tarif edilmiş olan, bilgi, beceri, tutum ve davranışların toplamıdır. Yetkinlikler 7 temel alanda toplanmıştır. Her bir temel yetkinlik alanı, uzmanın ayrı bir rolünü temsil eder. Yedinci temel alan olan “Hizmet Sunucusu” alanına ait yetkinlikler klinik yetkinlikler ve girişimsel yetkinlikler olarak ikiye ayrılırlar. Girişimsel yetkinlikler bu derlemenin konusunu oluşturan ameliyatları da içermektedir.
Yine aynı müfredatta girişimsel yetkinlikler ikiye ayrılmış ve aşağıdaki gibi tanımlamıştır.
Girişim; Tanı ve tedaviye yönelik tüm girişimler, eğitici tarafından gösterildikten sonra belli bir kılavuz eşliğinde basamak basamak, gözlem altında uygulama yoluyla öğretilir. Her uygulama basamağı için öğrenciye geribildirim verilir. Öğrencinin doğru yaptıklarını doğru yapmaya devam etmesi, eksik olup ve geliştirmesi gereken taraflarını düzeltebilmesi için öğrenciye zamanında, net ve yapıcı müdahalelerle teşvik edici ve destekleyici ya da uyarıcı ve yol gösterici geribildirimler verilmelidir. Her girişim için öğrenciye önceden belirlenmiş yetkinlik düzeyine ulaşacak sayıda tekrar yaptırılması sağlanır.
Ameliyat; İçinde çok sayıda karar ve girişim barındıran müdahale süreçleridir. Her karar ve girişimin ayrı ayrı gereken yetkinlik düzeylerine ulaşması amacıyla en az riskli/karmaşık olandan en riskli/karmaşık olana doğru olacak şekilde ameliyat sürecinin tüm basamakları yüksek gözlem altında öğretilir. Öğrencinin tüm basamaklarda gereken yetkinlik düzeyine ulaşması için yeterli sayıda tekrar yaptırılması sağlanır.
Bu tanımlardan da anlaşıldığı üzere uzmanlık eğitim sürecinde öğrenilen girişim ve ameliyatların gerek eğitim sürecinde, gerekse de eğitimin değerlendirilmesi aşamasında standart araçlara gerek vardır.
Temporal kemik diseksiyonunun (TKD) değerlendirilmesi;
Otolojik cerrahi içinde en karmaşık olan cerrahiler mastoidektomiyi içeren cerrahilerdir. Mastoidektomi kulak cerrahisinin en temel becerisi olup daha ileri kulak cerrahisi için de başlangıç noktasıdır. Bu cerrahiyi öğrenmeye öncelikle kadavra temporal kemiği üzerinde başlanır. Gerçek hastaları ameliyat etmeye başlamadan kadavra temporal kemikte çalışmak hasta güvenliği açısından çok avantaj sağlamaktadır. TKD sırasında özgün cerrahi aşamaların hepsi gerçekleştirilebilmektedir. Ülkemizde de son yıllarda TKD kursları giderek yaygınlaşmaktadır.
Kadavra temporal kemiği gerçek hayata çok benzer bir ortam sağlamaktadır. TKD sırasında adayın gözlenmesi ve değerlendirilmesi otolojik cerrahi eğitimin en önemli kısımlarından birisidir. Bu gözlem ve değerlendirme süreci, geribildirim vererek eğitim amacıyla kullanılabileceği gibi karar verdirici amaçla da kullanılabilir. Mowry ve Hansen bu süreçte kullanmak amacıyla “Temporal kemik diseksiyonu standart beceri değerlendirme aracı” geliştirmişlerdir[2]. Mowry ve Hansen bu çalışmalarında üç soruya cevap aramışlardır. Uzmanlık öğrencilerinin TKD performansları objektif olarak değerlendirilebilir mi? TKD ile verilen eğitimlerde cerrahi gelişimi gösterebilir miyiz? TKD becerisi gerçek cerrahideki başarıyı artırmakta mıdır? Bu sorulara cevap bulmak için önce TKD puanlama anahtarı geliştirmişler (Tablo 1). Bu anahtarda cerrahi tekniğin üç ana aşaması üzerinden toplamda 25 puan kazanılırken, yapılmaması gereken hata puanlarından da toplamda 25 ceza puanı alınmaktadır. Kazanılan puanlardan ceza puanı çıkarılınca geriye kazanılan puan kalmaktadır.
Araştırmada iki yıl boyunca uzmanlık öğrencilerinin yaptıkları TKD örnekleri kulak cerrahisinde uzman iki cerrah tarafından değerlendirme anahtarına göre puanlandırılmıştır (Tablo 1). Diğer yandan uzmanlık öğrencileri gerçek hayatta yaptıkları cerrahileri kayıt etmişlerdir. Bir diğer veri ise her uzmanlık öğrencisinin genel olarak cerrahi becerisi otolog ve otolog olmayan eğitmenler tarafından 10 puan üzerinden puanlandırılmasıyla elde edilmiştir.
){kind=link}
Tablo 1: Temporal Kemik Diseksiyon Puanlandırma Cetveli
İstatistiksel değerlendirmede her uzmanlık öğrencisi için açtığı TKD sayısıyla ile gerçek hayatta yaptığı kulak cerrahisi sayısı arasında korelasyon saptanmış (r=0.0410, p=0.0017, n=56). Her uzmanlık öğrencisinin açtığı TKD sayısıyla ile temporal kemik puanı arasında korelasyon saptanmış (r=0.58, p=0.0078, n=20). Öğrencilerin ilk ve 3. ya da 4. yıl TKD puanları arasında istatistiksel olarak fark yaratacak bir gelişme saptamışlar (p=0.0001, ilişkili örnekler t testi). Yıl başına ortalama 2 puan artış saptamışlar. TKD puanı ile cerrahi genel beceri puanları arasında korelasyon saptanmıştır (r=0,655, p=0,0008, n=15). Diğer yandan TKD puanı ile otolog eğitmenlerin verdiği gerçek cerrahi beceri puanları arasında istatistiksel olarak anlamlı bir korelasyon saptanmamıştır (r=-0,802, p=0,103, n=5). Araştırma grubundaki son yıl öğrencileri sıklıkla kulak cerrahisi yapmaktadırlar. Bu grupta TKD puanları ile kulak cerrahisi beceri puanı arasında korelasyon saptanmıştır (r=-0,545, p=0,0445, n=15).
TKD sayısı arttıkça, TKD puanı da artmaktadır. Cerrahi genel ve kulak cerrahisi beceri puanı da artmaktadır. TKD tecrübesi cerrahi beceri gelişiminde önemli rol oynamaktadır. Çalışmanın sınırlılıkları ise retrospektif bir değerlendirme yapılmış olması, genel ve otolojik cerrahi becerilerin objektif olmayan bir şeklide değerlendirilmesidir. Diğer taraftan geliştirilmiş TKD anahtarı sadece final ürünü üzerinden değerlendirme yapmakta olup diseksiyon süreci değerlendirilmemektedir. Yine maksimal puan olan 25'e kısa sürede ulaşıldığı ve tavan yapıldığı için daha sonrasında yapılan TKD'nın değerlendirilmesinde sorun yaşanmaktadır. Standart TKD dışındaki girişimler eklenirse bu 25 puanı daha da artırılarak bu sorun çözülebilir.
Bu araştırma da TKD sürecinde performans değerlendirme için standart bir araç geliştirmeye çalışılmıştır. Analitik puanlama anahtarı kullanarak TKD'nın cerrahi gelişimde ne kadar işe yaradığını göstermişlerdir. Sonuç olarak bu ölçme değerlendirme formu bu haliyle TKD kurslarında veya bireysel olarak yapılan TKD sonrasında ürün değerlendirmede geri bildirim amacıyla kullanılabilir.
Kulak cerrahisinin ameliyathanede değerlendirilmesi;
Kulak cerrahisi için performansı gerçek hayatta, yani ameliyathanede değerlendirmek üzere Francis ve ark. bir çalışma yapmışlardır[3]. Öğrencilerin mastoidektomi becerilerini değerlendirmek üzere iki bölümden oluşan bir dereceli puanlandırma anahtarı geliştirmişlerdir. İlk bölüm “Bütüncül Değerlendirme Cetveli” (BDC) (Tablo 2) olup görsel-motor ve bilişsel performansı değerlendirirken, “Mastoidektomi Değerlendirme Cetveli” (MDC) ise mastoidektomi aşamalarından oluşup, cerrahi süreçteki performansı değerlendirmektedir (Tablo 3). Her ikisinde de maddelerin puanlandırılmasında beşli Likert skalası kullanılmıştır. Geliştirme sürecinde altı öğretim üyesi 15 uzmanlık öğrencisini 3 yıl boyunca bu araçlarla değerlendirmişler ve 72 tamamlanmış cevap kağıdı toplamışlardır. Elde edilen verilerden Alfa katsayısı hesaplayarak testin “iç tutarlığını” hesaplamışlardır. Cronbach α katsayısı BDC için 0.98 ve MDC için 0.95 olarak bulunmuş. BDC ve MDC arasındaki sonuçlar incelendiğinde (r=0,93; p<0.0001) gibi yüksek bir korelasyon saptanmıştır. Yapı geçerliğini ise testin ustaları acemilerden ayırt edebilmesi şeklinde değerlendirmişlerdir. Kümülatif cerrahi tecrübe arttıkça alınan puanlarda artan bir korelasyon bulunmuştur. Korelasyon katsayıları BDC için (r=0,60; p<0.0001) ve MDC için (r=0,57; p<0.0001)'dir. Uygulanabilirliğini ise ameliyathanede değerlendiricilerin geri bildirimlerine göre saptamışlar. Birkaç madde atılınca her eğitici kolaylıkla uygulayabilmiştir. Verileri birbirini izleyen 60 günlük üç dönem şeklinde toplam puanlar üzerinden değerlendirdiklerinde öğrencilerin birbirini izleyen test puanların da istatistiksel artış saptanmıştır (F=17,1; p<0.0001). BDC son maddesi olan “cerrahi genel performans” puanı ile diğer maddeleri arasında çoklu regresyon analizi ile dört maddenin genel cerrahi performans için en kuvvetli prediktörler olarak saptamışlardır. Biçimlendirici amaçlı geri bildirim vermek için kullanışlı ve uygun olduğuna karar vermişlerdir. Uygulamada karşılaşılabilecek sorunlar ise vakaların standart olmamasıdır. Kimi vakalar zor ve karmaşıkken, kimileri daha basit olabilmektedir.
){kind=link}
){kind=link}
Tablo 2: Bütüncül Değerlendirme Cetveli (BDC)
Tablo 3: Mastoidektomi Değerlendirme Cetveli (MDC)
Bu çalışma incelendiğinde BDC cerrahi süreci bütüncül değerlendirmektedir. Ameliyat endikasyonları ve testlerin değerlendirmesiyle başlayıp, cerrahi aletlerin kullanımı, operasyon akışı gibi basamakları içermektedir. MDC ise daha spesifik olup mastoidektominin her aşamasını içermektedir. Her ikisinde de karmaşık bir süreci aşamalı olarak ve kaliteyi değerlendirmek üzere planlanmış analitik puanlandırma anahtarı oluşturulmuştur. Ayrıca iç tutarlık ve geçerlik çalışmaları ile araçlar daha standart hale getirilmiştir.
Cerrahi tedavi sonuçlarını çok çeşitli faktörler etkileyebilir. Ancak cerrahi işlemin doğru uygulanması başarılı sonuçların temelini oluşturur. Başarılı cerrahi performansın %75'i uygun karar verme, %25'i ise cerrahi beceriden oluşur. Kulak cerrahisi gibi mikro cerrahilerde beceri kısmının oranı %25'den daha yüksektir[4]. Cerrahi uzmanlık eğitimi cerrahi beceri eğitimini de içerir. Bu eğitimin sonucunu saptamak için ölçme değerlendirme yapılması gerekir. Böylelikle adayın cerrahi yeterliği objektif olarak saptanabilirken, yine bu şekilde verilen eğitimin başarısı da anlaşılabilecektir. Sonuçta yetkin cerrahların yetiştirilmesi garantiye alınırken, diğer taraftan eğitim sürecinden toplum ve diğer paydaşların beklentileri de karşılanmış olacaktır.
Otoloji KBB'nin mikrocerrahi beceriyi içeren bir alanıdır. Otolojik cerrahi eğitimi uzun yıllardır geleneksel olarak temporal kemik diseksiyonuyla başlamaktadır. Diseksiyon kursları ve bu süreç için tasarlanmış atlaslar nispeten zengin bir eğitim ortamı oluşturmaktadır. Mowry ve Hansen'in bu süreçte ölçme ve değerlendirme yapmak amacıyla geliştirdikleri “Temporal kemik diseksiyonu standart beceri değerlendirme aracı” bu eğitim sürecinin iyi bir tamamlayıcısıdır[2].
Francis ve ark. ise kulak cerrahisini gerçek hayat içinde değerlendirmek üzere BDC ve MDC geliştirmişlerdir[3]. Bu iki form sonraki araştırmalar içinde temel oluşturmuştur. Gerek laboratuvar ortamında kullanılan TKD cetveli ve gerekse de gerçek hayatın içinde performansı ölçen BDC ve MDC için çeşitli geçerlik ve güvenirlik analizleri yapmışlardır. Bu bağlamda geçerliği ve güvenirliği ispatlanmış araçlardır.
Sonuç
Sonuç olarak bu derlemede incelenen, otolojik cerrahide kullanılan ölçme değerlendirme araçlarının geliştirildiğini ve genel olarak da çeşitli geçerlik ve güvenirlik çalışmaları yapılmış olduğunu görmekteyiz. Bu araçlar makaledeki çeviri yapılmış şekilleriyle eğitim sürecinde kullanılabilirler. Eğitim sürecinde öğrenci kendine rehber olarak kullanabileceği gibi eğiticiler de geri bildirim vermek amacıyla kullanabilirler. Bir diğer kullanma amacı eğitim sürecini değerlendirmek ve geliştirmek olabilir[5]. Gerekli uyarlama çalışmaları yapılırsa “karar verdirici” ölçme ve değerlendirme sürecinde de, yani sınavlar da kullanılabilirler.Kaynaklar
1) www.tuk.saglik.gov.tr/muf2/kulak_burun_bogaz_hastaliklari.docx (erişim tarihi: 1/5/2015)
2) Mowry SE, Hansen MR. Resident participation in cadaveric temporal bone dissection correlates with improved performance on a standardized skill assessment instrument. Otol Neurotol, 2014;35:77-83 [ Özet ]
3) Francis HW, Masood H, Chaudhry KN, Laeeq K, Carey JP, Della Santina CC, Limb CJ, Niparko JK, Bhatti NI. Objective assessment of mastoidectomy skills in the operating room. Otol Neurotol 2010; 31:759-65 [ Özet ]
4) Assessing operative skill. Needs to become more objective. Darzi A, Smith S, Taffinder N. BMJ. 1999; 318: 887-8. [ Özet ]