BİLİMSEL ARAŞTIRMACI PROGRAMI GELİŞTİRME SÜRECİNDE ÖĞRENME HEDEFLERİNİN BELİRLENMESİNDE KAPSAYICI YÖNTEM

Özet

Yöntem: Çalıştaya ait çekirdek eğitim grubunun öğrenme hedefleri, çalıştay sırasında katılımcıların cinsiyet, çalıştıkları kurum ve akademik ünvan bilgileri, çalıştay sırasında oluşturulan eğitim hedefleri, eğitim materyali içinde eğitim hedeflerinin dağılım biçimi ve yöntemleri ve çalıştaya davet edilme ve gelebilme durumları incelendi. Genişletilmiş grubun oluşturduğu öğrenim hedeflerinin bilinme ve öğrenme düzeyleri belirlendi.

Bulgular: Çalıştaya yaş ortalamaları 42,21 (35-52) olan 47 kişi (23 kadın, 24 erkek) katıldı. Oturumlar, çalışmaya dahil edilen dört ana başlıkta öğrenim hedeflerini belirleyecek dört ayrı masa ve çalışmadan çıkarılan fon ve mentorluk masalarından olmak üzere toplam altı yuvarlak masadan oluşan grup çalışması şeklinde gerçekleştirildi. Öğrenim hedefleri Bloom taksonomisi prensiplerine göre oluşturuldu. Çekirdek grubun belirlediği öğrenme hedef sayısı 67 iken, çalıştay grubunun önerdiği öğrenme hedefi sayısı 448 idi. Öğrenme hedeflerinin; bilinme düzeyleri sıklığı 1,2 ve 3 düzey için sırasıyla %29,2 (n=130), %28,3 (n=127) ve %42,4 (n=191) iken, öğrenme düzeyleri ise düzey 1,2,3, ve 4 için sırasıyla %16,3 (n=73), %64,7 (n=290), %13,2 (n=59) ve %5,8 (n=26) idi.

Sonuç: Bu çalışmada, Türk KBB-BBC Deneği Araştırmacı Destekleme ve Danışma Çalışma Grubu tarafından yapılan çalıştayda, bilimsel araştırma ile ilgili gelecekte verilecek eğitim müfredatına ilişkin öğrenme hedeflerinin neler olduğunu ve nasıl oluşturulduğunu bildirdik.

Giriş

Sağlık alanında bilimsel araştırmalar, karşılaşılan soru ve sorunların çözümüne yönelik belli bir bilimsel yönteme dayanan ve önceki bilgilere dayanan bir süreçtir. Bu anlamda ülkemiz Kulak Burun Boğaz (KBB) Hastalıkları alanında dikkate değer sayıda araştırma yapılmaktadır. KBB Hastalıkları alanında ülkemizde 1998-2018 yılları arasında toplam 7896 bilimsel yayın ile uluslararası sıralamada onuncu olarak yer almaktadır. Belge başına alınan atıf ortalaması 8,34 ile 171 ülke arasında 84. sırada yer almaktadır[3]. Bu açıdan bakıldığında nicelik bakımından sağlanan statünün yüksek nitelikli çalışmalar ile güçlendirilmesi gerektiği anlaşılmaktadır.

Bir diğer unsur ise son yıllarda tüm dünyada giderek artan yırtıcı, şaibeli ve sahte dergiciliğin giderek artmasıdır[4]. Türkiye yırtıcı, şaibeli ve sahte yayıncılıkta Hindistan ve Nijerya"dan sonra dünyada üçüncü sırada yer almaktadır[5]. Bilim evrenseldir ve bilim üretilen alanlarda bu evrensellik korunmalıdır. Üretilen bilim yeni bilgi ve deneyimleri tetiklemeli, var olan soru ve sorunlara yanıt oluşturabilmeli ve her şeyden önemlisi gerçek olmalıdır. Karl Popper"a göre bilimin en önemli özelliği, yanlışlığının gösterilebilir olmasıdır[6]. Bu prensiple etik unsurlar doğrultusunda, yüksek nitelikli atıf alabilen ve yenilikçi yayınlar aracılığı ile ülkemiz KBB Hastalıkları topluluğu gelecekte dünya bilimine sahip olduğu potansiyeli yansıtacaktır.

Ülkemizde bilim insanı/araştırmacının araştırma kapasitesini (ihtiyaç analizleri yaparak) belirlemek, gelişmiş araştırma alt yapısını (nitelikli bilimsel çalışma kavramını tanımlayarak ve araştırmacının bilgi, tutum ve becerilerini geliştirmeye yardımcı olarak) oluşturmak için gerekli eğitimleri düzenlemek, ulusal ve uluslararası araştırma fonları hakkında bilgi sağlamak ve bunlara başvuran KBB hekimlerinin sayısını artırmak, klinik, tıbbi cihaz ve tanısal cihazların geliştirilmesine yönelik araştırma gruplarını oluşmasını desteklemek amacıyla; Türk Kulak Burun Boğaz ve Baş Boyun (KBB-BBC) Derneği 09.06.2018 tarih ve 2018-5 sayılı yönetim kurulu kararı ile Araştırmacı Danışma ve Destekleme Çalışma Grubu (ADDG) kuruldu[7]. Bu çalışma grubu, KBB hastalıkları alanında nitelikli araştırma ve bilim insanı sayısını artırmaya yönelik tüzel bir yapıyı oluşturmaktır. Böylece ülkemizde KBB hastalıklarının bilime sunduğu yenilikler artıracak ve yetişecek bilim insanlarının yararlanabileceği bir yapılanma oluşmuştur.

Bu çalışmanın amacı, ADDG araştırmacı eğitim programı belirleme çalıştayının, küçük grup ve genişletilmiş grup çalışması ile öğrenme hedeflerini belirlemedesağladığı katkıyı incelemektir.

Yöntem ve Gereçler

Çalıştay sırasında, canvas iş modeli örnek gösterilerek hedef kitlenin anlaşılması ve zamansal/iş yükü etkinliği olan bir değerler önerisinin sunulması sonrasında öğrenme hedeflerinin belirlenmesi amacıyla toplam 6 farklı masa oluşturuldu[8]. Bu 6 masadan ikisi eğitim materyali oluşturma etkinliği ile ilgili olmadığı için (fon ve mentorluk masaları) çalışma dışı bırakıldı. Çekirdek eğitim grubunun öğrenme hedefleri, çalıştay sırasında katılımcıların cinsiyet, çalıştıkları kurum ve akademik ünvan bilgileri, çalıştay sırasında oluşturulan öğrenme hedeflerinin dağılım biçimi ve yöntemleri incelendi.

Ayrıca oluşturulan öğrenme hedeflerine yönelik çalışma grubu bireyleri ve çalıştay katılımcıları ayrı ayrı her bir öğrenme hedefine ait "bilinme düzeyini"* aşağıda belirtilen üç katmanlı hiyerarşik düzeye göre belirlediler ve sonrasında bilinme düzeyi durumlarına göre öğrenme hedeflerinin "öğrenme düzeyi"** aşağıda belirtilen dört katmanlı hiyerarşik düzeye göre üç yazar tarafından (NGYA,AS, MCE) belirlendi[9].

Öğrenme Hedeflerinin Bilinme ve Öğrenme Düzeyleri Açısından Değerlendirilmesi

Bulgular

18-20 Ekim 2019 tarihinde yapılan ADDG çalıştayında aşağıdaki maddeler konusunda çalışmalar yapıldı:

a. Öğrenme hedeflerinin belirlenmesi.
b. Hedeflerin öğrenilme yöntemlerinin belirlenmesi (Üyelerin yetişkin eğitimindekullanılan yöntemler hakkında bilgi edinmeleri sağlandı).
c. Hedeflerin yer alacağı eğitim sürelerinin tanımlanması ve belirlenmesi.
d. Sunum ve uygulama setlerinin oluşturulması.
e. Eğitim materyali ve programının kalite güvence standartlarının belirlemesi.
f. Ölçme ve değerlendirmeye yönelik standartların oluşturulması.

Çalıştaya katılım için, Türkiye"deki üniversite ve eğitim/araştırma hastaneleri KBB-BBC eğitim kliniklerinde akademisyen olarak çalışan toplam 60 kişiye davetiyegönderildi. Çalıştaya %78.3 (n=47) oranında katılım sağlandı. Yaş ortalaması ± SD 42,21±4,88 yaş (minimum 35, maksimum 52 yaş)olan 24"ü erkek, 23"ü kadın 47 kişi çalıştaya katıldı. Katılımcıların 24"üüniversite, 23"ü ise eğitim ve araştırma hastanelerinde çalışmaktaydı. Akademik ünvan dağılımı; profesör 10 (%21), doçent 23 (%49), doktor öğretim üyesi/öğretim görevlisi 8 (%17) ve uzman doktor 6 (%13) şeklinde idi.

Çalışmaya dahil edilen dört çalıştay masa grubunun herbiri için oluşturulan çalışma yönergesi masa üyeleri arasında paylaşıldı. Her masanın ana hedefleri Tablo 1" de gösterildi.

Tablo 1: Çalıştay öncesinde belirlenen ve masalara iletilen konu dağılımları.

Çalıştay öncesi yapılan küçük grubun belirlediği öğrenme hedef sayısı 67 iken, çalıştay grubunun önerdiği öğrenme hedefi sayısı 448 olarak belirlendi. Belirlenen öğrenme hedefi başlıkları Tablo 2" de verildi.

Tablo 2: Öğrenme hedefleri gruplandırması ve küçük grup ve çalıştay grubu ana başlık altında yer alan öğrenim hedefleri sayıları.

Çalıştayda önerilen 448 öğrenme hedefinden; yukarıda belirtilen bilinme düzeyleri sıklığı 1,2 ve 3 düzey için sırasıyla %29,2 (n=130), %28,3 (n=127) ve %42,4 (n=191) idi. Öğrenme düzeylerinin ise düzey 1,2,3, ve 4 için sırasıyla %16,3 (n=73), %64,7 (n=290), %13,2 (n=59) ve %5,8 (n=26) olduğu görüldü. Masa dağılımlarına göre bilinme ve öğrenme düzeyleri Tablo 3"te özetlendi. En çok öğrenme hedefinin makale yazım ve yayını ile ilgili çalışan masa 4 "de oluştuğu, öğrenme düzeylerinin en yüksek seviyede izlendiği masanın ise biyoistatistik ve projeler konusunda çalışan masa 3"ün hedeflerine ait olduğu izlendi.

Tablo 3:Çalıştay masalarına ait öğrenme hedeflerinin bilinme ve öğrenme düzeyleri.

Çalıştay sonunda, eğitim faaliyetleri için materyal oluşturulması amacıyla 4 masanın bir sonraki görev dağılımları ve iş akış şemaları oluşturuldu ve ADDG yapılanmasına ait aşağıdaki alt başlıklar konuşularak geribildirimler alındı:

• Eğitici Faaliyetler: Ülkemizde KBB alanında bilimsel araştırmalara yönelik yeni hedefler ile paylaşılan ve literatüre katkı sağlayan çalışmalarla iyileştirmelere yol açacak eğitim setlerinin oluşturulmasının sağlanması.

• Deneyimsel Faaliyetler: Eğitim setlerinde verilecek eğitimin kalıcılığı, kursiyerlerin programa aktif dahil edilmesi, uygun şekilde yönetilen bir eğitim faaliyetleriyle deneyimsel öğrenme ile artırılabilir. Bu amaçla, uygulama yöntemlerinin entegrasyonu dışında, didaktik temelli oturumlarda da konuları tartışma fırsatı verebilen ortamın (örneğin; uzmanına danış) sağlanması.

• Kalite Geliştirme Faaliyetleri: Eğitici ve kursiyer özelliklerinin, kursa ait eğitim materyalinin, kurs ortamının fiziksel özelliklerinin ve kursun ölçme değerlendirme sisteminin kalite standartlarının oluşturulmasının sağlanması.

• Potansiyel Engeller ve Zorluklar: Eğitici ve kursiyerin ilgisini çekememe, kurs zamanını uygun seçememe, uygulama ve değerlendirme araçlarının eksikliği ve müfredat içeriğinin seviyesi ve uygulanabilirliğinde yaşanabilecek güçlüklere karşı önlem alınması.

Tartışma

Belirlenen öğrenme hedeflerinin tamamı aday hedefler olarak tanımlanabilir. Bu aday hedeflere yönelik eğitimin temel kavramları olan eğitim felsefesi, psikolojisi, sosyolojisi ve ekonomisi kullanılarak bir eğitim programı geliştirilmesi söz konusudur[10]. Geliştirilen bu programın uygulaması için yetişkin eğitimi veya konusunda alan uzmanlıkları olan bireylerin eğitimi için gerekli koşulların sağlanması gereklidir[11]. Dolayısıyla yetişkin eğitiminin gereği bazı kavramların bilinmesinde yarar bulunmaktadır. Yetişkinler eğitim için somut gerekliklere ihtiyaç duyarlar, daha çok deneyimlerinden öğrenirler ve günlük yaşamlarında ihtiyaçları olanın edinilmesi daha kolaydır[12-15]. Ulusal ölçekte KBB Hastalıkları alanında daha nitelikli araştırmaların gerekliliği derneğimiz tarafından ortaya konulmuş bir olgudur. Bu olgu gereği nitelikli araştırmacı eğitimi bir gereklilik olarak benimsenmiş durumdadır.

Bir eğitim etkinliğinde öncelikle belirlenmesi gereken eğitim süresince kapsanacak öğrenme hedeflerin belirlenmesidir. Bu öğrenme hedefleri içinde bir seçki ile sınırlandırmak mümkündür. Bu seçki nesnel ölçütlere dayanabilir veya ihtiyaç analizi sonrasında karşılanmayan beklentiler ile sınırlı kalabilir. Aslında bilimsel araştırmalarda sıklıkla kullandığımız bir analiz olan SWOT (Strengths, Weaknesses, Opportunities, Threats) analizi ile tanımlanan öğrenme hedeflerinin beklentileri karşılayıp karşılayamayacağı veya aksine fazlaca oluşturulup bir tehdit oluşturup oluşturmayacağı öngörülebilir. Bu yöntemde S ve W harfleriyle ifade edilen analizin ilk kısmı, programın güçlü ve zayıf yönlerinin tespit edilmesini ifade eder. O ve T harfleriyle ifade edilen yani fırsat ve tehditlerle dışsal etkilerin belirlenmesidir. Yani "GZFT" (Güçlü Yönler, Zayıf Yönler, Fırsatlar, Tehditler) olarak dilimize uyarlayabileceğimiz bu analiz ile, biz de çalıştayda elde edilen öğrenme hedeflerinin güçlü ve zayıf yönlerini tespit ederek, gelecekteki olası gelişmelere yönelik bir durum değerlendirmesi yapmak amaçlı fırsat ve tehditleri de belirledik[16].

Eğitim etkinliğinin gerçekleşmesi sonrasında eğitim etkinliğine özel bazı hedeflerin tanımlanması gerekmektedir. "Uzak hedefler", alanımızda atıf sayısı bakımında dünya genelinde 10 basamak yukarı çıkması gibi, "Genel hedefler", uzmanlık eğitiminde araştırmacı eğitim etkinliklerin artırılması veya "Özel Hedefler", çalışma alanlarına göre araştırmacıların kazanması beklenen yetileri olarak belirtilebilirler[17]. Öğrenme hedefleri belirlenirken konu başlıkları ile sınırlı kalınmamalıdır. Öğrenmeden kastedilenin davranış ve tutum değişikliklerine yol açan bilgi edinme süreci olmalıdır[10]. Bu hedeflerin eğitim içinde yerleştirilmesi ve kullanılması bu hedeflerin kazanımlarının çerçeve işleyişinin dikkate alınması gereklidir. Bu kapsamda detaylı tanımlamaya "Bloom Taksonomisi" adı verilmektedir[18]. Bloom, 1956"da tanıttığı öğrenme hedefi taksonomisi sayesinde oluşturulan eğitim müfredatları güçlü bir şekilde gelişti ve yeterlilik temelli öğrenmeye doğru eğitim faaliyetleri şekillendi. Yeterliliğe dayalı öğrenme, kişinin mesleki bilgi, beceri veya tutum olarak yetkinlik kazanmasına yönelik öğrenme olarak tanımlanır ve Bloom taksonomisi sonucu elde edilen öğrenme hedefleri bu amaca dayanır[18]. Bir başka taksonomi ise özellikle klinik yeterlilik ile ilgili Miller piramidi modelidir[19]. Bu model Bloom taksonomisine benzer ve aynı zamanda eylemi gerçekleştirmek için teorik bilgiyi, psikomotor becerileri ve profesyonel tutumları sentezleyerek içselleştirilir ve yeterlilik elde etmek için kesintisiz bir rutine dönüştürür[19]. Biz de bu araştırmada, öğrenme hedeflerini belirlerken, bilimsel araştırmalar konusunda bilinmesi gerekenleri içeren temel eğitim müfredatı ile yeterli bilginin aktarılmasını, bilimsel araştırmalarda gerekli pratik uygulamalara ait becerilerin kazandırılmasını ve kazanılan bilgi ve becerilerin sürekliliğini sağlayacak tutum gösterecek araştırmacıların yetişeceği bir eğitim programı oluşturmayı amaçladık.

Hem Miller hem de Bloom, davranışları ilgili alanlardaki en karmaşık en basit halleriyle hiyerarşik olarak karakterize ederler[18,19]. Öğrenme hedeflerini eğitim sonu çıktılar ile somutlaştırmak amacıyla, daha çok sağlık mesleklerinde kullanılan eğitim şekillendirme aracı olan Kern"in yönteminden de faydalanılabilir. Kern yöntemindeki parametreler; 1. Kim, 2. Yapacak, 3. Ne kadar/ne kadar iyi, 4. Neyin, 5. Ne zaman? olarak sıralanmaktadır[20]. Örneğin, ADDG eğitim faaliyetleri için; bir yılın sonunda (ne zamana kadar), eğitimdeki her bir KBB uzmanı (kim) (yapacak), en az iki (ne kadar), etki değeri en az bir olan bilimsel bir dergide yayınlanacak kadar iyi (ne kadar iyi), bilimsel makale üretecektir, diye kurgulayabiliriz.

Son 10 yılda ülkemizde KBB hastalıkları alanında bilimsel yayın sayıları giderek artmış durumdadır. Ancak günümüzde salt yayın artışı bilimsel niteliği belirlemede yeterli bir ölçüt değildir. Ülkemiz KBB hastalıkları alanında 2013 yılında yayın başına düşen atıf sayısı bakımından 112 ülke içinde 68. sırada yer almaktadır. Aynı veri 2003 yılında ülkemiz 86 ülke içinde 37. sırada yer almaktadır. Bu yıllar için toplam yayın sayımız 2003 ve 2013 yılları için toplam yayın sayımız sırasıyla 209 ve 582 olarak saptanmıştır[21]. Bir anlamda 10 yılda yayın sayısı 2,78 kat artarken atıf sayısı bakımında 31 basamak gerilemiştir. Bu açıdan bakıldığında alanımızda nitelik araştırmaların artması için öncelikle insan kaynağından başlanılması gerekliliği ortaya konulmuş durumdadır. Bu araştırmaya yönelik yapılan çalıştaya davet edilenlerin katılım oranı ve ürettikleri çıktılar göz önüne alındığında, KBB alanında bilimsel araştırmalar konusundaki eksikliklerin giderilmesinde çoğu akademisyenin ilgili ve istekli olduğu görülmüştür.

Bu çalışmanın zayıf yönü olarak, bir eğitim etkinliği planlamasında ortaya konulan hedeflerin öğrenme üzerine etkisi belirlenememiştir. Ancak yetkin bir grubun ortak çalışması sonucunda hedefler doğrultusunda bir eğitim programının ortaya konulabileceği anlaşılmış durumdadır.

Bir eğitim sürecini, sistematik ve planlı olarak, uygun yöntemlerle belirlenen öğrenme hedefleri ile öğretme-öğrenmeye uygun hale getirmek zor ancak imkansız değildir. Bu araştırmada, planlı ve sistemli bir çalıştayın sınırlı sayıda sunulan öğrenim hedeflerini katılımcıların iki günlük çalışmaları sonucu ne kadar geliştirdiği gösterildi. Aslında şimdiye kadar bu makalede tartışılanlardan eve götürülecek mesajları Wiliam"ın şu sözü ile özetleyebiliriz; "Ölçülebilir olanı önemli hale getirmek yerine, önemli olanı ölçülebilir hale getirmeye gayret edelim." [22].

Sonuç olarak, bu araştırma makalesinde, ülkemizde KBB Hastalıkları uzmanlık alanında artan sayıda ancak aynı zamanda nitelik belirleyici olan atıf alabilirlik bakımından da kaliteli yayınlar üretilmesine yönelik Türk KBB ve BBC Derneği ADDG olarak gerçekleştirdiğimiz ilk etkinlik olan, eğitim sürecine ait öğrenme hedeflerinin belirlenmesi çalıştayına ait sonuçlar, literatürdeki öğrenme hedefleri ile ilgili yöntemler ışığında paylaşılmıştır ve birkaç yönteme dayanarak sistematik olarak yapılan bu çalıştayın amaca ulaşma yönündeki etkinliği gösterilmiştir.

Maddi ve Teknik Destek:
Bu araştırmanın yürütüldüğü çalıştay etkinliğinin gerçekleştirilmesi için tüm giderler Türk KBB-BBC Derneği tarafından karşılanmıştır.

Teşekkür:
Bu araştırmanın yapılmasında ve çalıştayın gerçekleştirmesinde verdikleri destek ve gösterdikleri yardımseverlik nedeniyle Türk KBB-BBC Derneği sekreterleri, Sevgili Gamze Rahmet Ediz"e ve Sevgili Gülnur Tümoğlu"na teşekkür ederiz.

Kaynaklar

1) Roberts SF, Fischhoff MA, Sakowski SA, Feldman EL. Perspective: transforming science into medicine: how clinician-scientists can build bridges across research"s "valley of death."Acad Med 2012;87:266-270. [ Özet ]

2) Stahl MJ. Encyclopedia of Health Care Management.London: Sega Publication, 2004.

3) https://www.scimagojr.com/countryrank.php?category=2733. (Erişim tarihi: 20/05/2020).

4) Erdağ TK. Be Aware of Predatory/Fake Conferences!.Turk Arch Otorhinolaryngol 2019;57:111-112. [ Özet ]

5) Demir SB. Predatory journals: Who publishes in them and why? Journal of Informetrics 2018; 12: 1296?1311. (doi:10.1016/j.joi.2018.10.008)

6) Keuth H. The Philosophy of Karl Popper. Cambridge, UK: Cambridge University Press, 2005.

7) https://www.kbb.org.tr/Custom/Upload/Document/YNG-KBB-BBC-GNL-19-Arastirma-Destekleme-ve-Danisma-Komisyonu-Yonergesi.pdf. (Erişim tarihi: 22/05/2020).

8) Osterwalder A. A better way to think about your business model. Boston, MA: Harvard Business School, 2013.

9) AAMC-HHMI. Report on basic sciencecompetencies. 2009.https://www.aamc.org/system/files?file=2020-02/scientificfoundationsforfuturephysicians.pdf. (Erişim tarihi: 20/05/2020).

10) Kablan, Z. HEDEF BELİRLEME: BİLİŞSEL, DUYUŞSAL VE DEVİNİŞSEL ALANLAR. In: Şeker H, ed. Eğitimde Program Geliştirme: Kavramlar, Yaklaşımlar, Ankara: Anı Yayıncılık, 2013:1-35.

11) Yüksel Aslıer NG. Academic Development and Mentoring. Turk Arch Otorhinolaryngol 2020; 58:69-70. [ Özet ]

12) Price D. Continuing medical education, quality improvement, and organizational change: implications of recent theories for twenty-first-century CME. Med Teach 2005; 27:259-268. [ Özet ]

13) Campbell C, Silver I, Sherbino J, Cate OT, Holmboe ES. Competency-based continuing professional development. Med Teach 2010;32:657?62. [ Özet ]

14) Parboosingh IJ, Reed VA, Caldwell Palmer J, Bernstein HH. Enhancing practice improvement by facilitating practitioner interactivity: new roles for providers of continuing medical education. J Contin Educ Health Prof 2011;31:122-127. [ Özet ]

15) Reed VA, Schifferdecker KE, Turco MG. Motivating learning and assessing outcomes in continuing medical education using a personal learning plan. J Contin Educ Health Prof 2012; 32:287-294. [ Özet ]

16) Alkhafaji, AF. Strategic Management: Formulation, Implementation, and Control in a Dynamic Environment. New York: The Haworth Press,2003.

17) Demirel Ö. Eğitim Program Tasarımı. In: Demirel Ö, ed. Eğitimde Program Geliştirme, Ankara: Pegem Yayıncılık, 2007:47.

18) Bloom BS, Engelhart MD, Furst EJ, Hill WH, Krathwohl DR. Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. New York: David McKay Company, 1956.

19) Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine 1990; 65:63-67. [ Özet ]

20) Kern DE, Thomas PA, Hughes MT, Barker LR, Bass EB, Carrese JA, Wolfe L. Curriculum Development for Medical Education: A Six-Step Approach, 2nd ed. Baltimore: Johns Hopkins University Press, 2009.

21) https://www.scimagojr.com/countryrank.php?category=2733&order=cd&ord=desc&year=2003 (Erişim tarihi 23 Mayıs 2020).

22) Wiliam, D. The validity of teachers"assessments. Paper presented to the Working Group6 (Research on the Psychology of Mathematics Teacher Development) of the 22nd Annual Conference of the InternationalGroup for the Psychology of Mathematics Education,Stellenbosch, South Africa, July 1998.