KBB-Forum 2019 , Cilt 18 , Sayı 2

TÜRKİYE'DE KULAK BURUN BOĞAZ HASTALIKLARI BİLİMİNDE EN ÇOK ATIF ALAN 100 YAYININ ANALİZİ (1945-2018): BİBLİOMETRİK ANALİZ

Dr. Muhammet Fatih TOPUZ1
1Kütahya Sağlık Bilimleri Üniversitesi Tıp Fakültesi Evliya Çelebi Eğitim ve Araştırma Hastanesi, Kulak Burun Boğaz Hastalıkları, Kütahya, Türkiye

Özet

Amaç: Bu çalışmanın amacı 1945 - 2018 yılları arasında kulak burun boğaz hastalıkları (KBB) alanında en çok atıf yapılan ilk 100 Türkiye kaynaklı makaleyi belirlemek ve niteliksel analizini yapmaktır.

Gereç- yöntem: Türkiye'de science citation index (SCI) ve SCI Expended indeksli dergilerde KBB alanında en çok atıf alan 100 makaleyi belirlemek için Web of Science veri tabanından yararlanıldı. Her makalenin yayın yılı, yayınlandığı dergi ve derginin etki faktörü, yayının ilgili olduğu KBB alt bilim dalı, yayının aldığı atıf sayısı, yayının aldığı yıllık atıf ortalaması ve atıf indeksi kaydedildi.

Bulgular: Türkiye'den KBB alanında yapılan toplam yayın sayısı 4659, bu makalelere yapılan toplam atıf sayısı 37.104 (kendini atıf göstermeler çıkarılınca: 32902)'dür. Ülkemizin yayın başına atıf ortalaması 7,97"dir. Kulak burun boğaz hastalıkları alanında en çok atıf yapılan ilk 102 makaleye toplam 5405 atıf yapılmıştır. Ortalama atıf sayısı 52,99 "dir. En çok atıf yapılan yayın Prof Dr. Levent Sennaroğlu ve ark. (Laryngoscope, 112:2230-2241, 2002) tarafından yayınlanan "A new classification for cochleovestibular malformations" isimli yayındır (230 atıf). Atıf sayısı sıralamasına göre ilk 10"da bulunan makalelerden 6 tanesi atıf indeksi sıralamasında da ilk 10"da bulunan makalelerdendir. İlk 10"da bulunan yayınların toplam atıf sayısı sıralaması ile atıf indeksi sıralaması arasında korelasyon izlenmiştir.

Sonuç: Ülkemizde SCI ve SCI expended indekslerde yayınlanacak seviyede makale yazmaya diğer ülkelere göre oldukça geç başlamış olsa da kısa sürede göstermiş olduğu performans sayesinde oldukça iyi bir yerdedir ve gelecekte bu performansı daha da arttırıp daha iyi seviyelere çıkacaktır.

Giriş

Bilimsel bir makalenin önemi; o makalenin aldığı atıf sayısından yararlanılarak tahmin edilebilir [1]. Atıf analizi; makalelerin zaman içinde aldığı toplam atıfların sayısını inceleyen bir bibliyometrik araçtır [1]. Bilimsel dergiler, kurumlar ve yazarlar tarafından bilimsel araştırmaların izlenmesinde ve etkilerinin ölçülmesinde kullanımı giderek artmaktadır [1]. Scientific Information Enstitüsü'nün (ISI) Web of Science (WoS) veritabanında herhangi bir bilim dalında atıf analizi yapılarak en sık atıf alan makaleler bulunabilir. En sık atıf alan makaleler ISI kurucusu Eugene Garfield tarafından [2] "atıf klasikleri (citations classics)" olarak isimlendirilmiştir. En çok alıntı yapılan makalelerin gözden geçirilmesi (yani "atıf klasikleri"), belirli bir alanda bilimsel ilerleme ve araştırma eğilimleri hakkında ilginç bilgiler sağlayabilir. Literatürde yakın zamanda üroloji, plastik cerrahi, dermatoloji ve daha farklı birçok tıp dalında atıf klasiklerini değerlendiren; ulusal ve uluslararası bilimsel dergilerin üretkenliğini araştıran; ülkeleri, kurumları veya yazarları karşılaştıran çeşitli bibliyometrik çalışmalar yapılmıştır [3-4-5-6].

Bu çalışmanın amacı; kulak burun boğaz hastalıkları (KBB) alanında science citation index (SCI) ve SCI expended indeksde yer alan dergilerde en fazla atıf yapılan ilk 100 Türkiye kaynaklı makalenin nitelik ve niceliksel olarak analizini yapmaktır.

Yöntem ve Gereçler

Web of Science "core collection" [v.5.31] veri tabanında gelişmiş arama kısmına CU=TURKEY AND SU=OTORHINOLARYNGOLOGY yazılarak, SCI ve SCI Expanded indekslerinde taranan dergilerde 31.12.2018 tarihine kadar yayınlanan Türkiye kaynaklı makalelere ulaşıldı. Makalelerin özetleri tek tek gözden geçirilerek incelendi. En çok atıf alan ilk 100 makalenin yayın yılı, yayınlandığı dergi ve derginin etki faktörü (impact faktör: IF), yayının ilgili olduğu KBB alt bilim dalı, yayının atıf sayısı, yayının aldığı yıllık atıf ortalaması ve atıf indeksi kaydedildi. WoS veri tabanından 2017 yılı dergi IF sıralaması (journal citation report) elde edildi [7]. 2017 yılına ait veri bulunmayan dergilerin en yakın tarihli IF kullanıldı. En çok atıf alan ilk 100 makalenin atıf indeksi sıralaması; WoS veri tabanında bildirilen yıllık atıf ortalamasına göre makalelerin sıralamasıyla bulundu.

Makalelerin ilgili olduğu KBB alt bilim dalı sınıflaması yapılırken; otoloji - nörootoloji ile doğrudan ilgili alt bilim dalları olan -odyo-vestibüler, denge ve oryantasyon, dil ve konuşma ile akustik- ile ilgili makaleler otoloji - nörootoloji; 18 yaş altı olgulardan yararlanılarak yazılan makaleler hem ilgili olduğu KBB alt bilim dalı hem de pediatrik KBB yayını olarak kabul edildi.

Çalışmamıza dahil edilmesi planlanan makalelerin özetleri incelendiğinde; KBB ile ilgili olmayan, araştırmacılardan biri ya da birkaçı Türkiye Cumhuriyeti vatandaşı olmakla birlikte çalışmanın esas olarak bir başka ülkede yapılmış olduğu anlaşılan makaleler ile çalışmaya bir KBB hekimi ya da odyolog katılmış olsa bile çalışmanın esas olarak KBB ile ilgili olmadığı anlaşılan makaleler tarama kapsamı dışında tutularak çalışmamızdan çıkartıldı. Ancak ülkemizdeki klinik ve araştırma merkezlerinde yapılan yabancı uyruklu araştırmacılarında katkıda bulunduğu yayınlar çalışmamıza dahil edildi.

Çalışmamız kapsamında elde edilen veriler Mann-Whitney testi kullanılarak analiz edildi ve p <0.05 olduğunda anlamlı kabul edildi. Anlamlılık, Pearson'un Korelasyon testi kullanılarak kontrol edildi.

Bulgular

1945 yılından 31 aralık 2018 tarihine kadar ülkemizden KBB alanında literatüre kazandırılan toplam yayın sayısı 4659'dir. Bu makalelere yapılan toplam atıf sayısı 37.104 (kendini atıf göstermeler çıkarılınca: 32902)'dür. Ülkemizin yayın başına atıf ortalaması 7,97' dir.

38 atıf alan yayınların tamamının çalışmaya dahil edilmesi nedeniyle çalışmamızda incelediğimiz toplam makale sayısı 102 olmuştur (Tablo 1). Makalelere toplam 5405 kez SCI ve SCI expended indeksli dergilerde atıf yapılmıştır. Ortalama atıf sayısı 52,99' dur. Sadece 3 tane makale 100'den fazla atıf almıştır.

Tablo 1: SCI ve SCI expended dergilerde yayınlanmış en çok atıf yapılan Türkiye kaynaklı ilk 100 otorinolaringoloji yayınları

En çok atıf yapılan makale 230 atıfla 2002 yılında Prof Dr. Levent Sennaroğlu ve ark. tarafından yazılan ve "Laryngoscope" dergisinde yayınlanan "A new classification for cochleovestibular malformations" isimli makaledir [8]. En çok atıf yapılan 102. makale ise 38 atıfla Yılmaz MD ve ark. tarafından yazılan ve "American Journal Of Otolaryngology" dergisinde yayınlanan "The effects of tonsillectomy and adenoidectomy on pulmonary arterial pressure in children" isimli yayındır [9]. Çalışmamız kapsamında değerlendirilen yayınlar içinde yer alan en eski makale 1994 yılında Unlu ve ark. tarafından yazılan ve "Journal Of Otolaryngology" dergisinde yayınlanan "Concha-bullosa" isimli yayındır [10]. Tablo 1'de SCI ve SCI expended indeksli dergilerde yayınlanmış en çok atıf yapılan Türkiye kaynaklı ilk 102 KBB yayını listelenmiştir.

Çalışmamız kapsamında değerlendirilen makaleler toplam 17 dergide yayınlanmıştır. 17 derginin IF' ü 0.967 ile 2.931 arasında değişmektedir. Çalışmamızda yer alan yayınların atıf sıralaması ile yayınlandıkları dergilerin etki faktörleri arasında bir korelasyon bulunmamıştır.

En çok makale yayınlanan dergi 21 makale ile "International Journal Of Pediatric Otorhinolaryngology" dergisidir. Tablo - 2"de listemizde yer alan makalelerin yayınlandığı dergiler ve yayın sayıları özetlenmiştir.

Tablo 2: En çok atıf yapılan 102 makalenin yayınlandığı dergiler, etki faktörleri (IF) ve yayın sayıları

Otoloji-nörootoloji (33 makale) en çok makalenin bulunduğu KBB alt bilim dalıdır. Diğer KBB alt dallarına baktığımızda 31 makale baş boyun cerrahisi, 27 makale rinoloji, 11 makale laringoloji ve 2 makale fasiyal plastik cerrahi ile ilgilidir. Çalışmamızdaki makalelerin 30'u aynı zamanda pediatrik KBB ile ilgili yayınlardır.

Çalışmamız kapsamında değerlendirilen 102 makalenin 89 tanesi orijinal makaledir. Bunlardan 1 tanesi meta-analiz, 3 tanesi hayvan deneyidir. Geri kalan 13 makalenin 11 tanesi vaka sunumu veya vaka serilerinden oluşurken 2 tanesi gözden geçirmedir.

Tartışma

Bu çalışmada ülkemizden SCI ve SCI expended indekste yer alan dergilerde yayınlanan ve en çok atıf alan ilk 102 yayın listelenmiştir. Literatürde genel cerrahi, kadın-doğum hastalıkları, nöroşirurji gibi çeşitli klinik disiplinlerde benzer çalışmalar bulunmaktadır [11]. KBB alanında da benzer çalışmalar literatürde mevcuttur [12-13].

1945-2018 (31.12.2018) yılları arasında dünyada toplam 197758 KBB ile ilgili makale yazılmıştır. Bunlardan 4659'u (%2,35) ülkemizden çıkan makalelerdir. Ülkemiz dünyada 31.12.2018 tarihi itibari ile en çok KBB makalesi yayınlanan 9. ülke olmuştur. İlk 5' de yer alan ülkeler sırası ile USA: 67073, Almanya: 14693, İngiltere: 12669, Japonya: 10076 ve Kanada: 6873'dür [5] (Tablo 3). Ülkemizden SCI ve SCI expended indeksli dergilerde kabul edilecek seviyede yazılan ilk makale 1974 yılda yazılmıştır [14]. Ülkemiz, diğer ülkelere göre KBB alanında bilimsel çalışmalara yaklaşık olarak 29 yıl geriden başlamış olsa da geldiğimiz nokta gelecek için ümit vericidir.

Tablo 3: 1945-2019 yılları arasında KBB bilim dalında dünyada en çok yayınlarına atıf yapılan ilk 10 ülkenin sıralaması

Dünyada 1945-2018 tarihleri arasında yayınlanan makalelere baktığımızda en fazla atıf House- Brackmann ve ark. tarafından yapılan "Facial-nerve grading system" (1958 atıf) isimli makaledir [15]. En çok atıf alan 100. makale ise Liberman ve ark. tarafından yapılan 322 atıflı "physiology and anatomy of single olivocochlear neurons in the cat" isimli yayındır [16]. Türkiye'den yayınlanan hiçbir makale maalesef ki dünyada ilk 100' e girememiştir.

Ülkemizden yapılan SCI ve SCI expended indeksli dergilerdeki ilk yayın Karatay S ve ark. tarafından 1974 yılında yazılan, "Acta Oto-Laryngologica" dergisinde yayınlanan ve bu zamana kadar toplam 7 atıf alan "Ultrastructural investigations on degenerative and regenerative processes in chorda tympani in Bells paralysis" isimli makaledir [14]. Bu yayın en eski makale olmasına rağmen aldığı atıf sayısının azlığı nedeniyle ilk 102 yayın arasına girememiştir.

Ülkemizden yapılan ve en çok atıf alan 102 makalenin 33'ü otoloji-nörootoloji, 31'i baş-boyun cerrahisi, 27'si rinoloji, 11'i laringoloji ve 2'si fasiyal plastik cerrahi ile ilgili yayınlardır. Lenzi ve ark. [12] 2016 yılında yaptıkları çalışmada; 1985-2014 yılları arasında dünyada KBB alanında en çok atıf alan yüz makaleyi incelemiş ve bu araştırma sonucunda en çok atıf alan 100 makalenin 50'sinin otoloji, 23'ünün rinoloji, 11'inin baş boyun cerrahisi, 10'unun laringoloji ve 6'sının diğer KBB alt dalları ile ilgili olduğunu bildirmiştir. Ülkemizden yayınlanan makalelerin KBB alt dallarına dağılımı dünya literatürü ile benzerlik göstermektedir.

Otoloji-nörootoloji 33 makale ile listemizde en çok yayını bulunan KBB alt bilim dalıdır. Bu yayınların içeriklerini incelediğimizde yazılan makalelerin çoğunlukla kronik otitis media ve timpanoplasti teknikleri ile ilgili olduğu görülmektedir (11 makale). Otoloji-nörootoloji ile ilgili Türkiye'den yapılan bütün yayınları incelediğimizde ise en çok ototoksisite ve önlenmesi ile ilgili çalışmalar dikkati çekmektedir. Ancak bu konu ile ilgili sadece Daldal A ve ark. tarafından yazılan "The protective effect of intratyrnpanic dexamethasone on cisplatin-induced ototoxicity in guinea pigs" isimli makale 64 atıfla en çok atıf alan ilk 102 makale arasına girebilmiştir [17].

On sekiz yaş altı olgular üzerine yazılan makaleler pediatrik KBB yayını olarak da kabul edilebilir. Bu durumda listemizdeki makalelerin 30'u aynı zamanda pediatrik KBB yayınıdır. Lenzi ve ark. [12] tarafından yapılan çalışmada pediatrik KBB yayınları ile ilgili bir bilgi bulunmamaktadır. Erdağ ve ark. [13] 2015 yılına ait çalışmalarında ülkemizdeki pediatrik KBB yayınlarından 23'ünün en çok atıf alan ilk 100 makale arasına girebildiğini bildirmiştir. Çalışmamızda ise 30 makale listeye girmiştir. Geçen 3 yıllık süre zarfında pediatrik KBB alanındaki makalelerin atıf alma sayılarındaki artış dikkat çekicidir.

"International Journal Of Pediatric Otorhinolaryngology" dergisi 21 makale ile en çok pediatrik olgularla ilgili makalenin yayınlandığı dergidir. Geri kalan 9 makale ise 4 farklı dergide yer almaktadır.

Ülkemizden yapılan ve en çok atıf alan 102 yayın toplam 17 dergide yayınlanmıştır. En çok makale "International Journal Of Pediatric Otorhinolaryngology" dergisinde (21 makale) yayınlanmıştır. İkinci sırada "Laryngoscope" (17 makale) ve üçüncü sırada "Otolaryngology-Head And Neck Surgery" (14 makale) dergisi bulunmaktadır (Tablo 2). Fenton ve ark.nın [13] 2002 yılında yaptıkları ve KBB' de atıf klasiklerini değerlendirdikleri çalışmalarında ilk 3 sırada yer alan dergiler sırası ile "Laryngoscope", "Archives of Otolaryngology - Head and Neck Surgery", ve "Annals of Otology, Rhinology and Laryngology" dergileridir. Lenzi ve ark.nın [12] 2015 yılındaki çalışmasında ise ilk 3 sıradaki dergiler sırası ile "Hearing Research", "Laryngoscope" ve "Archives of Otolaryngology - Head and Neck Surgery" dergileridir. "International Journal Of Pediatric Otorhinolaryngology" dergisi ülkemizden en çok atıf alan yayınların yayınlandığı ilk sıradaki dergi olmasına rağmen hem Lenzi'nin [12] hem de Fenton'nun [18] yaptıkları dünya atıf klasiklerini değerlendiren çalışmalarında sıralanan dergiler arasına girememektedir.

Her ne kadar bu çalışmanın temel amacı Türkiye'den yayınlanan ve en fazla atıf alan 102 makaleyi belirlemek olsa da çalışmamızda atıf indeksi de değerlendirilmiştir. Atıf indeksine göre ilk üç sıradaki yayınlar; Sennaroğlu L. ve ark. (A new classification for cochleovestibular malformations), Kahveci OK. ve ark. (The efficiency of nose obstruction symptom scale on patients with nasal septum deviation) ve Osma U. ve ark. (The complications of chronic otitis media: report of 93 cases) tarafından yazılan makalelerdir [8-19-20].

Çalışmamızda incelenen makalelerin atıf sayısı sıralamaları ile atıf indeksi sıralamaları karşılaştırıldığında; atıf sayısı sıralamasına göre ilk 10'da bulunan makalelerden 6 tanesi atıf indeksi sıralamasında da ilk 10' da bulmaktadır. Buna göre; ilk 10'da bulunan makalelerin atıf sayısı sıralaması ile atıf indeksi sıralaması arasında korelasyon bulunmaktadır. Benzer bir korelasyon literatürde yayınlanan farklı bilim dallarındaki bibliyometrik çalışmalarda da izlenmektedir [21].

Çalışmamızda bazı kısıtlılıklarımız vardır. Bilimsel bir makalenin başka makalelerde bahsedilme sıklığının incelenmesi, o makalenin akademik etkisini ölçmenin bir yoludur [7]. Çalışmamızda bir makalenin akademik etkisi yani kalitesi aldığı toplam atıf sayısına göre değerlendirilmiştir. Ancak gerçekte bir makalenin ne kadar değerli olduğu onun aldığı atıf sayısı ile doğru orantılı değildir. Bir başka kısıtlılık nedeni makalenin yayınladığı zaman ile ilgilidir. 10 yıl önce yayınlanan nispeten zayıf bir makalenin 2 yıl önce yayınlanan etkili bir makaleden daha fazla atıf alma şansı vardır. Nitekim alıntı zaman çizergeleri analizi yapılan çalışmalarda makalelerin genellikle yayınlandıktan birkaç yıl sonra atıf almaya başladıkları ve yayınlandıktan yaklaşık 10 yıl sonra maksimum atıf sayısına ulaştıkları gösterilmiştir [22]. Listemizdeki makalelerin yayınlandıkları yılları incelediğimizde; 8 yayın 1998 yılı ve öncesinde, 44 yayın 1999 - 2003 yılları arasında, 41 yayın 2004 - 2008 yılları arası ve 9 yayında 2009 - 2013 yılları arasında yayınlanmıştır. Ülkemizden 2014 - 2018 yılları arasında yayınlanan makalelerin aldıkları atıf sayısı ilk 102 makale arasına girmelerini sağlayacak kadar fazla değildir (grafik-1). Bu bulgular literatürle de uyumludur [22]. Çalışmamızın bir diğer kısıtlılığı ise; sadece KBB dergileri ile sınırlandırmış olmamızdır. Alanımızla ilgili olan ancak genel tıp ya da temel tıp ve biyolojik bilimlere ait dergilerinde yayınlanmış makalelerin sayılarının ve alacakları atıfların görece daha sınırlı olacağı, bu nedenle çalışma verilerimizde eksik ya da yanlışlığa neden olmayacağı düşünülmüştür.


Büyütmek İçin Tıklayın
Grafik 1: En çok atıf alan 102 makalenin dağılımı (5 yıllık period)

Sonuç

Atıf analizi bilimsel kalitenin bir ölçütü değildir ancak bir makalenin bilimsel camia üzerindeki etkisini ve önemini değerlendirme de faydalıdır. Çalışmamızdaki bütün kısıtlılara rağmen, bu veriler bize KBB alanında ülkemizin gelişimi hakkında oldukça önemli bilgiler vermektedir. Bu çalışma aynı zamanda ülkemizdeki KBB bilimi gelişimini, alanımızdaki öncü yazarları ve yayınları görmemiz açısından da oldukça faydalıdır. Bu çalışmada listelediğimiz yayınlar dünyada en fazla etkiye sahip olan ülkemizin yüz akı makaleleridir.

Kaynaklar

1) Moed HF. New developments in the use of citation analysis in research evaluation. Arch Immunol Ther Exp 2009;57:13-8. [ Özet ]

2) Garfield E. What is a citation classic? Available at: http://garfield.library.upenn.edu/classics.html Accessed January 10, 2019.

3) Hennessey K, Afshar K, MacNeily AE. The top 100 cited articles in urology. Can Urol Assoc J 2009;3:293-302. [ Özet ]

4) Loonen MPJ, Hage JJ, Kon M. Plastic surgery classics: characteristics of 50 top-cited articles in four plastic surgery journals since 1946. Plast Reconstr Surg 2008;121:320-7. [ Özet ]

5) Dubin D, Hafner AW, Arndt KA. Citation classics in clinical dermatologic journals: citation analysis, biomedical journals, and landmark articles, 1945-1990. Arch Dermatol 1993; 1993 Sep;129(9):1121-9. [ Özet ]

6) Joyce CW, Kelly JC, Sugrue C. A bibliometric analysis of the 100most influential papers in burns. Burns 2014; 40: 30-7. [ Özet ]

7) Category of 2017 journal citation reports (JCR) from Thomson Reuters. [EB/OL] [Internet]. [cited 2019 May 30]. Available from: https://jcr.incites.thomsonreuters.com/

8) Sennaroglu L, Saatci I. A new classification for cochleovestibular malformations. Laryngoscope. 2002;Dec;112(12):2230-41. [ Özet ]

9) Yilmaz MD, Onrat E, Altuntaş A, Kaya D, Kahveci OK, Ozel O, Derekoy S, Celik A The effects of tonsillectomy and adenoidectomy on pulmonary arterial pressure in children. Amerıcan Journal Of Otolaryngology. 2005;26(1);18-21 [ Özet ]

10) Unlu HH, Akyar S, Caylan R, Nalca Y. Concha-bullosa. Journal of otolaryngology. 1994;23(1);23-7. [ Özet ]

11) Kim HJ, Yoon DY, Kim ES, Lee K, Bae JS, Lee JH. The 100 most-cited articles in neuroimaging: A bibliometric analysis, NeuroImage. 2016; 139:149-56. [ Özet ]

12) Lenzi R, Fortunato S, Muscatello L. Top-cited articles of the last 30 years (1985-2014) in otolaryngology - head and neck surgery. The Journal of Laryngology & Otology. 2016: 130(2), 121-7. doi:10.1017/S002221511500300X. [ Özet ]

13) Erdağ TK, Kurtoglu G. The 100 Most Cited Turkish Papers in the Otorhinolaryngology Journals of Web of Science. Turk Arch Otorhinolaryngol. 2015 Sep; 53(3): 112-119. [ Özet ]

14) Karatay S, Katırcıoglu S, Ergengi T. Ultrastructural investigations on degenerative and regenerative processes in chorda tympani in Bells paralysis. Acta oto-laryngologica. 1976; 81(3-4);304-14. DOI: 10.3109/00016487609119967. [ Özet ]

15) House JW, Brackmann DE. Facial-nerve grading system. 1985; 93(2);146-7. [ Özet ]

16) Libermen MC, Brown MC. physiology and anatomy of single olivocochlear neurons in the cat. Hearing research. 1986;24 (1);17-36. DOI:10.1016/0378-5955(86)90003-1. [ Özet ]

17) Daldal, A., Odabasi, O., Serbetcioglu, B. The protective effect of intratympanic dexamethasone on cisplatin-induced ototoxicity in guinea pigs. Otolaryngology-Head and Neck Surgery. 2007;137(5):747-752. https://doi.org/10.1016/j.otohns.2007.05.068. [ Özet ]

18) Fenton JE, Roy D, Hughes JP, Jones AS. A century of citationclassics in otolaryngology-head and neck Surgery journals. J Laryngol Otol. 2002;116:494-8. http://dx.doi.org/10.1258/002221502760132557. [ Özet ]

19) Kahveci OK, Miman MC, Yücel A, Yücedağ F, Okur E, Altuntaş A. The efficiency of Nose Obstruction Symptom Evaluation (NOSE) scale on patients with nasal septal deviation. Auris Nasus Larynx. 2012 Jun;39(3):275-9. doi: 10.1016/j.anl.2011.08.006. [ Özet ]

20) Osma U, Cureloğlu S, Hosoğlu S. The complications of chronic otitis media: report of 93 cases. Journal of laryngology and otology. 2000;114(2);97-100. [ Özet ]

21) Namdari S, Baldwin K, Kovatch K, Huffman GR, Glaser D. Fifty most cited articles in orthopedic shoulder surgery. J Shoulder Elbow Surg. 2012;21(12):1796-802. [ Özet ]

22) Marx W, Schier H and Wanitschek M. Citation analysis using online databases: Feasibilities and shortcomings. Scientometrics. 2001;52(1):59-82