BAŞ DÖNMESİ İLE İLGİLİ İNTERNET KAYNAKLI HASTA BİLGİLENDİRME METİNLERİNİN OKUNABİLİRLİK DÜZEYLERİ
2Ondokuz Mayıs Üniversitesi, Sağlık Bilimleri Fakültesi/Odyoloji, Samsun, Türkiye
Özet
Amaç: Okunabilirlik çeşitli matematik formülleri kullanılarak bir metnin okuma zorluk derecesinin ölçülmesidir. .Bu çalışmanın amacı internet ortamında sunulan baş dönmesi ile ilgili hasta bilgilendirme metinlerinin okunabilirlik düzeylerini ortaya koymaktır.Gereç ve Yöntem: Google arama motoru ile "Baş dönmesi" anahtar kelimeleri kullanılarak yapılan arama sonucunda ilk çıkan 100 internet sitesi incelendi. Bilgilendirme metinleri kopyalanarak metinlerde yer alan hece, kelime, cümle sayısı, dörtten fazla heceli kelime sayısı hesaplandı. Ateşman ve Çetinkaya formülleri kullanılarak okunabilirlik değerleri hesaplandı.
Değerlendirilen siteler kaynağına göre (kişisel bilgilendirme sitesi/hastane sitesi/ gazete/ firma) ve yazarına göre (KBB hekimi/ KBB hekimi değil/Akademik unvanı var/yok) gruplandırıldı.
Bulgular: Çalışmaya dahil edilen tüm sitelerdeki metinler Ateşman puanına göre "kolay okunabilir" (ortanca=74.5; min-max=54.0-87.9) olarak bulundu. Çetinkaya puanına göre ise "eğitsel düzeyde okunabilir"(ortalama±SS=72.3±11.6) ve 8-9. Sınıfa kadar eğitim almış kişilerin anlayabileceği seviyede idi. Çalışmaya dahil edilen 100 site kaynaklarına ve yazarlarına göre karşılaştırıldığında okunabilirlik puanları ve düzeyleri açısından fark bulunmadı.
Sonuç: Sağlık okuryazarlığı açısından ülkemizin ortalama eğitim düzeyi de dikkate alındığında "baş dönmesi" ile ilgili kaynakların "kolay okunabilir" olması olumlu bir durumdur. Hekim veya hastane kaynaklı sitelerin diğer siteler ile karşılaştırıldığında benzer düzeyde okunabilir olması hastaların doğru ve kaliteli bilgiye daha kolay ulaşmasını sağlayabilir.
Giriş
Latince "dönmek" fiilinden türetilmiş olan vertigo yani baş dönmesi, sıkça karşılaşılan sağlık sorunlarından biridir. Vertigo, hastanın kendini dönüyor ya da çevresini dönüyor olarak algıladığı hareket illüzyonu ile karakterize ve temelinde santral ya da periferik bir hastalığa bağlı olarak ortaya çıkan bir bulgudur [1]. Herhangi bir düzeyde baş dönmesi yaşayan bireylerin sıklıkla bu problemin nedenleri, tedavi seçenekleri ve tedavi şekli hakkında bilgi sahibi olmak istemeleri ve internet üzerinden bu konu ile ilgili arama yapmaları doğal bir durumdur. Sonuçta internet vasıtasıyla insanlar ihtiyaç duyduğu her türlü bilgiye hızlı bir şekilde ulaşabilmektedirler. Baş dönmesi veya buna benzer durumlardan dolayı sorun yaşayan kişiler veya yakınları, baş dönmesi, vertigo, baş dönmesinin tedavileri, baş dönmesi tedavilerinin yan etkileri gibi anahtar kelimeleri kullanarak internet ortamında araştırmalar yapmaktadırlar. Baş dönmesi ya da vertigo gibi kelimelerle internet üzerinden yapılan aramalarda bulunan internet sitelerinin paylaştıkları bilgiler hastalar için oldukça önem taşımaktadır. Bununla birlikte, internet ortamında sunulan bu bilgilerin doğruluğu, güvenilirliği ve kalitesi ayrıca bu yazıların okunabilirliği ve anlaşılabilirliği çok önemli parametrelerdir [2]. Bu paremetreler arasında bir bilgilendirme yazısının değerlendirilmesi açısından en yaygın olarak kullanılanı okunabilirliktir. Okunabilirlik yazılı bir metnin okuyucu için ne zorlukta okunduğunu çeşitli matematiksel formüller kullanılarak objektif olarak ölçen bir kavramdır [2,3]. Metinlerin güçlük derecesinin tespiti için temelde hece ve kelime sayısına dayalı çeşitli matematiksel formüller geliştirilmiştir [3]. Her dile ait metinlerin okunabilirliği o dile özgü geliştirilen formüller sayesinde hesaplanmaktadır.Flesch Reading Ease Formula (FRES), Flesch-Kinkaid Reading Grade Level (FKRGL), Gunning Frequency of Gobbledygook (FOG), SMOG Index (SMOG), Coleman-Lieau İndex (CLI), Automated Readability Index (ARI) İngilizce dili grammer yapısına uygun olarak geliştirilen ve İngilizce metinler için sıklıkla kullanılan okunabilirlik formülleridir. Bu formüllere göre genel olarak İngilizce yazılmış metinler için kısa cümlelerden ve az heceli kelimelerden oluşan bir bilgi metninin, 6-8 yıl eğitim alan bir kişi tarafından rahatça okunabildiği ve anlaşılabildiği tanımlanmaktadır [4]. Türkçe metinlerin hece ve kelime yapısına uygun olarak geliştirilen Ateşman, Çetinkaya-Uzun ve Bezirci-Yılmaz okunabilirlik formülleri, Türkçe metinlerin okunabilirlik düzeylerinin tespiti için tasarlanmış formüllerdir [5]. Bu çalışmada "baş dönmesi" anahtar kelimeleri ile arama yapıldığında, karşılaşılan ilk 100 internet sitesinin Ateşman ve Çetinkaya-Uzun formüllerine göre, bu sitelerdeki bilgilendirme metinlerinin okunabilirlik açısından değerlendirilmesi amaçlanmıştır.
Yöntem ve Gereçler
Şubat 2021'de arama motoru olarak "https://www.google.com.tr" arama motoru kullanılarak "baş dönmesi" anahtar kelimesi ile arama yapılarak arama sonucunda ilk çıkan 100 internet sitesi incelendi. Bilgilendirme metinleri kopyalanarak "https://www.webfx.com/tools/read-able/" okunabilirlik hesaplama motoruna aktarıldı. Değerlendirilen sitelerdeki metinlerde yer alan hece, kelime, cümle sayısı ve dört hece üstü kelime sayısı hesaplandı. Hesaplama sonucu elde edilen veriler Microsoft Excel programına aktarıldı. Ateşman ve Çetinkaya-Uzun formülleri kullanılarak okunabilirlik değerleri hesaplandı. Değerlendirilen sitelerdeki metinler sitenin kaynağına göre kişisel bilgilendirme sitesi, hastane sitesi, gazete ve firma sitesi olarak gruplandırıldı. Değerlendirilen metinlerin bir kulak burun boğaz hastalıkları hekimi tarafından yazılıp yazılmadığına bakılarak sınıflama yapıldı. Yazan kişinin akademik afiliasyonun (dr.öğretim üyesi/doçent/profesör) olup olmadığı da ayrıca değerlendirildi. Elde edilen gruplar okunabilirlik düzeyleri açısından karşılaştırıldı.
Okunabilirliğin Değerlendirilmesi
Türkçe'ye uyarlaması yapılmış olan Ateşman Okunabilirlik Formülü ve Çetinkaya-Uzun Okunabilirlik Formülleri kullanıldı.
Ateşman Okunabilirlik Formülü
Ateşman tarafından 1997 yılında Flesch okuma kolaylığı formülü temel alınarak geliştirilmiştir [6]. Metindeki kelime cümle uzunluklarını temel alır.
Okunabilirlik Puanı= 198,825- 40,175x (toplam hece/toplam kelime)-2.610x (toplam kelime/toplam cümle).
Bu formüle göre puan 100'e yaklaştıkça metin daha kolay okuabilir hale gelmektedir.
Çetinkaya-Uzun Okunabilirlik Formülü
Türkçe metinlerle ilgili bir başka okunabilirlik formülü de Çetinkaya-Uzun'a aittir [5]. Bu formül diğer formüllerden bağımsız olarak, Türkçeye özel olarak geliştirilmiş ve yalnızca Türkçe metinleri değerlendirmek için oluşturulmuştur.
Okunabilirlik Puanı= 118,823-25,987x(hece sayısı/kelime sayısı)-0.097x(kelime sayısı/cümle sayısı)
Ateşman okunabilirlik puanına karşılık gelen okunabilirlik düzeyi ve Çetinkaya-Uzun okunabilirlik puanına karşılık gelen okunabilirlik düzeyi belirlendi. Çetinkaya-Uzun okunabilirlik puanına göre ile ilgili metni anlamak için gerekli eğitim seviyeleri sınıflandırıldı. (Tablo 1 ve Tablo 2).
){kind=link}
){kind=link}
Tablo 1: Ateşman puanına göre sınıflandırma
Tablo 2: Çetinkaya uzun okunabilirlik puanına göre belirlenmiş okuabilirlik ve eğitim düzeyleri
İstatistiksel Analiz
Veriler R Studio programı kullanılara analiz edildi [7]. Değişkenlerin normal dağılıma uyup uymadığı Shapiro Wilk ve Lilliefors Kolomogorov Smirnoff testleri ile değerlendirildi. Normal dağılan değişkenler için tanımlayıcı istatistikler ortalama ve standart sapma (SS) olarak verilirken normal dağılıma uymayanlar için ortanca ve minimum-maksimum (min-max) olarak verildi. Gruplar arası karşılaştırmalar bağımsız örnekler t testi, Mann Whitney U testi, tek yönlü varyans analizi (ANOVA) ile Kruskal Wallis testi kullanılarak yapıldı. Sıralı (ordinal) değişkenler de non-parametrik testler kullanılarak analiz edildi [8]. Sürekli değişkenler arasındaki ilişki Pearson korelasyon testi ile değerlendirildi. p değeri için anlamlılık düzeyi 0.05 olarak alındı.
Bulgular
Çalışmaya dahil edilen 100 internet sitesinin dağılımına bakıldığında 36 kişisel site (hekim sitesi/blog), 30 hastane sitesi, 17 gazete ve 7 firma sitesi bulundu. 56 sitedeki metinlerin KBB hekimleri tarafından yazıldığı ve yazarın adının belirtildiği saptandı. Yazarın akademik afiliasyonu olup olmadığına bakıldığında ise 62 sitedeki bilgilendirme metninin akademik afiliasyona sahip bir yazar tarafından yazıldığı görüldü.Tüm sitelerin okunabilirlik ortalaması Ateşman'a göre kolay güçlükte iken (ortanca=74.5; min-max=54.0-87.9) Çetinkaya-Uzun'a göre eğitsel (ortalama±SS=72.3±11.6) okunabilir ve 8-9. sınıf düzeyinde tespit edildi.
Çalışmaya alınan siteler kaynaklarına göre karşılaştırıldığında okunabilirlik puanları ve düzeyleri açısından dört grup arasında (kişisel/hastane/gazete/firma) anlamlı fark bulunamadı (Tablo 3).
){kind=link}
Çetinkaya puan ortalaması KBB hekimleri tarafından yazılmayan metinlerde KBB hekimleri tarafından yazılan metinlere göre daha yüksek olarak bulunmasına rağmen okunabilirlik düzeyleri ve Ateşman puanları arasında anlamlı fark yoktu (Tablo 4).
){kind=link}
Tablo 4: Baş dönmesi bilgilendirme metinlerinin yazının kaynağına göre okunabilirlik değerleri.
Değerlendirilen sitelerdeki ortalama kelime sayısı (cümle başına düşen kelime), ortalama hece sayısı (kelime başına düşen hece) ve kompleks kelime (dört hece ve üzeri kelime) yüzdelerine ait karşılaştırma sonuçları Tablo 5'te verilmiştir. Siteler arasında bu değişkenler açısından anlamlı fark bulunamadı.
){kind=link}
Tablo 5: Baş dönmesi bilgilendirme metinlerinin genel özellikleri.
Ateşman puanı ile Çetinkaya puanı arasında anlamlı pozitif fakat düşük düzeyde korelasyon mevcuttu (r= 0.468; p<0.001). Kompleks kelime yüzdesi ile Ateşman puanı arasında orta derecede anlamlı negatif korelasyon (r=-0.590; p<0.001) Çetinkaya puanı ile de anlamlı düşük düzeyde negatif korelasyon (r=-0.300; p<0.001) mevcuttu.
Tartışma
Sağlıkla ilgili bilgi edinmek amacıyla internet kullanımı son yıllarda giderek artmaktadır [9]. Türkiye İstatistik Kurumu (TÜİK) 2020 yılı verilerine göre, ülkemizde kişilerin internet kullanım oranı %79 ve internet üzerinden sağlık ile ilgili bilgilerin araştırılma oranı %65,4 olarak tespit edilmiştir [10]. İnternet, sağlık hizmetleri bilgilerinin dağıtımında devrim yaratmıştır ve insanların çoğu sağlıkla ilgili bilgiler için arama motorlarını kullanarak internette arama yapmaktadır [11]. Giderek artan sayıda doktor ve sağlık profesyoneli sağlıkla ilgili içerik oluşturarak internet ortamında paylaşmaktadır ve hastalar da bu kaynaklara arama motorları yardımı ile ulaşabilmektedir. Bu aramaların sonuçları, hastaların tedaviye uyumunu etkilemektedir. Erişilebilir ve güvenli kaynaklardan elde edilen bilgilerin tedavi sürecini olumlu etkilediği bilinmektedir [12].Baş dönmesi gibi etiyolojisinde pek çok farklı hastalık yer alan bir semptomun hastaları daha da çok araştırmaya yönlendirmesi kaçınılmazdır. Bu çalışma ülkemizde baş dönmesi ile ilgili bilgilendirme metinlerini içeren internet sitelerini karşılaştıran ilk çalışmadır. Araştırmamızın sonucunda farklı site ve yazar grupları arasında okunabilirlik düzeyleri açısından anlamlı fark bulunamamıştır. Mevcut internet sitelerindeki bilgilendirme metinlerinin 8-9. Sınıf düzeyinde ve kolay okunabilir olduğu belirlenmiştir. TÜİK 2019 verilerine göre, 25 yaş üzerindeki popülasyonun %54,01'i ortaokul ve üstü bir okuldan mezun olarak tanımlanmaktadır [10]. Bu verilere göre Türkiye popülasyonunun önemli bir kısmının ortalama eğitim seviyesinin baş dönmesi ile ilgili internet sitelerinin okunabilirlik seviyesinin üstünde olduğunu söyleyebiliriz. Ancak yapılan çalışmalara göre okunabilirlik ve sağlık okuryazarlığı birbirinden farklı tanımlamalar olarak belirtilmiştir [13]. Kişilerin kendi sağlıkları ile ilgili karar verebilmek için temel sağlık bilgilerini kavrayabilme ve yorumlayabilme kapasitesi sağlık okuryazarlığının tanımı içinde yer almaktadır [14]. Sağlık okuryazarlığının tedavi sonuçları üzerine yaş cinsiyet gibi demografik değişkenlerden bile daha etkili olabileceği de gösterilmiştir [15]. Ulusal Sağlık Enstitüsü, Amerika nüfusunun yaklaşık %40'ının sağlık okuryazarlığı yetersiz olduğu için karmaşık tıbbi bilgilerin, kavramayı en üst düzeye çıkaracak etkili bir biçimde ve 6. sınıf eğitim düzeyine veya altına uygun olarak yazılmasını önermektedir. Ülkemizde de durum benzer olup, 2014 yılında yapılan araştırmada, halkın %64,6'sının yetersiz sağlık okuryazarlığına sahip olduğu bulunmuştur. Buna göre herhangi bir tıbbi eğitim almamış bireyler tarafından medikal bilgi içeren bir metnin okunabilmesi için 6. sınıf okunabilirlik seviyesi ya da daha altında yazılması önerilmiştir [14,16].
Bu çalışmanın amacı internet ortamında sunulan baş dönmesi ile ilgili hasta bilgilendirme metinlerinin okunabilirlik düzeylerini ortaya koymaktır. Türk dili için geliştirilmiş formüller kullanılarak baş dönmesi ile ilgili bilgilendirme metinlerinin okunabilirlikleri değerlendirilmiştir. Baş dönmesi hastaları oldukça endişelendiren bir semptom olup tanı ve tedavisi multidisipliner çalışmayı gerektirmektedir. Çalışmamıza göre ilk 100 sitenin 56'sı KBB hekimleri tarafından yaratılmıştır. Ayrıca bilgilendirme metinlerinin önemli bir çoğunluğu (%62) akademik ünvanı olan hekimler tarafından yazılmıştır. Metinler ise kolay okunabilir düzeyde olmakla beraber sağlık okuryazarlığı için yeterli seviyede kolay okunabilir değildir. Okunabilirlik seviyesi ile ilgili birçok araştırmada kullanılan formülasyonlar İngilizce metinlerin okunabilirlik düzeyini belirlemek amacıyla oluşturulmuştur [17-19]. Ancak bu formüller Türkçe bir metinde kullanıldığında hatalı sonuçlar vermektedir. Çünkü Türkçe'de bir sözcükteki hece sayısı ünlü harf sayısı kadarken; İngilizcede heceleme bu şekilde yapılmamaktadır [20]. Bu yüzden çalışmamızda sadece Türkçe metinlerin okunabilirliğini ölçmek üzere geliştirilmiş olan Çetinkaya-Uzun ve Ateşman formüllerini kullandık. Türkçe metinlerin okunabilirlik düzeyleriyle ilgili benzer çalışmalar incelendiğinde; Kara ve ark. tarafından KBB alanında sık kullanılan hasta onam formları okunabilirlik açısından değerlendirilmiş ve ortalama Ateşman puanı 61.25 ± 3.28 (orta güçlükte) olarak bulunmuştur [21]. Eryılmaz ve ark da deri kanseri ile ilgili hasta bilgilendirme metinlerinin okunabilirliklerini incelemiş ve Ateşman puanına göre "orta güçlükte" olduğunu bulmuşlardır [14]. Solak, kolorektal kanser hakkında bilgi içeren internet sitelerinin okunabilirliğini araştırdığı çalışmasında, incelediği internet sitelerinin Ateşman okunabilirlik aralığını "orta güçlükte", Bezirci -Yılmaz" a göre ise "lisans düzeyinde" olduğunu bildirmiştir [22]. Ebem ve ark. intravenöz ve intramüsküler enjeksiyon bilgilendirilmiş onam formlarını okunabilirlik açısından değerlendirmişler, sonuç olarak tüm formların Ateşman okunabilirlik değeri ortalamasını "orta güçlükte," Bezirci-Yılmaz okunabilirlik değeri ortalamasını ise "ortaöğretim" seviyesinde olduğunu bulunmuşlardır [23]. Çifçi ve ark.'nın madde bağımlılığı ile ilgili Türkçe internet sitelerinin okunabilirliklerini değerlendirdikleri çalışmalarında incelenen internet sitelerinin Ateşman formülüne göre okunabilirlik aralığı "zor", Bezirci-Yılmaz formülüne göre ise "lisans"düzeyinde olduğunu tespit etmişlerdir [24]. Kozanhan ve ark. anesteziyoloji alanında internet sitelerinde sunulan hasta bilgilendirme metinlerinin okunabilirliklerini inceledikleri çalışmalarında spiral, epidural ve genel anestezi ile ilgili bilgilendirmeleri karşılaştırmışlar ve sonuç olarak tüm anestezi türleriyle ilgili bilgilendirmeleri Ateşman'a göre "zor", Bezirci-Yılmaz'a göre "lisans düzeyinde" bulmuşlardır [2]. Sancaktar ve ark. tarafından vertigo ve tinnitus için yaygın kullanılan değerlendirme envanterleri okunabilirlik açısından değerlendirilmiş vertigo için kullanılan envanterleri Ateşman'a göre orta ve kolay güçlükte, Çetinkaya-Uzun'a göre 8-9. Sınıf düzeyinde bulmuşlardır [20]. Bizim çalışmamızda ise baş dönmesi ile ilgili tüm sitelerin okunabilirlik ortalaması Ateşman'a göre kolay güçlükte iken (ortanca=74.5; min-max=54.0-87.9), Çetinkaya-Uzun'a göre 8-9. sınıf düzeyinde olarak tespit edilmiştir.
Çalışmamıza göre dört hece ve daha fazla kelime sayısı arttıkça ile okunabilirlik puanları azalmaktadır. Ateşman ve Çetinkaya skorları arasında anlamlı korelasyon bulunsa da korelasyonun derecesi (r=0.468) çok yüksek değildi. Bir metin hazırlandıktan sonra her iki indekse göre de değerlendirilmesi uygun olacaktır.
Hekim ve hastane kaynaklı siteler ile gazete gibi diğer kaynaklar karşılaştırıldığında "benzer düzeyde okunabilir" olması olumlu bir durumdur. Bu sayede hastalar daha doğru ve güvenilir bilgiye doğru kaynaktan erişebilirler. Hekimlerin sosyal medyayı ve internet kaynaklarını kullanırken kendi hazırladıkları metinlerin okunabilirliğini analiz etmeleri önemlidir. KBB hekimleri ile diğer sağlık profesyonellerinin oluşturduğu siteler açısından da okunabilirlik açısından fark bulunamamıştır. Akademik ortamda çalışan yazarların daha zor okunabilir metinler hazırlamamış olmaları da olumlu bir durumdur. Yine de tüm siteler göz önüne alındığında en az ortaokul seviyesinde eğitim almış kişilerin bu siteleri okuyabileceği anlaşılmaktadır. Ülkemizin okuryazarlık düzeyi de dikkate alınarak daha da kolay okunabilir içerikler hazırlanması gereklidir.
Çalışmamız Türkçe dilinde baş dönmesi ile ilgili kaynakların okunabilirliğini değerlendiren ilk çalışmadır. İngiliz dilinde Felipe ve ark. vestibüler hastalıklara dair internet kaynaklarının ortalama okunabilirliğinin14-18 yıl eğitim düzeyinde olduğunu bulmuşlardır [25].
Çalışmamızın en önemli kısıtlılığı okunabilirliğin yanısıra anlaşılabilirliğin de değerlendirilememiş olmasıdır. Patient Education Materials Evaluation Tool (PEMAT) gibi ölçeklerin Türkçe geçerlik güvenilirliği yapılır ise bu tip kaynakların anlaşılabilirliği de değerlendirilebilecektir. PEMAT, okunabilirlik formülleriyle karşılaştırıldığında bir metnin kalitesinin de değerlendirmesini sağlayabilir [26]. İleri çalışmalarda hem okunabilirlik hem de anlaşılabilirlik kullanılmalıdır.
Bilgilendirme metni hazırlar iken toplumun genelinin sağlık okuryazarlık düzeyi dikkate alınarak kolay okunabilir metinler hazırlanmalıdır. Sağlık alanında herhangi bir eğitimi olmayan kişilerin de anlayabileceği metinler hazırlanmalı ve daha geniş bir toplum kesimine ulaşmak hedeflenmelidir.
Teşekkür
Çalışmaya konu olan "okunabilirlik" indeksleri hakkında verdiği bilgiler için Doç. Dr. Yusuf Dündar'a teşekkür ederiz.
Çıkar Çatışması
Yazarlar herhangi bir çıkar çatışması veya finansal destek belirtmemektedir.
Kaynaklar
1) Bhattacharyya, N., Gubbels, S. P., Schwartz, S. R., Edlow, J. A., El-Kashlan, H., Fife, T., Holmberg, J. M, Mahoney, K., Hollingsworth, D. B., Roberts, R., Seidman, M. D., Steiner, R. W., Do, B., Voelker, C. J., Waguespack, R. W., Corrigan, M. practice guideline: benign paroxysmal positional vertigo (update). OTO Open, 2017. 156(3_suppl): p. S1-S47. [ Özet ]
2) Kozanhan, B., T. MS, Anesteziyoloji alanında internet sitelerinde sunulan hasta bilgilendirme metinlerinin okunabilirliklerinin değerlendirilmesi. Turkiye Klinikleri J Anest Reanim, 2017. 15(2): p. 63-70.
3) Sadeghi, R., Seyed Saeed, M. M., Hossein, F., Mohsen, R., Reza B. and Narges, K. Readability and suitability assessment of adolescent education material in preventing hookah smoking. Int J High Risk Behav Addict., 2019. 8(1).
4) Jindal, P. , J.C. MacDermid, Assessing reading levels of health information: uses and limitations of flesch formula. Educ Health, 2017. 30(1): p. 84. [ Özet ]
5) Özçetin, K. and Karakuş N., 5. sınıf Türkçe ders kitaplarındaki metinlerin okunabilirlik yönünden incelenmesi. Türkiye Eğitim Dergisi, 2020. 5(1): p. 175-190.
6) Ateşman, E., Türkçede okunabilirliğin ölçülmesi. Dil Dergisi, 1997. 58(71-74).
7) Allaire, J., RStudio: integrated development environment for R. Boston, MA, 2012. 770: p. 394.
8) Miot, H.A., Analysis of ordinal data in clinical and experimental studies. J Vasc Bras, 2020. 19: p. e20200185.
9) Lau, J.T., ? Danielle L. G., Anise M. S. W., Kit man C., Mason M. C. L. Incidence and predictive factors of Internet addiction among Chinese secondary school students in Hong Kong: a longitudinal study. Soc Psychiatry Psychiatr Epidemiol, 2017. 52(6): p. 657-667. [ Özet ]
10) Türkiye İstatistik Kurumu. Eğitim, Kültür, Spor ve Turizm. Bitirilen eğitim düzeyine göre nüfusun dağılımı (25+ yaş). 2021 Çevrimiçi; https://data.tuik.gov.tr/ Search/Search?text=e%C4%9Fitim&dil=1., Erişim Tarihi 2021 23.04];
11) Kovatsch, M., Weiss, M D. Guinard. Embedding internet technology for home automation. in 2010 IEEE 15th Conference on ETFA.
12) Sarkar, U., Karter, A. J. Liu, J. Y., Adler, N. E., Nguyen, R., Schillinger, A. L. D., The literacy divide: health literacy and the use of an internet-based patient portal in an integrated health system?results from the Diabetes Study of Northern California (DISTANCE). J Health Commun, 2010. 15(S2): p. 183-196. [ Özet ]
13) Chen, X., Hay, J. L., Waters, E. A., Kiviniemi, M. T., Biddle, C., Schofield, E., Li, Y., Kaphingst, K., Orom, H., Health literacy and use and trust in health information. J Health Commun, 2018. 23(8): p. 724-734. [ Özet ]
14) Eryılmaz, U.D.N., Külahçı U.D.O., Deri Kanseri Hasta Bilgilendirme Metinlerinin Okunabilirlik Düzeyleri. Dermatoz. 2019.10(1): p. 8
15) Nutbeam, D., Lloyd J.E., Understanding and responding to health literacy as a social determinant of health. Annu Rev Public Health, 2021. 42. [ Özet ]
16) Bass, S.B., Ruzek, S. B., Gordon, T. F. , Fleisher, L. , McKeown-Conn, N., Moore, D., Relationship of Internet health information use with patient behavior and self-efficacy: experiences of newly diagnosed cancer patients who contact the National Cancer Institute's Cancer Information Service. J Health Commun, 2006. 11(2): p. 219-236. [ Özet ]
17) Hansberry, D.R., Agarwal, N., Shah, R., Schmitt, P. J., Baredes, S., Setzen, M. Analysis of the readability of patient education materials from surgical subspecialties. Laryngoscope, 2014. 124(2): p. 405-412. [ Özet ]
18) Pringle, M., Natesh, B., Konieczny, K. Patient information leaflet on mastoid surgery risks: assessment of readability and patient understanding. J Laryngol Otol Suppl, 2013. 127(11): p. 1078. [ Özet ]
19) Lovett, J., Gordon, C., Patton, S., Chen. X. Online information on dysmenorrhoea: An evaluation of readability, credibility, quality and usability. J Clin Nurs, 2019. 28(19-20): p. 3590-3598. [ Özet ]
20) Sancaktar, M.E., Dündar, Y. Vertigo ve Tinnitus İçin Yaygın Kullanılan Envanterlerin Okunabilirliklerinin Değerlendirilmesi. KBB ve BBC Dergisi. 2020;28(2):92-7
21) Kara, İ., Kökoğlu, K. , Şan, F., Orhan, İ. Türkiye"de Kbb Hastalıkları Alanında Sık Kullanılan Onam Formlarının Okunabilirliklerinin Değerlendirilmesi. KBB-Forum 2020;19(2) :153-160 [ 22) Solak, M., Kolorektal Kanser Hakkında Bilgi İçeren İnternet Sitelerinin Okunabilirliği. Harran Üniversitesi Tıp Fakültesi Dergisi, 2019. 16(3): p. 509-513.
23) Emre, E., Tutar, M. S., Yıldız, M., Canıtez, A., Kara, Ö., Kozanhan, B., İntravenöz ve İntramüsküler Enjeksiyon Bilgilendirilmiş Onam Formlarının Okunabilirlik Açısından Değerlendirilmesi. Anadolu Klin., 2019. 24(2): p. 132-136.
24) Çifci, H.K.K., Kozanhan, B., Solak, İ., Madde Bağımlılığı İle İlgili Türkçe İnternet Sitelerinin Okunabilirliğinin Değerlendirilmesi. Bağımlılık Dergisi, 2020. 21(1): p. 56-63.
25) Felipe, L., Beukes, E. W., Fox, B. A., Manchaiah, V. Quality and readability of English-language Internet information for vestibular disorders. J Vestib Res.,2020. (30).63-72 [ Özet ]
26) Balakrishnan, V., Chandy, Z., Hseih, A., Bui, T., Verma, P. Readability and understandability of online vocal cord paralysis materials. OTO Open, 2016. 154(3): p. 460-464. [ Özet ] 
Tam Metin ]