Sahte akıcılık tuzağı: "idare eder" İngilizce, hiç İngilizce olmamasından daha kötü olduğunda

Özet — Bir dili yarım yamalak bilmek, hiç bilmemekten daha kötüdür.

Dili hiç bilmemek boşluğu görünür kılar: oda bir tercüman üzerinde anlaşır ve düzenini buna göre kurar.
Dili yarım yamalak bilmek ise boşluğu gizler: akıcı görünen hatalar mutabık kalınmış gibi tutanağa geçer; bedeli haftalar sonra sözleşme incelemesinde ortaya çıkar.

Havacılık düzenleyicileri bu mekanizmaya 2008'de karşılık verdi. Tıp araştırmaları 2003'ten beri bunu sayıyor. Yönetim kurulu odası ise henüz değil.

Bugün sınır ötesi her toplantı, kimsenin tam olarak sahip olmadığı ortak bir dile, neredeyse her zaman İngilizceye dayanır. Bu düzen işliyormuş gibi hissettirir. Bu yazının geri kalanı, düzenin insanların sandığından daha az işlediğine dair kanıtları sunuyor. Kanıtlar üç bağımsız literatürden geliyor (havacılık güvenliği, tıbbi tercümanlık, uluslararası işletme araştırmaları). Yazı ayrıca yayımlanmış en güçlü karşı argümanı (Yabancı Dil Etkisi, Foreign-Language Effect) dürüstçe ele alıyor.

Odadaki kaç kişi ikinci bir dilde çalışıyor?

Dünyadaki yaklaşık 1,5 milyar İngilizce konuşurun yalnızca yaklaşık 400 milyonu ana dil konuşuru; kalan 1,1 milyar İngilizceyi ikinci veya ek bir dil olarak öğrenmiştir (David Crystal, English as a Global Language, Cambridge University Press, 2. baskı, 2003; Ethnologue konuşur tahminleri). Sınır ötesi herhangi bir iş toplantısında bu oran genellikle küresel ortalamadan daha da olumsuzdur, çünkü İngilizce profesyonel ortamlarda orantısız biçimde fazla temsil edilir.

EF Education First, 100'den fazla ülkeyi kapsayan yıllık bir English Proficiency Index yayımlıyor. Burada "Çok yüksek yeterlilik", "sosyal, profesyonel ve akademik durumlarda incelikli bir dil kullanabilme" becerisi olarak tanımlanıyor. Ölçülen nüfusların çoğunun aşamadığı eşik tam olarak bu. Ortanca ülke "Orta" bantta yer alır; "Yüksek" ve "Çok Yüksek" ise az sayıdaki Kuzey Avrupa ekonomisinde ve birkaç Doğu Asya ekonomisinde yoğunlaşır.

Pratikte, ortalama küresel iş toplantısının katılımcıları çoğunlukla Avrupa Ortak Dil Çerçevesi'nde B1 ile C1 arasında bir yerde çalışan kişilerdir. Gündelik konuşmada işlev görecek kadar akıcıdırlar, ancak sözleşme dilini, mevzuat inceliklerini veya teknik uç durumları kayıp olmadan tartışacak kadar akıcı değildirler.

Bu yazının geri kalanı bu nüfusla ilgili.

Başarısızlık biçimi 1 — Sahte kesinlik

Ana dili olmayanların akıcı görünen konuşması, bu alandaki en pahalı başarısızlık biçimidir, çünkü bir şeyin doğrulanması gerektiğine dair işareti ortadan kaldırır.

Lev-Ari ve Keysar, dinleyicilerin ana dili olmayan bir aksanla aktarılan bilgiyi, içerik aynı olsa ve konuşmacı bir metni okuyor olsa bile daha az güvenilir bulduğunu gösterdi (Why don't we believe non-native speakers?, Journal of Experimental Social Psychology, 2010). Bu önyargı otomatik, sağlam ve tek yönlüdür.

Aynı önyargının öbür yarısı iş hayatında daha pahalıdır. Ana dili olmayan bir konuşmacı akıcı duyulan bir cümle kurduğunda (dilbilgisi doğru, tonlama doğal) dinleyiciler anlamanın simetrik olduğunu varsayar: konuşmacının çevredeki tartışmayı kendi cümlesini kurduğu kadar iyi anladığını ve dinleyicinin de konuşmacıyı onun konuştuğu kadar iyi anladığını düşünürler. Bu varsayımların ikisi de olağan biçimde yanlıştır.

Tenzer, Pudelko ve Harzing, 15 çok uluslu ekipteki çalışanları araştırdı ve algılanan dil yeterliliğinin güven atıflarını sistematik biçimde şişirdiğini, atfedilen yetkinliğin ise sık sık yersiz çıktığını buldu (The impact of language barriers on trust formation in multinational teams, Journal of International Business Studies, 2014).

Odadaki mekanizma:

• Konuşmacı, dilbilgisi doğru ama anlamı %15 kaymış bir cümle kurar.
• Dinleyiciler akıcılığı duyar, %15'i değil.
• Cümle "gayet iyi duyulduğu" için kimse açıklayıcı soru sormaz.
• %15'lik boşluk, mutabık kalınmış gibi tutanağa yazılır.

Kendinden emin biçimde yanlış bir cümle, bariz bir boşluktan daha tehlikelidir, çünkü boşluk bir takip sorusu doğurur; sahte açıklık ise tutanağa geçer. Sahte kesinlik budur: ortak, kusurlu İngilizceyle çalışmanın taşıyıcı maliyeti.

Başarısızlık biçimi 2 — İncelikte kendini sansürleme

Cevabı bilme ihtimali en yüksek kişi, çoğu zaman onu çalışma dilinde ifade etmeye en az donanımlı olan kişidir.

Volk, Köhler ve Pudelko, çok uluslu şirketlerde L2 işleme üzerine bilişsel sinirbilim literatürünü inceledi. Profesyoneller ana dilleri olmayan bir dilde çalıştığında çalışma belleği, işleme hızı ve duygusal düzenleme üzerinde ölçülebilir ek yük bildirdiler (Brain drain: The cognitive neuroscience of foreign language processing in multinational corporations, Journal of International Business Studies, 2014). Bu yük altında ilk kaybolan şey incelik olur: ana dili konuşurunun düşünmeden kullandığı niteleyiciler, çekinceler, koşullu yan cümleler ve karşı argümanlar.

Gözlemlenebilir sonuç, uluslararası işletme literatüründe belgelenmiştir: ana dillerinde bir toplantıya hâkim olacak kıdemli konu uzmanları, İngilizceyle çalışmak zorunda kaldıklarında odanın en sessiz insanları olur (Tsedal Neeley, Global Business Speaks English, Harvard Business Review, 2012; Neeley, The Language of Global Success, Princeton University Press, 2017). Eklenecek bir şeyleri olmadığı için susmazlar. Gerçek görüşlerini İngilizceyle ifade etmenin bedeli (doğru fiil zamanını bulmak, kaçamak görünmeden çekince koymak, zayıf görünmeden nitelemek) sessiz kalmanın bedelini aştığı için susarlar.

Karar da kendini akıcı biçimde ifade edebilen kişi tarafından verilir. Bu kişiler ise genel olarak en çok bilenler değildir.

Hinds, Neeley ve Cramton buna paratoner olarak dil dedi: dil yeterliliği statünün vekili olur ve statü kimin konuşacağını belirler (Language as a lightning rod, Journal of International Business Studies, 2014). Odadaki en bilgili kişi, en az etkili anlatan kişiye dönüşür.

Başarısızlık biçimi 3 — Akıcılık yetkinin önüne geçer

Ortak İngilizceyle yürütülen herhangi bir müzakerede, ana dili İngilizce olan taraf, esasa dair hiçbir şey konuşulmadan önce avantajlıdır. Ana dili İngilizce olmayan taraf bilişsel bütçesinin bir kısmını dil üretimine harcar; ana dili İngilizce olan taraf ise tamamını esasa harcar.

Bu, bir kişilik etkisi değil, ölçülebilir bir işleme asimetrisidir. Yukarıda anılan sinirbilim derlemesi, aynı kişi L1 yerine L2 ile çalıştığında eşdeğer görevlerde yaklaşık %20–30'luk çalışma belleği cezası bildiriyor. Canlı bir müzakereye çevirirsek: ana dili İngilizce olmayan taraf bilişsel bütçesinin belki %70'iyle çalışırken ana dili İngilizce olan taraf tamamıyla çalışıyor.

Görünür sonuç, ana dili İngilizce olmayan tarafın daha az konuşması değildir. Sonuç, bu tarafın daha çok onaylamasıdır. Çekinceler azalır. "Sanırım belki değerlendirebiliriz" cümlesi "Tamam"a dönüşür. Ana dili İngilizce olan taraf istediği ifadeyi alır; diğer taraf istediğinin çoğunu aldığını hisseder; boşluk ancak haftalar sonra sözleşme incelemesinde ortaya çıkar.

Dil vergisinin o anda görülmesi en zor, sonradan düzeltilmesi en pahalı kısmı budur.

En güçlü kanıt: "idare eder" İngilizcenin kelimenin tam anlamıyla öldürdüğü yerler

Yukarıdaki üç başarısızlık biçimi araştırma literatüründe iyi belgelenmiştir, ancak şüpheci okurlar bunları duygulara dair "yumuşak bilim" bulguları diye geçiştirebilir. Tezin en güçlü kanıtı, ikinci dil İngilizcesinin somut bir sonuca karşı ölçüldüğü iki alandan geliyor. Bu alanlarda düzenleyiciler verilerin gösterdiğine göre çoktan harekete geçti.

Havacılık — ICAO sorunu düzenlediğinde

Tenerife, 27 Mart 1977. Bir KLM 747 ile bir Pan Am 747, Los Rodeos'ta pistte çarpıştı. 583 kişi öldü; bu, havacılık tarihinin hâlâ en ölümcül kazasıdır. Soruşturma, standart dışı bir telsiz konuşması dahil birkaç katkıda bulunan neden belirledi. KLM Kaptanı Van Zanten, ikinci dil İngilizcesiyle ve yoğun zaman baskısı altında kuleye "we are now, uh, at takeoff" ("şu an, şey, kalkıştayız") dedi. Kule "OK." ile karşılık verdi. Van Zanten'in ifadesi "kalkış pozisyonundayız" ile "kalkış yapıyoruz" arasında belirsizdi; yine ikinci dil İngilizcesi konuşan Pan Am ekibi ise hâlâ pistteydi. ICAO'nun ve ulusal otoritelerin sonraki reformları, bu tür belirsizliği ortadan kaldırmak için özellikle standartlaştırılmış telsiz ifadelerini devreye soktu (İspanya Havacılık Otoritesi nihai raporu; SKYbrary vaka çalışması).

Avianca 052, 25 Ocak 1990. Bir Boeing 707 yakıtsız kaldı ve New York'un Cove Neck yakınlarında düşerek 73 kişinin ölümüne yol açtı. New York hava trafik kontrolüyle ikinci dil İngilizcesiyle konuşan uçuş ekibi, "running out of fuel" ("yakıtımız bitiyor") dedi. Bu ifade ICAO standart telsiz ifadelerinde yoktur ve hava trafik kontrolü bunu ilan edilmiş bir acil durum olarak yorumlamadı. Standart "fuel emergency" veya "minimum fuel" terimi hiç kullanılmadı. NTSB'nin nihai raporu, uçuş ekibinin standart telsiz ifadelerini kullanmamasını olası nedenler arasında saydı (NTSB Uçak Kazası Raporu AAR-91/04).

Düzenleyici yanıt. ICAO, 2003'te Dil Yeterlilik Gereklilikleri'ni (LPR) kabul etti: Ek 1 (Personel Lisanslandırma) ve Ek 10 (Havacılık Telekomünikasyonu). Bu gereklilikler, gösterilmiş İngilizce yeterliliğini dünya genelinde uluslararası uçuş ekipleri ve hava trafik kontrolörleri için bir lisans şartı haline getirdi. Altı seviyeli bir derecelendirme ölçeği tanımlandı; uluslararası operasyonlar için asgari seviye Seviye 4'tür ("Operasyonel"). Seviye 4'ün altında lisans uluslararası uçuş için geçerli değildir. Uygulama son tarihi Mart 2008'di (ICAO Doc 9835, Manual on the Implementation of ICAO Language Proficiency Requirements).

Düzenleyicinin buradaki gerekçesi, bağlayıcı uluslararası hukuka yazılmış hâliyle bu yazının tezidir: yüksek riskli iletişimde "idare eder" düzeydeki ana dili olmayan İngilizce güvensizdir; ya herkes dili tanımlı bir operasyonel standartta konuşur ya da uçağı uçurmaz.

Tıp — karşılaştırma ölçülebilir olduğunda

Somut sonucu olan diğer alan tıbbi tercümanlıktır ve burada karşılaştırma daha da temizdir: aynı klinik görüşme, aynı hasta, eğitimli bir tercümanla ve tercümansız.

Glenn Flores ve çalışma arkadaşları, iki pediatrik acil serviste İspanyolca konuşan, sınırlı İngilizce yeterliliğine sahip hastalarla yapılan 57 acil servis görüşmesini ses kaydına aldı; her çeviri hatasını ve olası klinik sonucunu saydı (Flores ve ark., Errors of medical interpretation and their potential clinical consequences: a comparison of professional versus ad hoc versus no interpreters, Annals of Emergency Medicine, 2012).

Başlıca bulgular:

• 57 görüşmede 1.884 çeviri hatası saptandı.
• Tüm hataların %18'i olası klinik sonuç doğurdu.
• Klinik sonuç doğuran hata oranı, ≥100 saat eğitimli profesyonel tercüman kullanıldığında %12'ye düştü.
• Oran, 100 saatten az eğitimli profesyonel tercümanlarda %22, geçici (ad hoc) tercümanlarda (aile üyeleri, eğitimsiz iki dilli personel) %20 ve hiç tercüman olmadığında %20 idi.

Buradan iki sonuç çıkıyor. Birincisi: tercüman eğitimi almamış, akıcı görünen iki dilli bir kişinin yaptığı geçici çeviri, klinik sonuç oranlarında hiç tercüman olmamasından daha iyi değildir. Akıcılık, önemli kısımlarda doğruluğa dönüşmüyor. İkincisi: koruyucu etki ancak çeviri tanımlı bir eğitim eşiğini geçtiğinde başlıyor; bu, ICAO Seviye 4 ile tamamen aynı düzenleyici örüntüdür. "İdare eder" bu verilerde var olan bir kategori değil. Ya eşiği geçersiniz ya geçemezsiniz.

Aynı yazarın daha önceki çalışması, birinci basamak sağlık hizmetinde de aynı örüntüyü göstermişti (Flores ve ark., Errors in medical interpretation and their potential clinical consequences in pediatric encounters, Pediatrics, 2003). 2012 çalışması bunu tanımlı bir yetkinlik standardına karşı nicelleştirdi.

Bunun yönetim kurulu odası için önemi

Yönetim kurulu odası kokpit değildir, acil servis de değildir. Dakika başına risk daha düşüktür; sonuçlar saniyeler değil aylar içinde gelir; bedel can değil para ve itibardır.

Ama mekanizma aynıdır. Ortak, kusurlu bir dilde çalışan ana dili olmayan bir konuşmacı, anlamsal içeriği kaymış ama akıcı duyulan ifadeler üretir; dinleyiciler akıcılığı doğruluğun işareti olarak alır; boşluk ifadenin üretildiği anda fark edilmez; boşluk ancak üzerine inşa edilen ürün (prosedür, sevk talimatı, sözleşme maddesi) gerçekliğe karşı uygulandığında ve odanın sandığından farklı bir anlama geldiği anlaşıldığında ortaya çıkar.

Havacılık ve tıp, yönetim kurulu odası için önemlidir, çünkü bu mekanizmayı işletmenin maliyetinin nicelleştirildiği ve bir düzenleyicinin bunun kabul edilemez olduğuna hükmettiği iki alandır. Teze göre doğal deney bunlardır.

İş dünyasındaki maliyet — veri olan yerde

İş dünyasında aynı bilimsel temizlikte bir Tenerife veya Flores çalışması yok. Elindeki şey anket verileri: kendi beyanına dayalı, karma mekanizmalı, ama büyük ölçekli.

The Economist Intelligence Unit, 2012. 51 ülkeden 500'den fazla üst düzey yöneticiyle yapılan bir anket: Competing across borders: How cultural and communication barriers affect business. Bulgulardan bazıları:

• Katılımcıların %49'u, yanlış anlaşılmaların büyük uluslararası işlemlerin önünde engel olduğunu ve şirketleri için ciddi kayıplara yol açtığını bildirdi.
• %64'ü, dil ve kültür farklılıklarının tanıdık olmayan pazarlarda yer edinmeyi zorlaştırdığını bildirdi.
• %67'si, yanlış iletişimin uluslararası iş çabalarına engel olduğunu bildirdi.

Bu maliyetin bir ihracat anlaşmasının içinde aşama aşama nerede durduğu ve ihracat masasının bugün ortağın diline ödediği bedeller, İlk temas İngilizceyle kurulur. Anlaşma ortağın dilinde yürür yazısında anlatılıyor.

Rapor, "dil kaynaklı yanlış iletişim" ile "kültür kaynaklı yanlış iletişim"i net biçimde ayırmıyor. Ancak başarısız büyük işlemler bildiren katılımcıların yarısı için maliyet kalemi, içindeki mekanizma karma olsa bile gerçektir. İş dünyası literatüründe tıbbın sahip olduğu kontrollü "tercümanlı ve tercümansız" karşılaştırması ile havacılığın sahip olduğu düzenleyici güvence yok. Ancak temel mekanizma, daha temiz literatürlerin çoktan belirlediği mekanizmadır.

"Ama L2'de çalışmak insanları daha iyi karar verici yapmıyor mu?"

Bu yazının tezine yönelik yayımlanmış en güçlü karşı argüman, Chicago Üniversitesi'nden Keysar, Hayakawa ve An'ın ortaya koyduğu Yabancı Dil Etkisidir (The Foreign-Language Effect: Thinking in a Foreign Tongue Reduces Decision Biases, Psychological Science, 2012). Deneyleri, insanlar klasik karar kuramı problemlerini (çerçeveleme etkileri, kayıptan kaçınma, Asya hastalığı problemi) ikinci dillerinde ele aldıklarında, aynı problemleri L1'de ele almalarına kıyasla standart bilişsel yanlılığı daha az sergilediklerini gösterdi. Sonraki çalışmalar etkiyi birden çok dil çiftinde ve karar yanlılığı paradigmasında yineledi (bkz. ayrıca Costa ve ark., Cognition, 2014).

Bu gerçek bir bulgu. Peki neden tezi çürütmüyor?

Üç neden:

1. Yabancı Dil Etkisi bireysel akıl yürütmeyle ilgilidir, çok taraflı iletişimle değil. Keysar ve ark., bir kişinin bir problemi tek başına, kafasında, L2'sinde, dinleyici ve iletişim ortağı olmadan çözdüğünde ne olduğunu ölçtü. Bu yazıdaki üç başarısızlık biçiminin hepsi etkileşimin özellikleridir. Sahte kesinlik, kendini sansürleme ve akıcılık–yetki eğimi, ancak odada birden fazla kişi olduğu için vardır. Yabancı Dil Etkisi bu alana hiç girmez.
2. Etki, anlamsal doğruluğu değil, duygusal/sezgisel yanlılıkları etkiler. Mekanizma, L2'nin problemin çerçevesinden duygusal bir mesafe yaratması ve dinleyicinin daha analitik (Sistem 2) işlemeye yönelmesidir. Kayıptan kaçınmayı azaltmak için yararlıdır. Yönetim kurulu odasının yaptığı şey olan, bir sözleşme maddesini anlamsal kayma olmadan iletmek için yararlı değildir.
3. Havacılık ve tıp düzenleyicileri her iki etkiyi çoktan birbirine karşı tarttı. ICAO da tıbbi tercümanlık literatürü de L2 akıl yürütme literatürünün var olduğunu biliyor. İki alan da yanlılığı azaltma yararının sahte kesinlik maliyetine değeceğine karar vermedi. İkisi de öbür yöne gitti: bir yeterlilik standardı tanımlamak, onu uygulatmak ve standardın altındaki herkes için tercüman veya standartlaştırılmış telsiz ifadeleri şart koşmak.

Dürüst özet: L2'de çalışmak sizi, tek başınıza ve kafanızın içinde, bazı çerçeveleme görevlerinde biraz daha mantıklı yapar. İçinde bulunduğunuz odayı ise bilgiyi doğru aktarma konusunda daha az yetkin kılar. Yabancı Dil Etkisi bireysel bilişin bir özelliğidir; yukarıdaki üç başarısızlık biçimi çok taraflı iletişimin özellikleridir. Birbirini götürmezler.

"İdare eder" makine çevirisi neden bunların hiçbirini çözmez

Bir İngilizce toplantının üstüne yerleştirilen genel bir makine çevirisi katmanı, üç başarısızlık biçiminin hiçbirine çare olmaz ve bazı yapılandırmalarda onları daha da kötüleştirir:

• Sahte kesinlik katlanır. İdare eden bir MT katmanı da akıcı görünen çıktı üretir; bu, ana dili olmayan akıcı görünen İngilizcenin üstüne biner. Doğrulanmamış iki akıcılık katmanı, kaynaktaki niyetle dinleyicinin anlayışını birbirinden ayırır.
• Kendini sansürleme sürer. Toplantının çalışma dili hâlâ İngilizceyse ve çeviri yalnızca dinleyicilere hizmet ediyorsa, konuşmacılar L2 bedelini ödemeye devam eder. İnceliği yine bırakırlar. Çeviri hattı kaybı sadakatle korur.
• Akıcılık–yetki eğimi tersine döner ama düzleşmez. Kötü ayarlanmış bir çeviri katmanı, avantajı en çok bilene değil, yanında en iyi motora sahip olana kaydırır.

Çözüm, "İngilizce bir toplantının üstüne çeviri eklemek" değildir. Çözüm, hiçbir katılımcının tam olarak sahip olmadığı bir dilde çalışma zorunluluğunu ortadan kaldırmaktır. Bu farklı bir mimari tercih ve biz de bunu inşa etmeye çalışıyoruz.

Her katılımcı kendi ana dilinde konuştuğunda ne değişir

Yapısal değişikliği söylemek kolay, mühendisliğini yapmak zor:

1. Her katılımcı kendi ana dilinde konuşur: L2 bilişsel yükü yok, incelik kaybı yok, kendini sansürleme yok.
2. Her katılımcı diğer her katılımcıyı kendi ana dilinde duyar, canlı olarak ve ton korunarak.
3. Çeviri katmanı denetlenebilirdir: kaynak ifade, hedef ifade ve dil bazında dökümler tek bir paket olarak dışa aktarılır; dil çifti bazında kalite ölçülür ve bir pazarlama rakamı olarak ileri sürülmek yerine gerçek trafik üzerinde her ay yayımlanır.

Üç başarısızlık biçiminin hepsi aynı gereksinime bağlıdır: odadaki birinin ortak, kusurlu bir dilde çalışması. Bu gereksinimi kaldırmak onları birlikte kaldırır. Bu gereksinimin üstüne çeviri eklemek ise kaldırmaz.

Sınır ötesi toplantı araçlarının yeni nesli, ölçüleceği farkın tam olarak bu olduğunu görecek. Havacılık düzenleyicileri "herkes oldukça iyi İngilizce konuşuyor"u cevap olarak kabul etmedi. Tıp düzenleyicileri de etmedi. Yönetim kurulu odası bunu yapan son alan olmamalı.

Okuma listesi

Bu yazının taşıyıcı kaynakları, kabaca kullanıldıkları sırayla:

Bilişsel ve toplumsal mekanizma üzerine

• Lev-Ari, S., & Keysar, B. (2010). Why don't we believe non-native speakers? Journal of Experimental Social Psychology, 46(6), 1093–1096.
• Tenzer, H., Pudelko, M., & Harzing, A.-W. (2014). The impact of language barriers on trust formation in multinational teams. Journal of International Business Studies, 45(5), 508–535.
• Hinds, P. J., Neeley, T. B., & Cramton, C. D. (2014). Language as a lightning rod: Power contests, emotion regulation, and subgroup dynamics in global teams. Journal of International Business Studies, 45(5), 536–561.
• Volk, S., Köhler, T., & Pudelko, M. (2014). Brain drain: The cognitive neuroscience of foreign language processing in multinational corporations. Journal of International Business Studies, 45(7), 862–885.
• Neeley, T. (2012). Global Business Speaks English. Harvard Business Review.
• Neeley, T. (2017). The Language of Global Success. Princeton University Press.
• Keysar, B., Hayakawa, S. L., & An, S. G. (2012). The Foreign-Language Effect: Thinking in a Foreign Tongue Reduces Decision Biases. Psychological Science, 23(6), 661–668.

Havacılık

• ICAO. Manual on the Implementation of ICAO Language Proficiency Requirements (Doc 9835). International Civil Aviation Organization.
• NTSB. Avianca, The Airline of Colombia, Boeing 707-321B, HK 2016, Fuel Exhaustion, Cove Neck, New York, January 25, 1990 (AAR-91/04).
• SKYbrary. Tenerife airport disaster, 1977 — accident case study.

Tıp

• Flores, G., Abreu, M., Barone, C. P., Bachur, R., & Lin, H. (2012). Errors of medical interpretation and their potential clinical consequences: a comparison of professional versus ad hoc versus no interpreters. Annals of Emergency Medicine, 60(5), 545–553.
• Flores, G., et al. (2003). Errors in medical interpretation and their potential clinical consequences in pediatric encounters. Pediatrics, 111(1), 6–14.

İş dünyası

• Economist Intelligence Unit. (2012). Competing across borders: How cultural and communication barriers affect business. EF Education First sponsorluğunda.

Nüfus

• Crystal, D. (2003). English as a Global Language (2. baskı). Cambridge University Press.
• EF Education First. English Proficiency Index (yıllık).

— Mind.com Ekibi

Havacılık bunu 2008'de söyledi. Tıp yirmi yıldır sayıyor. Yönetim kurulu odası, "idare eder"in yeterli olduğu rolü yapmaya devam eden son oda.