Sosyal medyada etki alanı yüksek ve kendi alanında fikir lideri konuşmacılar ile markaları dijital proje iş birlikleri ve marka elçilikleri kapsamında bir araya getirerek markaların iş sonuçlarına katkı sağlayan projeler geliştiriyoruz.
Yapay Zekâ Halüsinasyonunu Yönetmenin 4 Katman Modeli
Yapay zekâ halüsinasyonu nadir bir hata değil, sistemik bir özellik. Dört katmanlı yönetim modeli ve gerçek hukuki vakalardan çıkan dersler. Yüce Zerey'den.
Şubat 2024'te Air Canada bir tüketici davası kaybetti. Davanın konusu basitti. Yolculardan biri büyükannesinin cenazesi için bilet alırken havayolunun sitesindeki sohbet botuna danışmıştı. Bot ona yas indiriminden bahsetti, sonradan geri ödeme talep edebileceğini söyledi. Yolcu uçtu, geri ödeme istedi, havayolu reddetti. Mahkeme yolcuyu haklı buldu. Kararın özünde şu vardı: bot şirketin bir parçasıdır, botun söylediği şey şirketin söylediği şeydir. Bot uydurduğu için şirket sorumlu.
Bu vakayı her seminerde anlatıyorum. Çünkü yapay zekâ halüsinasyonu nadir bir teknik arıza değil, sistemik bir özellik. Modeller olasılık tabanlı kelime üretiyor ve olasılığın yüksek olması doğru olması anlamına gelmiyor. Halüsinasyon kontrol edilebilir ama önlenemez. İşte bu yüzden bir yönetim modeli gerekiyor. Sigorta değil, mimari.
Halüsinasyon Bir Hata Değil, Bir Özellik
Önce kavramı netleştirelim. Yapay zekâ halüsinasyonu, modelin gerçekte var olmayan bir bilgiyi gerçek gibi sunmasıdır. Var olmayan bir kitap atfedebilir, var olmayan bir mahkeme kararı uydurabilir, gerçek olmayan bir istatistik üretebilir. Önemli olan şu: model uydurduğunu bilmiyor. Onun için iki çıktı arasında doğruluk açısından fark yok, ikisi de aynı olasılık dağılımından çıktı.
Bunu anlamak şirket olarak ilk dönüşüm. "Yapay zekâ yanılır mı" diye düşünmek yanlış soru. Doğru soru şu: yapay zekânın hatalı çıktısı bizi nerede vurabilir ve buna karşı katmanlı savunma nasıl kurulur?
Oranın nereye gittiğine bakalım. Stanford RegLab ve HAI araştırmacılarının hukuki sorgular üzerinde yaptığı çalışma, modellerin belirli ve doğrulanabilir sorulara verdiği cevaplarda yüzde 69 ile yüzde 88 arasında halüsinasyon buldu. Mahkemenin esas hükmüne dair sorularda oran yüzde 75'in altına inmiyordu. Bunlar kontrollü özetleme testlerinden çok daha zorlu sorular ve tam da yüksek riskli sektörlerin günlük işi.
Kontrollü görevlerde tablo daha iyi. Belge verilip özet istendiğinde en iyi modeller yüzde bir bandına inebiliyor. Ama iki ölçüm arasındaki bu uçurum asıl dersi veriyor: halüsinasyon oranı sorunun tipine göre değişiyor ve sizin sorularınızın hangi bantta olduğunu ancak kendi verinizle ölçerek bilirsiniz. Genel bir "artık düştü" cümlesine yaslanmak, ölçmemenin kibarca ifadesi.
Çözüm modelden değil sistemden geliyor. Dört katmanlı bir savunma. Her katman tek başına yetmiyor, dördü birlikte halüsinasyonu kabul edilebilir bir riske düşürüyor.
Katman 1: Kaynak Doğrulama (RAG)
İlk katman teknik. Yapay zekâya cevap üretirken yalnız kendi parametrik hafızasından konuşmasına izin vermemek. Onun yerine cevabı doğrulanmış bir kaynak veritabanından çekmesini sağlamak. Bu yapıya RAG deniyor, açılımı Retrieval-Augmented Generation.
Pratikte şöyle çalışıyor. Bir kullanıcı soru sorduğunda model önce şirketin onayladığı doküman havuzunu tarıyor: politika belgeleri, ürün dokümantasyonu, hukuki referanslar. İlgili pasajları bulunca o pasajlardan cevap üretiyor. İyi kurulmuş bir sistemde her cevabın yanında alıntı kaynağı da görünüyor.
Air Canada vakasında olmayan tam olarak buydu. Bot doğrudan model çıktısı veriyordu, onaylanmış bir politika havuzuna bağlı değildi. RAG kurulmuş olsaydı model yas indirimi konusunda havayolunun gerçek politika dokümanına bakacak, indirimin seyahat öncesi başvuru şartını olduğu gibi aktaracaktı. Halüsinasyon olmayacaktı.
Bu katman kanıtlanmış teknolojiyle çalışıyor. Kendi projelerimde gördüğüm en net kazanç burada: onaylanmış doküman havuzuna bağlanan müşteri hizmetleri asistanlarında halüsinasyon oranı belirgin biçimde düşüyor. Maliyeti ölçülebilir, sonucu ölçülebilir.
Katman 2: İnsan-İçinde-Döngü (HITL)
İkinci katman daha klasik. Kritik kararlarda insanı sürecin içine koymak. Yapay zekâ tavsiye üretebilir, hatta üst düzey bir tavsiye üretebilir, ama nihai onay her zaman insandır. Bu yapıya HITL deniyor, açılımı Human-in-the-Loop.
Buradaki anahtar soru şu: hangi karar kritik? Şirketin bir hata-maliyet matrisi çıkarması gerekiyor. Bir hatanın doğurduğu finansal, hukuki ve itibar maliyeti belli bir eşiği aşıyorsa, o karar HITL akışında olmak zorunda.
Mata v. Avianca davası tam burada patladı. ABD'li bir hukuk firması yargıca dilekçe sundu, dilekçede altı içtihat alıntılanmıştı. Yargıç kontrol etti, altısı da uydurmaydı. ChatGPT içtihatları sıfırdan üretmişti; isimler, mahkemeler ve atıflar gerçekçi görünüyordu ama gerçek değildi. Avukat modele "bu içtihatlar gerçek mi" diye sormuş, model "evet" demişti. Haziran 2023'te avukatlar ve bağlı oldukları firma beş bin dolar para cezası aldı. Asıl kayıp itibardı.
Bu vakada eksik olan tam olarak HITL'di. Dilekçeye eklenecek her içtihadın bağımsız doğrulanması temel mesleki disiplin. Yapay zekâ bu disiplini geçici olarak askıya aldırmıştı, çünkü kullanıcıda "model çok inandırıcı, kontrol gereksiz" hissi yaratmıştı. Bu his yapay zekâ çağının en tehlikeli iç sezgisi.
HITL'in operasyonel hali şu: belli bir hata-maliyet eşiğinin üstündeki çıktılar her zaman bir insan onayından geçer. Onaylayan kişinin yapay zekâya bağımlı olmaması, kendi mesleki yargısıyla onaylaması esas. Yani HITL'in gerçekten HITL olması için onaylayanın bilgi düzeyi modelden bağımsız olmalı.
Katman 3: Kritik Kararda Çift Sistem
Üçüncü katman daha sıkı. Bazı kararlarda tek bir yapay zekâ sistemine güvenmek yerine iki bağımsız sistemi paralel çalıştırmak ve uyumsuzluk durumunda alarm üretmek. Buna ensemble verification deniyor.
Mantık şu: aynı halüsinasyonu iki bağımsız modelin yapma olasılığı, tek modelin yapma olasılığından belirgin şekilde düşük. İki sistem aynı çıktıyı veriyorsa çıktının gerçek olma olasılığı artıyor. Sistemler ayrışıyorsa üçüncü bir doğrulama mekanizması devreye giriyor, bu insan da olabilir kanıtlanmış bir kaynak da.
Bu katmanı her yerde uygulamak ekonomik değil, çünkü iki sistem çalıştırmak iki kat maliyet. Ama yüksek riskli kararlarda yatırımı meşrulaştırıyor: tıbbi öneri, finansal işlem onayı, hukuki yorumlama. Hata-maliyet matrisini çıkarırken çift sistem eşiğini saptamak, şirketin hukuk ve risk birimlerinin ortak işi.
Bu katmanı bir ilaç şirketinin farmakovijilans sisteminde kurduğumuz projeyi anlatayım. İki farklı model aynı yan etki bildirimini analiz ediyor, sonuçlar bir karar matrisinde karşılaştırılıyordu. İki modelin çıktısı belirlenen eşiğin ötesinde ayrıştığında vaka otomatik olarak bir farmasötik uzmanına yönleniyordu. Sistem, tek modelle gözden kaçacak bir ilaç etkileşimini bu ayrışma sinyali sayesinde yakaladı. Katmanın değeri tam olarak burada: iki modelin anlaşmazlığı, tek başına bir uyarı sinyali.
Katman 4: Geriye Dönük Denetim (Audit Trail)
Dördüncü katman zaman boyutu. Yapay zekânın verdiği her kritik çıktı loglanmalı, zaman damgalı olmalı ve tekrar üretilebilir olmalı. Altı ay sonra "modelin neden bu cevabı verdiğini görmek istiyorum" dediğinizde prompt, bağlam, model versiyonu, retrieval sonuçları ve çıktının tamamına ulaşabilmelisiniz.
Bu yalnız geriye dönük kontrol için değil. Audit trail aynı zamanda sistemin halüsinasyon örüntülerini öğrenmenin tek yolu. Hangi konularda halüsinasyon çıkıyor, hangi prompt yapılarında artıyor, hangi model versiyonunda azalıyor. Bu örüntüler yalnız logdan çıkar.
Audit trail ayrıca hukuki bir gereklilik. AB Yapay Zekâ Yasası yüksek riskli sistemler için kayıt tutmayı zorunlu kılıyor, KVKK'nın açıklanabilirlik prensipleri için temel oluşturuyor. Burada bir tarih notu gerekli: yüksek riskli sistemlere ilişkin yükümlülüklerin büyük kısmı 2026 Dijital Omnibus düzenlemesiyle 2 Aralık 2027'ye ertelendi. Yani takvim genişledi, gereklilik ortadan kalkmadı. Saklama süreleri sektöre ve sisteme göre değişiyor; kendi yükümlülüğünüzü hukuk biriminizle netleştirin, genel bir süreye yaslanmayın.
Vaka: Bir E-ticaret Halüsinasyonu
Kamuya açık olmayan ama benzerleri sektörde sıkça yaşanan bir vakayı anonim olarak anlatayım. Bir e-ticaret oyuncusu ürün açıklaması üreten bir yapay zekâ kullanıyordu. Tedarikçilerden gelen ham ürün bilgilerini alıp sitede gösterilen müşteri dostu açıklamalara çeviriyordu. Sistem aylarca sorunsuz çalıştı.
Sonra bir müşteri şikâyet etti. Aldığı oyuncak araba sitede demir alaşımlı diye tarif edilmişti, oysa kutuda plastik yazıyordu. Şirket bunu münferit bir aksaklık sandı, iade verdi. İki hafta sonra benzer şikâyetler geldi. Sistemi denetlediler ve asıl tabloyu gördüler.
Model, ürün açıklamalarının küçük ama anlamlı bir bölümüne hayalî teknik özellikler ekliyordu. Çoğu zaman gerçek özelliklerle uyumluydu, ama özellikle malzeme bilgisinde uydurma yapıyordu. Aylar boyunca binlerce ürün açıklaması bu şekilde yayına girmişti.
Sonuç: yanıltıcı reklam mevzuatı üzerinden yasal sorumluluk doğdu, tüketici şikâyetleri geldi, marka itibarı zedelendi. Toplam maliyet, sistemin kurulum maliyetinin kat kat üzerine çıktı.
Yapılan hata neydi? Dört katmanın hiçbiri yoktu. RAG yoktu, model kendi parametrik hafızasından üretiyordu. HITL yoktu, açıklamalar üretildikten sonra insan kontrolü yoktu. Çift sistem yoktu, tek model çıktısı doğrudan yayınlanıyordu. Audit trail yoktu, hangi açıklamanın ne zaman üretildiği bile geri izlenemiyordu.
Şirket dört katmanı da kurdu. Halüsinasyon oranı kabul edilebilir bir seviyeye indi. Sıfıra inmedi. Zaten inmez.
Halüsinasyon Yönetimi Bir Mimari, Bir Refleks Değil
Bu dört katman birlikte çalıştığında halüsinasyon riski sıfıra inmiyor, kabul edilebilir bir bant içine giriyor. Bu bant şirketin risk iştahına göre ayarlanabiliyor. Daha sıkı bant istiyorsanız üçüncü ve dördüncü katmana yatırım yapın. Daha yumuşak yeterliyse birinci ve ikinci çoğu durumda iş görüyor.
Önemli olan şu: bu katmanların hiçbiri yapay zekâya güvenmekle ilgili değil. Hepsi yapay zekâya güvenilebilir bir sistemin nasıl inşa edileceğiyle ilgili. Güven model özelliği değil, sistem mimarisi özelliği. İnşa ettiğiniz sistem güvenilirse kullandığınız model güvenilir oluyor. Tersi değil.
Şirket için pratik soru: bu dört katmanın hangileri sizde var? Sıralı bir denetim yapın.
Bir, kritik yapay zekâ çıktılarımız onaylanmış bir kaynak havuzundan mı geliyor? Hayırsa RAG kurun.
İki, kritik kararlarda insan onayı zorunlu mu? Hayırsa HITL akışını çizin.
Üç, yüksek riskli kararlarda iki bağımsız sistem var mı? Hayırsa en kritik kullanım vakanızı belirleyin ve oradan başlayın.
Dört, her yapay zekâ çıktısı geriye giderek loglanabiliyor mu? Hayırsa audit trail mimarisini kurun.
Bu dört kapıdan üçü kırmızıysa, şirketinizi bir Air Canada davası bekliyor.
Bir Bakışta
Yapay zekâ halüsinasyonu nadir bir hata değil, modelin sistemik özelliği. Yönetimi için dört katmanlı mimari gerekiyor: kaynak doğrulama (RAG), insan-içinde-döngü (HITL), kritik kararda çift sistem ve geriye dönük denetim. Air Canada davası, Mata v. Avianca olayı ve sektörden anonim e-ticaret vakası aynı şeyi gösteriyor: dört katmanı eksik bir yapay zekâ sistemi her an hukuki ve itibari maliyete açık.
Düşmez. Halüsinasyon modelin yapısal özelliği, çünkü dil üretimi olasılık tabanlı. Tamamen ortadan kaldırmak modeli temelden değiştirmek demek. Ayrıca oran soru tipine göre çok değişiyor: kontrollü özetleme görevlerinde en iyi modeller yüzde bir bandına inebiliyor, ama Stanford RegLab'in hukuki sorgular üzerindeki çalışmasında oran yüzde 69 ile 88 arasında çıktı. Strateji sıfırı beklemek değil, kendi soru tipinizde bandı ölçmek ve yönetmek olmalı.
Sektörüme göre halüsinasyonun hata maliyeti nasıl değişir?
Çok değişiyor. Sağlık, hukuk ve finans yüksek maliyetli sektörler. Bir tıbbi tavsiye halüsinasyonu insan sağlığına, bir hukuki içtihat halüsinasyonu davanın kaybına, bir finansal tavsiye halüsinasyonu doğrudan paraya mal olabilir. Yaratıcı yazarlık, eğlence ve ürün önerme tarafında maliyet daha düşük, hatta bazen yaratıcılık olarak yorumlanıyor. Ama hata-maliyet matrisini her şirket kendi çıkarmalı, sektör genellemesi yeterli değil.
Tek modelle çalışıyorum, çift sistem çok pahalı. Alternatif var mı?
Var. Tek model kullanırken çift sistem etkisine yaklaşmanın yolu, modelden kendi cevabını ikinci bir istemle eleştirmesini istemek. Model önce cevabı üretir, sonra aynı modele "bu cevabı eleştirel değerlendir, nerede hata olabilir" diye sorulur. Gerçek çift sistem kadar güvenilir değil çünkü aynı modelin aynı kör noktası devam ediyor, ama orta riskli kullanımda maliyet-fayda olarak iş görüyor. Yüksek riskli kullanımda iki bağımsız model şart.
RAG kurmak ne kadar zaman alır?
Şirketin doküman olgunluğuna bağlı. Politika ve referans dokümanları zaten dijital, yapılandırılmış ve güncelse üç ila altı hafta. Dokümanlar dağınık, eski sürümlü ve format farklılığı taşıyorsa üç ila altı ay. Çoğu şirkette gerçek darboğaz teknik değil, doküman yönetimi. RAG kurmadan önce bir doküman temizliği projesi neredeyse her zaman gerekiyor.
Audit trail için saklamam gereken minimum ne?
Beş alan minimum. Tam istem, yani kullanıcı girdisi ve sistem istemi birlikte. Modelin döndürdüğü tam çıktı. Kullanılan model adı ve versiyonu. Zaman damgası, tercihen UTC. Kullanıcı kimliği, anonimleştirilmiş olabilir. Yüksek riskli kullanımlarda bunlara RAG ile çekilen kaynak alıntıları ve insan onayı kaydı eklenmeli. Saklama süresi sektöre ve tabi olduğunuz mevzuata göre değişiyor, hukuk biriminizle netleştirin.
AB Yapay Zekâ Yasası'nın yüksek risk yükümlülükleri ertelendi. Audit trail'i bekletebilir miyim?
Bekletmeniz önerilmez. Ek III kapsamındaki bağımsız yüksek riskli sistemler için yükümlülükler 2 Aralık 2027'ye ertelendi, ama şeffaflık yükümlülükleri ve ceza rejimi 2 Ağustos 2026'da yürürlüğe girdi. Ayrıca audit trail yalnız uyum için değil, sisteminizin halüsinasyon örüntüsünü öğrenmek için gerekli. Erteleme size hazırlık zamanı verdi, muafiyet vermedi.
İçindekiler
