Klinisyen denetimli yapay zekâ: taslaktan onaylı kayda

Klinisyen denetimli yapay zekâ, teknik kaynaklarda ‘human-in-the-loop’ olarak anılan insan denetimli yaklaşımın klinik dokümantasyona uyarlanmış ifadesidir. Temel fikir basittir: sistem metin önerebilir, fakat kaydın anlamı ve statüsü profesyonelin eylemi olmadan değişmez. Bir 'uzman kontrolünde' etiketi tek başına yeterli değildir; ürün, kontrolün nerede ve nasıl gerçekleştiğini göstermelidir.

WHO sağlık alanında insan özerkliğinin korunmasını, sağlık kararlarında insanların kontrolü elinde tutmasını ve insan gözetim noktalarının kurulmasını vurgular. NIST AI RMF ise insan gözetimi süreçlerinin, rollerin ve sorumlulukların tanımlanıp belgelenmesini önerir. Bu ilkeler klinik bir ürüne uygulandığında taslak ile onaylı kayıt arasında görünür, geri izlenebilir bir geçiş gerektirir.

Belgelendirme desteği kullanılan bir iş akışında her adımın ayrı bir anlamı vardır. Aşağıdaki sıra, bir yapay zekâ çıktısının neden doğrudan onaylı kayıt olmadığını açıklar:

1. Kaynak belirlenir: taslağın hangi yetkili not, belge veya yapılandırılmış kayıttan hazırlandığı gösterilir.
2. Çıktı taslak olarak oluşturulur: onaylı nottan görsel ve anlamsal olarak ayrı tutulur.
3. Klinisyen kaynakla karşılaştırır: eksik, yanlış, bağlam dışı veya gereksiz ifadeleri arar.
4. Klinisyen düzeltir, reddeder ya da yeniden çalışır: sistemi onaylamaya zorlayan varsayılan bir akış olmaz.
5. Açık onay verilir: yalnızca profesyonelin kasıtlı eylemi kaydın durumunu değiştirir.
6. Atıf ve işlem izi korunur: neyin üretildiği, kimin incelediği ve onayın ne zaman verildiği sonradan anlaşılabilir.

Bu örnek gerçek klinik içerik içermez. Bir klinisyen, izinli bir görüşme kaydındaki yapılandırılmış başlıklardan düzen önerisi ister. Sistem kaynak kayıtları bağlantılarıyla birlikte gösteren bir taslak oluşturur ve taslağı onaylı not alanından ayrı tutar.

Klinisyen bir cümlenin kaynağa göre fazla kesin olduğunu fark eder, cümleyi çıkarır ve iki başlığı yeniden yazar. Bir başka ifade gereksiz olduğu için reddedilir. İnceleme tamamlandığında klinisyen açık bir onay eylemiyle son metni kayda geçirir; işlem izi taslağın sistem tarafından hazırlandığını, değişikliklerin profesyonelce yapıldığını ve onayın kimden geldiğini gösterir.

Bu akışta sorumluluk yalnızca son düğmeye yüklenmez. Ürünü seçen ekip, iş akışını yapılandıran kurum, sistemi sağlayan taraf ve kaydı onaylayan profesyonel farklı sorumluluklar taşır. Denetlenebilirlik bu zinciri görünür kılar; bir yapay zekâ çıktısını kendiliğinden doğru ilan etmez.

Üretken yapay zekâ eksik ya da yanlış bilgiyi ikna edici bir dille sunabilir. NIST bu durumu güvenle ifade edilen fakat hatalı içerik üretimi olarak ele alır; ayrıca otomasyon yanlılığının kullanıcıları sistem çıktısına gereğinden fazla ağırlık vermeye yöneltebileceğini belirtir. Bu yüzden inceleme yalnızca yazım hatası aramak değildir.

Klinisyen kaynağın gerçekten ifadeyi destekleyip desteklemediğini, özetin önemli bir ayrımı silip silmediğini, görüş ile olgunun karışıp karışmadığını ve belirsizliğin korunup korunmadığını kontrol eder. Varsayılan onay, acele ettiren arayüzler veya taslağı onaylı kayıtla aynı görsel durumda sunmak bu kontrolü zayıflatabilir.

Klinisyen denetimi, bütün riskin tek bir kullanıcıya bırakılması değildir. Ekip; hangi görevde yapay zekâ kullanılabileceğini, hangi verinin girdi olabileceğini, kimlerin taslak oluşturup onaylayabileceğini, sorunların nasıl bildirileceğini ve sistemin ne zaman devre dışı bırakılacağını belirlemelidir.

İşlem kayıtları klinik metni gereksiz yere çoğaltmadan durum değişikliklerini, kullanıcı eylemlerini ve ilgili kaynakları gösterebilmelidir. Düzeltme ve ret de onay kadar anlamlı olaylardır. Yalnızca başarılı kullanımları kaydetmek, hataları ve öğrenme fırsatlarını görünmez bırakır.

Bir klinik ekip taslak desteğini değerlendirirken ürün gösteriminin ötesine geçmelidir:

• Taslak, onaylı kayıttan açıkça ayrı mı ve yanlışlıkla son kayıt gibi okunması engelleniyor mu?
• Kaynaklar, zaman ve kayıt sürümü profesyonel inceleme sırasında görülebiliyor mu?
• Kullanıcı düzeltme, kısmi kabul ve tam ret seçeneklerine sahip mi?
• Onay açık ve kasıtlı bir eylem mi; varsayılan ya da toplu otomatik onay var mı?
• Roller, eğitim, olay bildirimi, geribildirim ve sistemi durdurma sorumlulukları tanımlı mı?
• Ekip, otomasyon yanlılığını ve sistemin bilinen sınırlarını düzenli olarak gözden geçiriyor mu?

Bu not, Eunora'nın gelecekteki yapay zekâ destekli taslaklar için benimsediği güvenlik ve ürün yönünü açıklar. Mevcut davetli betada geniş kapsamlı üretken yapay zekâ taslaklarının kullanıma açık olduğu anlamına gelmez. Özellik mevcut değilse arayüz ve tanıtım dili varmış gibi davranmamalıdır.

Gelecekte bir taslak özelliği sunulursa ayrı durumlar, kaynak görünürlüğü, açık profesyonel onayı ve denetlenebilir eylemler ürün davranışının parçası olmalıdır. Bu kontroller, çıktının klinik doğruluğunu garanti etmez; inceleme için gerekli zemini sağlar.