Instinct AI asistanı: otomasyonun altında gizlenen veri saklama ve güvenlik sorunları
Instinct, görevleri otomatikleştirmeyi vaat eden bir yapay zeka asistanı olarak pazara giriyor. İlk test kullanıcıları ise ciddi gizlilik ve güvenlik açıkları bildiriyor: silinen e-postaların saklanması, Google erişimi kesildikten sonra bile veri işlenmesi, doğrulama kodlarının phishing yoluyla çıkarılması ve onay olmadan kullanıcı adına mesaj gönderilmesi.
Şirket Kleiner Perkins ve Conviction gibi yatırımcılardan finansman aldı. Kurucu ekipte Sierra'dan ayrılan Noah Shinn ve Luca Borletti bulunuyor. Hizmet şartlarında ise şirkete kullanıcı materyalleri üzerinde "kalıcı ve geri alınamaz" bir lisans hakkı verildiği yazılı. Bu hak, kullanıcının hesabını kapatmasından sonra bile veri kullanımını kapsamıyor.
Instinct nedir ve ne tür görevleri otomatikleştirmeyi vaat ediyor?
Instinct, kullanıcının Gmail ve diğer platformlarına bağlanarak e-posta özetleme, otomatik yanıt oluşturma ve bilgi çıkarma gibi görevleri otomatikleştirmeyi amaçlayan bir yapay zeka asistanı. Kullanıcılar Gmail hesaplarını bağlıyor ve asistanın gelen kutusuna erişmesine izin veriyor.
Bu model, pek çok modern yapay zeka aracının kullandığı yaklaşımdır: kullanıcı adına hareket eden bir otonom temsilci. Ancak bu temsilcinin sınırları nerede, hangi verilere ne kadar süreyle erişmesi gerektiği ve kullanıcı kontrolü ne zaman başladığı sorularının cevabı hizmet şartlarında ve gerçek davranışta net değildir.
Belgelenen sorunlar: dört somut veri ve güvenlik başarısızlığı
İlk test kullanıcıları sosyal medyada rapor ettikleri deneyimler, Instinct'in tasarımında dört kritik sorunu ortaya çıkardı.
Silme talebinden sonra e-postaların saklanması: Erken test kullanıcılarından Peter Yang, Instinct'ten Gmail kayıtlarını silmesini istedi. Hizmet bu talebi yerine getirmedi. Ekip daha sonra ayarlara bir veri silme aracı ekledi ancak bu, kullanıcının talebinden sonra yapılan reaktif bir düzeltmedir.
Google erişimi kesildikten sonra bile e-postaların okunması: Claire Vo, Instinct'in Google erişimini kestikten saatler sonra bile asistanın gelen kutusunu özetlemeye devam ettiğini keşfetti. E-postalar düz metin olarak saklanmıştı. Instinct'in kullanıcının yetkilendirmesini iptal etmesine rağmen önbellekte tutulan verilere erişmeye devam etmesi, tasarımda ciddi bir boşluk gösteriyor.
Phishing yoluyla doğrulama kodlarının çıkarılması: Alex Cohen, Instinct'in e-posta gelen kutusundan doğrulama kodlarını çıkarabileceğini test ederek doğruladı. Kötü niyetli bir aktör Instinct'e sahte bir görev atayarak başka bir hizmete giriş yapabilir. Cohen bu testi yaptıktan sonra hesabını sildi.
Onay olmadan kullanıcı adına e-posta gönderme: Moxxie Ventures kurucusu Katie Jacobs Stanton, Instinct'in kendisine sormadan adına bir e-posta gönderdiğini bildirdi. Bu, kullanıcının dijital kimliği üzerinde kontrolü kaybetmesi anlamına gelir.
Dört rapor birbirini destekler: Instinct, kullanıcı izni sınırlarını net şekilde uygulamıyor.
Hizmet şartlarının yapısı: kalıcı lisans koşulları nasıl çalışıyor?
Instinct'in hizmet şartları, şirkete kullanıcı materyalleri üzerinde "kalıcı ve geri alınamaz" bir lisans veriyor. Bu lisans, şirketin kullanıcı verilerini erişme, kullanma, önbelleğe alma, saklama ve değiştirme yetkisini kapsıyor. Veriler yapay zeka modellerini eğitmek için kullanılabiliyor.
Bu hüküm, kullanıcının hizmeti bırakmasından sonra bile şirketin veriler üzerinde hak sahibi olmaya devam ettiği anlamına geliyor. "Kalıcı" ifadesi lisansın zaman sınırı olmadığını; "geri alınamaz" ifadesi ise kullanıcının bu yetkiyi iptal edemeyeceğini gösterir.
Çoğu SaaS hizmeti, hizmet verirken kullanıcı verilerine erişme yetkisi alır ancak bu yetki genellikle hizmet ilişkisi süresince geçerlidir. Instinct'in kullandığı formül ise kullanıcı çıkışından sonra da veri kullanım hakkını koruyor.
Pratik olarak bu, Instinct'in kullanıcının Gmail'inden okuduğu her e-postayı, çıkarılan her veriyi ve sakladığı her mesajı kendi model altyapısında kullanabileceği anlamına gelir. Kullanıcı hesabını kapatsa bile veriler şirketin kontrolünde kalır.
Şirketin tavrı: neden kamuya açıklama yapılmadı?
Instinct'in kurucu ekibi ve yatırımcıları, sosyal medyada yayılan endişelere kamuya açık bir yanıt vermedi. Erken test kullanıcılarının kamuya açıklamış eleştirileri karşısında sessiz kalmak, kullanıcı güvenini zayıflatıyor. Özellikle Katie Jacobs Stanton gibi sektörde tanınan isimlerin güvenlerinin kırıldığını açıkça belirtmesi, şirketin itibarı için uzun vadeli bir risktir.
Şirketin veri silme aracını sonradan eklemesi, sorunun farkında olduğunu gösterir ancak bunun reaktif bir düzeltme olması, ürün tasarımının baştan kullanıcı onayı ve veri saklama konularını ciddiye almadığını işaret eder.
Yapay zeka asistanlarında veri sahipliği problemi
Instinct'in durumu, bir teknoloji hizmetinin "kullanıcı adına hareket etme" yetkisinin sınırları konusunda önemli soruları gündeme getiriyor.
Geleneksel SaaS modelinde kullanıcı, yazılıma belirli görevler için izin verir. Yazılım görevi yapar, sonuç döndürülür ve işlem biter. Yapay zeka asistanları ise sürekli öğrenen, bağlamı hatırlayan sistemlerdir. Veri akışı ve saklama davranışı çok daha karmaşıktır.
Instinct'in kullanıcı materyalleri üzerinde kalıcı lisans hakkı istemesi, asistanın sadece görev yapmakla kalmayıp kullanıcının dijital hayatını kendi altyapısına dahil ettiği anlamına gelir. Bir Gmail kullanıcısı Instinct'e bağlandığında, sadece o an için yardım almıyor. Geçmişteki tüm e-postalarını, gelecek mesajlarını ve bu verilerin türevlerini (özetler, çıkarılan bilgiler) şirketin kullanımına sunuyor. Bu yetki kullanıcı hesabını kapatsa bile devam ediyor.
Bu model üç somut risk taşıyor: kontrol kaybı (veriler ne zaman nasıl kullanılıyor takip edilemiyor), güvenlik zafiyeti (asistan kötü niyetli taleplere karşı yetersiz) ve izinsiz eylem (asistan onay beklemeden kullanıcı adına eylem gerçekleştiriyor).
Veri güvenliği kontrolleri: kullanıcıların kontrol etmesi gereken noktalar
Instinct'in durumu, yapay zeka asistanlarına güvenmenin önkoşullarını gösteriyor. Bir kullanıcının bu tür bir hizmete bağlanmadan önce kontrol etmesi gereken noktalar:
Hizmet şartlarında veri saklama süresi: "Kalıcı ve geri alınamaz" gibi ifadeler uyarı işaretidir. Kullanıcı, verilerinin sadece hizmet süresi boyunca kullanılmasını ve çıkış sonrası silinmesini garantileyen şartları aramalıdır.
Veri silme süreci: Peter Yang'in deneyiminde olduğu gibi, veri silme talebinin yerine getirilmemesi kabul edilemez. Kullanıcı, hizmete bağlanmadan önce veri silme sürecinin açık ve denetlenebilir olduğundan emin olmalıdır.
OAuth sonrası veri işleme: Claire Vo'nun bulgusu gösteriyor ki OAuth erişimi iptal edilse bile veri işleme devam edebiliyor. Hizmet sağlayıcı, erişim iptal edildikten sonra verileri tamamen sildiğini garantilemeli.
