MIT Araştırması: Yapay Zekanın Hızlı Yükselişi Derin Sorunları Gizliyor

MIT araştırmasının sonuçları YZ’nin güvenilirliği konusunda soru işaretleri yaratıyor.

Yapay zeka (YZ) sohbet robotları, şiir yazabilme ve bilgisayar kodu üretebilme becerileriyle milyonları etkiliyor; ancak MIT’den yeni araştırmalar, bu modellerin dünya hakkında temel bir anlayıştan yoksun olduğunu ortaya koyuyor. İş dünyasında büyük dil modellerini hızla operasyonlarına dahil etmek isteyen şirketler için uzmanlar, bu sistemlerin karmaşık gerçek dünya senaryolarında güvenilir kararlar almak için gerekli bütüncül bakış açısına sahip olmadığını vurguluyor.

AI destekli satın alma yazılım şirketi Labviva’nın kurucu ortağı ve CTO’su Nick Rioux, bu durumu şöyle açıklıyor: “LLM’ler, veri kümeleri içinde desen bulmada ve diğer desenleri tahmin etmede başarılı; ancak erişimleri dahilindeki verilerle sınırlılar, bu da gerçek zamanlı kararların doğruluğunu etkileyebilir. Bunu yapabilen, insanlardır.”

Akıllı Olmayan Botlar mı?

MIT araştırmacıları, AI sistemlerinin dünya kavrayışlarını test etmek için geliştirdikleri yeni yöntemlerle, dil modellerinin New York sokaklarında ustaca yön bulma ve karmaşık oyunlar oynama gibi yeteneklerine karşın, çalıştıkları sistemleri anlama konusunda başarısız olduklarını tespit etti. Yeni geliştirilen değerlendirme metrikleriyle, modellerin yön bulma veya oyun oynama gibi görevlerde gerçek anlamda anlayışa sahip olup olmadıkları değerlendirildi. Standart testlerde yüksek başarı gösteren bu modellerin, temel kavrayış testlerinde büyük eksiklikler taşıdığı görüldü; örneğin, Manhattan’da rota çizebilen bir model, aslında şehrin içyapısına dair uyumsuz ve gerçek dışı bir haritaya sahipti.

Özellikle GPT-4 ve diğer önde gelen dil modelleri, karmaşık mantık bulmacalarını çözebilirken, bulmacaların temel kurallarını ve kısıtlarını anlama konusunda başarısız oldu. Bu durum, YZ sistemlerinin gerçek dünya uygulamaları için güvenilirliği konusunda soru işaretleri yaratıyor.

Clearlead AI’nin kurucusu ve YZ danışmanı Paul Ferguson, YZ modellerinin belirli görevlerde zorlanabileceğini belirtiyor ve özel olarak optimize edilmiş AI çözümlerinin genel çözümlerden daha verimli olduğunu ekliyor: “Genel amaçlı LLM’ler etkileyici olabilir; ancak bir şirketin özel müşteri tabanı ve sektörüne göre geliştirilmiş sistemlerde çok daha iyi sonuçlar alıyoruz.”

Daha İyi Açıklamalar Gerekli

Ferguson, model açıklanabilirliği araçlarının LLM’lerin fiyatlandırma ve envanter gibi iş görevlerinde doğru kararlar almalarını sağlamanın en iyi yollarından biri olduğunu belirtiyor. Bu araçlar, AI’nin karar mekanizmalarını inceleyerek yalnızca eğitim verilerinden elde edilen kısa yollar yerine, gerçek faktörleri kullandığından emin olmamıza yardımcı oluyor.

“Daha sağlam izleme sistemlerine de ihtiyacımız var; bunlar alışılmadık kalıpları veya veri kaymalarını bize bildirebilir. Bu, AI’nın güvenilir kararlar almaya başladığı zamanlar için erken uyarı sistemi gibidir,” diyen Ferguson, dinamik ortamlarda koşullar sürekli değiştiği için bunun önemini vurguluyor.

Wisconsin-Madison Üniversitesi İstatistik Bölümü Yardımcı Profesörü Ben Lengerich ise LLM’lerin kendiliğinden bilgi güncellemesi yapmasa da, gerçek zamanlı veri kaynaklarına bağlanarak (API’ler ve envanter veritabanları gibi) değişen durumlarla başa çıkmalarının sağlanabileceğini belirtiyor. Lengerich, müşteri hizmetleri gibi örneklerde, LLM’in konuşma yeteneklerinin mevcut envanter verileriyle birleştirilmesinin güncel ürün bilgileri sağlamada yararlı olduğunu ifade ediyor.

Yapay zekanın büyüleyici yetenekleri, görünenden çok daha karmaşık sorunlar barındırıyor. Günümüzde şirketler, AI teknolojilerinden yararlanırken dikkatli bir yaklaşım izlemeli, bu sistemleri daha güvenilir ve açıklanabilir hale getirmek için gerekli adımları atmaktan çekinmemelidir.