Apple araştırmacıları, büyük dil modellerinin (LLM'ler) matematiksel muhakemede başarısız olduğunu ortaya koydu.
Apple'ın yaptığı yeni bir araştırma, yapay zekanın matematiksel yetenekleri konusunda şaşırtıcı sonuçlar ortaya koydu.
"GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models" başlıklı makaleye göre, gelişmiş büyük dil modelleri (LLM'ler) bile ilkokul seviyesindeki matematik problemlerini çözmekte zorlanıyor.
ARAŞTIRMANIN DETAYLARI
Araştırmacılar, LLM'leri test etmek için 8.000 ilkokul seviyesi matematik probleminden oluşan GSM8K veri setini kullandı.
Bu problemlerin ifade biçimini değiştirerek oluşturdukları GSM-Sembolik testinde ise yapay zekanın performansında ciddi düşüşler gözlemlendi.
İlk test setinde %0,3 ile %9,2 arasında bir performans düşüşü yaşanırken, ikinci sette bu düşüş ,5 ile %65,7 arasında gerçekleşti.
YAPAY ZEKA "AKIL YÜRÜTMÜYOR", "DESEN EŞLEŞTİRİYOR"
Araştırmacılar, yapay zekanın matematik problemlerini gerçekten "anlayarak" çözmediğini, bunun yerine ifadeleri işlemlere dönüştürmek için basit "desen eşleştirme" yöntemini kullandığını belirtiyor.
Kelimeler kafa karıştırıcı olduğunda veya alışılmış kalıpları takip etmediğinde, yapay zeka çözüm üretmekte başarısız oluyor. Bu da, yapay zekanın "akıl yürütme" yeteneğinin aslında bir yanılsamadan ibaret olduğunu gösteriyor.
YAPAY ZEKA HAKKINDA ENDİŞELER
Bu sonuçlar, yapay zekanın sınırlamaları ve geleceği hakkında önemli soruları gündeme getiriyor.
Yapay zeka teknolojisine büyük umutlar bağlayanlar olsa da bu araştırma, yapay zekanın hala geliştirmeye açık alanları olduğunu ve beklentilerin gerçekçi olması gerektiğini ortaya koyuyor.