Sudokular, kısa bir mola için harika bir beyin egzersizi olarak bilinir. Biraz sabır ve mantıklı düşünmeyle bu bulmacalar genellikle çözülebilir.

Peki ya aynı görev bir yapay zekaya verilse ne olur?

ABD'deki Colorado Boulder Üniversitesi'nden araştırmacılar bu sorunun peşine düştü ve oldukça şaşırtıcı sonuçlar elde etti.

Bazı yapay zeka modelleri, örneğin büyük dil modelleri (LLM) basit sudoku bulmacalarını çözebildi. Ancak en gelişmiş modeller bile nasıl çözdüklerini açıklarken ya belirsiz ya hatalı ya da anlamsız ifadeler kullandı.

LLM, içerikleri anlama ve üretme konusunda uzmanlaşmış yapay zeka türünü ifade ediyor.

2 bin 300 çözümün çoğu hatalı

Araştırma ekibi, deney için 6x6 formatında sadeleştirilmiş yaklaşık 2 bin 300 sudoku bulmacası hazırladı. Aralarında yapay zeka teknoloji şirketi OpenAI'ın en gelişmiş sistemlerinden biri olan ChatGPT-o1-Preview'un da bulunduğu çeşitli modeller test edildi.

ChatGPT-o1, bulmacaların yaklaşık yüzde 65'ini doğru çözerken bazı modeller yüzde 1'in altında kaldı.

Ancak asıl sorun bir sonraki aşamada ortaya çıktı: Yapay zeka modellerinden çözüm yolunu açıklamaları istendi. Ortaya çıkan açıklamalar ise güven vermekten uzaktı.

Hava durumu tahmini yerine çözüm yolu

Araştırmanın yazarlarından ve CU Boulder'da bilgisayar bilimi doçenti olan Ashutosh Trivedi, "Bazen yapay zeka açıklamaları tamamen uydurulmuştu" diyor: 

"Ya da açık gerçekleri göz ardı ediyordu. Örneğin 'Buraya 2 gelemez çünkü satırda zaten bir 2 var' gibi açıklamalar yapıyordu, ama o satırda 2 falan yoktu."

Araştırmacılar, özellikle dikkat çeken bir örnekte yapay zeka araçlarından biriyle sudoku çözüm süreci hakkında konuşurken model nedensiz biçimde hava durumu tahmini vermeye başladı. Araştırmanın diğer yazarı Fabio Somenzi, "O noktada yapay zeka tamamen sapıttı, ciddi şekilde kafası karıştı" diyor.

Sonuç doğru olabilir ama kavrayış başka şey

Kimileri için "Sonuç doğruysa yeter" denebilir. Ancak araştırmacılara göre bu yeterli değil.

"Bazı türden sudoku bulmacalarında pek çok LLM hâlâ yetersiz kalıyor; özellikle insanlara anlamlı gelebilecek açıklamalar üretmede" diyor araştırmanın yazarlarından ve Bilgisayar Bilimleri bölümünde yardımcı doçent olan Maria Pacheco ve ekliyor:

"Yapay zeka bu sonuca neden ulaştı? Oraya varmak için hangi adımları attı?"

Araştırma ekibi, bulgularını "Hesaplamalı Dilbilim Derneği (Association for Computational Linguistics ACL) 2025" adlı akademik konferansta sundu. Çalışma ayrıca ACL tarafından çıkarılan "Findings" adlı bilimsel dergide de yayımlandı.

Düşünmek mi, tahmin etmek mi?

Araştırmanın amacı yapay zekayı utandırmak değil büyük dil modellerinin nasıl "düşündüğünü" anlamaktı. "Makine kararlarının mikrokozmosunu" araştırdıklarını belirten Profesör Somenzi, "Eğer vergi beyannamenizi bir yapay zekaya hazırlatırsanız, Maliye'ye bu metnin neden bu şekilde çıktığını açıklayabilmelisiniz" diyor.

Deneyin temel bulgusu ise araştırmacılar açısından şu oldu: LLM'ler sudokuları sistematik, kurallara dayalı bir mantıkla değil çoğunlukla istatistiksel tahminle çözüyor.

Bunun nedeni, modellerin işleyiş biçimi. Örneğin ChatGPT gibi sistemlerin geliştirilmesinde, programcılar bu yapay zekaları bloglardan sosyal ağlara, bilimsel veri tabanlarından haber portallarına kadar internette yazılmış hemen her içerikle eğitti.

Bu sistemlerin görevi, bir cümlede "en olası" bir sonraki kelimeyi tahmin etmek, bir sorunu mantıksal olarak kavramak anlamına gelmiyor. Pacheco "Yaptıkları şey, temelde bir sonraki kelimeyi istatistiksel olarak tahmin etmekten ibaret" diyor.

Bir adım ötesi: Açıklanabilir YZ

Pacheco, Somenzi ve araştırma ekibi, hem karmaşık bulmacaları çözen hem de nasıl çözdüğünü açıklayabilen kendi yapay zeka sistemlerini geliştirmeyi hedefliyor. Bu amaçla, tıpkı sudoku gibi sayı tablosuna dayalı bir bulmaca olan "Hitori" adlı başka bir bulmaca türüyle çalışmalara başladılar.

Araştırmacılar, şimdi yeni bir yaklaşıma da odaklanıyor: Henüz erken bir aşamada olan "nörosembolik yapay zeka". Amaç, LLM'lerin sahip olduğu "hafızayı", insan beyninin mantık yürütme yetisiyle birleştirebilmek. Nihai hedef, hem insan beynine benzer şekilde öğrenen sistemleri hem de mantıksal kurallara dayalı düşünme yetisini birleştiren yeni nesil bir yapay zeka türü geliştirmek.

"Yapay zekanın giderek daha fazla şeyi çözebildiğinden söz ediliyor" diyen Pacheco, şöyle devam ediyor: 

"Ama aynı zamanda pek çok görevde hâlâ ne kadar başarısız oldukları da şaşırtıcı değil."