Felçli hastalar için yapay zekâ destekli beyin-bilgisayar arayüzü: Konuşma ve hareketler avatarla ifade edildi

ABD'de bilim insanları, felç nedeniyle konuşma ve hareket yetisini büyük ölçüde kaybeden kişilerin beyin sinyallerini yapay zekâ ile çözümleyerek iletişim kurmasını sağlayan yeni bir beyin-bilgisayar arayüzü geliştirdi. Sistem, konuşmanın yanı sıra el hareketleri ve jestleri de gerçek zamanlı olarak kişiye özel sanal avatar üzerinden gösterebiliyor.

Felç ve diğer nörolojik hastalıklar nedeniyle konuşma ve hareket yetisini kaybeden kişiler için geliştirilen beyin-bilgisayar arayüzlerinde yeni bir aşamaya geçildi. ABD Ulusal Sağlık Enstitüleri (NIH) tarafından desteklenen araştırmada bilim insanları, beynin ürettiği sinyalleri makine öğrenmesi modelleriyle çözümleyerek hem konuşmayı hem de üst vücut hareketlerini dijital bir karaktere aktarmayı başardı.

California Üniversitesi, San Francisco'dan (UCSF) Edward Chang ve ekibinin yürüttüğü çalışmada, felç nedeniyle ciddi hareket ve konuşma kısıtlılığı yaşayan üç kişinin beyin aktiviteleri incelendi. Araştırmacılar, motor korteks üzerine yerleştirilen elektrokortikografi (ECoG) sensörlerinden elde edilen sinyalleri yapay zekâ modelleriyle analiz etti.

Çalışmanın dikkat çeken tarafı ise sistemin yalnızca konuşulan ya da konuşulmaya çalışılan kelimeleri çözümlemekle sınırlı kalmaması oldu. Araştırmacılar, konuşma sırasında gerçekleşen jestleri de aynı anda çözümleyerek bunları ekrandaki kişiye özel sanal avatarın hareketlerine dönüştürdü. NIH'ye göre sistem, üç katılımcıdan elde edilen sinyalleri inceledi ve iki katılımcının düşünce kaynaklı komutlarını tam vücut sanal avatarın ifadelerini kontrol etmek için başarıyla kullandı.

Beyin-bilgisayar arayüzü nedir?

Beyin-bilgisayar arayüzü, beynin ürettiği elektriksel sinyalleri bilgisayarların anlayabileceği komutlara dönüştürmeyi amaçlayan teknoloji olarak tanımlanabilir.

Normal şartlarda kişi konuşmak istediğinde beynindeki hareketle ilişkili bölgelerden çıkan sinyaller, konuşma için gerekli kaslara iletilir. Felç veya bazı nörolojik hastalıklarda ise kişi konuşmak istemesine rağmen bu sinyallerin kaslara ulaşması mümkün olmayabilir.

Beyin-bilgisayar arayüzlerinin amacı tam da bu noktada devreye girmek.

Araştırmacılar, kasların gerçekleştiremediği hareketin beyindeki sinyalini doğrudan yakalamaya çalışıyor. ECoG gibi sensörler beynin yüzeyindeki elektriksel aktiviteyi kaydediyor. Daha sonra makine öğrenmesi modelleri, bu sinyaller ile kişinin yapmak istediği konuşma veya hareket arasındaki ilişkiyi öğreniyor.

Son aşamada ise ortaya çıkan sinyal bilgisayar komutuna dönüştürülüyor.

Bu yaklaşım daha önce de konuşmayı metne veya sese dönüştürmek amacıyla kullanılmıştı. Ancak yeni araştırmanın farkı, iletişimin yalnızca kelimeler üzerinden ele alınmaması.

Felçli hastalar nasıl konuşabilecek?

Yeni sistemde hastaların konuşma girişimleri sırasında ortaya çıkan beyin sinyalleri kaydediliyor. Katılımcılardan belirli ifadeleri söylemeye çalışmaları ve çeşitli jestler yapmaları isteniyor.

Örneğin; el sallama veya başparmak kaldırma gibi hareketlerin yanı sıra konuşma girişimleri de sisteme tanıtılıyor.

Makine öğrenmesi modelleri daha sonra bu sinyallerin hangi hareket veya iletişim biçimiyle ilişkili olduğunu öğreniyor.

Buradaki önemli nokta, konuşma ve jestlerin ayrı ayrı incelenmesinden ziyade aynı anda gerçekleştiğinde beyinde ortaya çıkan sinyal yapısının da modele öğretilmesi.

Araştırmacılar, konuşma ile jestlerin birlikte gerçekleştirildiği durumlarda ortaya çıkan beyin sinyallerinin yalnızca iki ayrı sinyalin basit toplamından ibaret olmadığını belirledi. Bu nedenle sistemin aynı anda konuşma ve jest verileriyle eğitilmesi, karmaşık iletişim biçimlerinin çözülmesine yardımcı oldu.

Yapay zekâ beyin sinyallerini nasıl çözümlüyor?

Sistemin merkezinde makine öğrenmesi modelleri bulunuyor.

Beyindeki sensörler doğrudan “bu kişi şu kelimeyi söylemek istiyor” şeklinde okunabilir veriler üretmiyor. Bunun yerine beynin farklı bölgelerindeki elektriksel aktiviteye ilişkin ham sinyaller kaydediliyor.

Araştırmacılar bu sinyalleri daha sonra belirli konuşma ve hareket örnekleriyle eşleştiriyor.

Model yeterli veriyle eğitildiğinde, daha önce öğrendiği sinyal örüntülerinden yola çıkarak kişinin gerçekleştirmeye çalıştığı iletişim davranışını çözümlemeye çalışıyor.

Bu süreçte yapay zekânın rolü, beynin elektriksel aktivitesi ile bilgisayarın gerçekleştireceği hareket arasındaki karmaşık ilişkiyi öğrenmek.

Daha önce Edward Chang liderliğindeki ekip, beyin sinyallerini konuşmaya dönüştürme konusunda da önemli sonuçlar elde etmişti. NIH'nin 2025'te aktardığı çalışmada felç nedeniyle 18 yıldır konuşamayan bir katılımcının beyin aktivitesi, derin öğrenme sistemi kullanılarak neredeyse eş zamanlı sentetik konuşmaya dönüştürülmüştü.

Yeni araştırma bu yaklaşımı daha geniş bir iletişim biçimine taşıyor.

Sanal avatar hastanın yerine konuşacak mı?

Sistemde hastanın iletişim sinyalleri doğrudan ekrandaki kişiye özel sanal karaktere aktarılıyor.

Avatar, kullanıcının konuşmasını temsil ederken aynı zamanda üst vücut hareketlerini ve jestlerini de gösterebiliyor.

Bu ayrıntı özellikle önemli çünkü gerçek hayattaki iletişim yalnızca sözcüklerden oluşmuyor.

Bir kişi konuşurken el hareketleri yapabiliyor, başını hareket ettirebiliyor veya beden diliyle konuşmasını destekleyebiliyor. Felç nedeniyle bu hareketleri gerçekleştiremeyen bir kişinin yalnızca yazı veya sentetik ses aracılığıyla iletişim kurması, doğal iletişimin önemli bir bölümünü ortadan kaldırabiliyor.

Yeni sistemin hedefi ise bu eksikliği azaltmak.

NIH, araştırmayı konuşma ve üst vücut jestlerinin aynı anda çözümlenebildiği bir BCI sistemi olarak tanımlıyor. Araştırmacılar böylece daha doğal ve çok katmanlı bir iletişim biçiminin mümkün olabileceğini gösterdi.

Beyin-bilgisayar arayüzü felç tedavisinde kullanılacak mı?

Burada önemli bir ayrım bulunuyor.

Bu teknoloji şu aşamada felci ortadan kaldıran bir tedavi değil. Araştırmanın amacı, felç nedeniyle hareket edemeyen veya konuşamayan kişilerin iletişim yeteneklerini teknoloji aracılığıyla yeniden kazanmalarına yardımcı olmak.

Dolayısıyla sistem, hasar gören sinir yollarını doğrudan iyileştirmek yerine beyindeki sinyalleri yakalayarak iletişim için alternatif bir yol oluşturuyor.

NIH de çalışmayı bir “proof-of-concept”, yani yöntemin uygulanabilirliğini gösteren bir kanıt niteliğinde değerlendiriyor. Klinik kullanım için daha fazla araştırmaya ihtiyaç bulunuyor.

Bu nedenle “felç tedavisi bulundu” veya “felç tamamen ortadan kalkacak” gibi ifadeler bilimsel bulguların ötesine geçer.

Daha doğru tanım, felç nedeniyle konuşma ve hareket yetisini kaybeden kişilerin iletişim kurmasını kolaylaştırabilecek yeni nesil bir beyin-bilgisayar arayüzü geliştirildiği şeklinde.

Sistemin kablosuz hale getirilmesi hedefleniyor

Araştırmanın mevcut versiyonunda beynin üzerine yerleştirilen sensörler ile dışarıdaki işlem birimleri arasında kablolu bağlantı bulunuyor.

Bu durum teknolojinin günlük yaşamda uzun süre kullanılmasının önünde önemli bir mühendislik engeli oluşturuyor.

Araştırma ekibi ise bir sonraki aşamada tamamen vücut içine yerleştirilebilen ve kablosuz çalışabilen bir sistem üzerinde çalışmayı planlıyor.

NIH'ye göre; Edward Chang'ın ekibi, uzun süreli kullanım açısından daha uygun olabilecek tamamen implante edilebilir kablosuz versiyonu test etmeye hazırlanıyor.

Bu gelişme gerçekleşirse beyin-bilgisayar arayüzlerinin laboratuvar ortamından günlük yaşama taşınması açısından önemli bir adım olabilir.

Ancak bunun ne zaman rutin klinik kullanıma gireceği henüz belli değil.

Beyin-bilgisayar arayüzlerinde yeni dönem mi başlıyor?

Son yıllarda beyin-bilgisayar arayüzleri alanında art arda dikkat çekici gelişmeler yaşanıyor.

2021'de Chang ve çalışma arkadaşları, beyin sapı felci nedeniyle yıllarca ciddi şekilde felçli yaşayan bir kişinin beyin sinyallerinden sözcükleri çözümleyebildiğini göstermişti. Daha sonraki çalışmalarda sistemler daha geniş kelime dağarcıklarına, sürekli konuşmaya ve avatar üzerinden görsel ifadeye doğru geliştirildi.

2025'te ise NIH tarafından aktarılan çalışmada, felç sonrası 18 yıl boyunca konuşamayan bir kişinin konuşma girişimleri beyin sinyallerinden gerçek zamanlıya yakın şekilde sentetik sese dönüştürülmüştü.

2026'daki yeni çalışma ise iletişimin bir başka boyutunu öne çıkarıyor: konuşma ve beden dili.

Araştırmacıların ulaştığı sonuç, gelecekte bu sistemlerin yalnızca “beyinden yazıya” veya “beyinden sese” çalışan araçlar olmaktan çıkıp kişinin iletişim biçiminin daha geniş bölümünü dijital olarak yeniden oluşturabileceğini gösteriyor.

Bunun gerçekleşmesi için sistemlerin daha küçük, kablosuz, uzun süre güvenilir şekilde çalışabilen ve klinik olarak güvenli hale getirilmesi gerekiyor.

Şimdilik ortaya çıkan sonuç ise oldukça net: Beyindeki hareket ve konuşma sinyallerinin, kaslar hareket edemese bile bilgisayar tarafından yakalanıp anlamlı iletişim komutlarına dönüştürülebileceğine ilişkin kanıtlar giderek güçleniyor. Yeni çalışma da bu iletişimin içine jestleri ve üst vücut hareketlerini dahil ederek beyin-bilgisayar arayüzlerinin kapsamını genişletiyor.