الترجمة الذهبية.. تقنية تساعد على قراءة أفكار الشخص عن طريق مسح دماغى

توصل باحثون إلى تقنية جديدة متقدمة، تساعد على قراءة أفكار الشخص، عن طريق إجراء مسح دماغى له.

وبحسب موقع "Medical xpress"، نقلا عن مجلة "ساينس أدفانسز "، طور الباحثون المشاركون في الدراسة ما يُسمّونه تقنية "الترجمة الذهنية"، التي تستخدم عملية تحسين تكرارية، حيث يُولّد نموذج اللغة المقنعة (MLM) أوصافًا نصية، من خلال مواءمة سمات النص مع السمات المفكّكة في الدماغ.

تقنية جديدة لقراءة الأفكار

تتضمن هذه التقنية أيضًا، نماذج خطية مُدرَّبة على فك تشفير السمات الدلالية من نموذج لغوي عميق، باستخدام نشاط الدماغ من التصوير بالرنين المغناطيسي الوظيفي (fMRI) ، والنتيجة عبارة عن وصف نصي مُفصَّل لما يراه المشارك في دماغه.

إنشاء ترجمات الفيديو من الإدراك البشري

في الجزء الأول من التجربة، شاهد ستة أشخاص 2196 مقطع فيديو قصيرًا، بينما كان نشاط أدمغتهم يُفحص بالرنين المغناطيسي الوظيفي، وتضمنت المقاطع أغراضًا ومشاهد وحركات وأحداثًا عشوائية متنوعة، وكان المشاركون الستة من الناطقين الأصليين باليابانية وغير الناطقين الأصليين باللغة الإنجليزية.

خضعت مقاطع الفيديو نفسها سابقًا لنوع من الترجمة النصية الجماعية من قِبل مشاهدين آخرين، والتي عُولجت بواسطة وحدة تعلم مُدرَّبة مسبقًا تُسمى DeBERTa-large، والتي استخلصت سمات مُحددة، حيث طابقت هذه السمات نشاط الدماغ، ووُلد النص من خلال عملية تكرارية بواسطة نموذج MLM، المُسمى RoBERTa-large.

في البداية، كانت الأوصاف مجزأة وتفتقر إلى معنى واضح، ومع ذلك، وبفضل التحسين التكراري، تطورت هذه الأوصاف بشكل طبيعي لتتمتع ببنية متماسكة وتُظهر بفعالية الجوانب الرئيسية للفيديوهات المُشاهدة، والجدير بالذكر أن الأوصاف الناتجة عكست المحتوى بدقة، بما في ذلك التغيرات الديناميكية في الأحداث المُشاهدة. علاوة على ذلك، حتى عندما لم تُحدد عناصر مُحددة بشكل صحيح، نجحت الأوصاف في نقل وجود تفاعلات بين عناصر مُتعددة، كما أوضح مُعدّو الدراسة.

ثم قارن الفريق الأوصاف المُولَّدة بالتسميات التوضيحية الصحيحة والخاطئة لأعداد مختلفة من المرشحين لتحديد مدى دقتها، والتي قالوا إنها بلغت حوالي 50%، وأشاروا إلى أن هذا المستوى من الدقة يفوق الأساليب الحالية الأخرى، ويبشر بالتحسينات المستقبلية.

قراءة الذكريات

طُلب من المشاركين الستة أنفسهم لاحقًا تذكر مقاطع الفيديو باستخدام التصوير بالرنين المغناطيسي الوظيفي، لاختبار قدرة هذه الطريقة على قراءة الذاكرة بدلًا من التجربة البصرية، وكانت نتائج هذا الجزء من التجربة واعدة أيضًا.

نجح التحليل في توليد أوصاف تعكس بدقة محتوى مقاطع الفيديو المُستدعاة، على الرغم من تفاوت الدقة بين الأفراد، وكانت هذه الأوصاف أقرب إلى ترجمات مقاطع الفيديو المُستدعاة منها إلى مقاطع غير ذات صلة، حيث حقق المشاركون المتمكنون دقة تقارب 40% في تحديد مقاطع الفيديو المُستدعاة من بين 100 مرشح، وفقًا لمؤلفي الدراسة.

أهمية التقنية الجديدة

بالنسبة للأشخاص الذين يعانون من ضعف أو فقدان القدرة على الكلام، كمن أصيبوا بسكتة دماغية، قد تُسهم هذه التقنية الجديدة في نهاية المطاف في استعادة التواصل. وقد أثبت النظام قدرته على فهم معانٍ وعلاقات أعمق، بدلاً من مجرد ارتباطات الكلمات، مما قد يسمح لهؤلاء الأفراد باستعادة قدرتهم على التواصل بشكل أكبر بكثير من بعض أساليب التفاعل بين الدماغ والحاسوب الأخرى، ومع ذلك لا يزال هناك حاجة إلى مزيد من التحسين قبل الوصول إلى هذه النقطة.