البيانات الضخمة بالأرقام — نفط العصر الرقمي

💬 إطلاق برنامج ELIZA

قام عالم الحاسوب جوزيف فايزنباوم من معهد ماساتشوستس للتكنولوجيا بتطوير برنامج ELIZA، وهو أول برنامج يستخدم معالجة اللغة الطبيعية، ويُعتبر من أوائل أدوات الذكاء الاصطناعي التوليدي القائمة على القواعد لمحاكاة المحادثات البشرية.

📝 تطوير نماذج اللغة الصغيرة

بدأ باحثو IBM في تطوير أولى نماذج اللغة الصغيرة، التي كانت مصممة للتنبؤ بالكلمة التالية في الجملة باستخدام قواميس تحدد تكرار الكلمات.

🧠 شبكات الذاكرة طويلة المدى (LSTM)

تم تقديم شبكات الذاكرة طويلة المدى (LSTM)، مما سمح بإنشاء شبكات عصبية أعمق وأكثر تعقيدًا قادرة على التعامل مع كميات أكبر من البيانات ومعالجة البيانات المتسلسلة مع الاحتفاظ بالمعلومات لفترات أطول.

💡 نشر ورقة 'الانتباه هو كل ما تحتاجه'

نشر باحثو جوجل ورقة بحثية بعنوان 'الانتباه هو كل ما تحتاجه' (Attention Is All You Need)، والتي قدمت معمارية المحولات (Transformer) التي أحدثت ثورة في مجال معالجة اللغة الطبيعية وشكلت العمود الفقري لجميع نماذج اللغة الكبيرة الحديثة.

🔍 إطلاق نموذج BERT من جوجل

قدمت جوجل نموذج BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات) بـ 340 مليون معلمة، والذي أحدث ثورة في فهم السياق من اتجاهين في النص وأصبح أساسًا لاستعلامات بحث جوجل.