لقد أحدثت نماذج اللغات الكبيرة (LLMs) تحولاً جذرياً في التكنولوجيا، حيث عززت تطبيقات الذكاء الاصطناعي مثل ChatGPT. ومع ذلك، لا تزال عملية توليد الإجابات بطيئة ومكلفة.
الآن، قدّمت جوجل للأبحاث حلاًّ قد يُغيّر كل هذا، باستخدام طريقة جديدة تُسمى "التتاليات التخمينية".
حتى الآن، كانت هناك طريقتان رئيسيتان لتسريع هذه النماذج. الأولى، التتاليات، تستخدم نماذج صغيرة وسريعة قبل استشارة نموذج أكبر وأكثر تكلفة، مع أن هذه الطريقة قد تُصبح بطيئة إذا لم يكن النموذج الصغير واثقًا من إجابته.
الطريقة الثانية هي فك التشفير المضاربي، الذي يتنبأ بالرموز بالتوازي مع نموذج صغير يتم التحقق منه بعد ذلك بواسطة النموذج الكبير.
يجمع ابتكار جوجل أفضل ما في الطريقتين. باستخدام التسلسلات التخمينية، يمكن للنظام قبول الإجابات الصحيحة من نموذج صغير حتى لو لم تتطابق تمامًا مع مخرجات النموذج الكبير. هذا يتجنب الاختناقات التسلسلية للتسلسلات التقليدية.
لاختبار هذه التقنية، طبّقها الباحثون على نماذج مثل Gemma وT5، وقاموا بتقييمها بناءً على مهام التلخيص والاستدلال والترميز. أظهرت النتائج تحسينات ملموسة في السرعة والكفاءة، مع توازن أفضل بين التكلفة والجودة.
على الرغم من أن هذه التقنية لا تزال في مرحلة البحث حاليًا، إلا أنها إذا تم تنفيذها، فقد توفر للمستخدمين تجارب أسرع وأكثر فعالية من حيث التكلفة في التطبيقات القائمة على LLM.
from حوحو للمعلوميات https://ift.tt/kf4Qjb8
via IFTTT
0 التعليقات: