باحثو جوجل يتوصلون لطريقة تجعل الذكاء الاصطناعى يحلل ملايين الكلمات

يمكن لـ ChatGPT التعامل مع بضعة آلاف من الكلمات، بينما يمكن لنماذج الذكاء الاصطناعي الأكبر التعامل مع المزيد، ولكن حتى 75000 كلمة. ولعل السؤال الذي يطرح نفسه هنا: ماذا لو كان بإمكانك دفع ملايين الكلمات أو قواعد التعليمات البرمجية بأكملها أو مقاطع الفيديو الكبيرة إلى هذه النماذج؟

وفقًا لتقرير من موقع Business Insider، تعاون أحد الباحثين في Google مع Databricks CTO Matei Zacharia وأستاذ جامعة كاليفورنيا في بيركلي Peter Appel للتوصل إلى طريقة للقيام بذلك.

يمثل هذا الاختراق، الذي تم الكشف عنه في ورقة بحثية حديثة، تغييرا جوهريا في كيفية تفاعلنا مع الأدوات التقنية الجديدة القوية، ولا يستطيع النهج الحالي التعامل مع المدخلات الضخمة بسبب قيود الذاكرة في وحدات معالجة الرسومات التي تدرب وتشغل نماذج الذكاء الاصطناعي. .

يتم قياس هذه الأشياء ومناقشتها بناءً على “الرموز المميزة” و”النوافذ السياقية”. الرمز المميز هو وحدة تمثل كلمة، أو جزءًا من كلمة، أو رقمًا، أو شيئًا مشابهًا. نافذة السياق هي المساحة التي تضعها. سؤال أو نص أو نص. مدخلات أخرى لنموذج الدردشة الآلية أو الذكاء الاصطناعي، يمكنها تحليل المحتوى وتقديم شيء ذكي.

تمتلك شركة Anthropic الناشئة للذكاء الاصطناعي وبرنامج الدردشة الآلي Claude نافذة سياق تحتوي على 100000 رمز، أي حوالي 75000 كلمة.

يحتوي نموذج GPT-3.5 الخاص بـ OpenAI على طول سياق يبلغ 16000 حرف، وGPT-4 32000 حرفًا، ويمكن للنموذج الذي تم إنشاؤه بواسطة MosiacML من Databricks التعامل مع 65000 حرفًا، وفقًا لأحدث الأبحاث.

الفكرة الأساسية هي أن نماذج الذكاء الاصطناعي الحديثة تعالج البيانات بطريقة تتطلب من وحدات معالجة الرسومات تخزين النتائج الداخلية المختلفة وإعادة حسابها قبل تمريرها إلى وحدة معالجة الرسومات التالية، كما قال هاو ليو، طالب الدكتوراه في جامعة كاليفورنيا في بيركلي والباحث غير المتفرغ في جامعة كاليفورنيا. جوجل ديب مايند.

“يستهلك الأمر قدرًا كبيرًا من الذاكرة، وليس هناك ما يكفي منها، وهذا يحد في النهاية من مقدار المدخلات التي يمكن لنموذج الذكاء الاصطناعي معالجتها. بغض النظر عن مدى سرعة وحدة معالجة الرسومات، هناك عنق الزجاجة في الذاكرة.”

قال لي ليو: “كان الهدف من هذه الدراسة هو التغلب على هذا الحاجز”. تنشئ طريقته الجديدة نوعًا من حلقة GPU التي تنقل أجزاء من العملية إلى وحدة معالجة الرسومات التالية. “وهذا يزيل بشكل فعال قيود الذاكرة التي تفرضها الأجهزة الفردية.”