التعلم المعزز ووكلاء الذكاء الاصطناعي في المستقبل

مقدمة: عندما يتعلم الذكاء الاصطناعى التنبؤ فقط ، ولكن أيضًا للتصرف

عالم الذكاء الاصطناعي يتطور بسرعة. إذا كان التركيز في السنوات الأخيرة ، فقد كان على نماذج اللغة التوليدية ، مثل ChatGPT ، القادرة على إعادة إنتاج النص بناءً على القوانين الاحتمالية ، فإن الموجة التالية من الاختراق التكنولوجي موجودة بالفعل في الأفق - منظمة العفو الدولية ، قادرة على اتخاذ القرارات والتفاعل مع البيئة والتدريب المستقل من خلال الخبرة . هذا هو عالم التدريب مع التعزيز والوكلاء الفكريين.

تخيل نظامًا لا يكمل اقتراحك فحسب ، بل يحلل الأهداف ، ويحاول إجراءات مختلفة ، ويقيم النتيجة وتصحيح السلوك. يمكن لهذا النظام إتقان لعبة فيديو أو التحكم في جسم روبوتي أو استكشاف الإنترنت بشكل مستقل لإكمال المهام. هذا ليس مجرد جيل - إنه كامل سلوك . ويستند إلى التدريب على التعزيز (التعلم المعزز ، RL) - واحدة من أقوى الأساليب الواعدة في الذكاء الاصطناعي الحديث.

ما هو التدريب على التعزيز؟

التدريب على التعزيز هو نوع من التعلم الآلي حيث عامل يتفاعل مع الأربعاء يؤدي الإجراءات ويتلقى جائزة (أو غرامة) اعتمادا على النتيجة. الغرض من الوكيل هو تعظيم المكافأة الكلية على المدى الطويل ، والدراسة على التجربة.

ثلاثة عناصر رئيسية RL:

• عامل - نظام اتخاذ القرار.
• الأربعاء - كل ما يتفاعل معه العامل.
• سياسة - استراتيجية تحدد الإجراء الذي يجب اتخاذه في كل موقف.

تشبه العملية التدريب على الحيوانات: بالنسبة للإجراءات الصحيحة - مكافأة ، لخطأ - غرامة. بمرور الوقت ، يشكل الوكيل استراتيجية تسمح لك بالتصرف بفعالية.

لماذا التدريب على التعزيز خطوة إلى الأمام

معظم نماذج اللغة ، بما في ذلك GPT ، تستند إلى التدريس مع المعلم: يتم عرض ملايين الأمثلة على النص ، ويتعلمون التنبؤ بالكلمة التالية. هذا النهج فعال لتوليده ، لكنه لا يجعله ممكنًا دراسة عن الإجراءات والأخطاء والتغييرات في البيئة .

التدريب على التعزيز ، على العكس ، يقلد عملية التعلم الطبيعي - كما يفعل الأطفال والحيوانات. لا يمتص النموذج المعلومات فحسب ، ولكن أيضًا التجربة ، والتكيف ، وتشكل السلوك قادرة على التغيير في ظل ظروف جديدة.

نتيجة ل:

• يمكن لمنظمة العفو الدولية دراسة في بيئة غير معروفة بدون بيانات مسبقة.
• هو قادر اتخاذ قرارات مع مراعاة عواقب طويلة المدى ، ليس فقط النتائج الفورية.
• يصبح النموذج تفاعلي ، ليس رد الفعل.

الوكيل: الشكل التالي من الذكاء الاصطناعي

AI-Agent ليس مجرد نموذج يستجيب للطلب. هذا النظام المستهدف قادر على التخطيط والتمثيل والدراسة وضبط السلوك بناءً على ردود الفعل .

أمثلة على تطبيق الذكاء الاصطناعي:

• الروبوتات
  الروبوتات التي يمكن أن تتكيف مع بيئة معقدة - على سبيل المثال ، تمرير المتاهة أو ترفع كائنات من أشكال مختلفة.
• الألعاب والمحاكاة
  الوكلاء الذين يتقنون الشطرنج أو StarCraft أو Minecraft ، لا يتصرفون بالقواعد ، ولكن من خلال التدريب على تجربتهم الخاصة. مثال معروف بشكل جيد هو Deepmind AlphaGo.
• النظم المستقلة
  سيارات ذاتية الحكم والطائرات بدون طيار ومساعدين افتراضيين - كلهم ​​يتطلبون القدرة على العمل والتنبؤ والتكيف.
• وكلاء الإنترنت
  الأنظمة التي يمكنها البحث بشكل مستقل عن المعلومات ، وأداء مهام المهام ، وتذاكر الاحتياط ، والاستجابة للرسائل - ليس فقط توليد النص ، ولكن إدراك نوايا معقدة .

كيف يعمل RL: علم السلوك

يعتمد التدريب على التعزيز على المفهوم قيم و مكافآت .

المفاهيم الرئيسية:

• وظيفة القيمة) - كم عدد المكافآت التي يمكن توقعها ، بدءًا من دولة معينة.
• وظيفة فائدة العمل (Q-Function) - كم عدد المكافآت التي يمكن الحصول عليها عن طريق اختيار إجراء محدد في هذه الحالة.
• السياسة (السياسة) - القاعدة التي يتم من خلالها اختيار الإجراء.

يمكن للوكيل استخدام خوارزميات التعلم المختلفة:

• Q-Learning - طريقة كلاسيكية لتحديث تقييمات الإجراءات.
• سارسا - يأخذ في الاعتبار الإجراءات التي اتخذها الوكيل حقًا.
• التدرج السياسي - طريقة تدريب مباشرة.
• تعلم التعزيز العميق (DRL) - الجمع بين RL والشبكات العصبية ، والتي تتيح لك توسيع التدريب على البيئة المعقدة وظروف هائلة من الظروف.

التدريب على التعزيز و LLM: توليف الفرص

في السنوات الأخيرة ، يتم ملاحظته في كثير من الأحيان مكافحة RL ونماذج اللغة (LLM) . على سبيل المثال:

• RLHF (التعلم المعزز مع ردود الفعل البشرية) - الطريقة المستخدمة في تدريب ChatGpt ، حيث تم الانتهاء من النموذج على أساس تفضيلات الناس.
• وكلاء السيارات (Autogpt ، Babyagi) - الهياكل التي تستخدم LLM كدماغ يمكن أن تخطط للمهام ، وتفاعل المهام الفرعية ، والتفاعل مع واجهة برمجة التطبيقات والتكيف مع التعليقات.

هذه الأنظمة تتجاوز حدود توليد النص البسيط. يمكنهم:

• تحليل نتيجة أنشطتهم ،
• تخطيط الإجراءات على بعد خطوات قليلة للأمام ،
• التفاعل مع العالم الخارجي (المتصفح ، قواعد البيانات ، الملفات).

الأخلاق والسيطرة والتحديات

لا يجلب تطوير II-Agents و RL النماذج التقدم التكنولوجي فحسب ، بل أيضًا المعضلات الأخلاقية:

• كيف تضمن أن الوكيل لن يتعلم استراتيجيات غير شريفة (على سبيل المثال ، الخداع)؟
• كيف تتحكم في سلوك النظام في العالم المفتوح؟
• كيف تضغط على مفهوم الإجراءات "الجيدة" أو "الأخلاقية"؟

بالإضافة إلى ذلك ، يتطلب RL العديد من المحاولات والمحاكمة التي ترتبط في النظم الفيزيائية الحقيقية (على سبيل المثال ، في الروبوتات) بالارتداء والمخاطر والتكاليف. لذلك ، فإنهم يتطورون بنشاط التدريب في المحاكاة ونقل المهارات إلى العالم الحقيقي و الأربعاء نمذجة .

المنظور: الوكلاء كأساس للعقل الاصطناعي

إذا كان من الممكن مقارنة النماذج التوليدية مع "خيال" لغة اصطناعية ، فإن RL-Agents إرادة وعمل الذكاء الاصطناعي . بالاقتران مع قدرات اللغة ، فإنها تشكل البدايات العقل الاصطناعي قادرة على تحديد الأهداف والدراسة على الخبرة والتكيف والتصرف في العالم المفتوح.

إن ظهور العوامل العالمية الذين يمكنهم أداء مهام تعسفية ، والدراسة أثناء التنقل والتواصل بلغة طبيعية هو متجه التطوير الذي يؤدي إلى خلق أجي (الذكاء العام الاصطناعي) ، أو الذكاء الاصطناعي العام .

الخلاصة: الذكاء كسلوك ، وليس فقط النص

يعد الانتقال من النماذج التي تتنبأ بالكلمات إلى الوكلاء اتخاذ القرارات بمثابة تحول أساسي في فلسفة الذكاء الاصطناعي. لم نعد محدودين من قبل الجيل السلبي - الآن يأتي AIS إلى المسرح الذي يتصرف ، يدرس ، يرتكب الأخطاء ، حاول مرة أخرى وتطور كوكلاء حقيقيين.

بالنسبة للمطورين والعشاق ، يفتح هذا الاتفاقات المثيرة: من إنشاء روبوتات مستقلة إلى بناء مساعدين افتراضيين قادرين على تعدد المهام. وبالنسبة للفلاسفة والمحامين والمجتمع ككل ، تحديات جديدة تتعلق بالسيطرة والمسؤولية والتفاعل مع العقل الرقمي المتزايد.

إنه التدريب مع التعزيزات ونهج الوكالة التي تصبح اليوم جوهر المستقبل - عالم تتوقف فيه السيارات عن أن تكون أدوات وتصبح شركاء في الإدراك والعمل والقرار.