يو! كمورد للمحولات ، تلقيت الكثير من الأسئلة مؤخرًا حول كيفية أداء المحولات في مهام وضع العلامات على الأدوار الدلالية. لذلك ، اعتقدت أنني سأخذ لحظة لكسرها لكم.
أولاً ، دعنا نتحدث عن ماهية وضع العلامات على الأدوار الدلالية. بعبارات بسيطة ، إنها عملية تحديد الأدوار الدلالية للحجج في جملة ، مثل من فعل ما فعله لمن. على سبيل المثال ، في الجملة "أعطى جون أعطى ماري كتابًا" ، سيحدد العلامات على الأدوار الدلالية "جون" كوكيل (الشخص الذي يقوم بالإجراء) ، "ماري" كمستلم ، و "كتاب" كموضوع (الشيء الذي يتم نقله).
الآن ، كيف تلعب المحولات هنا؟ حسنًا ، المحولات هي نوع من بنية الشبكة العصبية التي تصنع موجات في مجال معالجة اللغة الطبيعية (NLP). من المعروف بقدرتهم على التعامل مع تبعيات المدى الطويل في النص ، وهو أمر مهم للغاية لوضع العلامات على الأدوار الدلالية.
واحدة من الميزات الرئيسية للمحولات هي آلية الانتباه الذاتية. تتيح هذه الآلية للنموذج أن يزن أهمية أجزاء مختلفة من تسلسل الإدخال عند إجراء التنبؤات. في سياق وضع العلامات على الأدوار الدلالية ، فهذا يعني أن المحول يمكن أن يركز على الكلمات والعبارات ذات الصلة في جملة لمعرفة الأدوار الدلالية.
دعنا نقول أن لدينا جملة معقدة مع جمل وكيانات متعددة. يمكن أن تساعد آلية الاهتمام الذاتي في المحول على فهم مدى ارتباط هذه الأجزاء المختلفة ببعضها البعض. على سبيل المثال ، في جملة مثل "على الرغم من أن الشركة واجهت صعوبات مالية في العام الماضي ، إلا أن الرئيس التنفيذي لها لا يزال قادرًا على تأمين استثمار كبير من شركة رأس المال الاستثماري" ، يمكن للمحول استخدام الاهتمام الذاتي لتحديد أدوار "الشركة" و "الرئيس التنفيذي" و "شركة رأس المال الاستثماري" في الإجراء العام لاستثمار ما.
ميزة أخرى لاستخدام المحولات في وضع العلامات على الأدوار الدلالية هي قدراتها قبل التدريب والنقام. يمكن تدريب المحولات مسبقًا على كميات كبيرة من البيانات النصية ، مما يساعدهم على تعلم أنماط اللغة العامة والدلالات. بعد ذلك ، يمكن أن تكون على ما يرام - تم ضبطها على مجموعة بيانات تصنيف الدور الدلالي المحدد. تتيح عملية الخطوة المكونة من 2 خطوة للنموذج الاستفادة من المعرفة التي اكتسبها أثناء التدريب قبل التدريب وتكييفها مع المهمة المحددة التي تمارسها.
على سبيل المثال ، يمكن أن يكون المحول المسبق للمدربين مثل Bert (تمثيلات التشفير ثنائية الاتجاه من المحولات) على ما يرام - تم ضبطها على مجموعة بيانات وضع العلامات على الأدوار الدلالية. أثناء التدريب قبل التدريب ، يتعلم بيرت عن العلاقات بين الكلمات في مجموعة كبيرة من النص. عندما يتم ضبطها على بيانات وضع العلامات على الأدوار الدلالية ، يمكنه استخدام هذه المعرفة لتحديد الأدوار الدلالية بشكل أفضل في جمل جديدة.
لكن الأمر ليس كل أشعة الشمس وأقواس قزح. هناك بعض التحديات عند استخدام المحولات لوضع العلامات على الأدوار الدلالية. واحدة من القضايا الرئيسية هي التكلفة الحسابية. يمكن أن يكون التدريب والتشغيل الكبير - المحولات المقياس موردًا للغاية - مكثف. تحتاج إلى وحدات معالجة الرسومات أو TPUs قوية لتدريب هذه النماذج في فترة زمنية معقولة.
التحدي الآخر هو تفسير النموذج. غالبًا ما تعتبر المحولات نماذج سوداء - مما يعني أنه قد يكون من الصعب فهم كيفية وصولهم إلى تنبؤاتها بالضبط. في سياق وضع العلامات على الأدوار الدلالية ، يمكن أن يكون هذا الافتقار إلى التفسير مشكلة ، خاصة عندما تحتاج إلى شرح النتائج لأصحاب المصلحة.
الآن ، دعنا نتحدث عن الأنواع المختلفة من المحولات التي نقدمها كمورد. لدينامحول مجتمعة، وهو خيار متعدد الاستخدامات يمكن تكييفه لمختلف مهام NLP ، بما في ذلك وضع العلامات على الأدوار الدلالية. فهو يجمع بين الميزات والبنية المختلفة لتوفير أداء متوازن.
ملكنامحول المقومهو أيضا اختيار رائع. إنه مصمم للتعامل مع بيانات الإدخال المعقدة والصاخبة ، والتي غالبًا ما تكون في سيناريوهات وضع العلامات على الأدوار الدلالية الحقيقية. يمكنه تصحيح بيانات الإدخال لجعلها أكثر ملاءمة للنموذج للمعالجة.
وإذا كنت تبحث عن حل أكثر تحديدا ، لدينايتحول 25 كيلو فولت أمبير 3 مرحلةقد يكون واحد. تم تحسينه لأنواع معينة من مهام وضع العلامات على الأدوار الدلالية ويمكن أن توفر نتائج عالية الأداء مع متطلبات حسابية أقل نسبيًا.
في الختام ، أظهرت المحولات إمكانات كبيرة في مهام وضع العلامات على الأدوار الدلالية. إن آلية الانتباه الذاتية ، والتدريب ، والقدرات الدقيقة - تجعلها جيدة - مناسبة لفهم الدلالات المعقدة للجمل. ومع ذلك ، لا تزال هناك تحديات للتغلب عليها ، مثل التكلفة الحسابية وقابلية التفسير.
إذا كنت مهتمًا باستخدام محولاتنا لمشاريع وضع العلامات على الأدوار الدلالية الخاصة بك ، فنحن نود إجراء دردشة معك. سواء كنت مؤسسة بحثية تتطلع إلى تقدم بحث NLP الخاص بك أو شركة تهدف إلى تحسين تطبيقات معالجة اللغة الطبيعية الخاصة بك ، يمكن تخصيص محولاتنا لتلبية احتياجاتك. تواصل معنا ، ودعونا نبدأ محادثة حول كيفية العمل معًا لتحقيق أهدافك.
مراجع
- Devlin ، J. ، Chang ، M. - W. ، Lee ، K. ، & Toutanova ، K. (2018). بيرت: قبل تدريب محولات ثنائية الاتجاه العميقة لفهم اللغة. Arxiv preprint Arxiv: 1810.04805.
- Vaswani ، A. ، Shazer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). الاهتمام هو كل ما تحتاجه. في التقدم في أنظمة معالجة المعلومات العصبية.
