يو ، ما الأمر الجميع! أنا مورد لمنتجات المحولات ، واليوم أريد الدردشة حول الاختلافات بين المحولات والشبكات العصبية التلافيفية (CNNs) في معالجة النص. إنه موضوع مثير للاهتمام ، خاصة في عالم الذكاء الاصطناعي وعلوم البيانات.
لنبدأ بالحصول على فهم أساسي لماه هذين الأمرين. كانت الشبكة العصبية التلافيفية ، أو CNN لفترة قصيرة ، موجودة لفترة من الوقت. تم تصميمه في البداية لمعالجة الصور ، لكن الناس بدأوا أيضًا في استخدامه في معالجة النص. تعمل CNNs عن طريق انزلاق مرشح صغير ، يُعرف أيضًا باسم kernel ، على بيانات الإدخال. في حالة النص ، يمكن أن يكون هذا سلسلة من الكلمات. يقوم المرشح بعملية رياضية تسمى الالتفاف على البيانات ، مما يساعد في استخراج الميزات. على سبيل المثال ، إذا كنت تقوم بتحليل مقال إخباري ، فقد تكون CNN قادرة على التقاط أنماط مثل تواتر الكلمات أو العبارات التي تشير إلى موضوع المقالة.
من ناحية أخرى ، المحول هو طفل جديد نسبيا على الكتلة. تم تقديمه في ورقة تسمى "الانتباه هو كل ما تحتاجه" في عام 2017. تعتمد بنية المحولات على مفهوم الاهتمام الذاتي. بدلاً من معالجة البيانات بشكل متتابع مثل الشبكات العصبية التقليدية ، يمكن للمحول أن ينظر إلى جميع أجزاء تسلسل الإدخال مرة واحدة. هذه لعبة - تغيير في معالجة النص لأنها تتيح للنموذج التقاط تبعيات طويلة المدى في النص. على سبيل المثال ، إذا كنت تقرأ رواية وهناك إشارة إلى شيء حدث منذ عدة فصول ، يمكن للمحول أن يربط هذه النقاط بسهولة.
أحد الاختلافات الرئيسية بين الاثنين هو كيفية التعامل مع البيانات المتسلسلة. تحتوي CNNs على مجال استقبالي ثابت ، مما يعني أن المرشح لا يمكن أن ينظر إلا إلى عدد معين من العناصر في وقت واحد. يمكن أن يكون هذا قيدًا عند التعامل مع النصوص الطويلة لأنه قد يفوتك العلاقات المهمة بين الكلمات المبعثرة. على سبيل المثال ، في جملة طويلة مثل "الرجل الذي التقيت به الأسبوع الماضي في المؤتمر ، الذي عقد في باريس ، هو خبير في الذكاء الاصطناعي ،" قد تكافح شبكة سي إن إن لربط "الرجل" مع "خبير" بسبب المسافة الطويلة بينهما.
على النقيض من ذلك ، تسمح آلية الانتباه الذاتية للمحول بالحضور مباشرة إلى أي جزء من تسلسل الإدخال. إنه يحسب درجة لكل زوج من الكلمات في التسلسل ، وهو ما يمثل مدى أهمية بعضها البعض. وبهذه الطريقة ، يمكنه بسهولة التقاط العلاقة بين "الرجل" و "خبير" في المثال أعلاه.
فرق آخر يكمن في كفاءة التدريب. CNNs عمومًا أسرع في التدريب لأن لديهم عملية محلية أكثر. نظرًا لأن المرشح ينظر فقط إلى جزء صغير من المدخلات في وقت واحد ، فإن التعقيد الحسابي منخفض نسبيًا. ومع ذلك ، عندما يتعلق الأمر بالتقاط المعلومات العالمية ، غالبًا ما تحتاج CNN إلى تكديس طبقات متعددة ، مما قد يزيد من وقت التدريب وعدد المعلمات.
المحولات ، على الرغم من أنها يمكن أن تلتقط المعلومات العالمية بشكل أكثر فعالية ، فإن لديها تعقيد حسابي أعلى أثناء التدريب. تتطلب آلية الانتباه الذاتية درجات الحوسبة لجميع أزواج العناصر في التسلسل ، والتي يمكن أن تكون وقتًا طويلاً - مستهلكة وذاكرة - خاصة بالنسبة للتسلسلات الطويلة. ولكن ، ساعدت التطورات الأخيرة مثل الاهتمام والتكميات المتفرقة على تقليل هذه المشكلات وجعل تدريب المحولات أكثر كفاءة.
الآن ، دعنا نتحدث عن الأداء في مهام معالجة النص المختلفة. في مهام مثل تصنيف النص ، يمكن أن تكون CNNs فعالة للغاية. يمكنهم استخراج الميزات المحلية بسرعة من النص ، والتي يمكن استخدامها لتصنيف النص إلى فئات مختلفة. على سبيل المثال ، إذا كنت تقوم بتصنيف المقالات الإخبارية إلى السياسة أو الرياضة أو الترفيه ، فيمكن لـ CNN أن تلتقط الكلمات الرئيسية والأنماط التي تتميز بكل فئة.
ومع ذلك ، تتألق المحولات في المهام التي تتطلب فهم السياق والتبعيات الطويلة ، مثل الترجمة الآلية ، والأسئلة - أنظمة الإجابة ، وتوليد النصوص. في الترجمة الآلية ، على سبيل المثال ، يمكن للمحول أن يفهم معنى الجملة بأكملها في لغة المصدر وتوليد ترجمة أكثر دقة باللغة المستهدفة. يمكنه التعامل مع هياكل الجملة المعقدة والتعبيرات الاصطلاحية أفضل من CNN.
إذا كنت في السوق للحصول على منتجات محولات عالية الجودة لتلبية احتياجات معالجة النصوص ، فقد قمنا بتغطية. نحن نقدم مجموعة واسعة من3 مرحلة محول السياراتومحول الطاقة الكهربائية، ومحول المقومالتي تم تصميمها لتلبية المتطلبات المتنوعة للتطبيقات المختلفة. سواء كنت شركة ناشئة صغيرة تعمل على مشروع NLP جديد أو مؤسسة كبيرة تتطلع إلى تحسين أنظمة معالجة النص الخاصة بك ، يمكن أن توفر منتجاتنا الأداء والموثوقية التي تحتاجها.
إذا كنت مهتمًا بمعرفة المزيد عن منتجاتنا أو مناقشة عملية شراء محتملة ، فلا تتردد في التواصل. يسعدنا دائمًا إجراء محادثة ونرى كيف يمكننا مساعدتك في نقل النصوص إلى المستوى التالي.
مراجع
- Vaswani ، A. ، Shazer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). الاهتمام هو كل ما تحتاجه. التقدم في أنظمة معالجة المعلومات العصبية.
- Lecun ، Y. ، Bengio ، Y. ، & Hinton ، G. (2015). التعلم العميق. الطبيعة ، 521 (7553) ، 436 - 444.
