پردازش زبان طبیعی چیست؟ همه چیز درباره NLP

پردازش زبان طبیعی یا Natural Language Processing (NLP) یک زیرشاخه میان‌رشته‌ای از علوم کامپیوتر و بازیابی اطلاعات است. این حوزه عمدتاً با توانایی دادن به کامپیوترها برای پشتیبانی و ویرایش زبان انسانی سروکار دارد. این حوزه از دانش درباره پردازش مجموعه داده‌های زبان طبیعی، مانند متن‌های نوشتاری یا مجموعه‌های گفتاری، با استفاده از رویکرد یادگیری ماشین است. هدف، داشتن یک کامپیوتر است که قادر به درک محتوای اسناد باشد، از جمله نکات ظریف متنی زبان درون متون.

به همین منظور، پردازش زبان طبیعی اغلب از ایده‌های زبان‌شناسی نظری (theoretical linguistics) استفاده می‌کند. این فناوری می‌تواند به طور دقیق، اطلاعات و نکات مهم موجود در اسناد را استخراج کرده و همچنین اسناد را دسته‌بندی و سازماندهی کند. چالش‌های موجود در پردازش زبان طبیعی اغلب شامل شناسایی گفتار (speech recognition)، درک زبان طبیعی (natural-language understanding) و تولید زبان طبیعی (natural-language generation) می‌شود.

پردازش زبان طبیعی ریشه‌ در دهه ۱۹۴۰ دارد. در این سال، آلن تورینگ مقاله‌ای با عنوان “ماشین‌آلات محاسبه و هوش” (Computing Machinery and Intelligence) منتشر کرد که در آن چیزی را پیشنهاد داد که اکنون با نام آزمون تورینگ شناخته می‌شود و به عنوان معیاری برای تعیین سطح هوش استفاده می‌شود. آزمون پیشنهادی شامل یک سری کارها است که تفسیر و تولید خودکار زبان طبیعی را دربرمی‌گیرد. تاریخچه پردازش زبان طبیعی شامل سه دوران می‌باشد که در ادامه به بررسی آن‌ها می‌پردازیم.

مبنای پردازش زبان طبیعی اولیه در آزمایش اتاق چینی جان سرل خلاصه می‌شود. فرض کنید مجموعه‌ای از قوانین داریم (مثلاً یک کتاب عبارات چینی با پرسش و پاسخ‌های متناظر)، کامپیوتر با اعمال این قوانین به داده‌هایی که با آن روبرو می‌شود، درک زبان طبیعی (یا سایر وظایف NLP) را شبیه‌سازی می‌کند.

دهه ۱۹۵۰: آزمایش جورج‌تاون در سال ۱۹۵۴ شامل ترجمه کاملاً خودکار بیش از شصت جمله روسی به انگلیسی بود. نویسندگان ادعا کردند که ظرف سه تا پنج سال، مسئله ترجمه ماشینی حل خواهد شد. با این حال، پیشرفت واقعی بسیار کندتر بود و پس از گزارش ALPAC در سال ۱۹۶۶، که نشان داد تحقیقات ده ساله نتوانسته انتظارات را برآورده کند، بودجه ترجمه ماشینی به شدت کاهش یافت. تا اواخر دهه ۱۹۸۰، تحقیقات بیشتری در زمینه ترجمه ماشینی در آمریکا انجام نشد، البته تا زمانی که اولین سیستم‌های ترجمه ماشینی آماری پا به عرصه ظهور گذاشتند.

دهه ۱۹۶۰: برخی از سیستم‌های پردازش زبان طبیعی موفق در دهه ۱۹۶۰ مانند SHRDLU، یک سیستم زبان طبیعی که در محیطی محدود با واژگان محدود کار می‌کرد و ELIZA، برنامه شبیه‌سازی یک روان‌درمانگر، نوشته شده توسط جوزف وایزنبام بین سال‌های ۱۹۶۴ و ۱۹۶۶ بود. ELIZA با استفاده از تقریباً هیچ اطلاعاتی در مورد فکر یا احساس انسان، گاهی اوقات تعاملاتی شبیه به انسان ارائه می‌داد. وقتی که “بیمار” از پایگاه دانش بسیار کوچک فراتر می‌رفت، ELIZA ممکن بود پاسخی عمومی ارائه دهد، به عنوان مثال در جواب به مشکل “سرم درد می‌کند” با “چرا می‌گویید سرتان درد می‌کند؟” پاسخ می‌داد. کارهای موفقیت‌آمیزی هم توسط راس کویلیان در زبان طبیعی با واژگانی تنها بیست کلمه‌ای نشان داده شد، زیرا این تمام چیزی بود که در حافظه کامپیوتر در آن زمان جا می‌گرفت!

دهه ۱۹۷۰: در این سال ها، بسیاری از برنامه‌نویسان شروع به نوشتن “آنتولوژی‌های مفهومی” (conceptual ontologies) نمودند؛ یعنی اطلاعات دنیای واقعی را به داده‌های قابل فهم برای کامپیوتر تبدیل می‌کردند. نمونه‌هایی از این موارد عبارتند از MARGIE (شانک، ۱۹۷۵)، SAM (کالینگفورد، ۱۹۷۸)، PAM (ویلنسکی، ۱۹۷۸)، TaleSpin (میهان، ۱۹۷۶)، QUALM (لهنرت، ۱۹۷۷)، Politics (کاربونل، ۱۹۷۹)، و Plot Units (لهنرت ۱۹۸۱). در این دوره، اولین چت‌بات‌ها نوشته شدند (مثل PARRY).

دهه ۱۹۸۰: این دهه و اوایل دهه ۱۹۹۰ دوران اوج روش‌های نمادین در پردازش زبان طبیعی را نشان می‌دهند. محورهای تمرکز در آن زمان شامل تحقیق در مورد تجزیه مبتنی بر قواعد (research on rule-based parsing) ، دستور زبان شکلی (morphology)، معناشناسی (semantics)، مرجع ها (reference) و سایر زمینه‌های درک زبان طبیعی بود. تحقیقات در سایر زمینه‌ها نیز ادامه یافت، مانند ساخت چت‌بات‌ها با Racter و Jabberwacky.

تا دهه ۱۹۸۰، اکثر سیستم‌های پردازش زبان طبیعی بر اساس مجموعه‌های پیچیده‌ای از قوانین نوشته شده به دست انسان بودند. با این حال، از اواخر دهه ۱۹۸۰، با معرفی الگوریتم‌های یادگیری ماشین برای پردازش زبان، انقلابی در پردازش زبان طبیعی رخ داد. این موضوع هم به دلیل افزایش پیوسته در قدرت محاسباتی و کاهش تدریجی سلطه نظریات زبان‌شناسی چامسکی (مانند دستور زبان تبدیلی) بود.

دهه ۱۹۹۰: در این ده سال بسیاری از موفقیت‌های قابل توجه اولیه در روش‌های آماری در پردازش زبان طبیعی در زمینه ترجمه ماشینی رخ داد، به ویژه به دلیل کارهای انجام شده در IBM Research، مانند مدل‌های هم‌ردیفی IBM. این سیستم‌ها توانستند از متون چندزبانه موجود که توسط پارلمان کانادا و اتحادیه اروپا به دلیل قوانینی که خواستار ترجمه تمام رویدادهای دولتی به تمام زبان‌های رسمی سیستم‌های دولتی مربوطه بود، استفاده کنند. با این حال، اغلب سیستم‌ها به متونی که به طور خاص برای وظایفی که توسط این سیستم‌ها پیاده‌سازی شده بودند، وابسته بودند، که این امر یک محدودیت عمده در موفقیت این سیستم‌ها بود. به همین دلیل، تحقیقات زیادی در روش‌های یادگیری مؤثرتر از مقادیر محدود داده‌ها انجام شده است.

دهه ۲۰۰۰: با رشد وب، از اواسط دهه ۱۹۹۰، مقادیر فزاینده‌ای از داده‌های زبانی خام در دسترس قرار گرفته است. بنابراین، تحقیقات به طور فزاینده‌ای بر روی الگوریتم‌های یادگیری بدون نظارت (unsupervised learning) و یادگیری نیمه‌نظارتی (semi-supervised learning) متمرکز شده‌اند. این الگوریتم‌ها می‌توانند از داده‌هایی که با پاسخ‌های مورد نظر دستی مشخصه‌گذاری نشده‌اند یا با ترکیبی از داده‌های مشخصه‌گذاری شده و غیرمشخصه‌گذاری شده یاد بگیرند. به طور کلی، این کار بسیار دشوارتر از یادگیری تحت نظارت است و معمولاً نتایجی با دقت کمتر را برای مقدار داده‌های ورودی مشخص تولید می‌کند. با این حال، مقادیر عظیمی از داده‌های غیرمشخصه‌گذاری شده در دسترس است (از جمله محتوای کامل وب جهانی)، که اغلب می‌تواند نتایج ناقص را جبران کند؛ البته اگر الگوریتم مورد استفاده زمان پیچیدگی پایینی داشته باشد تا کاربردی باشد.

در سال ۲۰۰۳، مدل n-gram کلمه که در آن زمان بهترین الگوریتم آماری بود، توسط یک شبکه عصبی چندلایه (با یک لایه مخفی و طول متن کلمات چندین کلمه‌ای که بر روی ۱۴ میلیون کلمه که با چندین CPU آموزش دیده بود) توسط Yoshua Bengio و همکارانش طراحی شد.
در سال ۲۰۱۰، Tomáš Mikolov که در آن زمان دانشجوی دکترا در دانشگاه برنوی بود، یک شبکه عصبی بازگشتی ساده با یک لایه مخفی را برای مدل‌سازی زبان به کار بردند و در سال‌های بعد به توسعه Word2vec پرداخت.

در دهه ۲۰۱۰، روش‌های یادگیری نمایندگی (representation learning) و روش‌های یادگیری ماشینی به سبک شبکه عصبی عمیق (deep neural network-style) که دارای لایه‌های مخفی متعدد است، در پردازش زبان طبیعی رواج یافت. این محبوبیت تا حد زیادی به دلیل نتایجی بود که نشان می‌داد این تکنیک‌ها می‌توانند در بسیاری از وظایف زبان طبیعی، مانند مدل‌سازی زبان و تجزیه، بسیار خوب عمل کنند. این موضوع به ویژه در پزشکی و مراقبت‌های بهداشتی اهمیت بیشتری می‌یابد، جایی که NLP در تحلیل یادداشت‌ها و متون سوابق پزشکی الکترونیکی کمک می‌کند.

در ادامه فهرستی از برخی از وظایف پر کاربرد پردازش زبان طبیعی آورده شده است. برخی از این وظایف کاربردهای مستقیم در دنیای واقعی دارند، در حالی که برخی دیگر کارهایی هستند که در حل وظایف بزرگ‌تر به کار می‌روند.

پردازش گفتار هنگامی است که یک فایل صوتی از یک شخص یا افرادی که صحبت می‌کنند دارید و باید نمایش متنی از آن گفتار را تعیین کنید. این کار برعکس تبدیل متن به گفتار است و به عنوان یکی از مسائل بسیار دشوار در “هوش مصنوعی” شناخته می‌شود. در گفتار طبیعی به ندرت توقفی بین کلمات پیاپی وجود دارد، بنابراین تقسیم بندی گفتار یکی از زیرمسائل ضروری شناخت گفتار است. در بیشتر زبان‌های گفتاری، صداهایی که نماینده حروف پیاپی هستند، در فرآیندی به نام هم‌آواگرایی با یکدیگر ترکیب می‌شوند. تبدیل سیگنال آنالوگ به کاراکترهای گسسته یک فرآیند بسیار دشوار و پیچیده است. همچنین، با توجه به اینکه کلمات در هر زبان توسط افراد با لهجه‌های مختلف گفته می‌شوند، نرم‌افزار شناخت گفتار باید بتواند تنوع گسترده‌ای از ورودی‌ها را به معادل متنی آن‌ها تبدیل کند.

وظیفه حذف پسوندهای تصریفی و بازگرداندن فرم اصلی واژه در فرهنگ لغت، که به عنوان لم (lemma) یا ریشه‌یابی نیز شناخته می‌شود. ریشه‌یابی تکنیک دیگری برای کاهش واژه‌ها به فرم نرمال‌شان است. اما در این مورد، تبدیل واقعاً از یک فرهنگ لغت برای نگاشت واژه‌ها به فرم واقعی‌شان استفاده می‌کند.

ایجاد یک “دستور زبان رسمی” (formal grammar) که دستورزبان یک زبان را توصیف کند. با توجه به یک قطعه متن، مرزهای جمله را پیدا می‌کند. مرزهای جمله اغلب توسط نقطه‌ها یا علائم نگارشی دیگر مشخص می‌شوند، اما این کاراکترها می‌توانند کاربردهای دیگری نیز داشته باشند (مانند نشان دادن اختصارات).

با توجه به یک جریان متن، تعیین می‌کند که کدام موارد در متن به نام‌های خاص، مانند افراد یا مکان‌ها، اشاره دارند و نوع هر یک از این نام‌ها چیست (مثلاً شخص، مکان، سازمان). اگرچه حروف بزرگ می‌تواند در شناسایی نهادهای نام‌دار در زبان‌هایی مانند انگلیسی کمک کند، این اطلاعات در تعیین نوع نهاد نام‌دار کمکی نمی‌کند و در هر صورت، اغلب نادرست یا ناکافی است.

با توجه به یک قطعه متن (معمولاً یک جمله)، نمایش رسمی معنای آن را تولید می‌کند، چه به صورت یک نمودار (مانند در تجزیه AMR) و چه مطابق با یک فرمالیسم منطقی (مانند در تجزیه DRT). این چالش معمولاً شامل جنبه‌هایی از چندین وظیفه پایه‌ای‌تر NLP از معناشناسی (مانند برچسب‌زنی نقش معنایی، تمیز دادن معنای کلمات) است و می‌توان آن را گسترش داد تا شامل تحلیل گفتمان کامل نیز بشود.

با توجه به یک جمله یا قطعه بزرگ‌تر از متن، تعیین می‌کند که کدام واژه‌ها به کدام اشیاء اشاره دارند. حل معرفه‌ها مثال خاصی از این وظیفه است و به طور خاص با تطابق ضمایر با اسم‌ها یا نام‌هایی که به آن‌ها اشاره دارند، سروکار دارد.

از NLP برای تولید خلاصه‌ای خوانا از یک قطعه متن مانند مقالات تحقیقاتی، مقالات در بخش مالی روزنامه‌ها و … استفاده می‌شود.

تشخیص و اصلاح خطای دستوری، طیف گسترده‌ای را در تمام سطوح تجزیه و تحلیل زبان (صداشناسی،املا، صرف، نحو، معناشناسی، کاربردشناسی) شامل می‌شود. اصلاح خطای دستورزبان می‌تواند بسیار مفید و تأثیرگذار باشد، زیرا صدها میلیون نفر که زبان انگلیسی را به عنوان زبان دوم یاد می‌گیرند یا استفاده می‌کنند را تحت تأثیر قرار می‌دهد. از این رو، از سال 2011 موضوع تعدادی از فعالیت‌های مشترک بوده است.

بیشتر بخوانید: بهترین ابزارهای هوش مصنوعی نگارش مطلب

ترجمه خودکار متن از یک زبان انسانی به زبان انسانی دیگر، یکی از دشوارترین کارها است و به عنوان عضوی از کلاس “AI-complete” یا “AI-hard” شناخته می‌شود، چراکه با یک الگوریتم ساده نمی توان آن را حل کرد و انجام صحیح آن نیازمند تمام انواع دانشی که انسان‌ها دارند (دستور زبان، معناشناسی، حقایق درباره دنیای واقعی و غیره).

درک زبان طبیعی به رایانه‌ها امکان می‌دهد تا زبان انسان‌ را به روشی شبیه به انسان‌ها درک کنند. NLU شامل استفاده از تکنیک‌های محاسباتی برای تجزیه و تحلیل و تفسیر زبان طبیعی، مانند متن یا گفتار است. هدف NLU این است که رایانه‌ها را قادر سازد ورودی زبان طبیعی را به گونه‌ای معنادار و مفید درک کنند و به آن پاسخ دهند. برخی از وظایف رایج در NLU عبارتند از تحلیل معنایی، تشخیص قصد و منظور، شناسایی موجودیت و تجزیه و تحلیل احساسات. NLU به نرم‌افزار اجازه می‌دهد تا معانی مشابه را در جملات مختلف بیابد یا کلماتی که معانی متفاوتی دارند را پردازش کند

تولید زبان طبیعی (NLG)، بر تبدیل داده‌های ساختاری از پایگاه‌ داده‌های کامپیوتری به متن یا گفتار قابل فهم برای انسان تمرکز دارد و این امکان را فراهم می‌کند که کامپیوترها بتوانند زبانی تولید کنند که شبیه به زبان طبیعی انسانی باشد. NLG یکی از اجزای کلیدی پردازش زبان طبیعی (NLP) است و نقش حیاتی در وظایفی مانند خلاصه‌سازی متن، ترجمه زبانی و پاسخ‌های چت‌بات دارد.

گرچه تولید کتاب وظیفه‌ای مستقیم در پردازش زبان طبیعی نیست، اما نوشتن و آماده‌سازی کتاب‌های کامل از پیشرفت تولید زبان طبیعی و سایر وظایف پردازش زبان طبیعی نشأت می‌گیرد. اولین کتاب تولیدشده توسط ماشین توسط یک سیستم مبتنی بر قوانین در سال 1984 خلق شد. اولین اثر منتشر شده توسط یک شبکه عصبی در سال 2018 با نام 1 the Road منتشر شد، رمانی با شصت میلیون کلمه!

یک پلتفرم هوش مصنوعی اسنادی بر روی فناوری پردازش زبان طبیعی قرار دارد که به کاربران بدون تجربه قبلی در هوش مصنوعی، یادگیری ماشینی یا پردازش زبان طبیعی امکان می‌دهد به سرعت یک کامپیوتر را برای استخراج داده‌های خاص مورد نیازشان از انواع مختلف اسناد آموزش دهند. هوش مصنوعی اسنادی مبتنی بر پردازش زبان طبیعی به تیم‌های غیرفنی اجازه می‌دهد تا به سرعت به اطلاعات پنهان در اسناد دسترسی پیدا کنند، به عنوان مثال وکلا، تحلیلگران امور مالی و حسابداران.

بیشتر بخوانید: آموزش چت‌بات هوش مصنوعی با استفاده از پایگاه دانش شخصی و ChatGPT API

برای سیستم‌های کامپیوتری که قصد دارند با انسان گفتگو کنند.

بیشتر بخوانید: ابزارهای هوش مصنوعی سوال و جواب

با توجه به یک سوال به زبان انسانی، پاسخ آن را تعیین می‌کند. سؤالات معمول دارای پاسخ درست و مشخصی هستند (مانند “پایتخت کانادا چیست؟”)، اما گاهی اوقات سؤالات باز نیز در نظر گرفته می‌شوند (مانند “معنای زندگی چیست؟”).

با توجه به توصیف یک تصویر، تصویری را ایجاد می‌کند که با توصیف مطابقت داشته باشد.

بیشتر بخوانید: بهترین ابزارهای ساخت عکس با هوش مصنوعی در سال ۲۰۲۴

با توجه به توصیف یک صحنه، مدل سه بعدی آن صحنه را تولید می‌کند.

بیشتر بخوانید: بهترین ابزارهای هوش مصنوعی طراحی

با توجه به توصیف یک ویدیو، ویدیویی را تولید می‌کند که با توصیف مطابقت داشته باشد.

بیشتر بخوانید: ۶ ابزار تولید ویدیو با هوش مصنوعی

آینده پردازش زبان طبیعی (NLP) بسیار امیدبخش و گسترده به نظر می‌رسد و به احتمال زیاد چندین روند و پیشرفت در آینده آن را شکل خواهد داد:

1. تلفیق بیشتر با سایر حوزه‌های هوش مصنوعی

انتظار می‌رود که NLP با سایر زمینه‌های هوش مصنوعی، مانند بینایی کامپیوتری و رباتیک، بیشتر ادغام شود. این امر به ایجاد سیستم‌های هوش مصنوعی چندوجهی پیشرفته‌تر کمک خواهد کرد که می‌توانند جهان را به شیوه‌ای شبیه به انسان درک و با آن تعامل داشته باشند. به عنوان مثال، ربات‌های دارای قابلیت‌های NLP می‌توانند دستورات و زمینه‌ها را بهتر درک کنند، که آن‌ها را در محیط‌های کمکی شخصی یا بهداشتی مؤثرتر می‌سازد.

2. درک بهتر زمینه‌ گفتگو

با تکامل مدل‌هایی مانند BERT و GPT، درک زمینه و ظرافت‌های زبان انسانی این مدل‌ها بهتر خواهند شد. مخصوصا در مواردی مانند مدیریت بهتر کنایه‌ها و اصطلاحات و ساختارهای زبانی پیچیده‌ که در حال حاضر برای AI چالش‌برانگیز است. این بهبود، قابلیت اطمینان و کاربردی بودن برنامه‌های AI در کارهای روزمره از خدمات مشتری تا درمان و آموزش را افزایش خواهد داد.

3. پیشرفت در مدل‌های زبانی

توسعه مدل‌های زبانی قدرتمندتر ادامه خواهد یافت. این مدل‌ها احتمالاً کارآمدتر خواهند بود، به منابع محاسباتی کمتری نیاز دارند و برای برنامه‌های کاربردی زمان واقعی قابل دسترس‌تر خواهند بود. آن‌ها همچنین در تولید متن شبیه به انسان بهتر خواهند شد که تعاملات با AI را روان‌تر و طبیعی‌تر می‌سازد.

4. گسترش در سایر زبان‌های دنیا

بخش زیادی از پیشرفت‌های فعلی در NLP بر زبان‌هایی متمرکز شده است که داده‌های زیادی در دسترس دارند، مانند انگلیسی. در آینده احتمالا شاهد تلاش‌هایی برای دسترسی و اثربخشی فناوری NLP برای زبان‌های کم‌منبع خواهد بود، که فراگیری و گسترش دسترسی به فناوری را افزایش می‌دهد.

5. اخلاق و استفاده عادلانه از NLP

با گسترش فناوری NLP، تمرکز بیشتری بر مسائل اخلاقی مانند حفظ حریم خصوصی، رضایت و تعصب در مدل‌های AI خواهد بود. تلاش‌ها برای توسعه دستورالعمل‌ها و چهارچوب‌هایی که اطمینان حاصل کنند ابزارهای NLP به طور مسئولانه استفاده می‌شوند و تعصبات را ترویج نمی‌کنند یا حریم خصوصی کاربران را نقض نمی‌کنند، افزایش خواهد یافت.

6. شخصی‌سازی و تطبیق

از سیستم‌های NLP آینده انتظار می‌رود که شخصی‌تر شده و با سبک‌های زبانی، ترجیحات و نیازهای کاربران فردی سازگار شوند. این می‌تواند به ویژه در آموزش و بهداشت تحول‌آفرین باشد، جایی که NLP شخصی‌سازی‌شده می‌تواند به بهبود تعامل و نتایج کاربر کمک کند.

7. کامپیوترهای کوانتومی و نورومورفیک

تکنولوژی‌های نوظهور مانند کامپیوترهای کوانتومی و نورومورفیک ممکن است راه‌های جدیدی برای پردازش وظایف زبان طبیعی با سرعت‌های بی‌سابقه و با رویکردهای نوین که فعالیت‌های عصبی انسان را تقلید می‌کنند، فراهم کنند.

8. کاربردهای میان‌رشته‌ای

NLP به دنبال یافتن کاربردهای جدید در زمینه‌های مختلف مانند بهداشت برای تشخیص بیماری‌ها، مالی برای تجزیه و تحلیل احساسات بازار و در حوزه‌های قانونی برای تجزیه و تحلیل اسناد و پیش‌بینی موارد خواهد بود. این استفاده‌های میان‌رشته‌ای پیشرفت‌ها و بهینه‌سازی‌های بیشتری در فناوری‌های NLP را به دنبال خواهد داشت.

به طور کلی، آینده NLP برای طبیعی‌تر کردن و شهودی‌تر کردن تعامل انسان و رایانه، گسترش قابلیت‌های هوش مصنوعی در زندگی روزمره و رفع محدودیت‌های فعلی از طریق پیشرفت‌های فنی و اخلاقی، نویدبخش است.