آموزش چت‌بات هوش مصنوعی اختصاصی به صورت آفلاین

در آموزش پیشین، نحوه آموزش یک چت‌بات هوش مصنوعی اختصاصی با استفاده از API ChatGPT را نشان دادیم. هرچند که این روش عملکرد خوبی دارد، می‌دانیم زمانی که اعتبار رایگان OpenAI شما تمام می‌شود، برای استفاده از API نیاز به پرداخت هزینه دارید که برای همه افراد مقرون به صرفه نیست. علاوه بر این، بسیاری از کاربران از به اشتراک گذاشتن داده‌های محرمانه خود با OpenAI راحت نیستند. پس اگر می‌خواهید بدون اتصال به اینترنت یا پرداخت هیچ هزینه‌ای برای دسترسی به API، یک چت‌بات هوش مصنوعی اختصاصی بسازید، این راهنما برای شماست!

PrivateGPT یک پروژه متن‌باز (Open-Source) جدید است که امکان تعامل خصوصی با اسناد شما را در یک رابط کاربری چت‌بات هوش مصنوعی فراهم می‌کند. در ادامه این مطلب چگونگی ساخت یک چت‌بات هوش مصنوعی اختصاصی با استفاده از PrivateGPT به صورت محلی و آفلاین را آورده‌ایم.

برای اجرای PrivateGPT به صورت محلی روی دستگاه خود، به یک کامپیوتر متوسط تا پیشرفته نیاز دارید. نمی‌توانید آن را روی لپ‌تاپ‌ یا کامپیوترهای رومیزی قدیمی اجرا کنید. برای اینکه ایده‌ای مختصر داشته باشید، من PrivateGPT را روی یک کامپیوتر رومیزی سطح مقدماتی با پردازنده Intel 10th-gen i3 آزمایش کردم و تقریباً دو دقیقه طول کشید تا به پرسش‌ها پاسخ دهد. توجه داشته باشید، PrivateGPT از GPU استفاده نمی‌کند. در حال حاضر، تنها به CPU متکی است، که این امر عملکرد را حتی بدتر می‌کند. با این حال، اگر می‌خواهید پروژه را آزمایش کنید، قطعاً می‌توانید پیش بروید و آن را بررسی کنید.

PrivateGPT را می‌توان بدون اتصال به سرورهای آنلاین و بدون افزودن هیچ کلید API از OpenAI یا Pinecone ، به صورت آفلاین استفاده کرد. برای انجام این کار، این برنامه یک مدل LLM را به صورت محلی روی کامپیوتر شما اجرا می‌کند. پس، شما باید یک مدل LLM سازگار با GPT4All-J را روی کامپیوتر خود دانلود کنید. در ادامه، مراحل دقیق این کار آمده است.

۱. ابتدا، باید Python نسخه ۳.۱۰ یا بالاتر را روی کامپیوتر  Windows, macOS یا Linux  خود نصب کنید. می‌توانید برای دانلود فوری Python روی این لینک کلیک کنید.

۲. سپس، فایل نصب را اجرا کرده و مطمئن شوید که گزینه “Add Python.exe to PATH” را فعال کنید. پس از آن، روی “Install Now” کلیک کنید و مراحل معمول نصب Python را دنبال کنید.

۳. پس از آن، اگر از ویندوز استفاده می‌کنید، باید Visual Studio ۲۰۲۲ را نصب کنید. این کار برای به دست آوردن ابزار C++ CMake tool and UWP انجام می‌شود. روی این لینک کلیک کنید و نسخه “Community” را به صورت رایگان دانلود کنید.

۴. حالا، فایل نصب را اجرا کنید، این کار باعث دانلود یک نصب‌کننده دیگر می‌شود. پنجره‌ای ظاهر می‌شود که می‌توانید در آن اجزا را انتخاب کنید. به پایین اسکرول کرده و “Desktop Development with C++” و “Universal Windows Platform development” را انتخاب کنید.

۵. سپس، روی دکمه “Install” در گوشه پایین سمت راست کلیک کنید. پس از نصب، کامپیوتر خود را ری‌استارت کنید. نیازی به استفاده از Visual Studio پس از آن نیست، اما آن را نصب شده نگه دارید.

۶. در نهایت، پیش بروید و مدل پیش‌فرض («groovy») را از اینجا دانلود کنید. حجم آن حدود ۳.۵ گیگابایت است. اگر کامپیوتر قوی‌تری دارید، می‌توانید مدل‌های دیگر را نیز دانلود کنید.

۱. ابتدا، لینک GitHub مخزن PrivateGPT را باز کرده و روی «Code» در سمت راست کلیک کنید. سپس، روی «Download ZIP» کلیک کنید.

۲. حالا، فایل ZIP را باز کرده و پوشه‌ای به نام «privateGPT-main» را استخراج کنید.

۳. بعد، پوشه «privateGPT-main» را باز کرده و یک پوشه جدید با نام «models» ایجاد کنید.

۴. در زیر پوشه «models»، مدل «groovy» که در بالا دانلود کردید را جایگذاری کنید.

۵. حالا به پوشه اصلی برگردید، و شما یک فایل «example.env» را پیدا خواهید کرد. نام آن را به صرف «.env» تغییر دهید.

۶. حالا، روی فایل «.env» کلیک راست کرده و آن را با Notepad باز کنید.

۷. اگر مدل دیگری دانلود کرده‌اید، می‌توانید آن را زیر «MODEL_PATH» تعریف کنید. از آنجا که ما از مدل پیش‌فرض استفاده می‌کنیم، نیازی به تغییر نیست. حالا می‌توانید Notepad را ببندید.

۸. در مرحله بعد، پوشه “source_documents” را باز کنید. در اینجا، شما می‌توانید انواع مختلفی از اسناد را برای آموزش چت‌بات AI سفارشی خود اضافه کنید. به عنوان مثال، توسعه‌دهنده یک نسخه مکتوب از سخنرانی وضعیت اتحادیه را به فرمت TXT اضافه کرده است. با این حال، شما همچنین می‌توانید فایل‌هایی با فرمت‌های PDF، DOC، DOCX، CSV، EPUB، TXT، PPT، PPTX، ODT، MSG، MD، HTML، EML و ENEX را در اینجا قرار دهید.

۱. سرانجام، وقت آن رسیده است که یک چت‌بات AI سفارشی را با استفاده از PrivateGPT آموزش دهید. ترمینال را در کامپیوتر خود باز کنید. اگر از ویندوز استفاده می‌کنید، Windows Terminal یا Command Prompt را باز کنید.

۲. حالا، روی پوشه “privateGPT-main” راست‌کلیک کرده و گزینه “Copy as path” را انتخاب کنید. این کار مسیر پوشه را کپی می‌کند.

۳. حالا، به ترمینال بازگردید و تایپ کنید cd، سپس یک فاصله اضافه کنید و با راست‌کلیک کردن در پنجره ترمینال، مسیر را جای‌گذاری کنید. شبیه مثال زیر.

cd "C:\Users\mearj\Downloads\privateGPT-main"

۴. سپس، Enter را فشار دهید و شما به پوشه privateGPT-main منتقل می‌شوید.

۵. پس از ورود به پوشه، دستور زیر را اجرا کنید تا نصب تمام بسته‌ها و ملزومات آغاز شود. تکمیل این فرایند ممکن است ۱۰ تا ۱۵ دقیقه زمان ببرد، بنابراین خواهشمند است صبور باشید. اگر با خطایی مواجه شدید، دستور زیر را دوباره اجرا کنید و مطمئن شوید که ویژوال استودیو به همراه دو مؤلفه‌ای که بالاتر ذکر شد، به درستی نصب شده‌اند.

pip3 install -r requirements.txt

۶. پس از نصب تمام ملزومات، دستور زیر را برای ایجاد  local embeddings و vectorstore اجرا کنید. این فرایند بسته به حجم داده‌های اضافه شده به “source_documents” چند ثانیه زمان خواهد برد. کاربران macOS و لینوکس ممکن است لازم باشد به جای python از python3 در دستور زیر استفاده کنند.

python ingest.py

۷. در نهایت، برای اجرای PrivateGPT دستور زیر را اجرا کنید. از شما خواسته خواهد شد تا پرسش خود را وارد کنید. سوال خود را وارد کرده و Enter را بزنید.

python privateGPT.py

8. در رایانه شخصی من که از پردازنده‌ی Intel نسل دهم i3 بهره می‌برد، پاسخ‌دهی به یک استعلام تقریباً دو دقیقه زمان برد. پس از هر پاسخ، چهار منبعی که اطلاعات از آن‌ها استخراج شده را نیز نمایش می‌دهد.

۹. برای پایان دادن به گفتگو، کلمه‌ی exit را تایپ کنید و کلید Enter را فشار دهید.

شما همچنین می‌توانید اینترنت را خاموش کنید، اما چت‌بات AI خصوصی همچنان کار خواهد کرد چرا که تمام فرآیندها به صورت محلی انجام می‌شوند. PrivateGPT هنوز رابط وب ندارد، بنابراین فعلاً باید از آن با رابط command-line استفاده کنید. همچنین در حال حاضر از GPU بهره‌برداری نمی‌کند که کمی ناامید کننده است. با معرفی پشتیبانی از GPU، عملکرد به مراتب بهتر خواهد شد. در نهایت، برای بارگذاری چت‌بات AI PrivateGPT، در صورتی که اسناد جدیدی به پوشه‌ی منبع اضافه نکرده باشید، کافی است دستور python privateGPT.py را اجرا کنید.