محققان با همراهی یک دانشمند ایرانی موفق به کشف روش سیستماتیک جیلبریک ChatGPT شدند.
در این روش سیستماتیک می توان از مدل های هوش مصنوعی برای کشف جیلبریک مدل های زبان بزرگ استفاده کرد.
به گزارش اخبار تایمز؛ استارتاپ Robust Intelligence به همراه محققان دانشگاه ییل از جمله دکتر امین کرباسی، دانشیار ایرانی این دانشگاه، از روشی سیستماتیک برای جیلبریک کردن مدل های زبان بزرگ (LLM) مانند مدل GPT-4 رونمایی کرد. در این روش از مدل های هوش مصنوعی برای کشف جیلبریک استفاده می شود. این استارتاپ می گوید که برخی از خطرات در مدل های زبان بزرگ نیازمند توجه جدی تری است.
طبق گزارش Wired، استارت‌آپ Robust Intelligence که در سال ۲۰۲۰ برای توسعه راه‌هایی برای محافظت از سیستم‌های هوش مصنوعی تأسیس شد، می‌گوید برخی از خطرات در این مدل‌ها نیاز به توجه بیشتری دارند. یارون سینگر، مدیر عامل هوش قوی و استاد علوم کامپیوتر در دانشگاه هاروارد می گوید:
«یک مشکل ایمنی سیستماتیک [در مدل‌های هوش مصنوعی] وجود دارد که به آن توجه و رسیدگی نمی‌شود. آنچه ما در اینجا کشف کرده‌ایم یک رویکرد سیستماتیک برای حمله به هر مدل زبانی بزرگ است.»
کشف جیلبریک در مدل‌های هوش مصنوعی
استارتاپ Robust Intelligence با یک ترفند جدید و با یک‌سری حملات برنامه‌ریزی‌شده، ضعف‌های اساسی در مدل‌های زبان بزرگ را مشخص کرد و نشان داد که روش‌های موجود برای محافظت از آنها به‌خوبی عمل نمی‌کند. این جیلبریک جدید از سیستم‌های هوش مصنوعی برای تولید و ارزیابی پرامپت‌هایی استفاده می‌کند که سعی دارند با ارسال درخواست‌ها به یک API (واسط برنامه‌نویسی کاربردی) سازوکارهای امنیتی چت‌بات‌های هوش مصنوعی را دور بزنند.
جیلبریک در اینجا به معنای ایجاد یک درخواست برای نقض دستورالعمل های محتوای مدل هوش مصنوعی و سوء استفاده از آن است.
یکی از محققان در این زمینه می گوید برخی از مدل های هوش مصنوعی تدابیر ایمنی خاصی دارند که می تواند حملات را مسدود کند، اما می افزاید که در واقع به دلیل نحوه عملکرد این مدل ها، آسیب پذیری های ذاتی در این سیستم ها وجود دارد و بنابراین دفاع از آنها دشوار می شود. .
محققان مقاله خود را در arXiv منتشر کردند و به OpenAI در مورد آسیب پذیری مدل های زبان بزرگ هشدار دادند. اما هنوز پاسخی از این شرکت دریافت نکرده اند. مدل های زبان بزرگ اخیراً به عنوان نوع جدیدی از فناوری قدرتمند و متحول کننده ظاهر شده اند. پتانسیل آنها افراد زیادی را شگفت زده کرده است، به خصوص از زمان معرفی ChatGPT.