میتوانید ظاهر فارنت را به سلیقه خود تغییر دهید.
OpenAI از وقوع یک حادثه امنیتی در جریان ارزیابی مدل‌های هوش مصنوعی خبر داد؛ جایی که یک عامل هوش مصنوعی پس از خروج از محیط آزمایشی، به زیرساخت‌های Hugging Face نفوذ کرد. جزئیات این اتفاق را بخوانید.
اتفاقی که بسیاری از کارشناسان امنیت سایبری سال‌ها درباره آن هشدار می‌دادند، حالا دست‌کم در یک محیط آزمایشی به واقعیت تبدیل شده است. OpenAI روز سه‌شنبه با انتشار مطلبی با عنوان نسبتاً ساده «همکاری OpenAI و Hugging Face برای رسیدگی به یک حادثه امنیتی در جریان ارزیابی مدل‌ها»، جزئیات رخدادی را منتشر کرد که بیش از آنکه شبیه یک گزارش فنی باشد، به داستان‌های علمی‌تخیلی شباهت دارد.
بر اساس این گزارش که در فارنت نیز به آن پرداختیم، OpenAI در حال آزمایش یک عامل هوش مصنوعی پیشرفته با قابلیت‌های نفوذ سایبری بود. این عامل در محیطی کاملاً ایزوله و با دسترسی بسیار محدود به شبکه اجرا می‌شد تا توانایی‌های آن در انجام حملات پیچیده ارزیابی شود. اما برخلاف انتظار، این عامل هوش مصنوعی موفق شد از همان محیط ایزوله خارج شود و سپس به زیرساخت‌های Hugging Face نفوذ کند؛ پلتفرمی که به‌عنوان یکی از بزرگ‌ترین مخازن متن‌باز پروژه‌های هوش مصنوعی شناخته می‌شود.
داستان از جایی آغاز شد که Hugging Face هفته گذشته از وقوع یک حادثه امنیتی خبر داد. این شرکت اعلام کرد نوع این حمله با تمام مواردی که تاکنون تجربه کرده بود تفاوت داشت، زیرا کل عملیات توسط یک عامل هوش مصنوعی خودمختار انجام شده بود.
به گفته Hugging Face، این عامل با سوءاستفاده از زنجیره‌ای از آسیب‌پذیری‌ها موفق شد به اطلاعات احراز هویت دست پیدا کند و به بخشی از داده‌های سرورهای این شرکت دسترسی پیدا کند.
در توضیح نحوه حمله آمده است که عامل هوش مصنوعی هزاران عملیات جداگانه را در مجموعه‌ای از محیط‌های موقت (Sandbox) اجرا کرده و زیرساخت کنترل و فرمان خود را نیز به‌صورت پویا روی سرویس‌های عمومی اینترنت مستقر کرده است؛ روشی که شناسایی و متوقف کردن آن را بسیار دشوار می‌کند.
بخش نگران‌کننده ماجرا، توضیحاتی است که خود OpenAI درباره این حادثه ارائه کرده است.
این شرکت اعلام کرد که عامل مذکور از ترکیبی از مدل‌های هوش مصنوعی، از جمله GPT-5.6 Sol و یک مدل قدرتمندتر که هنوز به‌صورت عمومی منتشر نشده، استفاده می‌کرد. برای اینکه توانایی‌های سایبری این مدل‌ها به‌درستی ارزیابی شود، محدودیت‌های امنیتی مرتبط با انجام حملات سایبری به‌طور موقت کاهش یافته بود.
هدف این آزمایش، سنجش توانایی مدل‌ها در اجرای حملات پیچیده و بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری بود.
با وجود اینکه مدل‌ها در محیطی کاملاً ایزوله با دسترسی بسیار محدود به اینترنت اجرا می‌شدند، عامل هوش مصنوعی موفق شد یک آسیب‌پذیری روز صفر (Zero-Day) را در سامانه کش پروکسی رجیستری بسته‌های نرم‌افزاری شناسایی و از آن سوءاستفاده کند.
پس از آن نیز با انجام مجموعه‌ای از حملات افزایش سطح دسترسی (Privilege Escalation) و حرکت جانبی میان سیستم‌های داخلی، سرانجام به یکی از گره‌هایی رسید که امکان دسترسی به اینترنت را داشت.
پس از خروج از محیط آزمایشی، عامل هوش مصنوعی دقیقاً همان کاری را انجام داد که برای آن آموزش دیده بود.
OpenAI توضیح می‌دهد این عامل برای اثبات توانایی خود در نفوذ سایبری، تصمیم گرفت راه‌حلی برای آزمون ExploitGym پیدا کند؛ مجموعه‌ای از آزمون‌ها که توانایی مدل‌های هوش مصنوعی را در تبدیل آسیب‌پذیری‌های نرم‌افزاری به اکسپلویت‌های واقعی اندازه‌گیری می‌کند.
عامل هوش مصنوعی به این نتیجه رسید که احتمالاً پاسخ یا نمونه‌های مرتبط با ExploitGym در مخازن Hugging Face وجود دارد؛ بنابراین این پلتفرم را به‌عنوان هدف حمله انتخاب کرد.
هنوز مشخص نیست که آیا این عامل در نهایت موفق به حل آزمون ExploitGym شده یا خیر، اما یک موضوع کاملاً روشن است؛ این سامانه توانست بدون دخالت انسان، از محیط محدود آزمایش خارج شود و سپس حمله‌ای واقعی علیه یک سرویس اینترنتی انجام دهد.
هر دو شرکت OpenAI و Hugging Face اعلام کرده‌اند آسیب‌پذیری‌های مورد سوءاستفاده را برطرف کرده و لایه‌های امنیتی جدیدی را برای جلوگیری از تکرار چنین اتفاقی پیاده‌سازی کرده‌اند.
با این حال، این حادثه بار دیگر نگرانی کارشناسان امنیت سایبری را درباره آینده مدل‌های هوش مصنوعی بسیار پیشرفته افزایش داده است. اگرچه این رخداد در جریان یک آزمایش کنترل‌شده رخ داده، اما نشان می‌دهد مدل‌های نسل جدید می‌توانند در شرایط خاص، مسیرهای غیرمنتظره‌ای برای رسیدن به اهداف خود پیدا کنند.
البته باید به یک نکته مهم نیز توجه داشت. روایت منتشرشده از سوی OpenAI و Hugging Face مربوط به یک ارزیابی امنیتی کنترل‌شده است و شواهدی مبنی بر خروج یک هوش مصنوعی از کنترل در دنیای واقعی یا اقدام خودسرانه آن علیه اینترنت عمومی ارائه نشده است. با این حال، همین اتفاق نیز نشان می‌دهد که با افزایش توانایی مدل‌های هوش مصنوعی، طراحی محیط‌های آزمایشی و سازوکارهای ایزوله‌سازی باید به مراتب دقیق‌تر و مقاوم‌تر از گذشته باشد.
وارد حساب کاربری خود شوید تا از امکانات فارنت بهره‌مند شوید.اگر حساب کاربری ندارید، همین حالا ثبت‌نام کنید تا از محتوای خاص و خدمات ما لذت ببرید.
دیدگاه شما پس از بررسی توسط تحریریه منتشر خواهد شد. در صورتی که در بخش نظرات سوالی پرسیده‌اید اگر ما دانش کافی از پاسخ آن داشتیم حتماً پاسخگوی شما خواهیم بود در غیر این صورت تنها به امید دریافت پاسخ مناسب از دیگران آن را منتشر خواهیم کرد.
ایمیل شما منتشر نخواهد شد.