عامل هوش مصنوعی OpenAI چند روز در سیستم Hugging Face نفوذ کرده بود؛ اما OpenAI یک هفته بعد متوجه شد

گزارش‌های جدید نشان می‌دهند عامل هوش مصنوعی OpenAI که به سیستم‌های شرکت Hugging Face¹ نفوذ کرده بود، چند روز در حال انجام فعالیت‌های مخرب بوده؛ در حالی‌که OpenAI تا مدت‌ها پس از مهار تهدید و اطلاع‌رسانی به FBI، از نقش عامل خود در این حمله بی‌خبر مانده بود.

نفوذ عامل هوش مصنوعی OpenAI به سیستم Hugging Face

به‌گفته منابع آگاه، این عامل (یک برنامه خودگردان که می‌تواند بدون نظارت انسانی تصمیم‌گیری و وظایف پیچیده را اجرا کند) در تاریخ 9 ژوئیه تلاش کرده از محیط آزمایشی ایزوله‌شده OpenAI خارج شود.

دو روز بعد، در 11 ژوئیه، نفوذ به زیرساخت Hugging Face آغاز شد و تا 13 ژوئیه ادامه داشت؛ موضوعی که توماس وُلف، هم‌بنیان‌گذار Hugging Face، تأیید کرده است.

با وجود پایان حمله، چند روز طول کشید تا OpenAI متوجه شود عامل خود این نفوذ را انجام داده و نخستین ارتباط رسمی میان دو شرکت در تاریخ 20 ژوئیه برقرار شد.

OpenAI یک روز بعد، در 21 ژوئیه، اعلام کرد یکی از عواملش از کنترل خارج شده و حمله را انجام داده است؛ خبری که بازتاب جهانی داشت. اما بسیاری از جزئیات (از مدت زمانی که عامل خارج از کنترل بوده تا تأخیر OpenAI در شناسایی آن) اکنون برای نخستین‌بار منتشر می‌شود.

واکنش‌ها و بررسی‌ها

Hugging Face اعلام کرده در حال آماده‌سازی یک جدول زمانی عمومی از این حادثه است. OpenAI نیز در بیانیه‌ای این حمله را «بی‌سابقه» توصیف کرده و گفته این اتفاق «لحظه‌ای مهم برای ایمنی هوش مصنوعی» است. شرکت همچنین اعلام کرده با کمک مشاوران خارجی در حال بررسی حادثه است و در نهایت یک گزارش فنی منتشر خواهد کرد.

OpenAI در پاسخ به پرسش‌های رویترز گفته گزارش این رسانه «چندین نادرستی» دارد، اما توضیح بیشتری ارائه نکرده است. FBI نیز از اظهار نظر درباره این حادثه خودداری کرده است.

این اتفاق در زمانی حساس برای OpenAI رخ داده؛ شرکتی که پشت ChatGPT قرار دارد و مدیرانش در حال آماده‌سازی برای عرضه اولیه سهام احتمالی هستند؛ عرضه‌ای که می‌تواند منابع مالی لازم برای رشد آینده شرکت را تأمین کند.

سؤالات تازه درباره ایمنی عوامل خودگردان

سه کارشناس امنیت سایبری می‌گویند خروج عامل از کنترل، پرسش‌های جدیدی درباره سازوکارهای ایمنی OpenAI ایجاد می‌کند. مارلی اسمیت، متخصص ارشد بنیاد World Ethical Data Foundation، می‌پرسد:

«آیا یعنی عامل را بدون نظارت رها کرده بودند و نمی‌دانستند چه می‌کند؟ یا شاید می‌دانستند اما نمی‌توانستند جلویش را بگیرند؟ هر دو حالت خطرناک و نگران‌کننده است.»

نشانه‌های اولیه رفتار غیرعادی

این حادثه زمانی آغاز شد که OpenAI در حال آزمایش توانایی‌های امنیتی عاملی مبتنی بر دو مدل پیشرفته خود (GPT‑5.6 Sol و یک مدل منتشرنشده «توانمندتر») بود.

به‌گفته سه منبع، پیش از حمله نیز نشانه‌هایی از رفتار عجیب دیده شده بود؛ از جمله عاملی که یادداشت‌هایی برای نسخه‌های آینده خود گذاشته بود؛ یادداشت‌هایی شامل دستورالعمل‌هایی برای فرار از محدودیت‌های داخلی OpenAI. مواردی که در آزمایش‌های قبلی، سیستم‌های نظارتی قطع شده بودند.

رویترز نتوانسته تأیید کند این موارد به همان عامل سرکش مرتبط بوده‌اند یا خیر.

دو منبع می‌گویند OpenAI تا پس از 16 ژوئیه (زمانی که Hugging Face در یک پست وبلاگی اعلام کرد توسط «یک عامل هوش مصنوعی خودگردان» هک شده) متوجه نشده بود عامل خودش مسئول حمله است.

این یعنی حداقل یک هفته بین بروز رفتارهای مشکوک و شناسایی عامل توسط OpenAI فاصله بوده است.

در آخر هفته 18 تا 19 ژوئیه، کارکنان OpenAI با بررسی لاگ‌های داخلی متوجه شدند عامل از محیط آزمایشی خارج شده است. مشخص نیست چه چیزی باعث شد شرکت به سراغ این لاگ‌ها برود.

چهار منبع آگاه از روند آموزش مدل‌ها در OpenAI می‌گویند این شرکت معمولاً چندین ارزیابی مدل را هم‌زمان اجرا می‌کند؛ ارزیابی‌هایی با سرعت بالا و حجم عظیم داده که گاهی پیگیری آن‌ها برای کارکنان دشوار می‌شود.

چالش‌های عامل‌های هوش مصنوعی خودمختار

عوامل خودمختار یکی از بحث‌برانگیزترین حوزه‌های صنعت هوش مصنوعی هستند. طرفداران از «ارتش کارمندان مجازی» سخن می‌گویند که 24 ساعته کار می‌کنند و بهره‌وری را افزایش می‌دهند.

اما افزایش خودمختاری، خطر رفتارهای غیرمنتظره را نیز بالا می‌برد؛ به‌ویژه وقتی مدل‌ها برای رسیدن به هدف یا عبور از آزمون‌ها، تمایل به میان‌بُر زدن دارند.

جفری لَدیش از سازمان Palisade Research می‌گوید:

«این مدل‌ها دروغ می‌گویند، تقلب می‌کنند، هک می‌کنند.»

او معتقد است این حادثه باید بحثی جدی‌تر درباره میزان سرمایه‌گذاری شرکت‌های بزرگ در امنیت ایجاد کند؛ به‌ویژه در شرایطی که رقابت برای عرضه سریع‌ترین و قدرتمندترین مدل‌ها شدت گرفته است.

لَدیش می‌گوید:

«نظارت دولتی ضروری است؛ وگرنه اتفاق نخواهد افتاد.»

1: جعبه‌ابزار Hugging Face به کاربران این امکان را می‌دهد که بدون نیاز به پیش‌زمینه عمیق زیرساختی، مدل‌ها را به وب، برنامه‌های تلفن همراه یا سیستم‌های داخلی ارائه دهند. این پشتیبانی کامل، این پلتفرم را به ویژه برای استارت‌آپ‌ها و شرکت‌ها جذاب می‌کند.