طبق مطالعه جدیدی که در دانشگاه پردو آمریکا انجام شده، دقت پاسخ‌های ChatGPT به سوالات برنامه نویسی بسیار نگران‌کننده است. یافته‌های این مطالعه نشان می‌دهد که بیش از نیمی از پاسخ‌های ChatGPT نادرست بوده و قابلیت‌های زبانی پیشرفته آن موجب گمراه شدن ببسیاری از کاربران شده است.
تیم تحقیقاتی دانشگاه پردو در مطالعه خود، تعداد 517 سوال برنامه نویسی که از Stack Overflow استخراج شده بودند، از ChatGPT پرسیدند تا جنبه‌های مختلف پاسخ‌های این چت‌بات را از نظر درستی، سازگاری، جامع بودن و مختصر بودن مورد بررسی قرار دهند. نتایج مطالعه بسیار ناامیدکننده بود، چراکه 52 درصد پاسخ‌ها نادرست و 77 درصد آن‌ها به‌طور غیرضروری طولانی بودند. اما آنچه که باعث نگرانی محققان شده این است که زبان شیوا و روشمند ChatGPT باعث گمراهی کاربران شده است؛ به‌طوری‌که تنها در مواردی که خطاها بسیار واضح و آشکار بودند، کاربران متوجه پاسخ‌های نادرست شدند.
نکته دیگر اینکه، علی‌رغم پاسخ‌های نادرست ChatGPT به سوالات برنامه نویسی، تقریبا 40 درصد کاربران همچنان این چت‌بات را ترجیح می‌دهند. محققان دانشگاه پردو در توضیح پاسخ‌های نادرست ChatGPT گفته‌اند که بسیاری از اشتباهات این چت‌بات به‌خاطر ناتوانی آن در درک تفاوت‌های ظریف سوالات بوده است.
این مطالعه نشان می‌دهد که نسل فعلی هوش مصنوعی مولد ممکن است ابزار مناسبی برای برنامه نویسی نباشد. در واقع، به همین خاطر است که غول‌های فناوری مثل گوگل، اپل، آمازون و سامسونگ استفاده از هوش مصنوعی مولد را برای کدنویسی ممنوع کرده‌اند.
گفتنی است OpenAI در حال توسعه مدل زبانی پیشرفته GPT-5 است که احتمالا برخی از این خطاها را برطرف خواهد کرد. انتظار می‌رود این مدل باعث کاهش توهم هوش مصنوعی و بهبود قابلیت‌های چندوجهی متن، تصاویر، ویدیوها و صدا، افزایش کارایی محاسبات، حافظه و درک متنی شود. GPT-5 احتمالا بتواند تعاملات دقیق‌تری را ایجاد کند، حوزه‌های جدیدتری را توسعه دهد و پارامترهای بیشتری را در تولید محتوا استفاده کند.