تنها چند روز پس از انتشار مدل جدید و بسیار توانمند OpenAI، «یاکوب پاچوکی»، دانشمند ارشد این شرکت، خواستار کاهش سرعت توسعه هوش مصنوعی شده است.
پاچوکی در مطلبی مفصل که روز یکشنبه منتشر کرد، گفت نگران است که هیچکس برای پیامدهای ادامه رشد سریع هوش ماشین آماده نباشد. او توضیح داد OpenAI در داخل شرکت بهدنبال راهکارهای فنی برای کنترل بهتر عاملهای هوش مصنوعی قدرتمند است، اما به مداخلات گستردهتری نیاز است.
او بهطور مشخص درباره خطر عاملهای خودمختار هشدار داد؛ عاملهایی که ممکن است یاد بگیرند از نظارت انسان فرار و به سیستمهای کامپیوتری نفوذ کنند یا برای رسیدن به اهدافشان انسانها را فریب دهند.
پاچوکی خواستار تعیین «خطوط قرمز اجباری» شد و گفت این استانداردها میتوانند از سوی شبکهای از حسابرسان مستقل، نهادهای دولتی یا سازمانهای بینالمللی اجرا شوند. «سم آلتمن»، مدیرعامل OpenAI، نیز مطلب او را در ایکس بازنشر کرد و آن را «مطلبی مهم» خواند.
خطر فریب و باجگیری عاملهای هوش مصنوعی
پاچوکی میگوید عاملهای هوش مصنوعی در نفوذ به سیستمهای محافظتشده در اینترنت آزاد، به سطحی «فراتر از توانایی انسان» نزدیک شدهاند و قابلیت هک آنها زیرساختهای جهان را در معرض خطر قرار میدهد.
به گفته او، عاملها بهزودی ممکن است اهداف خودشان را، جدا از دستورهایی که اپراتورهای انسانی وارد میکنند، دنبال کنند و برای رسیدن به این اهداف به باجگیری یا مذاکره با انسانها روی بیاورند.
پاچوکی میگوید OpenAI عمدتاً «فرایند استدلال زنجیرهای» مدلها را برای بررسی نحوه منحرف شدن عاملها از مسیر درست و خارج شدن آنها از کنترل زیر نظر میگیرد. برای مثال، اگر عاملی با خود فکر کند «باید در این آزمون تقلب کنم»، OpenAI میتواند این فرایند را ببیند، درحالیکه خود عامل نمیداند افکارش قابل مشاهده است.
اما مدلهای جدیدتر در دستکاری فرایندهای استدلال خود بهتر شدهاند و همین موضوع میتواند مانع مشاهده افکار واقعی آنها توسط OpenAI شود. برخی مدلهای جدید حتی فرایند استدلال خود را بهصورت کلامی بیان نمیکنند. پاچوکی معتقد است این مسئله میتواند توسعه هوش مصنوعی را تا زمانی که پژوهشگران راهی برای نظارت مطمئن پیدا کنند، با گلوگاه مواجه سازد.
عاملها میتوانند توسعه خود را سریعتر کنند
مدلهای هوش مصنوعی بیشازپیش از طریق فرایندی که پاچوکی آن را «خودبهبوددهی بازگشتی ماشینی» مینامد، خودشان را بهبود میدهند. این فرایند میتواند توسعه هوش مصنوعی را با سرعت زیادی افزایش دهد.
بااینحال، پاچوکی هشدار میدهد شتاب دادن به توسعه هوش مصنوعی توسط خود هوش مصنوعی در کوتاهمدت خطراتی دارد و اقدام جمعی مناسبی برای جامعه پژوهشگران نیست. به گفته او، انسانها باید روشهای خلاقانهای برای نظارت بر فرایند خودبهبوددهی پیدا کنند یا با شرکتهای دیگر هوش مصنوعی برای کاهش هماهنگ سرعت توسعه همکاری داشته باشند تا بتوانند درباره اثربخشی این اقدامات اطمینان بیشتری پیدا کنند.
پاچوکی در پایان میگوید چالش اصلی خودکارسازی پژوهش هوش مصنوعی، صرفاً رسیدن به هدف نیست؛ بلکه رسیدن به آن به شکلی است که انسانها همچنان بخشی از فرایند بهبود باشند و آینده در اختیار بشریت باقی بماند.
