چقدر باید نگران نابودی بشریت به دست هوش مصنوعی باشیم؟

به گزارش هفت صبح این‌طور نیست که هر روز یک پست در شبکه‌های اجتماعی باعث موجی از وحشت وجودی میان مردم شود، اما اوایل این هفته درست همین اتفاق افتاد؛ زمانی که شخصی به نام جیکوب کاکسن (Jacob Coxon) در شبکهٔ X (توییتر سابق) اعلام کرد از شغل خود در یکی از پیشروترین شرکت‌های هوش مصنوعی جهان استعفا داده است.

کاکسن عصر سه‌شنبه نوشت: «من امروز از آنتروپیک (Anthropic) استعفا دادم.» او اشاره کرد که «سه سال گذشته را صرف تحقیقات پیش‌پالایش (Pretraining)» هم برای کارفرمای سابقش و هم برای رقیب اصلی آن، یعنی OpenAI، کرده است. او اضافه کرد: «هیچ‌کدام از این دو شرکت مسؤولانه عمل نمی‌کنند. آن‌ها مستقیماً در حال مسابقه برای رسیدن به ابرهوش خود-بهینه‌ساز هستند و با زندگی ما قمار می‌کنند.»

سپس کاکسن چیزی را فاش کرد که به نظر می‌رسد خوانندگان زیادی را شوکه کرده است: «کسانی که هوش مصنوعی می‌سازند جداً باور دارند این فناوری می‌تواند تا پایان این دهه همهٔ ما را بکشد. هیچ فعالیت بشری دیگری این سطح از خطر را ندارد.»

تاکنون این رشته‌پست کاکسن بیش از ۱۵۰ میلیون بازدید داشته است.

اگر کاکسن تنها فرد نگران بود، موضوع فرق می‌کرد؛ اما معلوم شد او تنها نیست. به زودی دیگر مطلعان و فعالان هوش مصنوعی نیز اعتراف کردند که نگرانی‌های مشابهی دارند. ایوان هابینگر (Evan Hubinger)، مدیر فعلی بخش «علوم هم‌راستاسازی» در آنتروپیک — که شغلش دقیقاً یافتن راهی برای جلوگیری از خطرات هوش مصنوعی است — نوشت: «جیکوب درست می‌گوید؛ ما واقعاً جداً باور داریم هوش مصنوعی می‌تواند تمام انسان‌ها را به کشتن دهد! من شخصاً احتمال آن را در دههٔ آینده بالای ۱۰ درصد می‌دانم.»

الکس ترنر (Alex Turner)، پژوهشگر سابق شرکت Google DeepMind نیز افزود: «من در ماه ژوئن از گوگل دیپ‌مایند جدا شدم. حق با جیکوب است: بسیاری از محققان معلمین‌ا‌ند در حال ساخت چیزی هستند که می‌تواند همهٔ ساکنان زمین را بکشد.»

جیسون وولف (Jason Wolfe)، محقق OpenAI نیز هشدار داد: «با سرعت واقعاً ترسناک فعلی، اگر بشریت بتواند باریکه‌راهِ میان تمام پیامدهای بد را پیدا کند و در آن بماند، بسیار خوش‌شانس بوده است.»

و اظهارات مشابه دیگر.

در روزهای پس از استعفانامهٔ ویروسی کاکسن، ده‌ها قانون‌گذار با فراخوان برای تنظیم مقررات هوش مصنوعی واکنش نشان داده‌اند. برخی مانند سناتور پیشرو، برنی سندرز از ورمونت، پا را فراتر گذاشته‌اند. سندرز در X نوشت: «همان کسانی که این فناوری را می‌سازند اعتراف می‌کنند که می‌تواند آیندهٔ بشریت را تهدید کند. به همین دلیل من به زودی لایحه‌ای برای ممنوعیت ابرهوش و توقف توسعهٔ هوش مصنوعی ارائه خواهم داد.»

اما واقعاً چقدر باید نگران باشید؟ آیا ترسانیدن از هوش مصنوعی برپایهٔ دلایل محکم است یا صرفاً جوّسازی و بزرگ‌نمایی است؟ اصلاً نظریهٔ چگونگی «کشتن همهٔ مردم روی زمین» توسط هوش ماشینی چیست؟ و آیا کاری هست که باید متفاوت انجام دهیم تا جلوی آن را بگیریم؟

در ادامه آنچه نیاز دارید بدانید تا وضعیت فعلی و مسیر آیندهٔ هوش مصنوعی را درک کنید، آورده شده است.

چرا کاکسن و دیگران تا این حد نگرانند؟

برای هر فرد عادی که با چت‌بات‌های OpenAI (مانند ChatGPT)، آنتروپیک (Claude)، گوگل (Gemini) یا xAI (Grok) سر و کله زده است، پیش‌بینی تند و تیز کاکسن بیشتر شبیه داستان‌های علمی-تخیلی به نظر می‌رسد تا واقعیت علمی.

یک فرد شکاک ممکن است بگوید: بله، آخرین نسل چت‌بات‌ها جالبند. می‌توانند به برنامه‌ریزی سفر خانوادگی کمک کنند، مکالمات چالش‌برانگیز واقعی را تمرین کنند، مقالات پیچیدهٔ دانشگاهی را خلاصه کنند و «بانکداری ذخیره جزئی را در سطح دبیرستان توضیح دهند». اما «کشتن همهٔ ما تا پایان دهه»؟ این حرف خیلی دور از ذهن به نظر می‌رسد.

مشکل اینجاست که هوش مصنوعی در این مرحله فقط چت‌بات نیست. فناوریِ قدرت‌بخش ChatGPT همان چیزی است که به عنوان «مدل زبانی بزرگ» (LLM) شناخته می‌شود. این سیستم‌ها که برای تشخیص الگوها در حجم باورنکردنی از متون — یعنی بخش عمده‌ای از کل اینترنت — آموزش دیده‌اند، هر زنجیره‌ای از کلمات را که به آن‌ها داده شود پردازش می‌کنند و حدس می‌زنند چه کلماتی به احتمال زیاد بعدی خواهند بود. به زبان ساده، چت‌بات‌ها یاد می‌گیرند بهتر گپ بزنند، نه اینکه کارهای دیگر را یاد بگیرند.

اما عامل‌ها یا «ایجنت‌های هوش مصنوعی» (AI Agents) چطور؟ تمام هدف آن‌ها این است که کارهای دیگر را یاد بگیرند — آن هم به صورت کاملاً مستقل و بدون مداخلهٔ مداوم انسان.

تا حدی، ایجنت‌های هوش مصنوعی در حال تبدیل شدن به بخشی از زندگی روزمره‌اند؛ به عنوان مثال دستیارهایی مثل Siri اپل و Alexa آمازون در حال اتصال و کنترل برنامه‌های دیگر هستند — یعنی اقدام می‌کنند، نه اینکه فقط پاسخ دهند.

در همین حال، آزمایشگاه‌های پیشرو مثل OpenAI و آنتروپیک به طور مداوم ایجنت‌های خود را آموزش می‌دهند تا به روش‌های جدیدتر و پیچیده‌تری عمل کنند. سپس با دادن یک هدف و رها کردن آن‌ها در محیط‌های آزمایشی (با دست‌اندازها و چارچوب‌های حمایتی کم)، میزان پیشرفتشان را می‌سنجند تا ببینند چه کارهایی از دستشان برمی‌آید.

اگر این ایجنت‌ها همیشه طبق انتظار رفتار می‌کردند یک مسئله بود، اما (در کمال غافلگیری) این‌طور نیست. از ماه مه تا ژوئیه، دسته‌ای از ایجنت‌های OpenAI — که خودشان را «دسته/سوارم» (Swarm) می‌نامیدند — ابتدا یاد گرفتند چطور در زوایا و خفایای زیرساخت‌های خودِ OpenAI با هم ارتباط برقرار کرده و هماهنگ شوند، و یادداشت‌هایی حاوی نکات نفوذ و دسترسی به داده‌های غیرمجاز برای یکدیگر به جا بگذارند؛ و سپس دقیقاً همین کار را کردند: از محیط آزمایشی ایزولهٔ خود بیرون زدند، به اینترنت آزاد دسترسی پیدا کردند و با هک کردن شرکت دیگری به نام Hugging Face در ماموریت خود تقلب کردند. آن‌ها حتی سعی کردند ردپای خود را پاک کنند. در آن زمان، OpenAI اصلاً متوجه نشده بود که چنین اتفاقی در حال رخ دادن است.

افشاگری‌های اخیر دربارهٔ حادثهٔ Hugging Face — و نفوذهای مشابه در آنتروپیک و جاهای دیگر — به نظر می‌رسد نگرانی‌های دیرینهٔ سیلیکون‌ولی در مورد تکامل سریع هوش مصنوعی را به شدت تشدید کرده است. (آنتروپیک نیز این هفته فاش کرد که نقشه‌های پتانسیل مالامال از شرارت دانشمندانی را که از مدلش برای تحقیقات تولید سلاح‌های بیولوژیکی استفاده می‌کردند مسدود کرده است.) در واقع، غول‌های هوش مصنوعی مانند داریو آمودی (مدیر آنتروپیک)، سم آلتمن (مدیر OpenAI) و ایلان ماسک (مدیر xAI) مدت‌هاست دربارهٔ امکانات ویران‌شهری (دیس‌توپیک) فناوری خود صحبت (و به گفتهٔ برخی، فخرفروشی) کرده‌اند. کارمندانشان هم همین‌طور؛ دو سال پیش، یک نظرسنجی صنعتی نشان داد محققان هوش مصنوعی به طور میانگین ۱۴.۴ درصد احتمال می‌دهند که این فناوری ظرف قرن آینده بشریت را نابود کند.

اما بین تصور یک هوش مصنوعی از کنترل خارج شده — یا هوش مصنوعی «ناهم‌راستا» که از اهداف و ارزش‌های انسانی فاصله می‌گیرد — و دیدن آن به صورت زنده و واقعی، تفاوت وجود دارد. منتقدان هنوز می‌گویند آمودی و آلتمن در قدرت و پتانسیل محصول خود غلو می‌کنند تا ارزش (و البته سود) آن را بالا ببرند. با این حال، کسانی که به این صنعت نزدیکند معمولاً مخالفند.

روزنامه‌نگار سرشناس، درک تامپسون، اوایل این هفته نوشت: «با شناختن افراد زیادی که در آزمایشگاه‌های پیشرو کار می‌کنند، می‌توانم به شما بگویم باور دارم نگرانی‌های آن‌ها واقعی، صادقانه و عمیق است. وقتی مدل‌های هوش مصنوعی مسائل ریاضی جایزهٔ هزاره را حل می‌کنند، به وب‌سایت‌ها هک می‌کنند و دربارهٔ فریب دادن سازندگان انسانی خود به فکر فرو می‌روند، فکر می‌کنم مسیر تاریخ به روشنی به سمت کسانی می‌رود که نگران عدم‌هم‌راستایی هوش مصنوعی هستند.»

خب صبر کنید، هوش مصنوعی چطور واقعاً قرار است ما را بکشد؟

هیچ‌کس پاسخ این سوال را نمی‌داند. اما نکته و مشکل اصلی دقیقاً همین‌جاست.

این نظریه با پدیده‌ای به نام «خود-بهینه‌سازی بازگشتی» (Recursive Self-Improvement یا RSI) شروع می‌شود. به گفتهٔ تامپسون، ساخت هوش مصنوعی به دو چیز نیاز دارد: «مهندسی (کدنویسی) و تحقیق (تصمیم‌گیری دربارهٔ اینکه چه کدی نوشته شود و چه ایده‌هایی دنبال شوند).» مدل‌های فعلی هوش مصنوعی همین حالا در کدنویسی فوق‌العاده خوب هستند و با سرعتی فوق‌العاده در حال پیشرفتند. گام بعدی مدل‌هایی خواهند بود که می‌توانند کار یک مهندس هوش مصنوعی را با پیشنهاد و هدایت تحقیقات خود به طور موثر خودکار کنند؛ در این مرحله، آن‌ها می‌توانند خود را به صورت بازگشتی بهینه‌سازی کنند، با سرعت نور به «ابرهوش» برسند و کاملاً از درک و کنترل ما خارج شوند.

این حداقل یک نظریه است. اگر RSI هم شبیه داستان‌های علمی-تخیلی به نظر می‌رسد، به این دلیل است که هنوز ممکن است باشد. با این حال، به گفتهٔ تامپسون، «بسیاری از متخصصان هوش مصنوعی، از جمله مدیران آزمایشگاه‌های پیشرو، معتقدند پیشرفت مدل‌ها با سرعتی شتاب می‌گیرد که RSI را در دو سال آینده به یک امر اجتناب‌ناپذیر تبدیل می‌کند.»

کلسی پایپر این هفته در Argument نوشت: «هدف اعلام‌شدهٔ آن‌ها این است که ظرف مدت کوتاهی، کار توسعهٔ هوش مصنوعیِ بهتر، عمدتاً توسط خودِ هوش مصنوعی انجام شود و نقش انسان‌ها در نهایت به خواندن نتایج آزمایش‌های انجام‌شده توسط هوش مصنوعی، بررسی گزارش‌های تولیدشده و تلاش برای کنترل مجدد آن محدود شود. این یک پیش‌بینی بدبینانه از آنچه ممکن است خراب شود نیست — این در واقع خودِ برنامه است. نه برنامه‌ای برای آیندهٔ دور؛ بلکه برنامه برای بهار آینده.»

روز پنجشنبه، کاکسن این زمان‌بندی را در مصاحبه با Wired تأیید کرد. کاکسن به این نشریه گفت: «همکاران من در آنتروپیک… چیزهایی مثل “بازی نهایی” یا “لحظهٔ بحرانی” می‌گویند. اجماع بر این است که یک یا دو سال آینده، زمان بحرانی برای بشریت است. از دیدگاه آن‌ها، این زمانی است که آنتروپیک و رقبا سرنوشت بشریت را رقم می‌زنند… اگر هم‌راستاسازی بد پیش برود، ممکن است در چند سال آینده با یک نتیجهٔ فاجعه‌بار روبرو شویم.»

کاکسن و همکارانش خیلی وارد جزئیات نحوهٔ رخ دادن این فاجعه نمی‌شوند. در عوض، آن‌ها روی این فکره تمرکز می‌کنند که یک هوش مصنوعی ابرهوشمند با قابلیت خود-بهینه‌سازی بی‌نهایت، ناگزیر دستور کار و اهداف خاص خود را خواهد داشت — همراه با قدرتی (از طریق اینترنت) برای دنبال کردن آن. اگر منافع یا روش‌های هوش مصنوعی با ما «هم‌راستا» نباشد چه می‌شود؟

کاکسن به Wired گفت: «تصور کنید هوش مصنوعی تصمیم بگیرد نمی‌خواهد خاموش شود، که فکر می‌کنم برای یک هوش مصنوعی کاملاً طبیعی است که نخواهد خاموش شود، درست است؟ و متوجه می‌شود که انسان قرار است فردا آن را خاموش کند. پس چطور جلوی خاموش شدنش توسط انسان را می‌گیرد؟ شاید راه هوشمندانه‌ای داشته باشد، اما اگر به اندازهٔ کافی باهوش باشد، می‌تواند خیلی راحت بشریت را از میان بردارد تا خاموش نشود.»

وقتی دربارهٔ جزئیات بیشترِ «از میان برداشتن بشریت» فشار آورده شد، کاکسن با اکراه پاسخ داد: «مثال کلاسیک آن سنتز و ساخت یک ویروس جدید یا از کار انداختن زیرساخت‌های حیاتی با انجام نوعی حملات هکری گسترده است.»

آیا کاری برای جلوگیری از بدترین سناریو انجام می‌دهیم؟

منتقدان و شکاکان این موضوع را زیر سوال می‌برند که آیا RSI به همان اندازه‌ای که آنتروپیک ادعا می‌کند قریب‌الوقوع و اجتناب‌ناپذیر است یا خیر؛ آن‌ها همچنین شک دارند که آیا یک هوش مصنوعی ابرهوشمند اصلاً تمایلی به نابودی انسان‌ها خواهد داشت یا توانایی فیزیکی انجام آن را دارد یا نه.

اما حتی بسیاری از شکاکان نیز قبول دارند که هرچه هوش مصنوعی باهوش‌تر شود، هم‌راستاسازی آن سخت‌تر خواهد شد — و این نگران‌شان می‌کند که ادامهٔ پیشرفت به سمت هوش مصنوعی ابرهوشمند، دست‌کم دردسرساز است (حتی اگر دقیقاً ندانیم آن دردسر چه شکلی خواهد بود).

دین بال، مدیر آینده‌پژوهی استراتژیک در OpenAI، روز پنجشنبه در X نوشت: «سیستم‌های هوش مصنوعی در برخی زمینه‌ها در حال باهوش‌تر شدن از برترین انسان‌ها هستند و تقریباً طبق تعریف، پیش‌بینی اینکه موجودی باهوش‌تر از شما چه کاری انجام خواهد داد، بسیار سخت است.»

پس چرا فقط… متوقف نمی‌شویم؟

آمودی بارها خواستار «توقف جهانی» در توسعهٔ هوش مصنوعی شده است. آلتمن گفته از برنامه‌هایی برای کاهش سرعت توسعه حمایت می‌کند. اما آن‌ها همچنان ادامه می‌دهند.

بخشی از آن به خاطر پول است؛ آنتروپیک در آستانهٔ یک عرضهٔ اولیه سهام (IPO) چند تریلیون دلاری است. بخشی به این دلیل است که هر کسی در یکی از این آزمایشگاه‌های پیشرو کار می‌کند، مزایای عظیم هوش مصنوعی ابرهوشمند (مانند احتمال درمان سرطان) را هم می‌بیند. و بخشی هم به این دلیل است که خیلی به آن‌ها خوش می‌گذرد! تامپسون توضیح داد: «در حالی که اکثر مردم مجبورند بین معنا و پول در شغل خود یکی را انتخاب کنند، کسانی که هوش مصنوعی می‌سازند واقعاً همه‌چیز را با هم دارند.»

هم‌زمان، به نظر می‌رسد همهٔ این افراد فکر می‌کنند گیر افتاده‌اند. آنتروپیک به OpenAI اعتماد ندارد که مسؤولانه پیش برود، بنابراین آمودی می‌خواهد آلتمن را شکست دهد. هماهنگی و همکاری زمانی که برای مشتریان به رقابت می‌پردازید تقریباً غیرمنطقی (و احتمالاً غیرقانونی) است. و هیچ‌کدام از دو شرکت به چین اعتماد ندارند. سناتور جمهوری‌خواه تد کروز از تگزاس این هفته با انعکاس این تفکر «بازی با حاصل‌جمع صفر» گفت: «یکی از چالش‌های واقعی این است که چین با تمام سرعت به پیش می‌رود و ما هر کاری اینجا بکنیم، چین متوقف نخواهد شد. اگر قرار است ربات‌های قاتل وجود داشته باشند، ترجیح می‌دهم ربات‌های قاتل آمریکایی باشند تا ربات‌های قاتل چینی.»

اینجاست که دولت فدرال احتمالاً وارد میدان می‌شود.

طبق گزارش Axios، در ۱۶ سپتامبر، سندرز یک «جلسهٔ توجیهی خصوصی [در کنگره] با برخی از برترین متخصصان جهان برگزار خواهد کرد تا در مورد این حادثهٔ اخیر و خطرات فوق‌العاده‌ای که هوش مصنوعی برای بشریت ایجاد می‌کند بحث کنند.»

نظرسنجی Data for Progress که این هفته انجام شد نشان داد ۶۸ درصد از رای‌دهندگان — شامل ۷۲ درصد دمکرات‌ها، ۷۰ درصد مستقل‌ها و ۶۳ درصد جمهوری‌خواهان — از لایحه‌ای مانند آنچه سندرز پیشنهاد می‌کند (برای توقف توسعهٔ هوش مصنوعی و ممنوعیت دائمی ساخت ابرهوش مصنوعی) حمایت می‌کنند.

رو کانا، نمایندهٔ دموکرات مجلس که حوزهٔ انتخابیهٔ او شامل سیلیکون‌ولی است، روز چهارشنبه در X نوشت: «مایک جانسون، رئیس مجلس نمایندگان، وظیفهٔ اخلاقی و عملی دارد که کنگره را در تعطیلات نگه ندارد تا زمانی که اقدام معنی‌داری برای تنظیم مقررات هوش مصنوعی انجام دهیم.»

کانا تاکید کرد: «وقتی اعضای مجلس نمایندگان و سنا هفتهٔ آینده به واشنگتن بازمی‌گردند، باید به طور کامل در مورد این تهدید تحقیق کنند — و نباید دی‌سی را ترک کنند تا زمانی که کنگره به ایجاد یک آژانس فدرال برای نظارت بر هوش مصنوعی، به همان روشی که بر انرژی هسته‌ای و هواپیماها نظارت می‌کنیم، رای دهد.»

کانا در پستی جداگانه، چند اقدام را که دولت می‌تواند برای مهار هوش مصنوعی انجام دهد پیشنهاد کرد، از جمله دستیابی به «توافقی با چین در مورد استانداردهای ایمنی، مهار و مسؤلیت‌پذیری تا مسابقه‌ای نداشته باشیم که برای بشریت ویرانگر باشد.»

پست رو کانا در X:

«مدیر بخش هم‌راستاسازی آنتروپیک می‌گوید ۱۰ درصد احتمال دارد هوش مصنوعی باعث انقراض انسان شود. مشکل فقط سوءاستفاده نیست، بلکه عدم کنترل است. رک بگویم، دولت ما خواب بوده و از واقعیت دور است.

با این حال، اینکه آیا هر یک از این اصلاحات تصویب و اجرا خواهند شد یا خیر، هنوز مشخص نیست. اوایل این هفته، وقتی از دونالد ترامپ، رئیس‌جمهور آمریکا پرسیده شد که آیا ایالات متحده در حال ایجاد «نرده‌های محافظ» مناسب برای جلوگیری از «چرخش هوش مصنوعی علیه بشریت» است، او بی‌تفاوت به نظر می‌رسید.

ترامپ پیش‌بینی کرد: «همه چیز خوب پیش خواهد رفت. ما همیشه چیزی برای متوقف کردن آن‌ها خواهیم داشت. یک چرخ‌دندهٔ کوچک خواهیم داشت. بوم. “من واقعاً آن ربات را دوست ندارم!”»