مسئله‌ی توقف
مسئله “توقف” نخستین بار در سال 1936 توسط آلن تورینگ ارائه شد . طرح این مسئله عنوان می‌کند که آیا ما می‌توانیم بدانیم یک برنامه کامپیوتری به نتیجه و پاسخ می‌رسد (متوقف می‌شود) و یا اینکه برای همیشه در تلاش برای یافتن پاسخ در یک حلقه‌ی ابدی باقی می‌ماند؟
محققان بر این باورند که هوشمندی بالا باید در حوزه‌ای متفاوت با آنچه که معمولاً در دسته‌ای تحت عنوان «اخلاقمندی در ربات‌ها» قرار می‌گیرد، مورد بررسی و مطالعه قرار گیرد. دلیل چنین مسئله‌ای این است که یک ابرهوش دارای قابلیت های چندوجهی است و بنابراین به طور بالقوه قادر است منابع متنوعی را برای دستیابی به اهدافی که برای انسان غیرقابل درک است، به کار گیرد؛ چه برسد به اینکه توسط انسان قابل کنترل باشد.
مسئله‌ی توقف و کنترل پذیری هوش مصنوعی
همانطور که تورینگ از طریق محاسبات دقیق ریاضی در مسئله توقف ثابت کرد، دانستن اینکه برخی برنامه‌ها متوقف می‌شوند یا نه امکان‌پذیر است ولی در حالت کلی برای همه برنامه های کامپیوتری این امکان وجود ندارد. این ما را به هوش مصنوعی بازمی‌گرداند، که در حالت فوق هوشمند می تواند هر برنامه کامپیوتری ممکن را به یکباره در حافظه خود نگه دارد. بنابراین هر برنامه ای که برای جلوگیری از آسیب رساندن هوش مصنوعی به انسان‌ها و نابودی جهان نوشته شده باشد، ممکن است به نتیجه برسد (متوقف شود) یا خیر و از نظر ریاضی در هر صورت غیرممکن است که بتوانیم از توقف برنامه ( به نتیجه رسیدن آن) کاملاً مطمئن باشیم؛ این به معنی کنترل ناپذیری هوش مصنوعی در حالت کلی است. لیاد راهون، دانشمند کامپیوتر، از موسسه توسعه انسانی ماکس پلانک آلمان در ژانویه 2012 گفت: «در واقع، این باعث می شود که الگوریتم مهار عملا غیرقابل استفاده باشد.»
تهیه و تنظیم: ارژنگ طالبی‌نژاد