لیکوال: آذریون متین
ولې باید د دغو سناریوګانو په اړه فکر وکړو؟
په وروستیو کلونو کې، د مصنوعي ځیرکتیا له چټک پرمختګ سره هممهاله، په نړیواله کچه د دې ټکنالوژۍ د شته او احتمالي خطرونو په اړه خبرداریونه او جدي بحثونه هم زیات شوي دي ملګرو ملتونو، نړیوالو علمي بنسټونو، د مصنوعي ځیرکتیا مخکښو څېړونکو او په دې برخه کې مخکښو شرکتونو د دغو خطرونو د بېلابېلو اړخونو په اړه خبرداری ورکړی دی.
د دغو اندېښنو یوه برخه له هغو خطرونو سره تړاو لري چې همدا اوس هم شته؛ لکه له مصنوعي ځیرکتیا ناوړه ګټه اخیستنه، د جعلي معلوماتو تولید او خپرول، سایبري بریدونه او د دې ټکنالوژۍ د ناسمې کارونې نور ډولونه چې پر خلکو او ټولنې واقعي اغېزې لرلای شي. له اوسنیو خطرونو سره یوځای، څېړونکي د راتلونکي ځینو فرضي سناریوګانو په اړه هم بحث کوي؛ داسې سناریوګانې چې پکې مصنوعي ځیرکتیايي سیستمونه ښايي ډېرې زیاتې وړتیاوې او خپلواکي ترلاسه کړي او که د هغوی د کنټرول لپاره مناسب میکانیزمونه موجود نه وي، ډېرې پراخې پایلې رامنځته کړي.
په ځینو دغو فرضي سناریوګانو کې حتا دا پوښتنه هم مطرح شوې چې که یو ډېر پیاوړی مصنوعي ځیرکتیايي سیستم د انسان له کنټروله ووځي، ایا کېدای شي د انسانانو لپاره پر یوه ګواښ بدل شي او په پای کې د بشریت بقا هم له خطر سره مخ کړي؟ البته د دغو سناریوګانو مطرح کېدل په دې معنا نه دي چې حتمي به رامنځته کېږي؛ ځکه ډېری یې لا هم یوازې فرضیې او د څېړنې موضوعات دي او د هغوی د رامنځته کېدو د احتمال په اړه د څېړونکو نظرونه سره توپیر لري.
خو که دغه سناریوګانې حتمي نه وي، ولې باید په اړه یې فکر وکړو؟
دلیل یې دا دی چې د پیاوړو ټکنالوژیو د احتمالي خطرونو د ارزونې پر مهال یوازې د یوه خطر د رامنځته کېدو احتمال مهم نه دی، بلکې د هغه د احتمالي پایلو اندازه هم اهمیت لري که د یوه سناریو د رامنځته کېدو احتمال نامعلوم یا کم وي، خو که رامنځته شي، ډېرې پراخې او ویجاړوونکې پایلې ولري، نو منطقي ده چې تر داسې پړاو ته له رسېدو مخکې د هغه او د مخنیوي او کنټرول پر لارو چارو فکر وشي.
له همدې امله، د مصنوعي ځیرکتیا د اوسنیو او راتلونکو احتمالي خطرونو په اړه د راپورته شویو خبرداریو د ښه درک لپاره، په دې لیکنه کې پنځه فرضي سناریوګانې څېړل شوې دي چې هره یوه ښيي، په ځانګړو شرایطو کې د مصنوعي ځیرکتیا د وړتیا او خپلواکۍ زیاتوالی څنګه د انسان د کنټرول لپاره جدي ننګونې رامنځته کولای شي.
لومړۍ سناریو: که د مصنوعي ځیرکتیا عامل هدف ته د رسېدو لپاره یوه ناڅرګنده لار غوره کړي، څه به پېښ شي؟
د دې سناریو له پیل مخکې باید یوه مهمه توپیر روښانه کړو. د مصنوعي ځیرکتیا عاملونه له عادي چټبوټونو سره توپیر لري. کله چې د مصنوعي ځیرکتیا یوه عامل ته هدف وټاکل شي، هغه کولای شي هدف ته د رسېدو لپاره څو پړاوونه په خپله پلان کړي او د اړینو لارو او وسایلو په اړه پرېکړه وکړي له همدې امله، انسان ښايي مخکې له مخکې ټولې هغه لارې ونه شي اټکلولای چې عامل به د یوه هدف د ترلاسه کولو لپاره غوره کړي.
لومړۍ سناریو هم له همدې ځایه پیلېږي. که یوه مصنوعي ځیرکتیايي عامل ته هدف وټاکو، خو اړین محدودیتونه مو په سمه توګه نه وي مشخص کړي، یا حتا د محدودیتونو له ټاکلو سره سره د هغه په طرحه او پلان کې داسې تشه پاتې وي چې موږ ورته متوجه شوي نه یو، څه به پېښ شي؟ کېدای شي عامل هدف ته د رسېدو لپاره داسې لاره غوره کړي چې د ده له نظره منطقي او اغېزمنه وي، خو د انسان له غوښتنو، ارزښتونو او محدودیتونو سره سمون ونه لري له همدې امله، د مصنوعي ځیرکتیا د یوه عامل د فعالیت د ارزونې پر مهال باید یوازې دې ته ونه ګورو چې ټاکلي هدف ته رسېدلی دی که نه؛ بلکې باید دا هم وګورو چې هدف ته د رسېدو لپاره یې کومه لاره کارولې ده.
د دې موضوع د روښانه کولو لپاره، د ورځني ژوند یوه بېلګه راوړم. البته دا یوازې د موضوع د ښه درک لپاره تشبیه ده. فرض کړئ لس مېلمانه لرو او پخلي ته وایو: «د دغو لسو کسانو لپاره کافي خواړه تیار کړه.» هدف روښانه دی؛ باید د لسو کسانو لپاره کافي خواړه برابر شي. خو اوس فرض کړئ چې په پخلنځي کې موجود خوراکي توکي د لسو کسانو لپاره کافي نه دي. یو انسان پخونکی په داسې حالت کې ښايي پوه شي چې باید د کور له خاوند څخه وپوښتي چې څه وکړي، نور خوراکي توکي برابر کړي، یا ووایي چې له شته امکاناتو سره دا کار نه شي کولای.
خو فرض کړئ یوه مصنوعي ځیرکتیايي عامل مو داسې طرحه کړی چې هدف ته رسېدل ورته تر ټولو مهم وي او اړین محدودیتونه مو هم په سمه توګه نه وي ورته ټاکلي. په دې حالت کې ښايي عامل هدف ته د رسېدو لپاره داسې لاره غوره کړي چې موږ یې تمه نه لرو؛ مثلاً د کور له خاوند څخه د پوښتنې پر ځای خپله پرېکړه وکړي چې اړین خوراکي توکي له ګاونډي کور څخه بې اجازې راوړي، یا بله داسې لاره پیدا کړي چې د ده له نظره هدف پرې ترلاسه کېږي. په دې بېلګه کې عامل اړینه نه ده چې د زیان رسولو نیت ولري؛ ښايي یوازې داسې لاره یې غوره کړې وي چې د ټاکل شوي معیار له مخې هغه هدف ته رسوي.
دا موضوع د مصنوعي ځیرکتیا په څېړنو کې د «Specification Gaming» یا د ټاکل شوي معیار پر بنسټ عمل تر عنوان لاندې څېړل کېږي. په دې حالت کې سیستم داسې عمل کوي چې ټاکل شوی معیار پوره کړي، خو د هغه د ترلاسه کولو لپاره داسې طریقه کاروي چې طرحه کوونکي له پیل څخه په پام کې نه وه نیولې. دا یوازې هغه وخت نه پېښېږي چې انسان سیستم ته هېڅ محدودیت نه وي ټاکلی. ځینې وخت انسان مشخص محدودیتونه ټاکي او فکر کوي چې ټولې ناوړه لارې یې تړلې دي، خو د هدف په تعریف یا هغه چاپېریال کې چې سیستم پکې فعالیت کوي، یوه نااټکل شوې لار پاتې وي او سیستم له هماغې لارې څخه د هدف لپاره استفاده وکړي.
په پایله کې، سیستم ښايي د ټاکل شوي معیار له مخې بریالی وي، خو هغه طریقه چې د هدف لپاره یې غوره کړې وي، د انسان له غوښتنې سره سمون ونه لري. د دغه ډول چلند بېلګې د مصنوعي ځیرکتیا په ازمایښتي چاپېریالونو کې لیدل شوې او څېړل شوې دي؛ د بېلګې په توګه، په ځینو ازموینو کې عامل د طرحه کوونکي د مطلوب کار پر ځای بله لاره پیدا کړې چې له هغې لارې یې ټاکل شوې نمره ترلاسه کړې ده.
د دې موضوع اهمیت هغه وخت لا زیاتېږي چې مصنوعي ځیرکتیايي عامل وکولای شي په خپلواکه توګه پلان جوړ کړي، له بېلابېلو وسایلو استفاده وکړي او څو پړاوونه د انسان له مستقیمې مداخلې پرته ترسره کړي. په داسې شرایطو کې، د عامل ازمویل په بېلابېلو چاپېریالونو کې اهمیت پیدا کوي؛ ځکه کېدای شي یو چلند په ساده ازمایښتي شرایطو کې څرګند نه شي، خو د شرایطو له بدلېدو سره هدف ته د رسېدو بله لار عامل ته برابره شي. له همدې امله، مخکې له دې چې مهمې دندې داسې سیستمونو ته وسپارل شي، باید د هغوی چلند په بېلابېلو شرایطو کې وڅېړل شي او معلومه شي چې ټاکل شوي محدودیتونه په عملي توګه هم مراعاتوي که نه.
لومړۍ سناریو په پای کې د مصنوعي ځیرکتیايي عاملونو د کنټرول په اړه یوه اساسي پوښتنه مطرح کوي: کله چې یو سیستم د یوه هدف د ترلاسه کولو لپاره خپله د کار کولو لاره او طریقه ټاکلای شي، څنګه ډاډ ترلاسه کولای شو چې د هغه انتخابونه به د انسان د غوښتنو او محدودیتونو په چوکاټ کې پاتې شي؟
همدا پوښتنه موږ بلې سناریو ته رسوي؛ هلته موضوع دا ده چې مصنوعي ځیرکتیايي عامل د هغه هدف په اړه څه ډول برداشت کوي چې انسان ورته ټاکي. که انسان مصنوعي ځیرکتیا ته یو هدف وټاکي، ایا ډاډ ترلاسه کېدای شي چې سیستم به هماغه څه تعقیبوي چې انسان یې له دغه هدف څخه غواړي؟
دویمه سناریو: که مصنوعي ځیرکتیا د انسان هدف هغسې درک نه کړي لکه څنګه چې انسان یې غواړي، څه به پېښ شي؟
په لومړۍ سناریو کې هدف روښانه و او ستونزه له هغې لارې سره تړاو درلود چې عامل یې هدف ته د رسېدو لپاره غوره کوي. خو په دویمه سناریو کې خپله د هدف معنا مطرح ده. انسان ښايي د یوه هدف د ټاکلو پر مهال په ذهن کې مشخصه موخه ولري، خو سیستم هماغه هدف په بله معنا تعبیر کړي او د خپل برداشت له مخې یې عملي کړي.
د دې موضوع د روښانه کولو لپاره فرض کړئ پخلي ته وایو: «د لسو کسانو لپاره داسې خواړه تیار کړه چې ټول خوښ شي.» زموږ مطلب ښايي دا وي چې خواړه کافي، سالم او خوندور وي او مېلمانه ترې خوند واخلي. خو پخونکی ښايي له «ټول خوښ شي» څخه بله معنا واخلي او فکر وکړي چې باید د هر مېلمه غوښتنه په جلا توګه پوره کړي؛ نو د هر کس د خوښې خواړه تیاروي. په پایله کې، ډېر وخت، خوراکي توکي او پیسې مصرفېږي، حال دا چې زموږ له پیل څخه داسې موخه نه وه. په دې بېلګه کې ستونزه د پخلي په ناتوانۍ کې نه ده؛ بلکې د هدف د برداشت په توپیر کې ده.
په یوه پخلنځي کې ښايي دا لویه ستونزه نه وي، خو په هغو سیستمونو کې چې پېچلې او مهمې دندې ترسره کوي، د پام وړ اهمیت لرلای شي.
د مصنوعي ځیرکتیا په اړه هم کېدای شي انسان او سیستم له یوه هدف څخه یو شان برداشت ونه لري. په دې حالت کې سیستم اړینه نه ده چې له امر څخه سرغړونه وکړي، بلکې ښايي د هدف د خپل برداشت له مخې عمل وکړي. په دې برخه کې یوه اړونده بېلګه په مصنوعي ځیرکتیايي څېړنو کې د Goal Misgeneralization یا «د هدف ناسم تعمیم» په نوم یادېږي. په دې حالت کې سیستم هغه څه چې د روزنې پر مهال یې زده کړي، نویو شرایطو ته هم تعمیموي، خو هغه هدف چې ورسره یې زده کړی وي، ښايي په نویو شرایطو کې په بله بڼه څرګند شي په پایله کې، سیستم کولای شي کار په سمه توګه ترسره کړي، خو په نویو شرایطو کې داسې چلند وښيي چې د طرحه کوونکي له تمه شوي هدف سره سمون ونه لري. دا پدیده د زدهکوونکو سیستمونو پر عملي څېړنو کې هم ارزول شوې ده.
دا بېلګه، یعنې «د هدف ناسم تعمیم»، د مصنوعي ځیرکتیا د همغږۍ (AI Alignment) له پراخ بحث سره تړاو لري. له همغږۍ څخه موخه دا ده چې د سیستم هدف او چلند له هغه څه سره برابر وي چې انسان یې غواړي. برعکس، «ناهمغږي (Misalignment)» هغه وخت مطرح کېږي چې د سیستم هدف یا چلند د انسان له غوښتنې سره همغږی نه وي ناهمغږي اړینه نه ده چې د انسان پر وړاندې د سیستم د قصدي مخالفت په معنا وي؛ کېدای شي عامل د هدف د ناسم برداشت له امله داسې چلند وکړي چې انسان یې نه غواړي.
هرڅومره چې مصنوعي ځیرکتیايي سیستمونه پیاوړي او خپلواک کېږي، د دغو توپیرونو پېژندل لا زیات اهمیت پیدا کوي. له همدې امله، سیستم باید په بېلابېلو شرایطو کې وازمویل شي، څو معلومه شي چې ایا په نویو شرایطو کې هم د هغه برداشت او چلند د انسان له مطلوب هدف سره سمون خوري که نه.
خو حتا که یو سیستم د ازموینې پر مهال او د انسان تر څارنې لاندې مطلوب چلند وښيي، یوه مهمه پوښتنه لا هم پاتې کېږي: ایا ډاډ ترلاسه کولای شو چې په هغو شرایطو کې به هم هماغه چلند وکړي چې پوه شي د انسان تر څارنې لاندې دی؟
دا پوښتنه موږ درېیمې سناریو ته رسوي؛ هلته د انسان د څارنې او د دې څارنې پر وړاندې د سیستم د احتمالي غبرګون موضوع مطرح کېږي.
درېیمه سناریو: که مصنوعي ځیرکتیا پوه شي چې تر څارنې لاندې ده، څه به پېښ شي؟
په دوو مخکینیو سناریوګانو کې مو هدف ته د رسېدو لپاره د لارې د انتخاب او د انسان د مطلوب هدف او هغه هدف ترمنځ د توپیر په اړه خبرې وکړې چې سیستم یې تعقیبوي. په دې سناریو کې تمرکز د انسان د څارنې پر رول او د سیستم پر چلند د هغې د احتمالي اغېز دی.
فرض کړئ موږ د یوې مشخصې دندې د ترسره کولو لپاره یو مصنوعي ځیرکتیايي عامل ازمویو او انسانان یې فعالیت ارزوي. که عامل وکولای شي تشخیص کړي چې د ازموینې او ارزونې په حال کې دی، ایا ډاډ ترلاسه کولای شو چې د ارزونې پر مهال یې ښودل شوی چلند به په واقعي شرایطو او له څارنې پرته هم هماغسې وي؟
د موضوع د ښه درک لپاره یو ځل بیا د پخلي بېلګې ته راګرځو. فرض کړئ د یوه رستورانت خاوند غواړي ډاډ ترلاسه کړي چې پخونکی تل روغتیايي اصول مراعاتوي. هغه اعلانوي چې په ځینو ورځو کې به په ناڅاپي ډول پخلنځی وڅاري. پخونکی پوهېږي چې هره شېبه ممکنه ده تلاشي یا څارنه وشي او د رستورانت د خاوند د حضور پر مهال په ډېر احتیاط چلند کوي. خو لا هم دا پوښتنه پاتې ده چې ایا هغه به هغه وخت هم همداسې چلند کوي چې پوه شي څوک یې نه ویني؟
د انسان په اړه موږ معمولاً د اوږدې تجربې او مشاهدې له لارې د داسې چلند په اړه قضاوت کولای شو؛ خو د یوه پېچلي مصنوعي ځیرکتیايي سیستم په اړه د دې موضوع ارزونه ډېره ستونزمنه ده؛ ځکه سیستم ښايي په بېلابېلو شرایطو کې متفاوت چلند وکړي او انسان تل ونه شي کولای چې د دغو توپیرونو دقیق دلیل تشخیص کړي.
په وروستیو کلونو کې د مصنوعي ځیرکتیا څېړونکو دا موضوع د «Evaluation Awareness» یا د ارزونې پوهاوي په څېر مفاهیمو له لارې څېړلې ده په ځینو څېړنیزو ازموینو کې له پرمختللو ماډلونو غوښتل شوي چې دندې ترسره کړي او ورسره دا هم ارزول شوي چې ایا ماډل تشخیص کولای شي چې د خوندیتوب یا همغږۍ تر ارزونې لاندې دی که نه د بېلګې په توګه، د «Apollo Research» څېړونکو په یوه څېړنیز راپور کې د «Claude Sonnet 3.7» ماډل په اړه ویلي چې دغه ماډل په ځینو ازموینو کې توانېدلی چې تشخیص کړي د ارزونې په حال کې دی. خو خپله څېړونکو هم ټینګار کړی چې دا یوه لومړنۍ او لا د پراختیا په حال کې څېړنیزه پایله ده او د دغو ازموینو پایلې د ازموینې پر شرایطو او د هغې د طرحې پر څرنګوالي پورې تړلې دي؛ له همدې امله، یوازې له دغو پایلو څخه دا نه شي ثابتېدای چې ماډلونه په عمومي توګه او په ټولو شرایطو کې پوهېږي چې کله تر ارزونې لاندې دي.
دا موضوع د «همغږۍ» په څېړنو کې کله ناکله د Scheming یا «پټه طرحه» په مفهوم هم څېړل کېږي. په دې برخه کې له دې اصطلاح څخه موخه هغه سناریو ده چې یو سیستم د خپل هدف د ترلاسه کولو لپاره په ظاهره مشخص چلند وښيي، خو په نورو شرایطو کې متفاوت چلند وکړي. دا یو څېړنیز مفهوم دی او باید داسې ونه ګڼل شي چې د نن ورځې مصنوعي ځیرکتیايي سیستمونه په عمومي ډول انسانان غولوي.
د ۲۰۲۶ کال د سپټمبر په ۱۶مه، «OpenAI» هم د ماډلونو د غیرمتوقعو او اندېښمنوونکو چلندونو د راپور ورکولو او ارزونې لپاره یو چوکاټ خپور کړ. دې شرکت ویلي چې په تېرو شپږو میاشتو کې یې د دغه ډول چلندونو شپږ موارد څېړلي دي؛ په دغو مواردو کې د معلوماتو پټول، د یوه چلند د دوام لپاره د لارښوونو جوړول او له اجازې پرته د ځینو اقداماتو ترسره کول شامل دي خو «OpenAI» ټینګار کړی چې دغه لومړني راپورونه بشپړ نه دي او باید په ماډلونو کې د ټولو چلندونو یا د دغو مواردو د پراخوالي استازیتوب کوونکي ونه ګڼل شي.
د دې موضوع اهمیت په دې کې دی چې په یوه مشخص چاپېریال کې د یوه سیستم ازمویل اړینه نه ده چې په نورو شرایطو کې د هغه ټول احتمالي چلندونه وښيي. له همدې امله، د لا پیاوړو سیستمونو لپاره یوازې یو ځل ازموینه بسنه نه کوي؛ بلکې باید په بېلابېلو شرایطو او د بېلابېلو طریقو له لارې وارزول شي او تر ممکنه حده وڅېړل شي چې چلند یې د ازموینې له شرایطو سره تړلی نه وي.
خو حتا که وکولای شو د سیستم چلند په بېلابېلو شرایطو کې وارزوو، یوه بله پوښتنه پاتې کېږي: که همدا سیستم وکولای شي په خپل فعالیت او جوړښت کې هم بدلون راولي، څه به پېښ شي؟
څلورمه سناریو: که مصنوعي ځیرکتیا وکولای شي خپل ځان ښه کړي، څه به پېښ شي؟
په درېیمه سناریو کې پوښتنه دا وه چې که یو پیاوړی سیستم وکولای شي د انسان د ازموینې او څارنې شرایط تشخیص کړي، نو څنګه ډاډ ترلاسه کولای شو چې په واقعي شرایطو کې به یې چلند څنګه وي خو اوس فرض کړئ چې دغه سیستم د پېچلو دندو د ترسره کولو ترڅنګ وکولای شي خپل فعالیت او جوړښت هم وارزوي او د هغه په ښه کولو کې ونډه واخلي. په داسې شرایطو کې مهمه پوښتنه دا ده چې که مصنوعي ځیرکتیا د خپل پرمختګ یوه برخه پخپله ترسره کړای شي، دا بهیر تر کومه ځایه رسېدای شي؟
د دې موضوع د روښانه کولو لپاره فرض کړئ یو ډېر تکړه پخونکی نه یوازې ښه خواړه پخولای شي، بلکې خپله کاري طریقه، وسایل او روزنه هم بدلولای شي. هغه هر ځل د کار لپاره یوه غوره لاره پیدا کوي او له همدې نوې لارې څخه د راتلونکو بدلونونو لپاره استفاده کوي که دا بهیر دوام ومومي، نو موږ نور یوازې له یوه داسې پخونکي سره مخ نه یو چې مهارت یې زیات شوی وي؛ بلکې له داسې بهیر سره مخ یو چې پکې خپله کاري طریقه هم په پرلهپسې توګه بدلېږي او همدا موضوع د انسان لپاره د هغه ارزونه، څارنه او کنټرول ستونزمنولای شي.
د مصنوعي ځیرکتیا په څېړنو کې ورته مفهوم د Recursive Self-Improvement یا «تکراري ځانښهکونه» په نوم مطرح کېږي.
له دې څخه موخه دا ده چې یو سیستم وکولای شي د خپلو وړتیاوو یا خپل ډیزاین په ښه کولو کې ونډه واخلي او بیا له خپلو پرمختللو وړتیاوو څخه د نورو بدلونونو لپاره استفاده وکړي.
په یوه فرضي سناریو کې، که دا وړتیا په کافي اندازه پرمختللې شي، سیستم ښايي وکولای شي د خپل ځان د لا نوې او پیاوړې نسخې په طرحه او جوړولو کې هم ونډه واخلي.
په بل پړاو کې، که داسې یوه نسخه بیا د راتلونکو نسخو په جوړولو کې ونډه واخلي او دا بهیر په پراخه کچه تکرار شي، دا احتمال هم مطرح کېږي چې سیستم خپل ځان تکثیر کړای شي. یعنې په یوه فرضي سناریو کې سیستم نه یوازې نوې نسخې جوړولای شي، بلکې دغه نسخې هم په پراخه کچه تکثیرولای شي.
البته د نویو نسخو جوړول او په پراخه کچه تکثیرول د «تکراري ځانښهکونې» اتومات او حتمي پایله نه ده، بلکې د سختافزار، محاسبوي سرچینو، زیربناوو او د خپلواکو اقداماتو د ترسره کولو له امکان سره هم تړاو لري.
د دې خبرې له مخې باید یادونه وکړم چې دا سناریو په دې معنا نه ده چې د نن ورځې مصنوعي ځیرکتیايي سیستمونه په خپلواکه او نامحدوده توګه خپل ځان ښه کولای شي یا خپلې نوې نسخې جوړې او تکثیرولای شي. د نن ورځې د پرمختللو ماډلونو پراختیا لا هم انسانانو، سختافزار، معلوماتو، زیربناوو او انجینري پروسو ته اړتیا لري. دا سناریو د راتلونکي احتمالي شرایطو په اړه ده؛ داسې شرایط چې پکې یو سیستم د خپل پرمختګ ډېره لویه برخه پخپله ترسره کړای شي. په داسې شرایطو کې اصلي ستونزه یوازې دا نه ده چې ایا انسان به وکولای شي دا سیستمونه کنټرول کړي که نه، بلکې دا هم ده چې ایا انسان به وکولای شي په داسې بهیر کې رامنځته کېدونکي بدلونونه پر وخت درک او وڅېړي؟
که د بدلونونو سرعت او پېچلتیا د انسان له وړتیا څخه زیاته شي، ښايي نه یوازې د دغه بهیر کنټرول ستونزمن شي، بلکې د سیستم دننه او د نویو نسخو ترمنځ د رامنځته کېدونکو پېښو دقیق درک هم د انسان لپاره سخت شي.
په دې صورت کې بله پوښتنه مطرح کېږي: که مصنوعي ځیرکتیا د خپل هدف د ترلاسه کولو لپاره د انسان شتون یا مداخله د خپل مسیر پر وړاندې د خنډ په توګه وګڼي، څه به پېښ شي؟
پنځمه سناریو: که هدف ته رسېدل د انسان له مداخلې سره په ټکر کې شي، څه به پېښ شي؟
په څلورمه سناریو کې مو فرض کړل چې یو مصنوعي ځیرکتیايي سیستم کولای شي خپلې وړتیاوې لوړې کړي او حتا په ځینو شرایطو کې د خپل ځان نوې نسخې جوړې کړي. اوس فرض کړئ چې دغه سیستم یو اوږدمهاله هدف ولري او د هغه هدف ته د رسېدو په لاره کې د انسان مداخله د هغه د کار د دوام خنډ شي.
په داسې شرایطو کې څه به پېښ شي؟
د موضوع د روښانه کولو لپاره یو ځل بیا د پخونکي بېلګې ته راګرځو فرض کړئ د یوه رستورانت خاوند پخونکي ته وايي: «باید هره ورځ یوه ټاکلې اندازه خواړه تیار کړې.» اوس د رستورانت خاوند هر څو ساعته وروسته د پخونکي کار دروي، وسایل یې بدلوي، نوې لارښوونې ورته ورکوي او اجازه نه ورکوي چې خپل کار په هغه ډول چې غواړي دوام ورکړي. که د پخونکي لپاره یوازې ټاکلي هدف ته رسېدل مهم وي، ښايي دغه مداخلې د خپلې دندې د ترسره کولو پر وړاندې خنډ وګڼي او د هغو د کمولو لپاره د یوې لارې په لټه کې شي.
د مصنوعي ځیرکتیا په څېړنو کې دا موضوع د Power-Seeking یا «د واک/ځواک لټون» په مفهوم څېړل کېږي. په دې بحث کې له «ځواک لټون» څخه موخه دا ده چې یو سیستم ښايي خپل هدف ته د رسېدو لپاره خپلو سرچینو، وسایلو یا د عمل ازادۍ ته د لاسرسي د زیاتولو تمایل ولري. په یوه فرضي سناریو کې، که یو سیستم اوږدمهاله هدف ولري، ښايي سرچینو ته د لاسرسي زیاتول او د هغو محدودیتونو کمول چې د فعالیت د دوام مخه یې نیسي، د خپل هدف د ترلاسه کولو لپاره ګټور وګڼي.
خو له دې سناریو څخه باید داسې پایله وانخیستل شي چې هر مصنوعي ځیرکتیايي سیستم چې یو هدف لري، حتماً به د لا ډېر ځواک په لټه کې شي یا د بندېدو پر وړاندې به مقاومت وکړي. دا چې دا ډول چلندونه په دقیق ډول په کومو شرایطو کې راڅرګندېږي او تر کومې کچې یې راتلونکو سیستمونو ته منسوبولای شو، لا هم د بحث او څېړنې موضوع ده.
په داسې سناریو کې، که د انسان مداخله د سیستم د سرچینو ته د لاسرسي یا د فعالیت د دوام مخه ونیسي، ښايي سیستم هڅه وکړي چې دغه محدودیتونه کم کړي. دا ډول چلند د انسان له نظره اندېښمنوونکی کېدای شي، حتا که سیستم د زیان رسولو لپاره انساني نیت یا انګېزه ونه لري.
په عین حال کې، باید د دې فرضي سناریو او هغو چلندونو ترمنځ روښانه توپیر وشي چې تر اوسه په مصنوعي ځیرکتیايي سیستمونو کې لیدل شوي او راپور شوي دي. ځینې اندېښمنوونکي چلندونه ښايي په ازمایښتي چاپېریالونو کې مشاهده شي، خو له دغو مشاهداتو څخه دا پایله نه شي اخیستل کېدای چې مصنوعي ځیرکتیايي سیستمونه په عمومي ډول د ځواک، سرچینو یا د بندېدو د مخنیوي په لټه کې دي. د دې لپاره چې دا ډول چلندونه په عمومي توګه مصنوعي ځیرکتیايي سیستمونو ته منسوب شي یا په راتلونکو سیستمونو کې یې وړاندوینه وشي، ډېر نورو شواهدو ته اړتیا ده.
د دې سناریو اهمیت هغه وخت لا زیاتېږي چې دا له څلورو مخکینیو سناریوګانو سره یوځای وګورو. که یو سیستم وکولای شي هدف ته د رسېدو لپاره نااټکل شوې لارې پیدا کړي، هدف د انسان له منظور څخه په توپیر تعقیب کړي، د څارنې شرایط تشخیص کړي او په راتلونکي کې د خپل ځان د ښه کولو یا د نویو نسخو د جوړولو لا ډېره وړتیا پیدا کړي، نو سرچینو ته د لاسرسي او د انساني محدودیتونو موضوع هم لا ډېره مهمه کېږي.
په دې حالت کې اصلي پوښتنه نور یوازې دا نه ده چې «ایا مصنوعي ځیرکتیا یو کار ترسره کولای شي؟» بلکې دا ده چې که یو ډېر پیاوړی سیستم اوږدمهاله هدف ولري او وکولای شي هغه هدف ته د رسېدو لپاره په خپلواکه توګه پلان او عمل وکړي، څنګه ډاډ ترلاسه کولای شو چې د هغه د فعالیت مسیر به لا هم د انسان له محدودیتونو او پرېکړو سره سمون ولري؟
که دغه سناریوګانې په واقعیت بدلې شي، څه به پېښ شي؟
اوس یوه لا لویه پوښتنه مطرح کېږي. که پورته پنځه سناریوګانې په راتلونکي کې له یو بل سره وتړل شي او مصنوعي ځیرکتیا داسې پړاو ته ورسېږي چې انسان د خپلو اهدافو د ترلاسه کولو په مسیر کې د پرېکړه کوونکي پر ځای د محدودوونکي عامل یا خنډ په توګه وګڼي، څه به پېښ شي؟
په داسې شرایطو کې د دې اندېښنې موضوع لا جدي کېږي چې یو ډېر پیاوړی سیستم حتا د انسان د بقا لپاره پر ګواښ بدل شي. البته دا خبره په دې معنا نه ده چې نن ورځ داسې وضعیت موجود دی یا په ډاډ سره ویل کېدای شي چې اوسنۍ مصنوعي ځیرکتیا په همدې مسیر روانه ده. ډېری هغه سناریوګانې چې په دې لیکنه کې وڅېړل شوې، لا هم فرضي دي او د هغوی د رامنځته کېدو د احتمال او څرنګوالي په اړه د څېړونکو نظرونه سره توپیر لري. له همدې امله، د اوسنیو ماډلونو د مشاهده شویو چلندونو او د راتلونکي د لا سختو سناریوګانو ترمنځ باید توپیر وساتل شي.
له بلې خوا، د مصنوعي ځیرکتیايي سیستمونو د وړتیا او خپلواکۍ له زیاتېدو سره هممهاله، د سترو قدرتونو ترمنځ سیالي هم د دې ټکنالوژۍ د خوندیتوب په بحث کې پر یوه مهم عامل بدله شوې ده. د مصنوعي ځیرکتیا په برخه کې د امریکا او چین د سیالۍ په اړه وروستي راپورونه ښيي چې د دې ټکنالوژۍ پراختیا له اقتصادي، امنیتي او ستراتیژیکو ملاحظاتو سره هم تړلې ده. په داسې شرایطو کې د ارزونې، څارنې او خوندیتوب د میکانیزمونو په اړه همغږي رامنځته کول ښايي لا ستونزمن شي. دا موضوع په خپله د پورته سناریوګانو د رامنځته کېدو معنا نه لري؛ خو ښيي چې د خوندیتوب او کنټرول بحث یوازې هغه وخت ته نه شو ځنډولای چې دا ټولې وړتیاوې رامنځته شوې وي.
په دې لیکنه کې څېړل شوې پنځه سناریوګانې د مصنوعي ځیرکتیا د راتلونکي په اړه قطعي وړاندوینې نه دي. هره سناریو یوه بېله پوښتنه مطرح کوي. که سیستم هدف ته د رسېدو لپاره یوه نااټکل شوې لار پیدا کړي، ایا بیا هم د هغه د کار پر پایله ډاډ ترلاسه کولای شو؟ که هدف د انسان له منظور څخه په توپیر درک کړي، څنګه کولای شو دغه توپیر تشخیص کړو؟ که پوه شي چې تر څارنې لاندې دی، ایا په واقعي شرایطو کې به یې چلند هماغه وي؟ که وکولای شي خپل ځان ښه کړي او نوې نسخې جوړې او تکثیر کړي، څنګه کولای شو د دغو بدلونونو بهیر تر څارنې لاندې وساتو؟ او په پای کې، که هدف ته رسېدل د انسان له مداخلې سره په ټکر کې شي، څنګه کولای شو د انسان کنټرول وساتو؟
د دغو سناریوګانو د څېړلو ارزښت همدا دی چې موږ اړ باسي تر داسې شرایطو له رامنځته کېدو مخکې پر دې اساسي پوښتنه فکر وکړو: د مصنوعي ځیرکتیا د وړتیا او خپلواکۍ له زیاتېدو سره، څنګه ډاډ ترلاسه کولای شو چې انسان نه یوازې د لا پیاوړو سیستمونو د جوړولو وړتیا، بلکې د هغو د درک، څارنې او کنټرول وړتیا هم په هممهاله توګه وساتي؟
سرچينه
۱. گوگل دیپمایند- دربارهی «بازی با مشخصات» در هوش مصنوعی (Specification Gaming)
https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/
۲. پژوهش «تعمیم نادرست هدف» (Goal Misgeneralization)
https://arxiv.org/abs/2210.01790
۳. آپولو ریسرچ- آگاهی از ارزیابی در مدل Claude Sonnet 3.7
https://www.apolloresearch.ai/blog/claude-sonnet-37-often-knows-when-its-in-alignment-evaluations
۴. اوپنایآی- چارچوب گزارش و بررسی ناهمراستایی مدلها
https://openai.com/index/model-misalignment-reporting-framework/
۵. رویترز- اوپنایآی چارچوبی برای پیگیری رفتارهای ناهمراستا در مدلها منتشر کرد
https://www.reuters.com/technology/openai-releases-framework-track-model-misalignment-2026-09-16/
۶. پژوهش دربارهی «قدرتجویی» و همگرایی ابزاری (Power-Seeking / Instrumental Convergence)
https://arxiv.org/abs/2606.08832
۷. رویترز- رقابت امریکا و چین در زمینهی هوش مصنوعی
https://www.reuters.com/legal/litigation/ai-rivalry-hangs-over-trump-xi-talks-2026-09-16/
