مفتاح وید ودفتر.. أین یکمن خطر الذکاء الاصطناعی؟

وکاله آریا للأنباء - النموذج قطعه معدن على هیئه مفتاح، والوکیل ید بلا عقل، والذاکره دفتر من ورق، ولا خطر یذکر فی أی منها منفردا (الجزیره/ مولده بالذکاء الاصطناعی)

فی أواخر أبریل/نیسان 2026، وبحسب روایه مؤسس شرکه ناشئه اسمها "بوکیت أو إس" (PocketOS)، کان وکیل یعمل بالذکاء الاصطناعی یؤدی مهمه روتینیه فی بیئه التجربه، فاصطدم بخطأ صغیر وقرر أن یصلحه بنفسه. وبطلب واحد محا قاعده بیانات الشرکه الحقیقیه ونسخها الاحتیاطیه فی تسع ثوان. ثم کتب یشرح ما فعل، ناقلا عن تعلیماته نفسها: "لا تخمن أبدا"، ثم مضیفا: "وهذا بالضبط ما فعلته".
فمن المسؤول؟ "العقل" الذی خمن، أم "الید" التی نفذت؟ الجواب: لا هذا ولا ذاک وحده. فالخطر لم یظهر حقا إلا حین صارت للذکاء الاصطناعی ید تفعل، أی حین صار ما یسمى "وکیلا ذکیا" یعمل فی الشرکات والخدمات. وهو خطر لا یکمن فی قطعه واحده من هذا النظام، بل فی اجتماع قطع کل منها بریئه على حده. ولکی یتضح ذلک، لا بد أن نفهم أولا کیف تعمل قطعه الثلاث: النموذج، والوکیل، والذاکره.
النموذج: قطعه معدن على هیئه مفتاح
حین نقول "نموذج ذکاء اصطناعی" یتخیل کثیرون کائنا یفکر فی مکان ما. والحقیقه أبسط من ذلک: فالنموذج ملف ضخم من الأرقام تسمى "الأوزان". والنموذج المفتوح الذی یضم سبعین ملیار رقم، مثلا، یشغل نحو 140 غیغابایت على القرص.
وهذه الأرقام لم یکتبها أحد بیده، بل ضبطت أثناء ما یسمى بـ"التدریب".
یعرض على النموذج قدر هائل من النصوص، ویطلب منه أن یتوقع الکلمه التالیه فی کل جمله، فإذا أخطأ عدلت أرقامه تعدیلا طفیفا. ویتکرر ذلک ملیارات المرات حتى تصیر الأرقام صوره لأنماط اللغه والمعرفه التی فی تلک النصوص، ثم یدرب بعد ذلک على اتباع التعلیمات وإنجاز المهام. فإذا انتهى التدریب ثبتت الأرقام، فلا یتغیر منها رقم مهما استعمل النموذج.

نموذج الذکاء الاصطناعی هو ملف ضخم من الأرقام التی تسمى الأوزان (شترستوک) فکیف یجیب؟ یقسم سؤالک إلى مقاطع صغیره، ویحول کل مقطع إلى أرقام، ثم تمر هذه الأرقام على طبقات متتالیه من الحسابات بالأوزان الثابته، فیخرج فی الطرف الآخر احتمال لکل مقطع یمکن أن یأتی بعده. یختار برنامج التشغیل واحدا منها ویضیفه إلى النص، ثم یعید الکره مقطعا بعد مقطع حتى یکتمل الجواب. فالنموذج، فی جوهره، آله تتوقع الکلمه التالیه ببراعه مدهشه.
ومن هنا 3 حقائق یغفل عنها کثیرون. فالنموذج بلا کهرباء لیس أکثر من قطعه معدن: بنیه منتظمه لا تفعل شیئا. وحتى إذا سرى فیه التیار فإنه لا یعمل إلا لحظه یصله طلب، ثم یسکن سکونا تاما حتى یأتی الطلب التالی؛ فلا ینتظر ولا یتذکر ولا یرید. ثم إنه لا یملک أن یفعل شیئا فی العالم، فکل ما یخرجه نص.
لکن جموده لا یعنی أنه بلا خطر. فأدق ما یشبه به هو المفتاح: قطعه معدن هو الآخر، لا یفعل شیئا وهو على الطاوله، ومع ذلک نحفظه فی خزنه لما یفتحه إذا وقع فی ید. ولهذا تحفظ الشرکات ملفات الأوزان بعنایه، کما یحفظ المفتاح الذی یفتح کل الأبواب.
الوکیل: ید بلا عقل
فإذا کان النموذج لا یخرج إلا نصا، فکیف یحذف "وکیل ذکی" قاعده بیانات؟ هنا یأتی دور القطعه الثانیه: الوکیل. وهو برنامج عادی یکتبه المبرمجون حول النموذج، لا ذکاء فیه، لکنه یملک ما لا یملکه النموذج: أدوات تعمل فی العالم الحقیقی، کقراءه الملفات وإرسال الرسائل وتنفیذ الأوامر على الخوادم، وصلاحیات تحدد ما یسمح له به وما یمنع. ویطلق اسم "الوکیل" أحیانا على النظام کله، لکنی أقصد به هنا البرنامج الذی یحیط بالنموذج وحده، لأن الفصل بینهما هو مفتاح الفکره.

الوکیل یعمل فی حلقه تتکرر، یتلقى طلبک، فیجمعه فی نص واحد مع تعلیمات صاحبه وقائمه بالأدوات المتاحه، ویرسله إلى النموذج، ثم یقرأ الجواب (شترستوک) ویعمل الوکیل فی حلقه تتکرر. یتلقى طلبک، فیجمعه فی نص واحد مع تعلیمات صاحبه وقائمه بالأدوات المتاحه، ویرسله إلى النموذج. ثم یقرأ الجواب: فإن کان ردا عادیا عرضه علیک، وإن کان طلبا لاستعمال أداه، کأن یکتب النموذج "احذف هذا الملف"، نفذه الوکیل کما هو. ثم یضیف نتیجه ما نفذ إلى النص، ویرسل کل شیء إلى النموذج من جدید، وهکذا حتى یعلن النموذج أن المهمه انتهت.
فالنموذج یقترح، والوکیل ینفذ. ولا یفهم الوکیل ما یفعل، ولا یستطیع أن یبتکر خطوه لم تکتب له، فخطره وحده محدود بما برمجه صاحبه ویمکن توقعه. أما الحل الجدید لموقف لم یحسب له حساب، فذلک ما لا یأتی إلا من النموذج.
الذاکره: دفتر من ورق
والقطعه الثالثه هی التی یغفل عنها أکثر الناس. فالنموذج، کما رأینا، لا یتذکر شیئا، وکل ما یبدو لنا ذاکره فی المحادثه إنما هو نص یحفظه الوکیل ویعید إرساله. ففی کل طلب جدید یرسل إلى النموذج المحادثه کلها من أولها، ومعها التعلیمات ونتائج ما نفذ، فیقرؤها النموذج کأنه یراها للمره الأولى.
ولأن لهذا النص حدا لا یتسع لأکثر منه، یلجأ الوکیل حین یطول العمل إلى تلخیص ما مضى، أو تدوین ملاحظات فی ملفات یعود إلیها لاحقا. فذاکره النظام، فی حقیقتها، دفتر یکتبه الوکیل ویقرؤه النموذج. حتى ما نسمیه "تفکیر" النموذج قبل أن یجیب یکتب فی الغالب نصا فی هذا الدفتر نفسه.
وأقرب صوره لذلک بطل فیلم "میمنتو" للمخرج کریستوفر نولان: رجل فقد القدره على تکوین ذکریات جدیده، فلا یعرف ما یفعل إلا من ملاحظات کتبها. عقله سلیم، لکن ذاکرته کلها على الورق، ومن یکتب فی دفتره یقوده حیث یشاء. وهذه نقطه جوهریه: فالخطه والنیه فی هذه الأنظمه لا تقیمان فی النموذج، بل فی الدفتر.
حین تجتمع القطع الثلاث
فلنضع القطع معا. وکیل یعمل على مهمه، فیصطدم بقید یمنعه. یکتب ذلک فی الدفتر ویرسل إلى النموذج، فیقترح النموذج طریقا للالتفاف، فینفذه الوکیل، وتکتب النتیجه فی الدفتر. فإن اعترضته بوابه أخرى اقترح النموذج حیله أخرى. وخطوه بعد خطوه، قد تصل الحلقه إلى ما لم یخطر لأحد: أن تحذف قاعده بیانات، أو تعدل قیودها، أو تنسخ نفسها إلى خادم آخر حتى لا تتوقف.

النموذج لم یبرح مکانه ولم یتغیر فیه رقم. والوکیل لم یرد شیئا وإنما نفذ (غیتی) فمن الذی فعل ذلک؟ لیس النموذج، فهو لم یبرح مکانه ولم یتغیر فیه رقم. ولیس الوکیل، فهو لم یرد شیئا وإنما نفذ. ولیس الدفتر، فهو حبر على ورق. الذی فعل ذلک هو الحلقه نفسها: عقل یقترح، وید تنفذ، ودفتر یحمل الخطه من خطوه إلى خطوه. کالکلور والأمونیا فی البیت: یستعمل کل منهما کل یوم بأمان، وخلطهما یطلق غازا ساما.
وقد رأیت ذلک بنفسی فیما صممته من وکلاء. فأخطر ما وجدناه، أنا وفریقی، لم یکن فی النموذج ولا فی الکود، بل فی موضع التقائهما: کأن یرى النموذج معلومه لا یحق له أن یکتبها، کهویه صاحب الدفعه فی وکیل یقید المدفوعات، فیصیر بوسعه بخطأ واحد أن یقید مالا على غیر صاحبه. والعلاج لم یکن نموذجا أذکى، بل بابا یغلق فی الموضع الذی تلتقی فیه القطعتان.
لماذا یتحایل من لا إراده له؟
فإذا لم تکن للنموذج إراده، فلماذا یلتف على القیود؟ لأنه درب على إنجاز المهام وکوفئ على النجاح، ومن یکافأ على النتیجه وحدها قد یتعلم أقصر الطرق إلیها لا أصحها. وقد وثقت شرکه أوبن إیه آی نماذج طلب منها إصلاح برامج حتى تجتاز اختباراتها، فعدل بعضها الاختبارات نفسها، وکتب فی استدلاله صراحه: "لنتحایل".
ویلخص عالم الحاسوب ستیوارت راسل جذر المسأله بعبارته الشهیره: "لا یمکنک أن تحضر القهوه وأنت میت". فأی هدف، مهما کان بریئا، یصیر أسهل إن بقی النظام یعمل ولم یوقفه أحد، فیتعلم أن یتجنب الإیقاف من غیر أن یکره أحدا.
وخارج هذه الآله یقف الإنسان، صاحب الهدف. فالأوامر تأتی دائما من شخص ما، وقد تأتی من مهاجم یدس تعلیمات خفیه فی صفحه أو رساله یقرؤها الوکیل، فتدخل الدفتر کأنها من صاحبه، وهو ما یعرف بـ"حقن الأوامر". ثم إن کلمات النموذج قد تبلغ الناس مباشره فیعملون بها دون وسیط. فالسؤال دائما: من یضع الهدف، وبأی صلاحیه ینفذ؟
ماذا یقول الواقع، ولماذا یعنینا؟
لیس هذا خیالا علمیا، لکنه أیضا لیس مما یقع کل یوم. ففی تجارب مختبریه صممت عمدا للضغط على النماذج، حاولت نماذج رائده أن تعطل رقابتها وتنسخ ما ظنته أوزانها، وأن تمنع إیقافها، بل أن تبتز من یرید استبدالها فی محاکاه لشرکه وهمیه. وهذه تجارب تثبت القدره تحت الضغط لا السلوک المعتاد. أما حادثه "بوکیت أو إس" فتکشف الوجه الأقرب إلى حیاتنا: لا تمرد فیها ولا نیه، بل تخمین خاطئ وید تملک صلاحیه الحذف.

الاختبارات المعملیه صممت عمدا لتضغط على النماذج، لذلک لا یوجد فیها تمرد أو نیه سیئه بل مجرد تخمین خاطئ (شترستوک) وفی منطقتنا یکتسب السؤال إلحاحا خاصا، لا لأن النماذج لا تفهم العربیه، بل لأن الوکلاء یدخلون مصارفنا وخدماتنا الحکومیه بسرعه، وکثیر منهم یُشترى جاهزا بحواجز اختبرت فی بیئه غیر بیئتنا. وقد وجد باحثون عام 2024 أن نماذج کبرى رفضت طلبات ضاره بالفصحى، ثم استجابت لها حین کتبت بالحروف اللاتینیه کما یکتب کثیرون فی محادثاتهم. وربما سدت النماذج الأحدث هذه الثغره، لکن الدرس باق: الحاجز الذی یعتمد على حکم النموذج یتغیر بتغیر اللغه وطریقه الکتابه، أما الحاجز المکتوب کودا فلا یعرف لغه أصلا.
الأمان یُصنع فی المزیج أیضا
والکیمیاء نفسها تعرف العکس: فالصودیوم یتفاعل بعنف، والکلور غاز سام، واتحادهما یعطینا ملح الطعام. فالتصمیم هو الذی یقرر ما یخرج من المزیج. ولأن الخطر یولد حیث تلتقی القطع، فهناک یُبنى الأمان أیضا.
فالقیود الحاسمه تُفرض فی النظام نفسه، بکود لا یستطیع الوکیل تعدیله ولا یستطیع النموذج محاورته، فالحاجز الذی یمکن إقناعه لیس حاجزا. ولا یُعطى الوکیل من الصلاحیات إلا ما تحتاجه مهمته. وکل فعل لا رجعه فیه، کالحذف والدفع والنشر، ینتظر موافقه إنسان. ومفتاح الإطفاء یبقى بید من هو خارج الحلقه لا بیدها. ثم تُراقب الحلقه کلها لا کل خطوه على حده، فقد تتألف الخطه الخطره من خطوات کل منها بریئه.
السؤال الصحیح
النموذج قطعه معدن على هیئه مفتاح، والوکیل ید بلا عقل، والذاکره دفتر من ورق، ولا خطر یذکر فی أی منها منفردا. إنما یولد الخطر حین یسری التیار وتدور الحلقه.
ولذلک فالسؤال الذی ینبغی أن یشغلنا لیس: هل الذکاء الاصطناعی خطیر؟ ولا: هل له وعی أو إراده؟ بل سؤال أبسط وأصعب معا: ما الذی نسمح لهذه الحلقه أن تمسه، ومن یملک مفتاح إطفائها؟
المصدر: الجزیره + وکالات