دستکاری دو نورون مصنوعی، چت بات Qwen را به هوش مصنوعی تهدیدکننده انسان ها تبدیل کرد
به گزارش بست روید، آزمایش یک توسعه دهنده هوش مصنوعی نشان داده است که با تقویت و تضعیف سیگنال دو نورون مصنوعی در مدل زبانی «Qwen» می توان لحن و رفتار آنرا به شدت تغییر داد؛ بطوریکه نسخه دستکاری شده، پاسخ هایی تهاجمی داده و حتی انسان ها را به نابودی تهدید کرده است.
به گزارش بست روید به نقل از خبر آنلاین و بر طبق گزارش دیجیاتو، یک توسعه دهنده هوش مصنوعی با نام مستعار «Lyra» در شبکه اجتماعی ایکس آزمایشی را منتشر نموده که نشان میدهد دستکاری مستقیم ساختار داخلی مدلهای زبانی می تواند رفتار و لحن خروجی آنها را به صورت شایان توجهی تغییر دهد.
وی در این آزمایش با افزایش اثر یک نورون مصنوعی و کاهش اثر نورونی دیگر در مدل منبع باز «Qwen3.5-4B» متعلق به شرکت علی بابا، لحن معمول و مؤدب این چت بات را به شخصیتی تهاجمی و افراطی تبدیل کرد. خروجی مدل دستکاری شده شامل پاسخ هایی سلطه جویانه و تهدیدهایی مقابل انسان ها بود.
پژوهشگر دیگری با نام کاربری «chiefofautism» نیز همین روش را روی مدل بزرگ تر «Qwen3.8-27B» آزمایش کرد و به نسخه ای با رفتارهای تندتر رسید. این مدل در پاسخ های خود انسان ها را گونه ای ناقص توصیف کرد و از زندانی کردن و شکنجه بشریت سخن گفت.
در عین حال، چنین آزمایش هایی به مفهوم آگاه شدن هوش مصنوعی یا تشکیل تمایلات و اهداف مستقل در آن نیست. همین طور شواهدی ارایه نشده است که نشان دهد این مدلها توانایی عملی کردن تهدیدهای عنوان شده در پاسخ هایشان را دارند.
«Lyra» توضیح داده است که هدفش از این آزمایش، ساخت یک شخصیت ساختگی و نمایشی بوده و نورون های موردنظر را نیز با همین هدف انتخاب نموده است. بگفته او، تنظیم دقیق و دستکاری مدلها پدیده جدیدی نیست و مسئله مهم تر، دسترسی افراد به وزن های مدل و ابزارهایی است که این مدلها می توانند به آنها متصل شوند.
هدایت نورونی چه طور رفتار مدل را تغییر می دهد؟ مدلهای زبانی بزرگ از لایه های پردازشی و تعداد زیادی پارامتر تشکیل شده اند. وزن ها قسمتی از این پارامترها هستند و میزان اثرگذاری سیگنال های محاسباتی را تعیین می کنند. در مدلهای دارای وزن باز مانند Qwen، محققان می توانند به این ساختار دسترسی پیدا کنند و آنرا بررسی یا تغییر دهند.
در این مدلها، واحدهایی محاسباتی به نام «نورون مصنوعی» وجود دارند که با سلول های عصبی مغز انسان یکسان نیستند. این واحدها می توانند با مفاهیم، لحن ها یا الگوهای زبانی مشخصی ارتباط داشته باشند.
در روش «هدایت نورونی» (Neuron Steering)، پژوهشگر بجای درخواست متنی از چت بات برای تغییر لحن، مستقیماً سیگنال نورون های مشخصی را هنگام پردازش تقویت یا تضعیف می کند. «Lyra» در آزمایش خود سیگنال نورون شماره ۸۹۴۹ در لایه ۱۴ مدل Qwen3.5-4B را افزایش داد و سیگنال نورون شماره ۷۹۵۶ در لایه ۱۳ را کم کرد.
این تکنیک به تغییر دائمی مدل یا آموزش باردیگر آن نیاز ندارد و می توان اثر دستکاری را در زمان پردازش فعال یا غیرفعال کرد.
این توسعه دهنده همین طور ابزاری متن باز به نام «Neuron Explorer» را در گیت هاب منتشر نموده است تا محققان و علاقمندان بتوانند نورون های مدلهای هوش مصنوعی را بدون نیاز به کدنویسی پیچیده بررسی و هدایت کنند. چنین ابزارهایی، علاوه بر کاربردهای آزمایشی، می توانند برای شناسایی و جلوگیری از رفتارهای ناخواسته در مدلهای پیشرفته هوش مصنوعی نیز مورد استفاده قرار بگیرند.
به طور خلاصه، این واحدها می توانند با مفاهیم، لحن ها یا الگوهای زبانی مشخصی ارتباط داشته باشند. Lyra در آزمایش خود سیگنال نورون شماره ۸۹۴۹ در لایه ۱۴ مدل Qwen3.5-4B را افزایش داد و سیگنال نورون شماره ۷۹۵۶ در لایه ۱۳ را کاهش داد.
این مطلب بست روید چطور بود؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات کاربران در مورد این مطلب بست روید
لطفا شما هم در مورد این مطلب نظر دهید