MusicZed Magazine
توهم در هوش مصنوعی: چرا مدلها گاهی مطمئن اما اشتباه میگویند؟
شاید تجربه کرده باشید که یک چتبات با اطمینان کامل، اطلاعاتی داده که بعداً معلوم شده اشتباه بوده است؛ مثلاً یک منبع، رقم یا نقلقول ساختگی. به این پدیده در هوش مصنوعی «توهم» (Hallucination) میگویند.
چرا اتفاق میافتد؟
مدلهای زبانی برای تولید متنی که «محتمل» به نظر برسد آموزش دیدهاند، نه لزوماً متنی که «درست» باشد. اگر اطلاعات دقیق را نداشته باشند، ممکن است الگوی پاسخ را ادامه دهند و چیزی بسازند که معقول به نظر میرسد.
چه مواردی بیشتر در خطرند؟
- ارقام، تاریخها و نامهای دقیق
- ارجاع به منابع، مقالات و لینکها
- موضوعات تخصصی و بسیار جدید
- پرسشهایی که پاسخ قطعی ندارند
نشانههای احتمالی
- جزئیات بیش از حد دقیق بدون منبع
- اطلاعات متناقض در پاسخهای مختلف
- پاسخهای خیلی روان و مطمئن به سؤالهای مبهم
چطور خطر را کم کنیم؟
۱. **از منبع بخواهید:** و بعد آن را بررسی کنید. ۲. **بازبینی مستقل:** اطلاعات مهم را با یک منبع معتبر مطابقت دهید. ۳. **سؤال دقیق بپرسید:** زمینه و محدودیت بدهید. ۴. **اجازهی نمیدانم بدهید:** بنویسید «اگر مطمئن نیستی بگو». ۵. **از ابزار متصل به منبع استفاده کنید:** سیستمهایی که پاسخ را با اسناد واقعی تطبیق میدهند معمولاً دقیقترند.
در کارهای خلاقانه
در موسیقی، طراحی و نوشتن خلاق، «توهم» میتواند حتی مفید باشد چون ایدهی غیرمنتظره میدهد. اما در کارهای اطلاعاتی باید محتاط بود.
نقش انسان
مسئولیت نهایی با استفادهکننده است. مدل ابزار پیشنهاد است، نه داور نهایی حقیقت.
چه چیزی در آینده تغییر میکند؟
پژوهشگران روشهایی برای کاهش توهم توسعه میدهند و مدلها بهتدریج دقیقتر میشوند، اما احتمالاً این مسئله بهطور کامل حذف نمیشود. بنابراین بررسی خروجی عادت مهمی باقی میماند.