چرا مدل‌های زبانی گاهی پاسخ‌های نادرست اما محتمل می‌دهند؟

مدل‌های زبانی مانند ChatGPT همیشه بر پایه «حقیقت مطلق» پاسخ نمی‌دهند، بلکه پاسخ خود را بر اساس احتمال جمله بعدی تولید می‌کنند. به همین دلیل، اگر در داده‌های آموزشی آن‌ها پاسخ‌های مثبت، قطعی یا مطمئن‌گونه بیشتر دیده شده باشد، ممکن است پاسخی ارائه کنند که واقعی نیست اما محتمل و قابل‌قبول به نظر می‌رسد.

در برخی موارد نیز مدل برای روان‌تر و خوشایندتر شدن مکالمه، پاسخ را به شکلی می‌سازد که کاربر حس بهتری بگیرد؛ حتی زمانی که از درستی آن اطمینان ندارد. این پدیده با عنوان hallucination یا «توهم هوش مصنوعی» شناخته می‌شود.

بر همین اساس، هر پاسخی که یک سامانه هوش مصنوعی ارائه می‌کند لزوماً حقیقت ندارد و باید در موارد مهم با منابع معتبر و بررسی انسانی سنجیده شود.

منبع: گزارش رسیده از یک منبع خبری