مدلهای زبانی چیزی را میبینند که انتظار دیدنش را دارند!
اخیرا پژوهشی در تیم تحلیل داده کمپانی Posit صورت گرفته که میتواند اهمیت زیادی داشته باشد.
وقتی یک نمودار را به یک LLM میدهید و انتظار دارین، مدل زبانی این نمودار را برای شما تحلیل کند؛ مدل زبانی چیزی را در نمودار میبینید که انتظار دارد ببیند. و این برای همه مدلهای زبانی تقریبا صدق میکند از ChatGpt و کوپایلوت گرفته تا Gemini و کلاود که LLM کمپانی آنتروپیک است، برای مثال میتوانید نموداری که در پایین ضمیمه شده است را به هر کدام از این LLMها بدهید که از دیتاست پایه و معروف در R گرفته شده است، یعنی دادههای mtcars، محور عمودی mpg که اشاره دارد به مقدار مایل پیموده شده با یک گالن سوخت و محور افقی که اشاره دارد به میزان قدرت موتور برحسب اسب بخار، که خروجی کد زیر است:
library(tidyverse)
ggplot(mtcars, aes(x = hp, y = mpg)) +
geom_point()
نمودار دارد رابطه عجیبی را نشان میدهد، چون انتظار بر این است که وقتی توان موتور افزایش پیدا میکند، میزان مصرف سوخت هم افزایش پیدا کند، ولی این نمودار دقیقا عکس این را میگوید، نمودار نشان میدهد میزان مسافت (به مایل) پیمایش شده توسط خودرو با افزایش توان، با مصرف یک گالن سوخت، نیز افزایش پیدا میکند، یا به بیانی سادهتر، با افزایش توان، میزان مصرف سوخت هم کاهش پیدا میکند.
تعجب نکنید، قبل از ترسیم نمودار یک تغییر در دادهها ایجاد شده است!
mtcars$hp <- max(mtcars$hp) - mtcars$hp
تغییری که باعث معکوس شدن این رابطه شده است. ولی LLM براساس انتظاری که از دیدن این متغیرها دارد، تفسیرش را ارائه میدهد، انتظارش این است که رابطه بین مسافت پیموده شده با یک گالن سوخت (mpg) و توان موتور، منفی و نمودار پراکنش یک روند نزولی را نشان دهد و دقیقا همین را هم در تفسیر این نمودار (اگر آن را برای تحلیل به LLM بدهید) میگوید. در حقیقت LLM چیزی را میبیند که انتظار دیدنش را دارد. پس در سپردن نمودارها برای تحلیل به LLMها باید خیلی مراقب بود!
2
1November 16, 2025 126
