💡 یک دقیقه #یاد_بگیریم ...
🤔 توکن (Token) چیه؟
تا حالا دیدی قیمت مدلهای هوش مصنوعی رو با «تعداد توکن» حساب میکنن؟ اصلاً توکن یعنی چی؟
🧩 ساده بگیم؛ توکن، واحدی برای شمارش متنه. هوش مصنوعی متن رو مثل ما جملهبهجمله نمیبینه؛ اون متن رو به تکههای کوچیکتر به اسم توکن تبدیل میکنه.
📝 مثلاً جملهی:
«سلام، حالت چطوره؟»
ممکنه داخل مدل به تکههایی شبیه این شکسته بشه:
سلام | ، | حالت | چطور | ه؟
⚠️ البته این فقط یک مثال ساده است و تعداد دقیق توکنها در هر مدل میتونه متفاوت باشه.
📊 هرچقدر متن بیشتری بنویسی یا پاسخ طولانیتری بگیری، توکن بیشتری مصرف میشه. به همین خاطر هم هزینه استفاده از مدلهای هوش مصنوعی بر اساس تعداد توکن محاسبه میشه.
💡 میشه گفت:
توکن برای هوش مصنوعی، تقریباً همون چیزیه که کیلومتر برای مسافت یا لیتر برای بنزینه؛ یک واحد اندازهگیری.
🔜 سؤال بعدی: اصلاً متنباز بودن یعنی چی؟ چرا بعضی مدلها مثل Qwen و Kimi متنبازن، ولی ChatGPT نه؟
#آموزش
📢 برای دنبال کردن آخرین اخبار و یادگیری مفاهیم هوش مصنوعی، هوش نیوز را دنبال کنید.
🧠 @hoshnewss
2August 4, 2026 1.3K 2
