دو تا API می‌تونن از یک مدل استفاده کنن ولی حس سرعتشون زمین تا آسمون… — Sinox API

Sinox API@sinoxapi · 12.2K subscribers Open in TelegramOpen

دو تا API می‌تونن از یک مدل استفاده کنن ولی حس سرعتشون زمین تا آسمون فرق کنه.

برای سنجیدن سرعت مدل‌های AI، دو عدد مهمه:

TTFT (Time To First Token)
از لحظه‌ی ارسال Request تا رسیدن اولین Token چقدر طول می‌کشه.
مثال: Request → 0.8s → اولین Token
هرچی پایین‌تر، حس شروعِ سریع‌تر به کاربر می‌ده.

TPS (Tokens Per Second)
بعد از شروع پاسخ، مدل با چه سرعتی Token تولید می‌کنه.
مثال: 20 TPS در برابر 80 TPS، یعنی یکی چهار برابر سریع‌تر مینویسه.

نتیجه؟ ممکنه یه API خیلی سریع شروع کنه ولی در ادامه پاسخ کند باشه، یا کمی دیر شروع کنه ولی بعدش خروجی رو با سرعت خیلی بالا تولید کنه.

برای چت‌بات، TTFT روی حس کاربر اثر بیشتری داره.
برای خروجی‌های طولانی، کدنویسی و پردازش سنگین، TPS مهم‌تره.

وقتی تست سرعت مدل‌ها رو اینجا می‌ذاریم، این دو عدد رو جدا بررسی می‌کنیم؛ چون نوشتن صرفاً «این مدل سریعه» تقریباً هیچ اطلاعات مفیدی به ما نمیده:)