حالا چرا «Claude»؟ قطعا اسم ابزار Claude رو شنیدین و شاید باهاش کار کردین. میدونید این اسم از کجا اومده؟
این کلمه از اسم آقای دکتر «Claude Shannon» گرفته شده. ایشون ریاضیدان، مهندس برق، دانشمند کامپیوتر، رمزنگار و مخترعی بودن که ازشون به عنوان «پدر بازیابی اطلاعات» یاد میشه.
ایشون در سال ۱۹۴۸ مفهوم «Entropy» رو معرفی کرد. معیاری برای اندازهگیری میزان عدم قطعیت، تصادفی بودن یا میزان غافلگیری در نتایج یک رویداد(دادهها یا سیگنالها). این اتفاق سرآغاز اتفاقات بزرگی در یادگیری ماشین، مدلهای زبانی، نظریهی اطلاعات و بازیابی اطلاعات بود.
بعدها این مفهوم منجربه کشف و معرفی مفاهیم اساسی در آموزش و ارزیابی مدلهای زبانی و next token prediction شد:
- Cross-entropy - Information Gain - KL Divergence - Perplexity
حالا هر وقت که از Claude استفاده میکنید به یاد این دانشمند بزرگ میافتین.