یکی از چیزایی که خیلی داره صحبت میشه کیفیت تستهای نوشته شده است. چه ai بنویسه و چه خودت.
حرف درموردش واقعا زیاده.
بیشترین فرکانس صحبت تو تاک ها و مقالات شاید میوتیشن تست باشه.
یعنی تعمدا کدت رو بهم میریزی و میبینی آیا تستها تونستن کشفش کنن یا نه.
تجربه شخصیم رو بذارید درموردش بگم.
من هم شروع کردم به استفاده از stryker برای میوتیت کردن کدها و سنجششون. زمان صرف شده فاجعه بود. استفاده از سوییچهای خود کتابخونه مثل —since و ران کردنش صرفا روی pr ها زمان رو کم کرد ولی هنوز رضایت بخش نبود.
چون اساسا این نوع کتابخونه ها به صورت استاتیک شروع به بهم ریختن کد میکنن که گاها اصلا به هم ریختن اون بخش کد مفهوم و دغدغه بیزینسی نداره.
اما با دادن این وظیفه به ai میشد سناریوهای واقعی میوتیشن رو کشف کرد. توصیه میکنم این مقاله متا رو بخونید:
https://engineering.fb.com/2025/09/30/security/llms-are-the-key-to-mutation-testing-and-better-compliance/?utm_source=chatgpt.com
این مقاله اساس کار من شد برای نوشتن واسکیلی که میوتیشن توش سمنتیک باشه. این ایده خیلی خوب جواب داد و تو همون هفته اول تستش تونست تعداد خوبی باگ که توسط تستها و حتی تیم QA هنوز کشف نشده بود رو پیدا کنه. یعنی یه تستر بی نظیر.
تعداد میوتیشنها هم به صورت چشمگیری کم شد و فقط چیزهایی که معنی دار بودند مونده بودند. قبلا مثلا ۹۰ تا جا رو تغییر میداد ولی با روش جدید رسید به ۸-۹ تا.
موضوع بعدی فروش این دستاورد بود به تیم که بعدا میگم.
4
2۲۷ شهریور ۱۴۰۵ ۱۰۲ ۱
