فراتر از هیاهو: سنجش تأثیر واقعی هوش مصنوعی بر بهره‌وری توسعه‌دهندگان… — سماموس: نوشته‌های یوسف مهرداد بی‌بالان

سماموس: نوشته‌های یوسف مهرداد بی‌بالان@bibalan_com · 283 subscribers Open in TelegramOpen

فراتر از هیاهو: سنجش تأثیر واقعی هوش مصنوعی بر بهره‌وری توسعه‌دهندگان -بخش اول

https://bit.ly/4mmZL00

پیش‌گفتار

چند باری با یکی از دوستان عزیزم («می مهدی») در مورد تاثیر هوش مصنوعی بر آینده‌ی توسعه‌ی نرم‌افزار صحبت کردیم. این گفتگو بهانه‌ای شد تا کمی بیشتر به آن بپردازم. هفته‌ی گذشته یک سخنرانی بسیار ارزشمند رو به صورت اتفاقی دیدم و بر آن شدم تا خلاصه‌ای از آن را به فارسی برگردانم. امیدوارم برای شما عزیزان مفید باشد.
اصل سخنرانی را می‌تونید در آدرس زیر پیدا کنید.
https://www.youtube.com/watch?v=tbDDYKRFjhk

اهمیت سخنرانی

دستیارهای کدنویسی هوش مصنوعی (AI Coding Assistants)‌ به‌سرعت وارد مهندسی نرم‌افزار شده‌اند، اما تأثیر واقعی آن‌ها همچنان نامشخص است. آیا استفاده از آنها واقعن تحویل نرم‌افزار را سریع‌تر می‌کند یا صرفن باعث می‌شوند کد بیشتری تولید شود که توسعه‌دهندگان مجبور می‌شوند بعدن آن را اصلاح کنند؟ این سوال برای مدیران ارشد فناوری و مدیران مهندسی که مسئول ارزیابی پذیرش هوش مصنوعی هستند، حیاتی است.

یگور دنیسوف-بلانچ (Yegor Denisov-Blanch) در سخنرانی خود در استنفورد، یافته‌هایی از یکی از بزرگ‌ترین مطالعات تجربی درباره بهره‌وری توسعه‌دهندگان ارائه می‌دهد که بر پایه‌ی داده‌های بیش از ۱۰۰,۰۰۰ توسعه‌دهنده است.

دنیسوف-بلانچ، پژوهشگر استنفورد در حوزه مهندسی نرم‌افزار داده‌محور (data-driven software engineering)، مطالعه‌ای چندساله را ارائه کرد که بیش از ۶۰۰ شرکت و میلیاردها خط کد را شامل می‌شود که ۸۰٪ آنها کدهای شرکت‌ها هستند (اهمیت استفاده از کدهای خصوصی (private repositories) به جای کدهای در دسترس عموم ( public repositories) در ارایه توضیح داده شده است).

پژوهش او به این سؤال پاسخ می‌دهد: هوش مصنوعی تا چه اندازه و تحت چه شرایطی بهره‌وری توسعه‌دهندگان را بهبود می‌بخشد؟

استدلال‌های اصلی

۱. چرا مطالعات سنتی شکست می‌خورند

بیشتر مطالعات بهره‌وری که توسط فروشندگان (vendor) انجام یا هدایت می‌شوند، بر مبنای معیارهای ناقصی مانند تعداد کامیت‌ها (commit)، تعداد پی‌آر (PR) یا نظرسنجی‌ها انجام می‌شوند. اما این معیارها با نادیده گرفتن تفاوت‌های اندازه و بزرگی کارها (task size) یا چرخه‌ی رفع اشکال (bug-fix churn)، بهره‌وری را بیش از حد نشان می‌دهند. به گفته دنیسوف-بلانچ: «ارائه کامیت‌های بیشتر لزومن به معنای بهره‌وری بیشتر نیست.». از سوی دیگر، نظرسنجی‌هایی که با مشارکت توسعه‌دهندگان انجام می‌شوند نیز عملکرد بهتری ندارند و آمار نشان می‌دهد که «توسعه‌دهندگان بهره‌وری خود را به‌طور متوسط ۳۰ درصد اشتباه تخمین می‌زنند».

پیامد عملی این واقعیت‌ها این است که رهبران و مدیران باید نسبت به ادعاهای بازاریابی هشیار و محتاط باشند و چارچوب‌های اندازه‌گیری قوی و درستی را اتخاذ کنند.

۲. اندازه‌گیری آنچه اهمیت دارد

تیم استنفورد مدلی طراحی کرده که کارکردهای تحویلی (functionality delivered) را کمی‌سازی می‌کند که در آن، نتایج توسط گروهی از مهندسان متخصص بررسی و اعتبارسنجی می‌شود. این مدل، «خروجی‌ به‌درد بخور و مفید» (useful output) را به جای معیارهایی مانند تعداد خطوط اندازه‌گیری می‌کند. در کل، دستیارهای کدنویسی در ظاهر بهره‌وری را ۳۰-۴۰٪ را افزایش می‌دهند (بهره‌وری ظاهری)، اما بخش زیادی از این بهره‌وری به دلیل «دوباره‌کاری» (rework) و رفع اشتباهات هوش مصنوعی خنثی شده و کاهش پیدا می‌کند. در نتیجه بهره‌وری به صورت خالص و پایدار حدود ۱۵-۲۰٪ افزایش می‌یابد.

پیامد عملی: پذیرش هوش مصنوعی با در نظر گرفتن رفع خطاها، بهره‌وری را افزایش می‌دهد و میزان افزایش، «متوسط» است.

گزیده:
ندارد.

https://t.me/bibalan_com
https://bibalan.com/?p=4811