MAIA | انجمن هوش مصنوعی پزشکی

عملکرد و ارزیابی مدل / مقایسه مدل‌های تک‌نما و چندنما / تحلیل موارد ناهماهنگ


عملکرد و ارزیابی مدل

اندازه‌گیری دقت:
برای بررسی کیفیت عملکرد مدل، میزان دقت آن در شناسایی شدت نارسایی میترال را با ارزیابی‌های کاردیولوژیست‌های خبره مقایسه کردند. آنها از دو معیار اصلی استفاده کردند:
- کاپای وزنی (κ): این یک آمار است که نشان می‌دهد چقدر نتایج مدل با ارزیابی‌های کاردیولوژیست‌ها همخوانی دارد. مقدار بالاتر به معنای توافق بهتر است.
- ناحیه زیر منحنی مشخصه عملکرد گیرنده (AUROC): این معیار نشان می‌دهد مدل چقدر خوب می‌تواند بین سطوح مختلف شدت نارسایی میترال تمایز قائل شود. مقدار بالاتر AUROC نشان‌دهنده دقت بیشتر مدل در پیش‌بینی صحیح است.

دقت مدل در طبقه‌بندی شدت نارسایی میترال در مجموعه تست داخلی ۸۲٪ و در مجموعه تست خارجی ۷۹٪ بود.

تحلیل‌های زیرمجموعه:
آن‌ها به انواع مختلف نارسایی میترال نگاه کردند تا ببینند آیا مدل عملکرد متفاوتی دارد یا خیر. مثلاً بررسی کردند که آیا مدل در تشخیص نارسایی میترال اولیه نسبت به نارسایی میترال ثانویه یا انواع مختلف آن (مانند نارسایی میترال اگزانتریک) بهتر یا بدتر عمل می‌کند.
این کار کمک می‌کند تا بفهمند آیا مدل برای تمامی انواع نارسایی میترال به طور یکسان عملکرد خوبی دارد یا نیاز به بهبود در برخی زمینه‌ها دارد.


مقایسه مدل‌های تک‌نما و چندنما

مدل تک‌نما: این مدل تنها از یک نوع نما از اکوکاردیوگرام استفاده می‌کند، به‌ویژه نمای ۴-حجره‌ای اپیکال. مدل به این نما نگاه می‌کند تا شدت نارسایی میترال را ارزیابی کند. از آنجایی که به یک نما تکیه می‌کند، ممکن است جزئیات مهمی که در نماهای دیگر قابل مشاهده است را از دست بدهد.

مدل چندنما: این مدل از چندین نما از اکوکاردیوگرام استفاده می‌کند و تنها به نمای ۴-حجره‌ای اپیکال محدود نمی‌شود. اطلاعات را از زوایای مختلف و کلیپ‌های متنوع قلب ترکیب می‌کند. با نگاه به نماهای مختلف، مدل می‌تواند تصویر کامل‌تری از نارسایی میترال به دست آورد که منجر به ارزیابی دقیق‌تری می‌شود.

نتایج مقایسه: آن‌ها عملکرد مدل تک‌نما را با مدل چندنما مقایسه کردند. مدل چندنما کمی بهتر عمل کرد. این به معنای آن است که این مدل دقت بیشتری در ارزیابی شدت نارسایی میترال داشت زیرا اطلاعات بیشتری از زوایای مختلف داشت.


تحلیل موارد ناهماهنگ

موارد ناهماهنگ موقعیت‌هایی هستند که ارزیابی شدت نارسایی میترال توسط مدل یادگیری عمیق با ارزیابی‌های کاردیولوژیست‌های خبره مطابقت ندارد. به عبارت دیگر، بین آنچه مدل می‌گوید و آنچه کارشناسان انسانی می‌گویند، اختلاف نظر وجود دارد.

برای این موارد ناهماهنگ، جایی که نظرات مدل و کاردیولوژیست‌ها هم‌راستا نبود، یک گروه متخصص به دقت این موارد را بررسی کرد. کارشناسان این موارد را بررسی کردند تا بفهمند چرا اختلاف نظر وجود دارد و ببینند آیا پیش‌بینی‌های مدل دقیق است یا مشکلاتی وجود دارد که باید برطرف شوند.

با تحلیل این موارد، محققان می‌توانند الگوها یا اشتباهات احتمالی مدل را شناسایی کنند. این کمک می‌کند تا عملکرد مدل بهبود یابد و مطمئن شود که مدل قابل اعتماد است.


آپ‌تودیت هوش مصنوعی پزشکی

#آموزشی
#پژوهشی
#محتوای_اختصاصی

@MAIA_HQ

توسعه مدل یادگیری عمیق

ساختار مدل:
۱. ورودی ویدئوهای کامل اکوکاردیوگرام
- مدل ویدئوهای کامل اکوکاردیوگرام را دریافت می‌کند، که شامل توالی‌های تصاویری است که قلب را در حال فعالیت نشان می‌دهند.
- این ویدئوها شامل کلیپ‌های داپلر رنگی هستند، که تصاویری ویژه هستند که با استفاده از رنگ، جریان خون از طریق دریچه‌های قلب را نمایش می‌دهند. مدل به‌طور خاص به این کلیپ‌ها نگاه می‌کند تا وضعیت دریچه میترال را که محل بروز نارسایی میترال است، ارزیابی کند.

۲. شناسایی بخش‌های مهم
- اولین مرحله‌ای که مدل انجام می‌دهد شناسایی بخش‌هایی از ویدئو است که برای تحلیل دریچه میترال اهمیت دارند. این مشابه تصمیم‌گیری یک پزشک است که از میان تمام تصاویر یک اسکن، تصاویر مهم را انتخاب کند.

۳. تحلیل تصاویر در طول زمان
- مدل تنها به تصاویر تک نگاه نمی‌کند، بلکه تغییرات زمان در ویدئو را نیز در نظر می‌گیرد. برای این کار از یک شبکه عصبی کانولوشنی فضازمانی (Spatiotemporal CNN) استفاده می‌کند (نوعی از هوش مصنوعی که می‌تواند هم فضای تصویر و هم تغییرات زمان را درک کند).
- این شبکه به هر فریم (تصویر جداگانه) ویدئو نگاه کرده و الگوهایی مانند نحوه جریان خون از طریق دریچه میترال در هر لحظه را درک می‌کند.

۴. تصمیم‌گیری برای هر کلیپ ویدئویی
- پس از تحلیل تصاویر، مدل تصمیم می‌گیرد که شدت نارسایی میترال برای هر کلیپ ویدئویی چیست. این کار را برای تمام کلیپ‌ها در اکوکاردیوگرام انجام می‌دهد.

۵. ترکیب نتایج
- هنگامی که مدل تمام کلیپ‌ها را تحلیل کرد، نتایج را ترکیب می‌کند. برای مثال، اگر برخی کلیپ‌ها نارسایی میترال شدید و برخی دیگر خفیف را نشان دهند، مدل تصمیم می‌گیرد کدام‌یک از این‌ها برای ارزیابی کلی شدت نارسایی میترال اهمیت بیشتری دارند.

۶. خروجی نهایی
- خروجی نهایی، طبقه‌بندی شدت نارسایی میترال (بدون، خفیف، متوسط، یا شدید) برای کل مطالعه اکوکاردیوگرام است.

آموزش و آزمایش:
اکوکاردیوگرام‌ها به مجموعه‌های آموزش جهت شناسایی و طبقه‌بندی شدت نارسایی میترال (۶۰٪)، اعتبارسنجی جهت تنظیم مدل و جلوگیری از بیش‌برازش (۲۰٪)، و تست جهت ارزیابی عملکرد مدل (۲۰٪) تقسیم شدند. ابتدا مدل به طبقه‌بندی شدت نارسایی میترال به شش سطح آموزش داده شد، اما بعداً با استفاده از مقیاس چهار سطحی ساده‌تر (بدون/جزئی، خفیف، متوسط، شدید) ارزیابی شد.

بهبود مدل:
۱. ترکیب پیش‌بینی‌ها از کلیپ‌ها:
وقتی مدل یادگیری عمیق یک اکوکاردیوگرام را تحلیل می‌کند، به کلیپ‌ها یا بخش‌های مختلف از اکوکاردیوگرام نگاه می‌کند. به جای تصمیم‌گیری جداگانه برای هر کلیپ، مدل پیش‌بینی‌های فردی را ترکیب می‌کند تا ارزیابی نهایی برای کل مطالعه اکوکاردیوگرام ارائه دهد. اکوکاردیوگرام‌ها ممکن است شامل کلیپ‌های مختلفی باشند که زوایا یا بخش‌های مختلف قلب را نشان می‌دهند. با ترکیب اطلاعات از تمام این کلیپ‌ها، مدل تصویر کلی دقیق‌تری از شدت نارسایی میترال به دست می‌آورد.

۲. استفاده از روش TopK:
در طول آموزش، مدل کلیپ‌هایی را که شدیدترین موارد نارسایی میترال را نشان می‌دهند انتخاب و تمرکز می‌کند. این رویکرد به نام روش TopK شناخته می‌شود. با تمرکز بر روی کلیپ‌های با نارسایی میترال شدیدتر، مدل بهتر قادر به شناسایی و طبقه‌بندی موارد شدید می‌شود. این کمک می‌کند تا دقت آن در شناسایی شرایط بحرانی بهبود یابد.


آپ‌تودیت هوش مصنوعی پزشکی

#آموزشی
#پژوهشی
#محتوای_اختصاصی

@MAIA_HQ