خطر مدل چیست و چرا اهمیت دارد؟

با توجه به انقلاب داده های بزرگ سالهای اخیر ، مدل های پیش بینی شده به سرعت در فرآیندهای تجاری بیشتر و بیشتر ادغام می شوند. این امر سود زیادی را فراهم می کند ، اما مؤسسات را در معرض خطر بیشتر و در نتیجه قرار گرفتن در معرض ضررهای عملیاتی قرار می دهد. هنگامی که تصمیمات تجاری بر اساس مدل های بد گرفته می شود ، عواقب آن می تواند شدید باشد. سهام در مدیریت ریسک مدل در همه زمانها زیاد است ، اما خوشبختانه یادگیری خودکار ماشینی راهی مؤثر برای کاهش این خطرات فراهم می کند.

پیش از بحران مالی سال 2008 ، مدیریت ریسک مدل در صنعت خدمات مالی به جای استانداردهای نظارتی توسط بهترین شیوه های صنعت هدایت می شد (که این گفته "روباه محافظت از خانه مرغ" را به ذهن متبادر می کند). با این حال ، پس از بحران مالی ، تنظیم کننده های مالی در سرتاسر جهان به چالش سلطنت در ریسک مدل در صنعت مالی رسیدند.

در سال 2011 ، هیئت مدیره فدرال رزرو (FRB) و دفتر Comptroller از ارز (OCC) آیین نامه مشترکی را صادر کردند که بطور خاص مدیریت ریسک مدل را هدف قرار می دهد (به ترتیب ، SR 11-7 و بولتن OCC 2011-12). این آیین نامه پایه و اساس ارزیابی ریسک الگوی مؤسسات مالی در سراسر جهان را پایه گذاری کرده است ، اما در ابتدا به سمت مؤسسات مالی مهم سیستماتیک (SIFIS) هدف قرار گرفت ، که توسط دولت به عنوان "خیلی بزرگ برای شکست" در هنگام رکود بزرگ تلقی می شد.

در سال 2017 ، مقررات اضافی مؤسسات مالی بسیار کمتری را در ایالات متحده هدف قرار داد ، هنگامی که کمیسیون بیمه سپرده فدرال (FDIC) تصویب راهنمایی نظارتی در مدیریت ریسک مدل را که قبلاً توسط FRB و OCC بیان شده بود ، اعلام کرد. اقدام FDIC از طریق نامه موسسه مالی ، FIL-22-2017 اعلام شد. آیین نامه جدید حداقل آستانه پیروی از بانک ها را از 50 میلیارد دلار به یک میلیارد دلار دارایی کاهش داد. این آیین نامه برای اطمینان از تراز با انتظارات نظارتی ، سرمایه گذاری های بزرگی را از بانکهای منطقه ای و جامعه نیاز داشت - چیزی که SIFI ها شروع به کار بسیار طولانی می کردند.

به تازگی ، دانشگاه استنفورد گزارش سالانه شاخص AI 2022 خود را منتشر کرد ، جایی که بین سالهای 2016 تا 2021 نشان داد ، تعداد لوایح حاوی اطلاعات مصنوعی از 1 به 18 در 25 کشور جهان افزایش یافته است. در میان اینها ، اسپانیا ، انگلستان و ایالات متحده بیشترین تعداد لوایح مربوط به هوش مصنوعی را در سال 2021 تصویب کردند که هر یک سه را تصویب کردند. با پیشرفت یادگیری ماشین در سطح جهان ، ما فقط می توانیم انتظار داشته باشیم که تمرکز بر روی خطر مدل افزایش یابد.

مبانی خطر مدل

توجه روزافزون پیرامون مقررات ، ما را به ارزیابی مفهوم "خطر مدل" سوق می دهد. ممکن است فکر کنید خطر مدل چیست و چگونه می توان آن را کاهش داد؟این یک سؤال پیچیده است ، اما قبل از اینکه ما به مدل ریسک بپردازیم ، من یک سؤال ساده تر دیگر دارم که ابتدا باید به آن پاسخ داد. مدل چیست؟تنظیم کننده ها تعریف جهانی را ارائه داده اند که در صنعت مالی اتخاذ شده است. آنها یک مدل را "یک روش ، سیستم یا رویکردی کمی که تئوری های آماری ، اقتصادی ، مالی یا ریاضی ، تکنیک ها و فرضیات را برای پردازش داده های ورودی به برآوردهای کمی اعمال می کند ، تعریف می کنند."

بنابراین ، اگر یک فرآیند شامل ورودی ها ، محاسبات و خروجی ها باشد ، تحت طبقه بندی نظارتی یک مدل قرار می گیرد. این یک تعریف گسترده است ، اما از آنجا که قصد کاهش خطر مدل بود ، تعریف گسترده ای از یک مدل برای به حداکثر رساندن تأثیر مقررات تعیین شد. در صورت شک و تردید در طبقه بندی یک فرآیند ، تنظیم کننده ها می خواستند مؤسسات مالی را ترغیب کنند تا از طرف "مدل" خطا کنند.

با تعریف مدل در حال حاضر ، آیین نامه بعدی خطر مدل را به عنوان "پتانسیل عواقب جانبی از تصمیمات مبتنی بر خروجی ها و گزارش های مدل نادرست یا سوء استفاده شده تعریف می کند."به عبارت دیگر ، ریسک مدل می تواند منجر به خسارات ملموس برای بانک و سهامداران آن شود. صرف نظر از جایی که یک موسسه از یک مدل در شرکت خود استفاده می کند ، ریسک مدل در درجه اول به دو دلیل رخ می دهد:

1. ممکن است یک مدل همانطور که در نظر گرفته شده ساخته شده است اما می تواند خطاهای اساسی داشته باشد و در مقایسه با هدف طراحی و استفاده در نظر گرفته شده ، خروجی های نادرست ایجاد کند.
2. ممکن است یک مدل به طور نادرست یا نامناسب استفاده شود ، یا ممکن است محدودیت ها یا فرضیات آن کاملاً درک نشود.

نیاز به یک چارچوب مدیریت ریسک الگوی مؤثر (MRM) را می توان با مطالعات موردی بی شماری از خرابی های MRM اخیر نشان داد. به عنوان مثال ، مدیریت سرمایه بلند مدت یک صندوق پرچین بزرگ به رهبری برندهای نوبل اقتصاد و بازرگانان کلاس جهانی بود اما در نهایت به دلیل ریسک مدل ناشناخته شکست خورد. در مثال دیگر ، سوء استفاده از یک بانک جهانی بزرگ از یک مدل باعث ایجاد میلیارد ها دلار در ضرر معاملات شد. جزئیات این مثالها اغلب موضوع مطالعات موردی و بحث در مورد مدارس تجاری است ، اما هیچ استدلال وجود ندارد که ریسک مدل بسیار واقعی است و باید مدیریت شود. اما چگونه؟

اجزای مدیریت ریسک مدل

مقررات FDIC را می توان به سه مؤلفه اصلی مورد استفاده برای مدیریت ریسک مدل تقسیم کرد:

• توسعه ، اجرای و استفاده از مدل - مسئولیت اولیه برای مدیریت ریسک مدل بر روی آنهایی است که در حال توسعه ، اجرای و استفاده از مدل ها هستند. توسعه مدل به شدت به تجربه و قضاوت توسعه دهندگان متکی است ، و مدیریت ریسک مدل باید شامل توسعه مدل و فرایندهای اجرای مدل باشد که با سیاست های حاکمیت و کنترل مدل هماهنگ باشد.
• اعتبار سنجی مدل - قبل از استفاده از یک مدل (به عنوان مثال ، استقرار تولید) ، باید توسط یک گروه مستقل - اعتبار سنجی روش بررسی شود. اعتبار سنجی مدل مجموعه ای از فرآیندها و فعالیتهای در نظر گرفته شده برای تأیید مستقل است که مدل ها مطابق با اهداف طراحی و کاربردهای تجاری خود انجام می دهند. فرایند اعتبار سنجی مدل در نظر گرفته شده است تا یک چالش مؤثر برای توسعه ، اجرای و استفاده از هر مدل باشد. فرآیند اعتبار سنجی مدل برای شناسایی و مدیریت ریسک مدل بسیار مهم است.
• حاکمیت ، سیاست ها و کنترل های مدل - حاکمیت قوی پشتیبانی و ساختار صریح را برای کارکردهای مدیریت ریسک از طریق سیاستهای تعریف فعالیتهای مربوط به مدیریت ریسک ، رویه هایی که آن سیاستها ، تخصیص منابع و مکانیسم های آزمایش را انجام می دهند ، فراهم می کند. مشخص شده. این حاکمیت شامل ردیابی وضعیت هر مدل در موجودی در کل شرکت است.

تراز اولیه با این الزامات نظارتی به بانکهای SIFI نیاز داشت تا میلیون ها دلار برای ساخت فرآیندهای جدید و تیم ها سرمایه گذاری کنند ، و اکنون این همان بار مربوط به جامعه و موسسات منطقه ای است. تأکید بیش از حد بر نیاز به یک موسسه برای داشتن الگوی کافی حاکمیت ، سیاست ها و کنترل غیرممکن است. صرف نظر از فناوری در اختیار توسعه دهندگان مدل یا اعتبار سنج های مدل ، هیچ جایگزینی برای یک فرآیند مدیریت مدل صوتی وجود ندارد. اما آیا روش کارآمدتری برای استفاده از فناوری برای کاهش ریسک مدل وجود ندارد ، ضمن افزایش شفافیت و قابلیت حسابرسی توسعه ، اجرای و استفاده از فرآیند؟یک استراتژی هدفمند MLOPS دقیقاً می تواند این موضوع را ارائه دهد.

تکامل مدیریت ریسک مدل

روشهای توسعه مدل سنتی وقت گیر ، خسته کننده و در معرض خطای کاربر و تعصب هستند. به جای مراحل کدگذاری دستی (مانند انتخاب متغیر ، پارتیشن بندی داده ها ، تست عملکرد مدل ، تنظیم مدل و غیره) ، بهترین روشها با استفاده از یادگیری خودکار ماشین و ریل های نگهبان می توانند در هنگام ترکیب با یک استراتژی MLOPS قابل اجرا باشند. بشریادگیری خودکار ماشین به علاوه MLOP ها امکان تکثیر آسان فرآیند توسعه مدل را فراهم می کند ، که به اعتبار سنج های مدل زمان بیشتری می دهد تا به طور مستقل مدل و محدودیت های بالقوه آن را ارزیابی و بررسی کنند و در نهایت ارزش را برای فرآیند اعتبار سنجی هدایت می کنند. MLOPS ریل های نگهبان ، اسناد ، نظارت و فرآیندهای تصویب لازم را برای امنیت و حسابرسی فراهم می کند.

زمینه جدید MLOPS چارچوبی بسیار قوی تر برای اعتبار سنجی مدل ، مستندات و نظارت نسبت به تلاشهای سنتی دستی ارائه می دهد ، در حالی که بیشتر با الزامات نظارتی روزافزون هماهنگ تر و کاهش بسیار "خطر مدل" است.

اطلاعات بیشتر در مورد این موضوع

• افتتاح "جعبه سیاه AI": مسیر استقرار مدل های هوش مصنوعی در بانکداری
• آنچه شما باید در مورد مدیریت ریسک مدل بدانید