گزارش شفاف سازی در خصوص اختلال 14 شهریور ماه 1400

همانطور که مستحضر هستید در شهریور ماه گذشته زیر ساخت اینترنت سرویس های میزبانی ایران طی چندین اختلال دچار قطعی های مقطعی و در 3 مورد دچار حالت ایران اکسس(حالتی که در آن صرفا از داخل ایران می توان به سرور و سایت دسترسی داشت)، به مدت بیش از 12 ساعت شد.

جزئیات اختلال

روز 14 شهریور ماه ساعت 10:21 دقیقه صبح یک رشته حمله سایبری روی شبکه میزبانی مارال هاست مستقر در دیتاسنتر افرانت آغاز شد، در گزارش اولیه دیتاسنتر نوع اتک DDOS در سطح لایه 7 و حجم پیک اتک 120 گیگابیت اعلام شد.

همزمان با شروع اتک گسترده به دلیل Bad Acknowledge بودن اتک و عدم توانایی باکس F5 دیتاسنتر افرانت، اختلال گسترده ای بر روی سرویس دهی دیتاسنتر برای سایر مشتریان سرویس های میزبانی دیتاسنتر افرانت ایجاد شد. علت این اختلال دفع کامل اتک درسطح فایروال لبه شبکه مارال هاست به سبب نصب سخت افزار FORTIDDOS  و انباشت اتک در دیتاسنتر اعلام شد.

دیتاسنتر افرانت به جهت کنترل اختلال رنج آی پی 185.165.116.0 تا 185.165.116.255 که کلیه سرور های میزبانی و ابری مارال هاست نیز در این رنج آدرس دهی شده است را در حالت ایران اکسس قرار داد. به واسطه عدم امکان کنترل اتک در لایه دیتاسنتر، افرانت در همان ساعات اولیه اتک درخواست فعال کردن سرویس DDOS Mitigation در مرکز زیر ساخت ارسال نمود.

با اعلام فعال شدن سرویس DDOS Mitigation  مرکز زیر ساخت و همچنین تغییرات در کانفیگ باکس F5 اطمینان نسبی در خصوص امکان دفع اتک حاصل شد و پس از  انجام این تغییرات در ساعت 19 روز 14 شهریور ماه رنج ایران اکسس شده از حالت ایران اکسس خارج شد.

ظرف مدت بسیار کوتاهی از خارج شدن رنج از ایران اکسس، یک رشته حمله گسترده روی آی پی های رنج 185.165.116.0 تا 185.165.116.255 آغاز شد و با توجه به هماهنگی انجام شده با دیتاسنتر به جهت کاهش اثر این اتک در سرویس دهی به مشتریان نهایی، کارشناس شیفت دیتاسنتر در واحد شبکه حدود 20 آی پی از رنج را ایران اکسس نمود ، البته این 20 آی پی مربوط به سرور های اصلی میزبانی و مشتریان با مصرف ترافیک بالا بود.

این محدودیت ها تا روز 16 شهریور ماه ادامه یافت، با توجه به حجم مشکلات گسترده ای که به دلیل ایران اکسس شدن آی پی های این رنج ایجاد شده بود، با هماهنگی انجام شده با مشتریانی که آی پی سرور ایشان بلاک شده بود، آی پی سرور های بلاک شده به آی پی های دیگری که مشکل ایران اکسس در آن وجود نداشت تغییر داده شد.

روز چهارشنبه 17 شهریور ماه و شروع قطعی کامل

با حل نسبی مشکل در روز 16 شهریور ماه، و با این امیدواری که سرویس باکسF5  و DDOS Mitigation  تا حد قابل قبولی اتک های ورودی را کنترل می نماید، ناگهان در ساعت 9 صبح روز 17 شهریور ماه مجدد رنج 185.165.116.0/23 شامل 512 آی پی ایران اکسس شد .

• اولین تماس با واحد NOC دیتاسنتر :

به محض مشاهده Drop ترافیک در سامانه مانیتورینگ، جهت پی گیری موضوع تماسی با دیتاسنتر گرفته شد که به محض تماس با واحد و درخواست گفت و گو با سرپرست واحد شبکه دیتاسنتر از رابط فنی مارال هاست خواسته شد جهت پی گیری با کارشناس واحد بازرگانی گفت و گو نماید و واحد شبکه از ادامه گفت و گو با رابط مارال هاست معذور است.

به محض قطع تماس با واحد NOC افرانت ، مدیر فنی مارال هاست ضمن تماس با واحد بازرگانی دیتاسنتر و اعلام عدم رضایت از نحوه پیگیری مشکلات فنی، درخواست برگزاری یک جلسه اضطراری در سطح معاونین دیتاسنتر افرانت را درخواست نمود.

• جلسه اضطراری راس ساعت 12:30 روز چهارشنبه 17 شهریور ماه

با هماهنگی سریع کارشناس واحد بازرگانی افرانت یک جلسه اضطراری با حضور واحد فنی،  شبکه،  بازرگانی و امنیت دیتاسنتر افرانت برگزار شد، در این جلسه که معاونین در چهار مجموعه افرانت نیز حضور داشتند، مدیر فنی مارال هاست ضمن اعلام عدم رضایت از کیفیت سرویس دهی و مشکلاتی که برای مشتریان نهایی ایجاد شده است و حجم گسترده نارضایتی که در این بازه ایجاد شده است، از حاضرین در جلسه از طرف دیتاسنتر افرانت توضیحات فنی و مستدل درخواست نمود.

با دریافت توضیحات دو طرف مشخص شد سرویس DDOS Mitigation  مرکز زیر ساخت قادر به کنترل اتک نیست و تنها راهکار تمام دیتاسنتر های ایرانی در حال حاضر ایران اکسس کردن آی پی می باشد. در این جلسه با اعلام اهمیت حل مشکل از سمت دیتاسنتر به پیشنهاد جناب مهندس جباری معاونت فنی دیتاسنتر افرانت، قرار شد جهت حل سریعتر مشکل ایران اکسس، یک لینک اختصاصی بین الملل موقت به میزان 500 مگابیت خارج از شبکه دیتاسنتر و به صورت لینک مستقل در اختیار مارال هاست قرار داده شود تا مارال هاست به واسطه سخت افزار کنترل اتک Forti DDOS مستقر در لبه شبکه خود اتک را کنترل نماید و دفع اتک باعث اختلال در شبکه دیتاسنتر نشود .

درخواست استقرار سرویس scrubbing services

با توجه به تایید عدم امکان کنترل اتک توسط دیتاسنتر و مرکز زیرساخت، مدیر فنی مارال هاست درخواست مجوز استقرار سرویس scrubbing services بین المللی و انتقال ترافیک بین المللی از طریق تونل و خارج از ارتباط عادی مرکز زیرساخت را ارسال نمود.

معاونت فنی دیتاسنتر ضمن تایید اولیه این درخواست، اعلام نمود با توجه به این که این درخواست اولین بار است که در دیتاسنتر مطرح می گردد و نیاز به تغییراتی گسترده جهت فعال کردن ترافیک نا متقارن برای مشترکین کلوکیشن وجود دارد از معاونین شبکه و امنیت خواست تا در اسرع وقت نیازمندی های فنی جهت استقرار سامانه آغاز شود.

• scrubbing services چیست ؟

در واقع scrubbing services یک سرویس کنترل اتک می باشد که می تواند ترافیک ورودی به شبکه را تا 99 درصد Clean نماید و در کل ترافیک بین الملل از طریق سرویس دهنده scrubbing services به شبکه نهایی تحویل می گردد و سرویس دهنده scrubbing services تمام اتک های لایه 3 و 4 و 7 را قبل از ورود به شبکه نهایی دفع خواهد کرد.

• محدودیت استفاده از scrubbing services در ایران ؟

در واقع زمانی که یک شبکه نیاز به فعال کردن سرویس scrubbing services دارد لازم است ترافیک از سرویس دهنده بین المللی دریافت گردد، اما در ایران تمام شرکت های اینترنتی و سرویس دهندگان میزبانی وب و یا تمام دیتاسنتر های داخلی تنها مجاز هستند ترافیک خود را به صورت متقارن از مرکز زیرساخت دریافت و ترافیک Out  را نیز از همین طریق منتقل نمایند، اما در استفاده از سرویس scrubbing services ترافیک بین الملل به صورت کاملا مستقل از طریق یک Tunnel  به روتر منتقل خواهد شد و تنها ترافیک OUT شبکه امکان خروج از شبکه ایران را خواهد داشت.

دریافت مجوز استقرار scrubbing services به صورت رسمی اولین بار در ایران

با پی گیری های متعدد و هماهنگی بسیار بالای دیتاسنتر افرانت و مارال هاست، تمام راهکار های تسریع در دریافت مجوز پیگیری و در روز 18 شهریور ماه، تایید نهایی امکان فعال سازی این سامانه به مدیر فنی مارال هاست اعلام شد.

همزمان با تایید نهایی امکان استفاده از scrubbing services بین المللی، با توجه به تحقیقات گسترده انتخاب بهترین سرویس بین المللی scrubbing services در نهایت دو شرکت DDOS GUARD و DigiTurunc برای شروع راه اندازی سرویس تست انتخاب در نهایت در روز شنبه 20 شهریور ماه دو سرویس تست از این دو سرویس دهنده درخواست شد.

• راه اندازی سرویس

با دریافت سرویس تست و تغییرات لازم در پنل Ripe سرویس DDOS GUARD راه اندازی شد ، همزمان با فعال شدن این سرویس و انتقال نامتقارن ترافیک مشکلاتی در باز کردن سایت های مجهز به پروتکل HTTPS گزارش شد، به محض روئیت اختلال به جهت جلوگیری از ایجاد مشکل برای مشتریان نهایی تمام تنظیمات به حالت اولیه بازگشت.

• شروع تنظیمات روی رنج تست

پس از ایجاد اختلال در سطح شبکه به واسطه فعال شدن سرویس scrubbing services و البته اهمیت فعال سازی هر چه سریعتر این سرویس به دلیل دریافت اتک های متعدد، واحد شبکه مارال هاست یک تلاش 72 ساعته و خستگی ناپذیر را جهت استقرار سامانه بر روی رنج تست آغاز نمود، در نهایت متوجه شدیم مشکلی که وجود دارد به دلیل تنظیماتی غیر قابل تغییر در بالا دست شبکه دیتاسنتر ایجاد شده است.

در نهایت پس از پیگیری های بسیار زیاد و البته تعامل عالی واحد شبکه دیتاسنتر افرانت موفق به حل این مشکلات و راه اندازی سرویس روی رنج تست شدیم و روز 25 شهریور ماه تست اتک به میزان 100 گیگابیت با هماهنگی دیتاسنتر انجام شد و این اتک به صورت کامل توسط scrubbing services دفع شد .

همزمان با راه اندازی scrubbing services شرکت DDOS GUARD و موفقیت در دفع اتک در لایه 3 و 4 سرویس DigiTurunc نیز راه اندازی و در تستی مشابه کل اتک به صورت کامل کنترل شد.

• انتخاب سرویس دهنده نهایی

در نهایت با حل مشکلات فنی و استقرار سامانه scrubbing services نوبت به تصمیم گیری به انتخاب سرویس دهنده نهایی رسید.

در انتخاب سرویس دهنده چندین عامل شامل :

• کیفیت دفع اتک
• گزارش دهی دقیق اتک
• امکان کنترل اتک در لایه 7
• کمترین میزان اختلال در ترافیک clean

ملاک تصمیم گیری انتخاب سرویس بود، با تایید مدیر عامل مارال هاست به هیچ وجه پارامتر هزینه در انتخاب سرویس ملاک قرار داده نشد تا بتوانیم بهترین سرویس ممکن را برای حل مشکل انتخاب نماییم.

در نهایت با بررسی تمام پارامتر های ممکن سرویس scrubbing services شرکت DigiTurunc با قدرت دفع اتک تا حجم 2 ترابیت در ثانیه ( ترافیکی معادل کل ترافیک ورودی بین الملل به دیتاسنتر های داخل ایران ) و امکان دفع حملات در لایه 3-4-7 انتخاب و مذاکرات اولیه جهت خرید سرویس آغاز و در تاریخ26 شهریور ماه یک سرویس DigiTurunc با حجم انتقال ترافیک بین الملل به حجم 2 گیگابیت بر ثانیه با عقد قرار داد یکساله از شرکت DigiTurunc خریداری شد.

پایان اختلال و کنترل کامل اتک

با فعال شدن سرویس DDOS Mitigation  بین المللی در همان روز اول یک اتک به میزان 60 گیگابیت دریافت و کل اتک بدون هیچ اختلالی درسطح شبکه دفع شد ، طی روز های آتی اتک هایی تا حجم160 گیگابیت نیز در گراف گزارش اتک DigiTurunc مشاهده شد .

منبع اتک های گسترده

این که منبع اتک چه بود، و چرا مارال هاست تحت شدید ترین حملات اتک بود، این که آیا مارال هاست هدف نهایی اتک بود و یا قصد اتک های گسترده در شبکه افرانت اختلال در سرویس دهی این دیتاسنتر بود (همزمان با مارال هاست شرکت های دیگری نیز که از همکاران ما بوده اند درگیر اتک های مشابه شدند) مشخص نبود، آنچه مشخص شد توانایی کامل کنترل اتک با استقرار سامانه جدید توسط مارال هاست بود.

بهبود های خاص سرویس های میزبانی وب پس از فعال سازی سرویس DDOS Mitigation

همانطور که توضیحاتی در خصوص نحوه فعال سازی سرویس و نحوه انتقال ترافیک بین المللی ارائه شد ، هم اکنون کل ترافیک بین الملل به صورت مستقیم و از طریق تانل به لبه شبکه مارال هاست از سرویس دهنده بین المللی منتقل می شود و به همین دلیل بهبود قابل توجهی در کیفیت ارتباط بین المللی شبکه شامل موارد زیر ایجاد شده است :

1. عدم ایجاد اختلالات داخلی روی کیفیت ارتباط بین الملل
2. بهبود پینگ سرویس های میزبانی شبکه افرانت به میزان 20 درصد
3. دفع کامل اتک های لایه 3 ، 4 و 7 و کاهش ترافیک ناخواسته روی سرور های میزبانی
4. افزایش کیفیت ایندکس شدن وب سایت های میزبانی شده در ایران در موتور جست و جوی گوگل به جهت اتصال مستقیم به ترافیک بین الملل و وجود رول های ویژه جهتCrawler های گوگل در سرویس DDOS Mitigation
5. افزایش Reputation آی پی های شبکه میزبانی داخل ایران مارال هاست به دلیل اتصال مستقیم AS مارال هاست به سرویس دهنده بین المللی و مبرا شدن از AS مرکز زیرساخت جهت ارسال و دریافت ایمیل.

سپاس و قدردانی ویژه از کاربران عزیزمان

ما درک می کنیم وقتی درشرایط سخت کرونا و شرایط ویژه اقتصادی سرویس های ارائه خدمات آنلاین با اختلال روبرو می شود چه ضربات جبران ناپذیری به کسب و کار شما وارد می شود، از این که این مشکلات که متاسفانه بخش عظیمی از آن خارج از کنترل و اختیار ما بود کسب و کار شما را تحت الشعاع خود قرار داد، از شما مجدانه پوزش می خواهیم و می خواهیم این اطمینان را به شما بدهیم شما با ارزش ترین دارایی ما هستید و ما تمام تلاش خود را جهت ارتقای سطح کیفیت خدمات و حل مشکلات به کار خواهیم بست و از انجام هیچ اقدامی جهت افزایش رضایت شما دریغ نخواهیم کرد. سپاس