اگر مدیر امنیت اطلاعات سازمان (CISO) از شما بپرسد که امروز تا چه حد میتوانید برنامههای بومیهوش مصنوعی خود را ایمن کنید، پاسخ شما چه خواهد بود؟
امروزه بسیاری از تیمهای امنیتی نمیتوانند با اطمینان به این سؤال پاسخ دهند. در حالی که فایروالهای هوش مصنوعی وجود دارند، آنها فقط برنامههای هوش مصنوعیای را محافظت میکنند که شما از وجودشان اطلاع دارید (مشکل «هوش مصنوعی سایه» را حل نمیکنند)، و فقط از برنامههایی محافظت میکنند که در محیط تولید مستقر شدهاند. امروز، ما سه قابلیت جدید را در نسخه بتا معرفی میکنیم تا رویکردی متفاوت و فراگیرتر برای امنیت هوش مصنوعی ارائه دهیم:
-
کشف هوش مصنوعی: کشف تمام اجزا و داراییهای هوش مصنوعی که برنامههای بومیهوش مصنوعی را تشکیل میدهند
-
تست هوش مصنوعی: جابهجایی به چپ برای تست اجزای هوش مصنوعی زودتر در SDLC، قبل از استقرار برنامهها در تولید
-
حفاظت هوش مصنوعی: محافظت از برنامههای بومیهوش مصنوعی مستقر در تولید در برابر تهدیدات در حال تحول
رویکردی متفاوت: امنیت هوش مصنوعی نیازمند امنیت API است
امنیت API یک پایه ایدهآل برای ایمنسازی برنامههای بومیهوش مصنوعی فراهم میکند. بیشتر اجزا و خدمات هوش مصنوعی از طریق APIها ارتباط برقرار میکنند، بهویژه در محیطهای توزیعشده یا تولید. این یعنی هر مشتری جدید هوش مصنوعی، سرور MCP و LLM از طریق نقاط پایانی API ارتباط برقرار میکند — چیزی که تیمهای امنیتی شما درک کافی نسبت به آن دارند. در حالی که تهدیدات هوش مصنوعی متفاوت هستند، اما از منظر سطح حمله، امنیت هوش مصنوعی بدون امنیت API وجود ندارد.
به همین دلیل است که Harness امنیت هوش مصنوعی خود را بر پایه پلتفرم پیشرو امنیت API ساخته است. ما میدانیم که محافظت از برنامههای بومیهوش مصنوعی به همان رویکرد جامع مورد نیاز برای APIها نیاز دارد: دید کامل به سطح حمله، تست آسیبپذیری پیشگیرانه و محافظت در زمان واقعی در برابر تهدیدات.
کشف هوش مصنوعی: حل مشکل هوش مصنوعی سایه
همانند امنیت API، امنیت هوش مصنوعی با کشف شروع میشود. شما باید بدانید کدام اجزای هوش مصنوعی را دارید و آنها کجا قرار گرفتهاند تا بتوانید ریسک آنها را ارزیابی، درک و کاهش دهید.
Harness پیش از این به شما کمک میکند تا بهصورت خودکار تمام APIهای محیط خود را کشف و فهرست کنید. ما به طور مداوم ترافیک API شما را پایش و تحلیل میکنیم تا نقاط پایانی جدید را به محض استقرار و همچنین بهروزرسانیهای نقاط موجود را شناسایی کنیم. و چون اجزای هوش مصنوعی از طریق APIها ارتباط دارند، گسترش طبیعی این توانایی شناسایی اجزای جدید هوش مصنوعی نیز هست.
چگونگی کمک کشف هوش مصنوعی
کشف هوش مصنوعی وظایف ضروری زیر را انجام میدهد تا به شما در درک ریسک فعلی هوش مصنوعی کمک کند:
-
شناسایی اجزای هوش مصنوعی معرفیشده در محیط برنامه، شامل LLMها، سرورهای MCP، ابزارهای MCP، ارائهدهندگان مدلهای هوش مصنوعی و دیگر قابلیتهای هوش مصنوعی
-
شناسایی فراخوانیها به خدمات GenAI ثالث مانند OpenAI، Anthropic و Google جهت شناسایی استفاده غیرمجاز و ردیابی دادههای حساس خارجشده از سازمان
-
ارزیابی ریسک اجرا مانند عدم رمزگذاری یا احراز هویت ضعیف روی APIهای هوش مصنوعی، APIهای بدون احراز هویت که LLMها را فراخوانی میکنند، وجود دادههای حساس در درخواستها و تخطی از حریم خصوصی داده
-
ارائه فهرست بهروز از همه داراییهای هوش مصنوعی — شامل اجزای API داخلی و خدمات هوش مصنوعی خارجی — برای داشتن تصویری کامل و لحظهای از محیط
توانایی حفظ فهرست بهروز از داراییهای هوش مصنوعی بهسرعت در حال تبدیل شدن به یک الزام است. همانطور که PCI DSS 4.0 الزام فهرستبرداری از APIها را معرفی کرد، قوانین نوظهور مانند قانون هوش مصنوعی اتحادیه اروپا و ISO 42001 احتمالاً همین الزام را برای سیستمهای هوش مصنوعی ایجاد میکنند. همچنین کشف API به ایجاد سیاستهای انطباق و مدیریت جریان دادههای حساس در برنامههای هوش مصنوعی کمک میکند.
تست هوش مصنوعی: جابهجایی به چپ برای تست ریسک در اوایل SDLC
برنامههای هوش مصنوعی نیازمند روشهای تست کاملاً متفاوت نسبت به برنامههای سنتی هستند. ابزارهای DAST موجود برای یافتن ریسکهای برنامههای وب سنتی مانند SQL Injection و XSS طراحی شدهاند. این ابزارها نمیتوانند ریسکهای جدید در برنامههای هوش مصنوعی را شناسایی کنند — مانند تزریق درخواست (Prompt Injection)، نشت درخواست سیستمی و قدرت بیشازحد در عاملهای هوش مصنوعی.
چگونگی کمک تست هوش مصنوعی
تست هوش مصنوعی بهطور ویژه برای شناسایی ریسکهای ویژه این فناوری طراحی شده است:
-
تست برای ریسکهای هوش مصنوعی بر اساس OWASP Top 10 LLM Risks مثل تزریق درخواست (LLM01)، افشای اطلاعات حساس (LLM02)، نشت درخواست سیستمی (LLM07)، قدرت بیشازحد عاملها و موارد دیگر
-
ارزیابی ورودیها و خروجیها — حمله از طریق دستکاری زبان طبیعی به رفتار هوش مصنوعی
اقتصاد امنیت میگوید آسیبپذیریها را باید زود پیدا کرد. کشف Prompt Injection در توسعه فقط زمان مهندسی را مصرف میکند، اما کشف آن در تولید پس از نشت داده هزینههای حقوقی، جریمههای قانونی و آسیب برند را به همراه دارد.
به همین دلیل تست هوش مصنوعی باید در خط لوله CI/CD ادغام شود. تست خودکار در هر Commit باعث میشود توسعهدهندگان قبل از انتشار کد، آسیبپذیریهای هوش مصنوعی را رفع کنند. همچنین با ادغام کشف مداوم، میتوانید هر جزء هوش مصنوعی را حتی در هوش مصنوعی سایه تست کنید.
حفاظت هوش مصنوعی: محافظت در برابر Prompt Injection و بیشتر
کشف به شما میگوید چه دارید. تست به شما میگوید کجا ریسک وجود دارد و چگونه آن را قبل از استقرار کاهش دهید. اما محیط تولید همیشه نیازمند دفاع فعال در برابر حملات زنده خواهد بود.
چگونگی کمک حفاظت هوش مصنوعی
تهدیدات هوش مصنوعی به سرعت در حال تکامل هستند. شما نیاز به محافظتی دارید که با الگوهای تهدید تغییر کند و زمینه درخواست را درک کند. چون تعاملات هوش مصنوعی از طریق APIها انجام میشود، میتوان از تحلیل رفتار ترافیک برای تشخیص ناهنجاریها و حملات جدید استفاده کرد.
Prompt Injection ممکن است شبیه یک درخواست عادی به نظر برسد. تنها با تحلیل عمیق زمینه اجرا — اینکه درخواست با کدام جزء هوش مصنوعی درگیر میشود، چه دادهای را دسترسی دارد، چه پاسخی تولید میکند — میتوان رفتار مخرب را شناسایی کرد.
محافظت در زمان واقعی باید طیف کامل ریسکها را بپوشاند: از تشخیص و مسدودسازی Prompt Injection تا جلوگیری از نشت دادههای حساس و جلوگیری از اقدامهای غیرمجاز عاملهای هوش مصنوعی.
شروع امنیت هوش مصنوعی Harness
رویکرد یکپارچه Harness کمک میکند نهتنها اجزای شناختهشده، بلکه اجزایی که از وجودشان بیاطلاعید را نیز تست و محافظت کنید. کشف و فهرستبرداری آغازگر تصویر کامل از ریسک هوش مصنوعی و سطح حمله در حال رشد شما است.
اگر مدیر امنیت از شما بپرسد تا چه اندازه برای امنیت برنامههای بومیهوش مصنوعی آمادهاید، پاسخ این است:
میتوانید فهرست کاملی از تمام اجزای هوش مصنوعی، ارزیابی ریسک کلی و سیستم محافظتی در برابر تهدیدات فعال ارائه دهید.
سه قابلیت — کشف، تست و محافظت — اکنون در نسخه بتا و بر پایه همان پلتفرم امنیت API موجود هستند. اگر توسعهدهندگان شما در حال ساخت برنامههای بومیهوش مصنوعی هستند و نمیدانید کجا قرار دارند، همین امروز با مدیر حساب خود تماس بگیرید.
