استفاده از مدلهای زبانی بزرگ (LLMها) در مدت زمان کوتاهی به شدت افزایش یافته است. هوش مصنوعی مولد نه تنها تجربه کاربران را به شکل چشمگیری تغییر میدهد، بلکه نحوه تولید نرمافزار را نیز دگرگون میکند. و وقتی با APIها ترکیب شوند، LLMها به راحتی در انواع برنامهها یکپارچه میشوند تا دسترسی به قابلیتهای شگفتانگیز هوش مصنوعی فراهم شود.
به گفته Ankita Gupta، بنیانگذار و مدیرعامل Akto، APIها ستون فقرات انقلاب فعلی هوش مصنوعی هستند و به جمعآوری داده، پالایش و یکپارچهسازی این مدلهای قدرتمند کمک میکنند. با این حال، با LLMها باید به خطرات امنیتی API نیز توجه شود. بهویژه تهدیدهای مرتبط با LLM مانند تزریق پرامپت و نشت دادهها باید در اولویت شرکتهای هوش مصنوعی قرار داشته باشند که قصد رقابت در بازاری شلوغ را دارند.
قبل از Austin API Summit 2024، با سخنرانان کلیدی هماهنگ شدیم تا کمی درباره پروژههایشان و دیدگاهشان در مورد اقتصاد APIها بدانیم. Gupta که پیش از تأسیس Akto در VMware، LinkedIn و JP Morgan کار کرده است، درک دقیقی از پیامدهای فنی و تجاری امنیت ضعیف LLMها دارد.
من اخیراً با Gupta درباره تأمین امنیت APIهای LLM مصاحبه کردم، موضوعی که در جلسه آتی او مطرح خواهد شد. پاسخهای Gupta را در ادامه بخوانید و حتماً در Austin API Summit شرکت کنید تا بینشهایی درباره آینده هوش مصنوعی و APIها، امنیت API و دانشهای مرتبط دیگر به دست آورید.
چرا APIها برای عملکرد LLMها حیاتی هستند؟
بر اساس تجربه ما، یک سازمان متوسط حدود ده مدل LLM استفاده میکند. این LLMها دادههای خود را به صورت غیرمستقیم از طریق APIها دریافت میکنند. بنابراین وقتی درباره LLMها صحبت میکنیم، در واقع درباره APIهایی صحبت میکنیم که به ما کمک میکنند این مدلها را استفاده و تنظیم کنیم.
توسعهدهندگان از APIها برای افزودن ویژگیهای LLM به برنامههای موجود خود برای عملیاتی مانند بازیابی و پردازش دادهها استفاده میکنند. مقیاسپذیری نیز یکی دیگر از جنبههای مهم است. ما به APIها تکیه میکنیم تا مطمئن شویم LLMهای ما میتوانند دادههای بیشتری را پردازش کنند. از APIها برای بهروزرسانی و بهبود LLMها و ادغام آنها در جریانهای کاری برنامه استفاده میکنیم. به طور کلی، APIها راه استفاده، مقیاس و سفارشیسازی مدلهای LLM هستند.
چرا امنیت LLM اخیراً اهمیت بیشتری پیدا کرده است؟
در ۲۰ مارس ۲۰۲۳، ChatGPT با اختلال مواجه شد. این اختلال ناشی از آسیبپذیری در یک کتابخانه متنباز بود که ممکن است اطلاعات مرتبط با پرداخت برخی مشتریان را در معرض خطر قرار دهد. در سپتامبر ۲۰۲۳، گارتنر اعلام کرد که ۳۴٪ سازمانها در حال حاضر از ابزارهای امنیتی برنامههای هوش مصنوعی استفاده میکنند یا در حال پیادهسازی آن هستند تا خطرات مرتبط با LLM را کاهش دهند. بیش از نیمی (۵۶٪) نیز در حال بررسی چنین راهحلهایی هستند.
در سال گذشته، تقریباً ۷۷٪ سازمانها هوش مصنوعی مولد (GenAI) را پذیرفته یا در حال بررسی آن هستند و تقاضا برای فرآیندهای خودکار و بهینه را افزایش دادهاند. با توجه به افزایش استفاده از مدلهای GenAI و LLMهایی مانند ChatGPT در ۱۲ ماه گذشته، اهمیت اقدامات امنیتی برای این مدلها به یک اولویت برای سازمانها تبدیل شده است.
برخی آسیبپذیریهای خاص API که مختص LLMها هستند چیست؟ چگونه میتوان از آنها جلوگیری کرد؟
یکی از مهمترین آنها تزریق پرامپت است، جایی که ورودیهای مخرب میتوانند خروجی LLM را دستکاری کنند و به یک نگرانی بزرگ تبدیل شده است. دیگر تهدیدها شامل حملات انکار سرویس (DoS) است، جایی که سیستم با درخواستهای زیاد بارگذاری میشود و منجر به اختلال در سرویس میشود. تهدید دیگر، اعتماد بیش از حد به خروجیهای LLM بدون مکانیسمهای تأیید کافی است که میتواند به نادرستی دادهها و نشت آنها منجر شود.
مسئولیت پر کردن این شکافها بر عهده ارائهدهنده API LLM است یا مصرفکننده؟
در واقع، این یک مسئولیت مشترک است.
ارائهدهنده API LLM باید اطمینان حاصل کند که API به شکلی امن ساخته شده و با قوانین حفاظت از دادهها مطابقت دارد. این شامل احراز هویت قوی، رمزگذاری و کنترلهای دسترسی است. ارائهدهندگان همچنین باید مطمئن شوند که APIها قادر به مدیریت تعداد زیادی درخواست هستند و محدودیت نرخ مناسبی برای جلوگیری از حملات DoS دارند.
از سوی دیگر، مصرفکننده مسئولیت ادغام صحیح APIها طبق دستورالعملها و مستندات را بر عهده دارد. مصرفکنندگان همچنین باید اطمینان حاصل کنند که دادهها را به صورت امن وارد APIها میکنند، و سایر موارد مرتبط.
پیامدهای منفی تجاری ناشی از عدم امنیت APIهای LLM چیست؟
اگر APIهای LLM به درستی ایمن نشوند، پیامدهای منفی متعددی میتواند وجود داشته باشد. یکی از نگرانیهای اصلی، خطر نشت دادههای مشتریان است. تصور کنید که ارائهدهنده LLM باشید و دادههای حساس مشتریان به دلیل آسیبپذیریهای APIهای LLM شما فاش شود. این وضعیت میتواند به شدت اعتبار برند شما را آسیب بزند. خیلی چیزها در خطر است.
علاوه بر این، صنعت LLM این روزها رقابتیتر میشود. دیگر فقط داشتن عملکرد عالی کافی نیست. امنیت به یک عامل حیاتی تبدیل شده است، بهویژه وقتی مشتریان شما سازمانها هستند. بنابراین، اگر میخواهید در این بازار شلوغ متمایز شوید، باید امنیت APIهای LLM خود را اولویت قرار دهید. این دیگر یک مزیت اختیاری نیست، بلکه یک ضرورت است.
چرا برای سخنرانی در Austin API Summit 2024 هیجانزده هستید؟
Austin API Summit یک فرصت عالی برای ملاقات با طراحان، توسعهدهندگان و متخصصان امنیت API است. من هیجانزدهام زیرا اولین بار است که در یک نشست API در منطقه نوردیک صحبت میکنم. مشتاق شرکت در جلسات بیشتر و یادگیری از سخنرانان فوقالعاده هستم.
چه چیزی را امیدوارید شرکتکنندگان از جلسه شما برداشت کنند؟
هدف این سخنرانی آموزش توسعهدهندگان، طراحان و معماران API و سازمانها درباره خطرات امنیتی احتمالی هنگام استقرار و مدیریت APIهای LLM و معرفی برخی اقدامات پایه برای کاهش این خطرات است.
