بیش از هر زمان دیگری، توسعه‌دهندگان به APIها روی آورده‌اند تا مشکلات خود را حل کنند و کارها را سریع‌تر انجام دهند. گزارش اخیر State of the API از Postman نشان می‌دهد که ۸۲٪ سازمان‌ها اکنون API-first هستند، که این رقم از ۶۶٪ در سال ۲۰۲۳ افزایش یافته و احتمالاً در سال ۲۰۲۵ همچنان رو به رشد است.
اما روند نگران‌کننده‌ای همراه با این پذیرش سریع وجود دارد – حداقل اگر شما ارائه‌دهنده API باشید: افزایش وب اسکریپینگ و به طور خاص، APIهای اسکریپر غیررسمی. طبق گزارش Search Engine Land، اسکریپینگ ربات‌های AI بیش از دو برابر (بیش از ۱۱۷٪) بین سه‌ماهه سوم و چهارم سال ۲۰۲۴ افزایش یافت.
اگر شما توسعه‌دهنده‌ای هستید که از APIهای شخص ثالث استفاده می‌کند، ممکن است این را به عنوان یک امکان هیجان‌انگیز ببینید: تغییر از APIهای رسمی به… چیزی دیگر. و نبرد به آرامی در جریان است، با توسعه‌دهندگان که هرچه بیشتر خدمات مجاز را دور می‌زنند و به جای آن به APIهای وب اسکریپر روی می‌آورند.
گزارش State of Web Scraping از Apify توصیف می‌کند که چگونه اجرای مبتنی بر API در پلتفرم آن‌ها از ۳.۶ میلیارد فراخوانی API در ژانویه ۲۰۲۳ به ۶.۸ میلیارد تا اکتبر ۲۰۲۴ افزایش یافت. در همان دوره زمانی، پایگاه کاربران فعال آن‌ها از کمی بیش از ۲۰,۰۰۰ به بیش از ۵۰,۰۰۰ توسعه‌دهنده رسید.
در این مقاله، به برخی از دلایل اینکه چرا APIهای وب اسکریپینگ ممکن است بر APIهای رسمی ترجیح داده شوند، می‌پردازیم، چرا این می‌تواند در برخی زمینه‌ها مشکل‌ساز باشد، و گام‌هایی را که می‌توانید برای کاهش احتمال دور زدن API توسط مصرف‌کنندگان بردارید، توصیف می‌کنیم.
افزایش APIهای اسکریپینگ
در مقاله‌ای که در مورد اینکه آیا انقلاب AI APIها را پشت سر می‌گذارد کاوش کردیم، در مورد برخی از عواملی نوشتیم که دسترسی ابزارهای AI مانند چت‌بات‌ها به APIها را محدود می‌کنند.
برخی از این‌ها عبارتند از:
- دسترسی محدود یا عدم دسترسی به APIها برای توسعه‌دهندگان
- APIها گاهی پیچیده، حجیم یا دشوار برای فراخوانی هستند
- APIهای legacy (WS/RPC) فاقد مستندات کامل یا به‌روز هستند
- APIها گاهی فقط کسری از عملکردهای موجود در UI را پوشش می‌دهند
شایان ذکر است که بسیاری از این نکات به اندازه‌ای که بر مصرف‌کنندگان agentic تأثیر می‌گذارند، بر مصرف‌کنندگان انسانی API نیز تأثیر می‌گذارند. اگر تا به حال در موقعیتی بوده‌اید که سعی کرده‌اید از API استفاده کنید و آن انتظارات شما را برآورده نکرده، می‌دانید چقدر ناامیدکننده است.
در حالی که ممکن است برخی از آن کاربران با شما تماس بگیرند تا endpointهای خاصی اضافه کنید یا چیزهایی را روشن کنید، بسیاری دیگر این کار را نخواهند کرد. برخی توسعه‌دهندگان بیشتر احتمال دارد دیدگاه “درخواست بخشش بعداً آسان‌تر از اجازه اکنون است” را اتخاذ کنند و راه دیگری برای استخراج داده‌هایی که به دنبال آن هستند پیدا کنند. در بسیاری موارد، وب اسکریپینگ دقیقاً چنین راه‌حلی ارائه می‌دهد.
APIهای وب اسکریپینگ تکامل طبیعی تکنیک‌های اسکریپینگ دستی هستند، مانند استفاده از Python برای اسکریپینگ وب‌سایت‌ها. این‌ها برای همه چیز از اسکریپینگ نتایج موتورهای جستجو، مانند APIهای SERP، تا قیمت محصولات و تحلیل احساسات استفاده می‌شوند و خدمات مختلفی وجود دارند که وب اسکریپینگ را بسیار ساده می‌کنند. و آن‌ها کسب‌وکار بزرگی هستند.
برای مثال، خرده‌فروش John Lewis قبلاً گزارش داده که پس از استفاده از وب اسکریپرها، ۴٪ افزایش فروش داشته است. با استخراج داده از بیش از ۱۰۰ سایت در کمتر از یک روز – چیزی که بعید است فقط با استفاده از APIهای رسمی بتوانند انجام دهند – آن‌ها از اسکریپینگ برای نظارت بر قیمت‌گذاری رقبا و تأثیر بر استراتژی قیمت‌گذاری خود استفاده کردند.
مشکل با APIهای اسکریپینگ
رفتن به مسیر API به اسکریپرها اجازه می‌دهد در مقیاس عمل کنند: بسیاری از مدل‌های قیمت‌گذاری API اسکریپر صدها هزار یا حتی میلیون‌ها اعتبار API با تعداد زیادی پروکسی جغرافیایی اعطا می‌کنند. اما، مانند اسکریپینگ دستی، آن‌ها از دیدگاه حاکمیت برای ارائه‌دهندگان وب‌سایت و اپ مشکل ایجاد می‌کنند. و موارد زیادی از رفتارهای شرورانه برجسته وجود دارد.
اسکریپینگ داده غیرمجاز می‌تواند منجر به جمع‌آوری اطلاعات شخصی حساس مانند اعتبارنامه‌های کاربر، آدرس‌های ایمیل یا حتی داده‌های مالی شود. هکرها قبلاً ادعا کرده‌اند، برای مثال، که یک پایگاه داده عظیم رکوردهای کاربر با سوءاستفاده از یکی از APIهای Meta اسکریپ شده است.
در حوزه‌های قضایی تحت پوشش GDPR، CCPA یا سایر مقررات داده، عدم ایمن‌سازی مناسب داده‌های حساس می‌تواند عواقب وخیمی نه تنها برای اعتماد کاربر، بلکه از دیدگاه مالی نیز داشته باشد. مشکل برای شرکت‌ها؟ اسکریپینگ داده به خودی خود عمل غیرقانونی نیست.
ارائه‌دهندگان ابری، مانند Amazon AWS و دیگران، و شرکت‌های متخصص مختلف همه APIهای وب اسکریپینگ ارائه می‌دهند. اگرچه این ابزارها فقط زمانی خطرناک می‌شوند که بازیگران بد از آن‌ها استفاده کنند، این چیزی است که ارائه‌دهندگان اپ (و API) هرچه بیشتر باید برای آن آماده شوند.
چگونه کاربران را از APIهای اسکریپینگ بازگردانیم
درست مانند اینکه بهترین شیوه‌های مرتبط با ایمن‌سازی APIها وجود دارد، مانند کمینه‌سازی داده، نظارت بر ترافیک، اجرای اقدامات امنیتی قوی (احراز هویت، مجوزدهی، رمزنگاری، برای نام بردن چند مورد)، گام‌هایی وجود دارد که می‌توانید برای جلوگیری از وب اسکریپینگ بردارید. و با توجه به برخی از سردردهایی که می‌تواند توسط افراد استفاده‌کننده از APIهای اسکریپینگ ایجاد شود، انجام این کار عاقلانه است.
این ممکن است شامل استفاده از خدمات مسدودکننده ربات، استقرار CAPTCHAها، اجرای محدودیت نرخ، رندر محتوای پویا با استفاده از JavaScript و غیره باشد. و، ایده‌آل، محدود کردن اطلاعاتی که مرورگرهای وب می‌توانند خزند در وهله اول. برای مثال، در فهرست محصولات، فقط مشخصات پایه و MSRP را نمایش دهید، وقتی ممکن است، به جای مشخصات کامل، تاریخچه قیمت و اطلاعات تأمین‌کننده.
اما شاخه دیگری به این رویکرد وجود دارد: کمتر جذاب کردن APIهای اسکریپینگ. بهترین راه برای این کار؟ ارائه API رسمی که قابل استفاده‌تر و مؤثرتر باشد.
این به معنای:
- مدل قیمت‌گذاری منطقی (و عادلانه) که با استفاده مقیاس‌پذیر باشد
- مستندات کامل و به‌روز، با walkthroughها، نمونه‌های کد و محیط sandbox.
- دامنه وسیعی از endpointها و عملکردهای نمایان‌شده.
- محدودیت‌های فراخوانی و ارتباط در مورد آن‌ها، برای جلوگیری از غافلگیری‌های صورت‌حساب ناخوشایند.
- تعامل با کاربران و کاربران بالقوه در مورد ویژگی‌هایی که مفید می‌دانند یا خواهند یافت.
ممکن است ارزش امتحان کردن امضا کردن با برخی APIهای اسکریپینگ را داشته باشد – بسیاری از آن‌ها اعتبار رایگان یا آزمایش‌های زمانی ارائه می‌دهند – و آزمایش آن‌ها روی سایت‌ها یا اپ‌های خودتان. در نظر بگیرید که این تجربه در مقایسه با استفاده از APIهای خودتان از نظر هزینه، سهولت استفاده و Time to First Hello World (TTFHW) چگونه است.
اگر در نهایت متوجه شوید که استفاده از API اسکریپینگ آسان‌تر از پیاده‌سازی API خودتان است، احتمالاً کاربران بالقوه دیگر هم همین احساس را دارند. از سمت مثبت، این ممکن است ایده بهتری به شما بدهد که در مورد API خودتان چه تغییری دهید تا رقابتی‌تر شود.
APIها، ایجنت‌های AI و آینده وب اسکریپینگ
APIهای وب اسکریپینگ از AI برای بهبود خدمات خود به روش‌های متعددی استفاده می‌کنند، از جمله یادگیری تطبیقی بر اساس جلسات اسکریپینگ گذشته، مدیریت محتوای پویا برای شناسایی و پاسخ به تغییرات ساختاری، و دور زدن اقدامات ضداسکریپینگ مانند CAPTCHA.
آن‌ها همچنین NLP و ML را برای استخراج داده هوشمندانه مستقر می‌کنند، مانند شناسایی انواع محتوای خاص در صفحات یا درک و استخراج داده از محتوای بدون ساختار.
و همانطور که AI باهوش‌تر می‌شود، APIهای وب اسکریپینگ نیز همینطور – APIهای اسکریپر پیشرو بازار مدام در حال تکامل هستند، با بسیاری از آن‌ها که بر عملکردهای مبتنی بر AI تکیه می‌کنند تا توانایی اسکریپینگ خود را بهبود بخشند و زندگی کاربران را آسان‌تر کنند.
در حالی که بعید است آن‌ها هرگز کاملاً APIهای رسمی را جایگزین کنند، ابزارهای API اسکریپینگ به سرعت به اکوسیستم شکوفایی از خود تبدیل می‌شوند و وب باز را مانند یک منبع داده غیرمتمرکز غول‌پیکر درمان می‌کنند. این ترندی است که برخی خدمات وب با معرفی اقدامات جامع ضداسکریپینگ به طور فعال در برابر آن مقاومت می‌کنند. برای مثال، Cloudflare اخیراً گام‌هایی برای مسدود کردن خزنده‌های AI که بدون مجوز یا جبران به محتوا دسترسی پیدا می‌کنند، برداشت.
این بازی Whack-A-Mole تقریباً مطمئناً ادامه خواهد یافت زیرا اسکریپرها به دنبال راه‌های جدیدی، مانند بهبودهای AI توصیف‌شده در بالا، برای غلبه بر تکنیک‌های ضدخزیدن و ادامه کار هستند. به عبارت دیگر، وب اسکریپینگ و APIهای اسکریپر یک شبه ناپدید نخواهند شد.
برای حالا و آینده قابل پیش‌بینی، ارائه APIهای رسمی عالی نباید اختیاری در نظر گرفته شود اگر می‌خواهید جذابیت وب اسکریپینگ را جبران کنید. و اگر می‌خواهید اطمینان حاصل کنید که آن APIها مرتبط باقی می‌مانند، باید همه چیز را برای درخشش آن‌ها انجام دهید.
