# ওয়েব স্ক্র্যাপিং এপিআই সার্ভিস
ওয়েব স্ক্র্যাপিং একটা চ্যালেন্জিং কাজ। আমরা চাইলেই আমাদের যেই ডাটা দরকার সেটা কার্ল, এক্সিওস এগুলো দিয়ে নিতে পারি, এবং নিজেরা ডাটাগুলো প্রসেস করতে পারি। কিন্তু মাঝে মাঝে বড়সড় সাইজের ওয়েবসাইটের ডাটা প্রসেস করার জন্য কার্ল যথেষ্ট হয়না।
ধরেন আপনার একটা প্রাইস কম্পেয়ার করার ওয়েবসাইট আছে। যেখানে হাজার হাজার প্রডাক্টের প্রাইস বিভিন্ন ব্র্যান্ডের পেইজ হতে কালেক্ট করে দেখাবে। সুপার সপের মত আরকি। আপনার ইনকাম ওই প্রডাক্টগুলোই সেল করে হয়। এফিলিয়েট মার্কেটিং সহ এইসব চিন্তা করেন আরকি।
আপনার কি বড় কোন ইকমার্স বা নিউজ সাইটের ডাটা কালেক্ট করতে কখনো সমস্যা হয়েছে? চিন্তায় পড়ে গিয়েছেন কিভাবে এত মিলিয়ন বিলিয়ন পেইজের উপর দিয়ে যাবেন?
- হয় আপনার ওই সাইটের এপিআই লাগবে। যেটা সাধারণত খুব দামি হয়ে থাকে, আর সব প্রডাক্টের ডাটা নিতে চাইলে ত কথাই নেই। আগেই রেট লিমিট হয়ে যাবে।
- অনেক সাইট আপনাকে একদম ব্লক করে দিবে। একটা ক্যাপচা দিবে, অথবা অন্য কোন ভাবে আপনার সবকিছু লিমিটেড করে দিবে।
- হতে পারে ওই সাইটগুলো আমেরিকায় হোস্ট করা আর আপনি বাংলাদেশে বসে ব্রাউজ করতে চাচ্ছেন। কিংবা বাংলাদেশে একটা প্রাইস দেখাচ্ছে, আমেরিকায় অন্যটা।
তো এই জায়গাতেই ওয়েব স্ক্র্যাপিং এপিআই লাগে। একদম সহজ পান্তা ভাত করে দেয়। বেশিরভাগ সার্ভিসের ব্যাশ, নোড, পাইথন, পিএইচপি এইসবের সাপোর্ট থাকে, আর সাথে থাকে প্রক্সি রোটেট করা, ক্যাপচা, জাভাস্ক্রিপ্ট // রেন্ডার করা, হেডার, সেশন ইত্যাদি সহ অনেক বিষয় যেগুলো আমাদের প্রায়ই প্রয়োজন হয়।
## [ScraperAPI দিয়ে স্ক্র্যাপিং](https://cutt.ly/vjz4nF6)
তো আমি ধরে নিচ্ছি আপনি নোডজেএস, জাভাস্ক্রিপ্ট পারেন। একদম শুরুতে আসেন আমরা নোড জেএস দিয়ে একটি ছোট প্রজেক্ট করি। এটা পাইথন, ডার্ট বা অন্য কোন ভাষা দিয়েও হতো যেহেতু সার্ভিস গুলো আপনাকে একটা এপিআই দিবে।
প্রথমে আমরা প্রজেক্টটা তৈরি করি। এবং এতে এক্সিওস ইন্সটল করি। যদিও অন্যান্য সময় আমরা ক্রোম, পাপেটার এগুলো নিয়ে আলোচনা করতাম, আজ শুধু একটা রেস্ট এপিআই নিয়েই আলোচনা হবে।
```
mkdir scraper && cd scraper
npm init -y
npm install axios
```
তো, ধরেন আমরা example.com ওয়েবসাইটটা স্ক্র্যাপ করবো। এটা খুব ছোট একটা ওয়েবসাইট, ভিতরে তেমন কিছুই নাই।
```js
const axios = require('axios').default;async function scrape() {
const response = await axios
.get('<[http://api.scraperapi.com](http://api.scraperapi.com/)\>', {
params: {
api\_key: "API\_KEY",
url: "<[http://example.com](http://example.com/)\>"
}
});
console.log(response.data);
}
scrape();
```
আপনাকে API\_KEY টা চেন্জ করে আপনার এপিআই টোকেন বসাতে হবে। টোকেনটা আপনি ড্যাশবোর্ড হতে পাবেন।
কোডটা রান করলে কনসোলেই একটা রেসপন্স পাবেন। যেটা ওই সাইটের একটা নরমাল এইচটিএমটল কোড। এটা নিয়ে এবার আপনি যা খুশি করেন।
```html
Example Domain