python 爬虫 保存亚马逊店铺链接

这里是一个使用Python爬虫抓取和保存亚马逊店铺链接的示例代码:

import requests
from bs4 import BeautifulSoup 

url = 'https://www.amazon.com/s?k=shop&ref=nb_sb_noss_2'

res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

links = []
for item in soup.select('.s-include-content-margin.s-border-bottom'):
    link = item.select_one('.aok-block > a')['href']
    links.append('https://www.amazon.com' + link)

with open('shops.txt', 'w') as f:
    for link in links:
        print(link, file=f)

这里我们先请求亚马逊店铺搜索结果页,然后使用BeautifulSoup解析HTML。

通过CSS选择器我们定位到每个搜索结果的条目,提取店铺链接,拼接成完整的绝对链接。

最后将链接保存到shops.txt文件中。

这样就可以批量抓取亚马逊店铺页面链接。可以根据需求调整URL和选择器,爬取更多结果。