实现批量抓取网络图片并保存到本地-如何用Python爬虫代码

soup = BeautifulSoup(html_content, 'html.parser')img_tags = soup.find_all('img')# 创建一个文件夹用于存放图片if not os.path.exists('downloaded_images'):os.makedirs('downloaded_images')

遍历链接并下载图片 遍历所有找到的标签，提取属性，然后下载图片,需要注意处理相对路径和绝对路径的问题。

for i, img in enumerate(img_tags):img_url = img.get('src')if not img_url:continue# 处理相对路径：如果URL不是以http开头，则补全为绝对路径if not img_url.startswith(('http:', 'https:')):from urllib.parse import urljoinimg_url = urljoin(url, img_url)try:# 获取图片内容img_response = requests.get(img_url, headers=headers, timeout=10)img_response.raise_for_status()# 从URL中提取文件名，或使用序号命名file_name = f"image_{i+1}.jpg"file_path = os.path.join('downloaded_images', file_name)# 以二进制写入模式保存图片with open(file_path, 'wb') as f:f.write(img_response.content)print(f"成功下载: {file_name}")except requests.RequestException as e:print(f"下载图片失败 {img_url}: {e}")

进阶技巧与注意事项

当基础爬虫能够运行后，还需要考虑一些进阶问题，使其更稳定、更高效。

常用库功能对比

利用Python进行网络图片抓取是一项非常实用的技能，通过掌握和 Beautiful Soup 这两个核心工具，并结合良好的编程习惯，如设置请求头、控制请求频率和进行异常处理，我们就能构建出稳定高效的图片爬虫，从简单的静态页面到复杂的动态网站，Python爬虫的世界充满了探索的乐趣和无限的可能，但请始终牢记，技术应被负责任地使用,尊重数据来源和网站规则是每一位开发者应尽的义务。

相关问答 (FAQs)

问题1：抓取到的图片链接是相对路径（如 /images/pic.jpg ），如何处理才能正确下载？ 解答 ：相对路径是相对于当前网页URL的路径，直接请求会失败，你需要将其转换为绝对路径，最简单的方法是使用Python内置的 urllib.parse.urljoin 函数，它会根据基础URL（你访问的网页地址）和相对路径，自动拼接出完整的、可访问的绝对URL。

from urllib.parse import urljoinbase_url = 'https://www.example.com/gallery/'relative_path = '/images/pic.jpg'absolute_url = urljoin(base_url, relative_path)# 结果为: 'https://www.example.com/images/pic.jpg'

在代码中，只需在下载图片前，对每个进行一次处理即可。

问题2：为什么我的爬虫运行一段时间后就被网站禁止访问了（返回403 Forbidden错误）？ 解答 ：这通常是网站的反爬虫机制被触发了,原因可能包括：

解决方法 ：