本文介绍了如何使用Python的requests和re模块，编写一个网络爬虫来递归地提取网站上的所有链接。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项，并提供了优化后的代码示例，避免无限循环，提高爬取效率。
网络爬虫是一种自动浏览网页并提取信息的程序。在Python中，requests库常用于发送HTTP请求获取网页内容，re模块则用于使用正则表达式从文本中提取所需信息。本文将介绍如何结合这两个库，编写一个递归爬虫，提取指定网站的所有链接。
以下是优化后的代码示例，并附带详细注释：
import requests
import re
from urllib.parse import urljoin, urlparse
def extract_links_from(url):
"""
从指定URL的网页中提取所有链接。
Args:
url: 要提取链接的URL。
Returns:
包含所有链接的列表。如果请求失败，返回空列表。
"""
try:
response = requ
ests.get(url)
response.raise_for_status() # 检查HTTP状态码，如果不是200，则抛出异常
except requests.exceptions.RequestException as e:
print(f"Error fetching {url}: {e}")
return []
content = str(response.content)
links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)
return links
def crawl(url, domain, visited=set(), max_depth=5):
"""
递归地爬取指定网站的所有链接。
Args:
url: 要开始爬取的URL。
domain: 目标网站的域名。
visited: 已经访问过的URL集合，用于避免无限循环。
max_depth: 最大爬取深度。
Returns:
包含所有爬取到的链接的列表。
"""
if max_depth == 0 or url in visited:
return []
visited.add(url)
href_links = extract_links_from(url)
links_list = []
for link in href_links:
link = urljoin(url, link.split("#")[0]) # 将相对链接转换为绝对链接，并去除锚点
parsed_link = urlparse(link)
if parsed_link.netloc == domain and link not in visited:
links_list.append(link)
links_list.extend(crawl(link, domain, visited, max_depth - 1)) # 递归调用crawl函数
return links_list
# 示例用法
target_url = "https://www.free-power-point-templates.com/"
parsed_url = urlparse(target_url)
domain = parsed_url.netloc
result = crawl(target_url, domain)
print(result)代码解释：
本文介绍了使用Python的requests和re模块编写递归爬虫的方法。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项。在实际应用中，需要根据具体情况进行调整和优化，例如添加代理IP、使用多线程/多进程提高爬取效率等。记住，编写爬虫时一定要遵守网站的规则，尊重网站的权益。
ests.get(url)
response.raise_for_status() # 检查HTTP状态码，如果不是200，则抛出异常
except requests.exceptions.RequestException as e:
print(f"Error fetching {url}: {e}")
return []
content = str(response.content)
links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)
return links
def crawl(url, domain, visited=set(), max_depth=5):
"""
递归地爬取指定网站的所有链接。
Args:
url: 要开始爬取的URL。
domain: 目标网站的域名。
visited: 已经访问过的URL集合，用于避免无限循环。
max_depth: 最大爬取深度。
Returns:
包含所有爬取到的链接的列表。
"""
if max_depth == 0 or url in visited:
return []
visited.add(url)
href_links = extract_links_from(url)
links_list = []
for link in href_links:
link = urljoin(url, link.split("#")[0]) # 将相对链接转换为绝对链接，并去除锚点
parsed_link = urlparse(link)
if parsed_link.netloc == domain and link not in visited:
links_list.append(link)
links_list.extend(crawl(link, domain, visited, max_depth - 1)) # 递归调用crawl函数
return links_list
# 示例用法
target_url = "https://www.free-power-point-templates.com/"
parsed_url = urlparse(target_url)
domain = parsed_url.netloc
result = crawl(target_url, domain)
print(result)