使用 Python 构建一个简易的 Web 爬虫

在当今信息爆炸的时代，网络爬虫（Web Crawler）已成为获取互联网数据的重要工具。无论是在数据分析、机器学习、商业智能还是其他领域，爬虫技术都扮演着关键角色。本文将介绍如何使用 Python 构建一个简易但功能完整的 Web 爬虫系统，并通过示例代码展示其实现过程。

什么是 Web 爬虫？

Web 爬虫是一种自动抓取网页内容的程序。它模拟浏览器行为访问目标网站，提取所需的数据并进行存储或分析。爬虫广泛应用于搜索引擎、价格监控、社交媒体分析等领域。

Python 在爬虫开发中的优势

Python 因其简洁易读的语法和丰富的库支持，成为构建 Web 爬虫的首选语言。主要优势包括：

Requests：用于发送 HTTP 请求，获取网页内容。BeautifulSoup：解析 HTML 文档，提取结构化数据。Scrapy：强大的爬虫框架，适合构建大型项目。Selenium：模拟浏览器操作，适用于 JavaScript 动态渲染页面。

本文将重点使用 requests 和 BeautifulSoup 来实现一个简单的爬虫。

构建第一个 Web 爬虫

1. 安装依赖库

首先确保你已经安装了必要的库：

pip install requests beautifulsoup4

2. 爬取网页内容

我们将从 https://example.com 抓取网页内容作为演示。注意，在实际项目中请遵守目标网站的 robots.txt 协议和法律法规。

import requestsfrom bs4 import BeautifulSoupdef fetch_page(url):    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0 Safari/537.36'    }    try:        response = requests.get(url, headers=headers, timeout=10)        response.raise_for_status()  # 检查请求是否成功        return response.text    except requests.RequestException as e:        print(f"请求失败: {e}")        return Nonedef parse_html(html):    soup = BeautifulSoup(html, 'html.parser')    title = soup.title.string if soup.title else '无标题'    paragraphs = [p.get_text(strip=True) for p in soup.find_all('p')]    return {        'title': title,        'paragraphs': paragraphs    }def main():    url = 'https://example.com'    html = fetch_page(url)    if html:        data = parse_html(html)        print("页面标题:", data['title'])        print("\n段落内容:")        for i, para in enumerate(data['paragraphs'], 1):            print(f"{i}. {para}")if __name__ == '__main__':    main()

3. 代码说明

fetch_page 函数：使用 requests 发送 GET 请求，设置 User-Agent 防止被识别为机器人。parse_html 函数：使用 BeautifulSoup 解析 HTML 内容，提取标题和段落文本。main 函数：主函数调用上述两个函数，并输出结果。

进阶功能：多页爬取与数据存储

1. 多页爬取

我们可以扩展上面的程序来爬取多个页面。例如，从某新闻网站首页提取文章链接，并逐个爬取每篇文章内容。

def extract_links(html):    soup = BeautifulSoup(html, 'html.parser')    links = []    for a_tag in soup.find_all('a', href=True):        link = a_tag['href']        if link.startswith('http'):            links.append(link)        else:            # 如果是相对路径，拼接成完整 URL            from urllib.parse import urljoin            full_url = urljoin('https://example.com', link)            links.append(full_url)    return linksdef crawl_multiple_pages(start_url, max_pages=5):    visited = set()    queue = [start_url]    while queue and len(visited) < max_pages:        current_url = queue.pop(0)        if current_url in visited:            continue        print(f"正在爬取: {current_url}")        html = fetch_page(current_url)        if html:            data = parse_html(html)            print(f"标题: {data['title']}")            visited.add(current_url)            # 提取当前页面链接并加入队列            new_links = extract_links(html)            queue.extend(new_links)crawl_multiple_pages('https://example.com')

2. 数据存储到文件

为了保存爬取的数据，我们可以将其写入 JSON 文件：

import jsondef save_to_json(data, filename='output.json'):    with open(filename, 'w', encoding='utf-8') as f:        json.dump(data, f, ensure_ascii=False, indent=4)    print(f"数据已保存至 {filename}")def main_with_save():    url = 'https://example.com'    html = fetch_page(url)    if html:        data = parse_html(html)        save_to_json(data)main_with_save()

反爬应对策略

在实际应用中，很多网站会采取反爬虫机制，如 IP 封锁、验证码等。以下是一些常见应对策略：

设置请求头（Headers）：模拟浏览器行为。使用代理 IP：轮换 IP 地址避免封锁。添加随机延时：防止请求频率过高。使用 Selenium：处理 JavaScript 渲染的页面。

示例：添加随机延时

import timeimport randomdef fetch_page_with_delay(url):    delay = random.uniform(1, 3)    print(f"等待 {delay:.2f} 秒后继续...")    time.sleep(delay)    return fetch_page(url)

总结

本文介绍了使用 Python 构建一个基础 Web 爬虫的过程，包括网页请求、HTML 解析、数据提取、多页爬取以及数据存储等内容。虽然这是一个简单的示例，但它展示了爬虫工作的核心原理和关键技术点。

随着需求的复杂化，你可以进一步探索 Scrapy 框架、分布式爬虫、数据库持久化等高级主题。希望这篇文章能为你打开爬虫世界的大门，开启数据采集之旅！

---

参考资料：

Requests 官方文档BeautifulSoup 官方文档Python 网络爬虫教程 - 菜鸟教程

如果你对构建更复杂的爬虫系统感兴趣，欢迎留言交流！