使用 Python 实现一个简单的 Web 爬虫（Web Scraper）
在当今互联网时代，数据无处不在。如何从网页中提取有用的信息是许多开发者和数据分析师关注的问题。Web 爬虫（Web Scraper）是一种自动抓取网页内容的程序，它可以用于收集价格、新闻、商品信息等。
本文将介绍如何使用 Python 编写一个简单的 Web 爬虫，抓取一个网页上的文章标题，并将其保存到本地文件中。我们将使用 requests 和 BeautifulSoup 这两个库来实现这一功能。
准备工作
安装所需库
首先，确保你已经安装了以下 Python 库：
requests: 用于发送 HTTP 请求。beautifulsoup4: 用于解析 HTML 文档。你可以通过以下命令安装这些库：
pip install requests beautifulsoup4爬虫的基本流程
一个基本的 Web 爬虫通常包括以下几个步骤：
发送请求：向目标网站发送 HTTP 请求获取页面内容。解析 HTML：使用解析器提取所需的数据。处理数据：清洗或转换数据。存储数据：将结果保存到文件或数据库中。实战：抓取示例网站的文章标题
我们以一个演示网站为例，假设我们要抓取 https://example.com/blog 页面中的所有文章标题。
⚠️ 注意：在实际开发中，请遵守目标网站的 robots.txt 文件规定，并尊重网站的版权与隐私政策。不要对非公开或受保护的内容进行爬取。
步骤 1：发送请求获取网页内容
import requestsurl = "https://example.com/blog"response = requests.get(url)if response.status_code == 200: html_content = response.textelse: print(f"Failed to retrieve the page. Status code: {response.status_code}")这段代码使用 requests.get() 向目标 URL 发送 GET 请求，并检查响应状态码是否为 200（表示成功）。如果成功，则将返回的 HTML 内容保存到变量 html_content 中。
步骤 2：解析 HTML 提取标题
接下来，我们使用 BeautifulSoup 解析 HTML 并查找所有文章标题。
from bs4 import BeautifulSoupsoup = BeautifulSoup(html_content, 'html.parser')# 假设每个文章标题都在 <h3 class="post-title"> 标签中titles = soup.find_all('h3', class_='post-title')print(f"Found {len(titles)} article titles.")for title in titles: print(title.get_text(strip=True))上面代码中：
BeautifulSoup(html_content, 'html.parser') 创建了一个解析对象。soup.find_all() 查找所有符合条件的标签。title.get_text(strip=True) 提取文本并去除首尾空白字符。步骤 3：保存数据到本地文件
我们可以将抓取到的标题保存为 .txt 或 .csv 文件，方便后续分析。
with open("article_titles.txt", "w", encoding="utf-8") as file: for title in titles: file.write(title.get_text(strip=True) + "\n")该段代码会创建一个名为 article_titles.txt 的文件，并逐行写入文章标题。
完整代码整合
以下是完整的爬虫脚本：
import requestsfrom bs4 import BeautifulSoupdef fetch_blog_titles(): url = "https://example.com/blog" response = requests.get(url) if response.status_code != 200: print(f"Failed to retrieve the page. Status code: {response.status_code}") return html_content = response.text soup = BeautifulSoup(html_content, 'html.parser') titles = soup.find_all('h3', class_='post-title') print(f"Found {len(titles)} article titles.") with open("article_titles.txt", "w", encoding="utf-8") as file: for title in titles: clean_title = title.get_text(strip=True) file.write(clean_title + "\n") print(clean_title)if __name__ == "__main__": fetch_blog_titles()运行这个脚本后，你会在当前目录下看到一个 article_titles.txt 文件，其中包含抓取到的所有文章标题。
进阶建议
虽然上述代码已经可以完成基本的爬虫任务，但实际应用中可能还需要考虑以下几点：
1. 添加异常处理
网络请求可能会失败，因此应添加适当的异常捕获机制：
try: response = requests.get(url, timeout=10)except requests.exceptions.RequestException as e: print(f"Request error: {e}")2. 设置 User-Agent
有些网站会对没有设置 User-Agent 的请求进行拦截。可以通过设置 headers 来模拟浏览器访问：
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}response = requests.get(url, headers=headers)3. 遵守网站规则
查看目标网站的 /robots.txt 文件，了解哪些路径允许爬虫访问，避免被封禁。
例如，访问 https://example.com/robots.txt，查看限制规则。
总结
本文介绍了如何使用 Python 构建一个简单的 Web 爬虫，包括发送请求、解析 HTML、提取数据和保存数据的过程。虽然这只是 Web 抓取的基础，但掌握了这些技能后，你可以进一步学习更高级的技术，如：
使用 Selenium 模拟浏览器操作；抓取 JavaScript 动态加载的内容；使用 Scrapy 框架构建专业级爬虫；存储数据到数据库（如 MySQL、MongoDB）；希望这篇文章对你理解 Web 爬虫技术有所帮助！如果你有任何问题或建议，欢迎留言交流。
附录：相关资源
Requests 官方文档BeautifulSoup 官方文档Scrapy 官方网站
