实时抓取微博热门话题

实时抓取微博热门话题。要实现实时抓取微博热门话题，我们这里选择使用网络爬虫的方法来实现这一功能。使用requests和BeautifulSoup库来抓取并解析微博热门话题页面。

首先，需要安装所需的库。如果还没有安装，可以使用以下命令进行安装：

pip install requests beautifulsoup4

下面是具体的实现代码：

import requests
from bs4 import BeautifulSoup

def fetch_weibo_hot_topics():
    url = 'https://s.weibo.com/top/summary'
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }

    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'html.parser')

    hot_topics = []
    for item in soup.select('#pl_top_realtimehot table tbody tr'):
        rank = item.select_one('.td-01').text.strip()
        if not rank:
            continue  # Skip the header row
        topic = item.select_one('.td-02 a').text.strip()
        hot_topics.append((rank, topic))

    return hot_topics

if __name__ == "__main__":
    hot_topics = fetch_weibo_hot_topics()
    print("Weibo Hot Topics:")
    for rank, topic in hot_topics:
        print(f"{rank}: {topic}")

代码说明

1. fetch_weibo_hot_topics: 这个函数抓取微博热门话题页面的内容，并解析出排名和话题标题。
2. url: 指定微博热门话题页面的URL。
3. headers: 设置请求头，模拟浏览器访问，防止请求被拒绝。
4. response: 发送HTTP GET请求，并获取响应。
5. BeautifulSoup: 使用BeautifulSoup解析HTML内容。

6. hot_topics: 存储抓取到的热门话题，格式为(排名, 话题标题)的列表。

7. main: 主函数调用fetch_weibo_hot_topics函数并输出热门话题。

注意事项

• 代码中对微博热门话题页面的抓取较为基础，可能需要根据实际情况调整和优化。
• 微博热门话题页面的结构可能会更新，导致代码需要相应修改以适应新的页面结构。
• 请遵守相关网站的使用协议，避免过于频繁的抓取请求。

扩展功能

如果你希望定时抓取热门话题，可以使用Python的time模块和while循环来实现。例如，每隔5分钟抓取一次：

import time

if __name__ == "__main__":
    while True:
        hot_topics = fetch_weibo_hot_topics()
        print("Weibo Hot Topics:")
        for rank, topic in hot_topics:
            print(f"{rank}: {topic}")
        print("Waiting for the next update...")
        time.sleep(300)  # 每5分钟抓取一次