Python 模拟登录和爬取动态网页的技巧和经验分享

import requests
# 定义登录页面 URL
LOGIN_URL = 'http://example.com/login'
# 定义登录时需要提交的数据
data = {
    'username': 'pidancode',
    'password': 'xxxxxx'
}
# 发送登录请求
response = requests.post(LOGIN_URL, data=data)
# 判断登录是否成功
if response.status_code == 200 and 'Welcome' in response.text:
    print('登录成功！')
else:
    print('登录失败！')

from requests_html import HTMLSession
from bs4 import BeautifulSoup
# 定义目标页面 URL
url = 'http://pidancode.com'
# 创建 HTMLSession 对象，并使用 render 方法渲染页面
session = HTMLSession()
response = session.get(url)
response.html.render()
# 使用 BeautifulSoup 对网页进行解析
soup = BeautifulSoup(response.html.html, 'html.parser')
# 输出相关信息
print(soup.title.text)
print(soup.find('div', {'class': 'content'}).text)