说到背景，为什么我要跟Cookie死磕？

上个月接了个内部需求。要每天定时从公司用的一个项目管理网站拉取任务数据，生成报表。这个网站没有提供官方API，只能通过网页端操作。手动操作太耗时我就想写个Python脚本自动化。

一开始想得太简单：找到登录接口，POST使用者名密码。拿到Cookie接下来用这个Cookie去访问数据页面。听起来很顺对吧，结果一上手就发现，这个网站的登录流程比我想的复杂得多——有CSRF token登录后还有一次302重定向。而且Cookie的生效方法和域名都有讲究。我前后折腾了三天把requests的Session对象、CookieJar还有HTTP状态码查了个遍，才终于让脚本稳定跑起来。

如果你也遇到需要处理复杂登录鉴权的网站。特别是那些用传统表单登录、有各种安全校验的，我踩过的这些坑或许能帮你省下不少时间。

至于问题分析，为什么直接发POST请求不行？

我最开始的代码长这样：

import requests
login_url = 'https://example.com/login'
data_url = 'https://example.com/api/data'
payload = {
'username': 'my_user'。'password': 'my_pass'
}
# 尝试1：直接登录
resp = requests.post
print # 输出200，好像成功了？# 尝试用这个resp的cookies去访问数据
cookies = resp.cookies
data_resp = requests.get
print # 输出403！被拒绝了，老实说，

第一个状态码给了我虚假的希望。后来仔细看data_resp.text发现返回的是登录页面的HTML——意思就是根本没登录成功，服务器把我踢回去了。老实说，

排查过程：

1. 检查登录响应我打印了resp.history发现是一个空列表。说明没有重定向，不对，感觉有问题。
2. 手动模拟对比我用浏览器开发者工具，仔细对比了我的脚本请求和浏览器正常登录发出的请求。
3. 发现关键差异
   • 缺失的Token浏览器登录时POST数据里除了账号密码。 还有一个叫csrfmiddlewaretoken的字段，值是一长串字符。这个token是从登录页的HTML表单里提前获取的。
   • Cookie的接收浏览器在GET 登录页面时服务器就已经下发了一个sessionid的Cookie。后续的P​OST 登录请求，会带上这个 Cookie 一起发送。而我的脚本是直接 POST，完全没理会登录页。
   • 重定向处理: 浏览器登录成功后会收到一个 302 状态码，接下来自动跳转到首页。我的脚本没有自动跟随重定向，但即便跟随了因为前面的问题。跳转后的请求也缺乏正确的会话状态。

所以主要问题不是“发送登录请求”，而是模拟一次完整的浏览器会话：

• #1 痛点：必须先获取页面和初始 Cookie 才能继续。
• #2 痛点：隐藏字段必须提取并携带。
• #3 痛点：登陆成功后的跳转必须被捕获，否则会误以为已登陆。

主要实现

. 使用Session对象维持会话状态

This is first and most important lesson I learned: If you need to perform a series of aunticated requests,you must use a​requests.Session.

The Session object automatically manages cookies for you – it saves any cookies returned by server and adds m to subsequent requests。perfectly mimicking a browser.

import requests
# 创建会话，这是所有操作的基础
session = requests.Session
# 可以设置一个通用的请求头，更像浏览器
session.headers.update({
'User-Agent': 'Mozilla/5.0 AppleWebKit/537.36 Chrome/120.0 Safari/537.36'
})

Pain point: 很多站点会检查 User‑Agent，如果仍然使用默认 "python-requests",会直接返回 403 或验证码页。一开始就换成常见浏览器 UA 是必不可少的一步。按理说，

. 获取登录页并解析 CSRF Token

The majority of modern web frameworks embed a random token in login form to defend against CSRF attacks. You must first request login page,extract this token from HTML,and n include it in your POST request.

login_page_url = 'https://example.com/login'
# 第一次 GET 请求。获取页面和初始 Cookie
login_page_response = session.get
print
# 假设 token 在 name='csrfmiddlewaretoken' 的隐藏 input 中
from lxml import html
tree = html.fromstring
csrf_token = tree.xpath
if csrf_token:
csrf_token = csrf_token
print
从else来看，print
# 常见备选字段：
# csrf_token = tree.xpath ...
# csrf_token = tree.xpath

Pain point: Token 名称千差万别，需要先打开开发者工具确认隐藏字段到底叫什么再写对应 XPath/正则抓取代码。

. 构造登录请求并正确处理重定向

A successful login usually returns a 302 redirect to dashboard/homepage. The Session will follow it automatically,but you still need to verify that redirect actually happened.

login_action_url = 'https://example.com/login' # 通常与 GET 同 URL
payload = {
'username': 'your_username_here','password': 'your_password_here','csrfmiddlewaretoken': csrf_token,# 可能还有其他隐藏字段，例如 `next`
}
print
login_response = session.post
print
print
print

• If .history` contains a 302 and final URL is not login page itself,chances are you’re logged in.
• If you still land on login page。double‑check token validity or credentials.

. 验证登录状态并访问目标数据

The simplest way to confirm that your session is truly aunticated is to request a page that only logged‑in users can see.

profile_url = 'https://example.com/dashboard'
profile_response = session.get
print
if profile_response.status_code == 200:
if "欢迎回来" in profile_response.text or "Dashboard" in profile_response.text:
print
else这方面，print
else的观点是，print

If this check passes,you can now freely request any protected API endpoint.

target_data_url = 'https://example.com/api/v1/tasks'
data_response = session.get
if data_response.status_code == 200:
data = data_response.json # 假设返回 JSON
print} 条记录。")
else这方面，print
print

完整代码示例

The script below integrates all steps into a reusable class. Replace placeholders with your own URLs、使用者名、密码即可运行。

import time
import requests
from lxml import html
class WebsiteLoginFetcher:
"""处理带 Cookie 登录并抓取受保护数据"""
def __init__:
self.base_url = base_url.rstrip
self.session = requests.Session
self.session.headers.update({
'User-Agent':
'Mozilla/5.0 AppleWebKit/537.36 '
' Chrome/120.0 Safari/537.36'。'Accept':
'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;怎么说呢，q=0.8'，'Accept-Language': 'zh-CN,zh;q=0.9,en，q=0.8',})
def _get_csrf_token:
"""GET 登录页 → 提取 CSRF Token"""
print
从try来看，resp = self.session.get
resp.raise_for_status
except requests.RequestException as e:
print
return None
tree = html.fromstring
# 常见字段名集合，可自行
candidates =
token_vals =
for name in candidates:
token_vals = tree.xpath
if token_vals:
break
if not token_vals:
token_vals = tree.xpath
if token_vals:
token = token_vals
print
return token
print
return None
def login(self,login_url,username,password,extra_form_data=None):
"""执行完整登陆流程"""
csrf_token = self._get_csrf_token
if not csrf_token:
return False
payload = {
"username": username,"password": password,"csrfmiddlewaretoken": csrf_token,}
if extra_form_data:
payload.update
从try来看，resp = self.session.post(
login_url,data=payload,timeout=10,allow_redirects=True # 默认已开启，可显式写明
)
except requests.RequestException as e:
print
return False
print
print
print
# 简单判定是否真的跳转到了非登陆页
if resp.history and login_url not in resp.url:
print
return True
print
return False
def fetch_protected_data:
"""使用已认证 session 抓取受保护资源"""
try这方面。resp = self.session.get
print
if resp.status_code == 200:
return resp.text # 或 resp.json
再看else，print
return None
except requests.RequestException as e:
print
return None


if name == "main":
BASEURL = "https://example.com"
LOGINPAGEURL = f"{BASEURL}/login"
USERNAME ="yourusernamehere"
PASSWORD ="yourpasswordhere"
TARGETDATAURL= f"{BASEURL}/api/somedata"
fetcher = WebsiteLoginFetcher
# ---------- 登录 ----------
logged_in : bool =(fetcher.login(LOGIN_PAGE_URL,USERNAME,PASSWORD))
if logged_in :
print
time.sleep # 防止请求过于频繁，被风控
data : str =)
if data :
print # 示例打印前500字符
else :
print
else :
print