ScrapyでPDFファイルをダウンロードする

私は、Scrapy、PythonのWebスクレイピングフレームワークを使用してサイトからpdfファイルを拝借しています。

あなたがpdfをダウンロードできるようにするには、同じセッションに従う必要があります。

それはすべての自動化されたのでScrapyのと素晴らしいですが、私は私のセッションをせずに、私は直接PDFにアクセスしようとすると私に偽のPDFファイルを与えるために、数秒後にスクリプトを実行するとき。

Why is that so & any idea how to overcome this problem!?

ベストアンサー

私はサイトがあなたのセッションを追跡していると思います。それがPHPサイトの場合は、PDFファイルをダウンロードするリクエストにPHPSESSID
Cookieを渡します。

コメントする

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です