贴吧爬虫出现错误：ValueError: Unicode strings with encoding declaration are not supported. Please use bytes i

最新推荐文章于 2026-03-10 16:13:24 发布

原创最新推荐文章于 2026-03-10 16:13:24 发布 · 5k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

编程学习

当前文章被收录于：

编程学习

29 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍了一个关于使用Python请求网页内容并解析时遇到的Unicode字符串错误问题。具体来说，当从URL获取页面内容并尝试将其转换为Element对象时，出现了不支持带有编码声明的Unicode字符串的错误。文章详细介绍了如何通过调整获取网页内容的方式从返回二进制数据而不是文本数据来解决此问题。

一、原因

    def get_page_from_url(self, url):
        response = requests.get(url, headers=self.headers)
        # 这个位置可能会有问题(去掉了decode())
        # return response.content
        return response.content.decode()
.......
    def get_datas_from_page(self, page):
        '''提取页面中数据'''
        # 把page转换为Element对象
        # ValueError: Unicode strings with encoding declaration are not supported.
        # 解决方案; 就是要传入二进制数据
        html = etree.HTML(page)

二、解决方案：

    def get_page_from_url(self, url):
        response = requests.get(url, headers=self.headers)
        # 这个位置可能会有问题(去掉了decode())
        return response.content
        # return response.content.decode()

    def get_datas_from_page(self, page):
        '''提取页面中数据'''
        # 把page转换为Element对象
        # ValueError: Unicode strings with encoding declaration are not supported.
        # 解决方案; 就是要传入二进制数据
        html = etree.HTML(page)
      ........

标签

#python