基于langchain的网络爬虫agent

项目介绍

这是一个基于大语言模型（DeepSeek）的智能网页爬取代理（SmartScraperAgent），它通过自然语言理解技术，将传统依赖规则解析的爬虫工作转化为直观的交互式数据提取任务。

该项目利用 BeautifulSoup获取并净化网页文本内容，并创新性地使用大语言模型作为“智能解析引擎”。用户只需输入网址和用自然语言描述的数据需求（例如“提取所有产品价格”），系统即可自动分析页面结构、总结内容概要，并精准抽取指定信息，以 Markdown 表格或 JSON 等结构化格式输出结果。这种方法有效降低了对网页DOM结构变化的敏感性，减少了对精细规则（如XPath/CSS选择器）的依赖，为非技术用户提供了强大的网页信息获取与理解能力。

其核心工作流程分为三步：获取并清理网页内容、利用LLM智能分析页面概要、根据用户定制需求精准提取数据，最终将非结构化网页信息转化为可直接使用的结构化知识。

完整代码

web_scrape.py

• os是 P