Firecrawl推出LLM.txt API,网站内容轻松转文本
Firecrawl近期推出了LLMs.txt生成器接口(Alpha版),用户只需提供网站URL,即可自动抓取内容并生成llms.txt和llms-full.txt两种格式的文本文件,适用于大语言模型训练。该功能支持异步处理和状态监控,可自定义爬取页面数量及是否生成完整文本,但限制处理公开页面且总数不超过5000个。
🔗 https://docs.firecrawl.dev/features/alpha/llmstxt
Firecrawl近期推出了LLMs.txt生成器接口(Alpha版),用户只需提供网站URL,即可自动抓取内容并生成llms.txt和llms-full.txt两种格式的文本文件,适用于大语言模型训练。该功能支持异步处理和状态监控,可自定义爬取页面数量及是否生成完整文本,但限制处理公开页面且总数不超过5000个。
🔗 https://docs.firecrawl.dev/features/alpha/llmstxt