想请问下大家，有没有什么方法能判别网站所包含的网站总数

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2654 days ago, the information mentioned may be changed or developed.

想对某一个网站较快的方法得出其网站链接总数。

2 replies

sleepm

Jul 29, 2019

在谷歌中 site:site.domain
在网页中找 sitemap.xml
找网站所使用的程序，举个例子，比如文章列表页，多少个目录，一页多少个，共多少，累加
得到完全具体的数字数字那是不可能的，自己建的站都不知道多少链接。。。。

silencefent

Jul 29, 2019

开个爬虫,一级域名通配符一页页抓 url,放 redis 里面用布隆过滤器去重