正则匹配功能的问题

[Congregalis]

现在的正则匹配功能是在抓取新链接时进行正则匹配从而过滤掉不符合要求的链接，但是这个逻辑似乎不太对，这可能会导致无法获取到期望的结果。

如需要爬取我博客下的所有文章，以首页为 seed，仅能爬取到首页存在的文章以及文章与文章之间有跳转才能到达的文章。而其他该 seed 下不可达但经过两次或者更多次跳转得到的文章就无法爬到。

例：

爬取结果为 16 条，实际我的博客目前有 20 篇文章。

爬取我博客下的文章代码：

// 种子url
String seed = "https://congregalis.github.io/";
// 匹配任何“年月日”形式的日期，连接符可以没有或是 . / - 之一
String dateRegex = "(?:(?!0000)[0-9]{4}([-/.]?)(?:(?:0?[1-9]|1[0-2])\\1(?:0?[1-9]|1[0-9]|2[0-8])|(?:0?[13-9]|1[0-2])\\1(?:29|30)|(?:0?[13578]|1[02])\\1(?:31))|(?:[0-9]{2}(?:0[48]|[2468][048]|[13579][26])|(?:0[48]|[2468][048]|[13579][26])00)([-/.]?)0?2\\2(?:29))";

Crawler.build().addSeed(seed).addRule("https://congregalis.github.io/" + dateRegex + "/.*/").run();

[Congregalis]

1. 首先，这个例子下的问题并非是这个描述的问题引起的。这个问题是由主线程提前结束引起的，因为按理说博客的文章应该是一篇连着一篇，不存在不可达的情况（通常一篇文章中都会有上一篇与下一篇的链接），我也去调查证实了至少我的博客确实是这个结构。而这个问题目前暂时以延时机制修复了，可以看最近的一次 commit，后续会改成锁 该问题已修复（commit 506e74c5c8388875b80b361570a5fe71fdb0e4a6）。

2. 其次，这个描述的问题确实存在。后续准备这样来做：引入 domain 即域名来限制最主要的爬取范围（你可以自由加入多个 domain），然后每次爬取新链接时不过滤正则匹配的链接，而是在 process 之前过滤，然后再只处理匹配的链接。当然这样可能会无限制的一直爬取下去，所以可能还会再引入爬取深度、最大爬取页面数等其他机制来进行限制。