分享基于DHT网络的BT磁力链蜘蛛源码

James
29阅读0评论2 个月前

几年前研究大文件的下载分发,注意到了libtorrent这个非常完善的BT下载库,因此对BT相关协议也有了粗浅的了解。于是我用这个库提供的接口,实现了一个DHT的蜘蛛。

我把这个蜘蛛放到美国的不限制UDP和BT协议的虚拟机上,每天大概可以采集3000-9000个BT种子的相关信息。

之所以选择做BT蜘蛛,是因为当时淘宝上出售的各种DHT蜘蛛,都是带网页病毒的,会感染HTML文件,所以就干脆自己动手了,更安全些。

大概介绍一下原理:
BT种子被制作出来之后,会具有一个HASH值,这个HASH值,就可以对应出一个磁力链链接,比如:magnet:?xt=urn:btih:F5615DFB80AC995787C1B2219A75DF7805278DEA(这个F5615DFB80AC995787C1B2219A75DF7805278DEA就是HASH),只要文件内容相同,那么HASH就是固定的。

BT软件启动时,一般会自动连接到一个DHT网络,这是一个分布式的UDP网络,每台机器维护着若干跟自己相邻的其他BT下载者的IP(以下简称节点)。

当BT软件拿到磁力链HASH之后,就会向周围的节点发布消息,询问“你有这个HASH的文件吗?”如果被询问的节点没有这个文件,那么这些节点就会再向外层继续广播询问,直到找到这个种子为止(为避免广播风暴,这个广播的最大层级会有限制)

当找到有一个节点X有这个种子后,当前机器的BT软件就会与节点X连接,请求节点X把种子发过来,磁力链转种子的工作至此完成。

当其他节点进行磁力链下载时,也会把HASH广播给你,这样你拿到了HASH,也就能顺手把这个HASH转化为种子。

这样,全网流行的BT种子,基本你都可以拿到了(大部分是些不可描述的片)。

实在看不懂原理的可以先看看这个视频,大概了解下BT工作机制:https://www.bilibili.com/video/av57748098/

我把BT磁力链蜘蛛源码传到了GitHub,如果觉得对你有用,请不吝赐予我一个星星。
**源码地址:**https://github.com/Jobcrazy/BitTorrent-DHT-Spider
源码是基于Linux的,相关编译环境和方法,也有比较详细的说明。

简单讲讲main函数的代码:

  1. 初始化libtorrent,并连接到了DHT网络,之后添加了一个虚假的磁力链任务,促使libtorrent去跟其他的DHT节点联系,来获取其他节点正在下载的HASH信息;
  2. 监听DHT通知,当收到新的HASH信息时,把HASH添加成BT任务,向其他节点请求种子信息;
  3. 监听DHT通知,当收到种子信息时,把种子存到mysql数据库里,数据库的结构也在github里了。

当数据库里有了数据,你需要的是一个支持中文全文搜索的引擎,来打造一个磁力链搜索引擎,这时候你可以通过coreseek这个开源软件来解决。coreseek的教程网上比较好搜到,这里我就不重复了。

加载中…
精选评论
暂无数据

暂无数据