专利内容由知识产权出版社提供
专利名称:一种基于共享内存映射的URL去重方法及装置专利类型:发明专利发明人:司贺华,孔凡兵申请号:CN201210171316.8申请日:20120529公开号:CN102693315A公开日:20120926
摘要:本发明的基于共享内存映射的URL去重方法及装置,去重方法包括初始化、URL签名、签名索引、共享内存映射和按位判重。本发明的有益效果在于通过签名,将URL最终以签名文件中的1位来存储,极大的压缩了URL所占的存储空间;通过共享内存映射,将对内存的操作同步到外存签名文件中,提高了URL去重的速度;将URL对应的位存储于签名文件中,长期保存了去重结果。本发明还提供了一种实现上述方法的装置,装置包括处理器、内存储器、外存储器、网卡和输入输出设备,这些设备均与处理器连接,所述的处理器又包括连接在一起的URL捕获模块、URL签名模块、签名索引模块、共享内存映射模块和按位判重模块。
申请人:上海家配电子商务有限公司
地址:200062 上海市普陀区中江路106号北岸长风i座17层1711
国籍:CN
更多信息请下载全文后查看