查找相同文件代码代码,Python代码库,德仔网

代码语言

代码分类

【Python】查找相同文件代码

作者: / 发布于2016/3/3/ 713

python 查找相同文件代码示例。简单说明下原理吧！ 1.先定义了filesizes的字典,其中键是文件大小,值是相同文件大小的文件路径( {"size":[path1,path2.....],"size2":[path1,path2.....]} ) 2.Eqlfiles与filesizes差不多只不过键变成了hash值 3.errfile是用来存储读取时发生错误的文件(然并卵),因为本人在扫描时发现由于一些文件名是特殊文字会读取错误 4.遍历自己定义的路径获取所有文件 5.过滤出值长度为1的文件集 6.获取文件的crc或hash值进行逐一比较,将相同值的储存到Eqlfiles 7.最后,就是处理Eqlfiles里的文件了,示例里是输出文件路径的(各位可以自行处理)

#coding=utf-8
import binascii, os
import hashlib   
 
def getFilesize(path):#遍历文件夹
    try:
        if os.path.isdir(path):
            files = os.listdir(path)
            for file in files:
                getFilesize(path + "/" + file)
        else:
            size = os.path.getsize(path)
            if not filesizes.has_key(size):
                filesizes[size] = []
            filesizes[size].append(path)
    except Exception as e:
        print e
        errfile.append(path)#追加到错误列表
 
def getSizeEq(filesizes):#返回长度大于1的字典
    for key in filesizes.keys():
        if len(filesizes[key])<=1:#相同大小文件长度大于一
            #print filesizes[key]
            filesizes.pop(key)  
    return filesizes;
 
def getFileHash(files):#获取哈希
    srcl=open(files,'rb')
    m2 = hashlib.md5()   
    m2.update(srcl.read())
    srcl.close()
    return m2.hexdigest()
 
 
def getCrc32(files):#获取Crc
    f = open(files, "r")
    crc = binascii.crc32(f.read())
    f.close()
    return crc
 
def Eq(val1,val2):#比较值
    if val1==val2:
        return True
    return False
 
#######################
filesizes = {}#所有文件
Eqlfiles = {}#相同文件
errfile=[]#扫描错误的文件集合
path="./"#默认路径
 
getFilesize(path)
filesizes=getSizeEq(filesizes);
for key in filesizes:#遍历同样的小的文件 键
    files=filesizes[key]
    for i in files:#遍历同样的小的文件 列
        #print u'文件',i,key
        md5a=getFileHash(i)
        crca=getCrc32(i)
        if  Eqlfiles.has_key(md5a):
            if i in Eqlfiles[md5a]:
                continue
        for j in files:#遍历相同大小文件 列2
            if  files.index(i)>files.index(j):
                md5b=getFileHash(j)
                crcb=getCrc32(j)
                if Eq(md5a,md5b) and Eq(crca,crcb):
                    if not Eqlfiles.has_key(md5a):#创建列
                        Eqlfiles[md5a]=[]
                    if i not in Eqlfiles[str(md5a)]:
                        Eqlfiles[str(md5a)].append(i)#追加文件名
                    if j not in Eqlfiles[str(md5a)]:
                        Eqlfiles[str(md5a)].append(j)#追加文件名
                      
print u'错误的文件:',errfile
 
for key in Eqlfiles:
    print '--------------------------------------------------------------------'
    for i in Eqlfiles[key]:
        print u'文件',i,key

试试其它关键字

同语言下

可能有用的

贡献的其它代码Label