#coding=gbk
import os
import glob
from tqdm import tqdm

#用于给文件去重，比较粗糙，用文件长度，中间16个字节，末尾16个字节三个标准来判断

img_path = os.path.abspath('.')+ "\*.*"

file_lenth  = 0
middle_bytes = b"0"
tail_bytes = b"0"

img_key_set = set()

for file in tqdm(map(str, glob.glob(img_path))):

#此处是获取 fele_length ,middle_bytes,tail_bytes
    file_lenth=os.path.getsize(file)
    bfile=open(file,'rb')
    bfile.seek(int(file_lenth/2))
    middle_bytes=bfile.read(16)
    bfile.seek(-16,2)
    tail_bytes=bfile.read(16)
    bfile.close()

    key = str(file_lenth) + "|" + str(middle_bytes)+  "|" + str(tail_bytes)
    if key in img_key_set:
        # print(file)
        base_name= os.path.basename(file)
        os.rename(base_name,"bak"+base_name) # 若存在则重命名
        #print(file) # 若存在则删除
    else:
        img_key_set.add(key)