Според мен е хубаво да се прави проверката за дублиращи файлове още в момента когато рече да се качва някакъв файл, защото с тези скриптове които искате да се пускат периодично ще се товари доста фтп-сървърът, особено при голямо ftp.
Например правите си една база да речем в mysql в която съхранявате MD5 сумите на файловете и при upload се извиква външен скрипт, който проверява дали сумата е вече в базата и според зависимостта или reject-ва даденият upload или вкарва сумата на новият файл в базата.
Понеже не спомена какъв фтп сървър използваш само ще спомена че при pure-ftpd е има реализирана горната схема с PurePostPro.
За подробности:
http://www.pureftpd.org/project/pure-ftpd