Detector de Duplicatas

Muito boa iniciativa, Marco! Acredito que uma computação melhor se dará quando todos compartilharem assim as próprias iniciativas (seja com grandes aplicações ou pequenos trechos de código).

Mais uma vez, parabéns!

[]´s

asaudate:

Muito boa iniciativa, Marco! Acredito que uma computação melhor se dará quando todos compartilharem assim as próprias iniciativas (seja com grandes aplicações ou pequenos trechos de código).

Mais uma vez, parabéns!

[]´s

Também penso assim: a ajuda mútua faz com que todos cresçam e melhorem sempre. E isso é muito legal!

Existe um software que faz isso talvez vc possa implementar alguma coisa com base nele.

http://www.moleskinsoft.com/

Abraço,

fre_d:

Existe um software que faz isso talvez vc possa implementar alguma coisa com base nele.

http://www.moleskinsoft.com/

Abraço,

Mais alguém?

Nova versão lançada!

Olá Marco…
Gostei bastante de sua ferramenta, realmente é possível abrir os arquivos antes de eliminá-los sem precisar sair da página do programa, a visualização dos arquivos é rápida, ele abre tanto imagens quanto qualquer tipo de programa, eu tinha inclusive alguns códigos java repetidos, muito bom, eu fiquei um bom tempo excluindo muita coisa de minha máquina…
Vou indicar para amigos…

Sucesso…

Realmente interessante, rodei aqui no ubuntu /home … fail, culpa minha eu acho, na verdade ficou vasculhando pacas ai cancelei :shock: :shock: :shock:

depois botei numa pasta menor, achou um monte de *.java.svn-base

Bom saber… talvez haja algum problema aí. Ele ao menos indicou alguma informação de progresso ou simplesmente “empacou”?

fredferrao:

depois botei numa pasta menor, achou um monte de *.java.svn-base

Kleber Antonioli:

Olá Marco…
Gostei bastante de sua ferramenta, realmente é possível abrir os arquivos antes de eliminá-los sem precisar sair da página do programa, a visualização dos arquivos é rápida, ele abre tanto imagens quanto qualquer tipo de programa, eu tinha inclusive alguns códigos java repetidos, muito bom, eu fiquei um bom tempo excluindo muita coisa de minha máquina…
Vou indicar para amigos…

Sucesso…

Mais uma versão pessoal! Mudanças descritas no primeiro post.

Curti chara, e realmente tem muita coisa duplicada no meu PC.

Juro que a 1° vez que vi o tópico eu pensei que fosse “duplicatas” bancarias.

Mas agora entendi o seu projeto e gostei.

Bom saber… talvez haja algum problema aí. Ele ao menos indicou alguma informação de progresso ou simplesmente “empacou”?

fredferrao:

depois botei numa pasta menor, achou um monte de *.java.svn-base

A app não travou, mas empacou, ficou ali um tempão com o progresso indeterminado, com a frase vasculhando pastas…

Mark_Ameba:

Curti chara, e realmente tem muita coisa duplicada no meu PC.

Juro que a 1° vez que vi o tópico eu pensei que fosse “duplicatas” bancarias.

Mas agora entendi o seu projeto e gostei.

Bom saber… talvez haja algum problema aí. Ele ao menos indicou alguma informação de progresso ou simplesmente “empacou”?

fredferrao:

depois botei numa pasta menor, achou um monte de *.java.svn-base

A app não travou, mas empacou, ficou ali um tempão com o progresso indeterminado, com a frase vasculhando pastas…
Então deve ter muito arquivo… estou modificando algumas coisas para que haja mais detalhes do que está sendo feito (entre essas coisas um sistema de log que informa cada arquivo que está sendo processado). Se realmente houver algum bug isso tornará mais fácil de identificar.

Obrigado pelo feedback, em breve sai a nova versão com logs.

Mais uma versão, agora com suporte a logs. Talvez ajude a identificar possíveis bugs. Mais detalhes no primeiro comentário.

Rodei no pc do meu irmao (windows xp)
Para windows ainda prefiro o CloneRemover (http://www.moleskinsoft.com/)
Mas ele não funciona em linux (eu uso ubuntu), esse eh o diferencial seu…
E outra, o Moleskinsfot Clone Remover nao eh gratis! (mais um diferencial)
E outra: No seu agente ainda tem o código-fonte! kkkkk

Continua investindo nisso, e procura melhorar algumas coisas para o funcionamento no ubuntu…
Fora isso o projeto ta otimo!

<blockquote><div class="quote-author">pedroroxd:</div>Rodei no pc do meu irmao (windows xp)

Para windows ainda prefiro o CloneRemover (<a href="http://www.moleskinsoft.com/">http://www.moleskinsoft.com/</a>)

</blockquote>

Pois é… estou tomando algumas características desse programa como base para novas funções. Se tudo der certo, em breve estará tão bom quanto!

Mas ele não funciona em linux (eu uso ubuntu), esse eh o diferencial seu…

E outra, o Moleskinsfot Clone Remover nao eh gratis! (mais um diferencial)

E outra: No seu agente ainda tem o código-fonte! kkkkk[/quote]

Aí que estão os principais diferenciais mesmo.

pedroroxd:

Continua investindo nisso, e procura melhorar algumas coisas para o funcionamento no ubuntu…
Fora isso o projeto ta otimo!

Funciona, mas fica mais lerdo…
Até no Windows Xp por exemplo, quando eu mandei examinar o C: inteiro, ele demorou varios minutos, fiquei até com preguiça e fechei…
Você pode colocar mais threads trabalhando simultaneamente, para diminuir o tempo…
E também colocar lá (eu axo legal): Escaniar o computador inteiro, onde ele irá scaniar todas as partições…

São só sujestões, o projeto é seu, foi muito bem elaborado, e vc merece todo o crédito!
GoGogO!

pedroroxd:

Funciona, mas fica mais lerdo…
Até no Windows Xp por exemplo, quando eu mandei examinar o C: inteiro, ele demorou varios minutos, fiquei até com preguiça e fechei…

1. Vasculha todos os diretório recursivamente procurando por arquivos (ele ignora os links) e armazena o tamanho do arquivo e um objeto File em um Map.
2. Após remover todas as entradas onde o tamanho corresponde a um único arquivo, o programa lê os 50 primeiros bytes de cada arquivo e armazena essas informações em um segundo Map.
3. Agora removemos todas as entradas cujos bytes sejam de um único arquivo e calculamos o hash para os que sobraram.

Acontece que cada uma das operações leva tempo (bastante tempo…). Sem contar que um computador comum tem centenas de milhares (ou até milhões) de arquivos, o que faz escanear a partição inteira algo quase inviável (só para ter ideia, digite um “dir /s” no ‘C:’ do Windows ou um “ls -lR” no ‘/’ do Linux).

Isso é verdade, está nos planos mas não para curto prazo.

Vide comentário acima. Eu acho inviável. Sem contar que escanear pastas de sistema que costumam ter vários arquivos duplicados é pouco útil, já que remover algum desses arquivos pode quebrar seu sistema. Uma boa ideia seria um atalho rápido para escanear a pasta pessoal, por exemplo.

Sugestões são muito bem vindas, obrigado!

Nova versão: 0.0.5.

Vide comentário inicial do tópico pessoal!

Ahh… só um comentário pessoal: vários já informaram que se o programa rodar em pastas com muitos arquivos ele simplesmente impaca.

Isso é “normal” (pelo menos por enquanto no modo single-thread) devido ao que foi explicado dois comentários acima.

A melhora desse ponto está planejada, mas para médio prazo pois portar o programa para multi-thread não é uma tarefa muito trivial (quem sabe com a nova API de programação paralela do Java 7 isso seja menos complicado de fazer).

Por enquanto é possível obter mais informações sobre o que está acontecendo ativando o modo debug que mostra na saída padrão cada operação que está sendo feita. É recomendável executar o programa somente em diretórios não muito grandes por hora.

De qualquer forma, espero feedback e, caso esse problema esteja realmente atrapalhando, a prioridade da solução será aumentada.

Hehe
Entendi…

Mas axo que trabalhando com várias threads todos os problemas vão se resolver…
Mas é meio fod@ msmo, trabalhar simultaneamente…
Vo baixar a nova versão…

Legal é que estou lendo e entendo o código =D

Que bom! Significa que você tem facilidade para entender e que o código está legível.

Nova versão! Mudando para linha 0.1.

Nessa versão há suporte a filtros (via expressões regulares por enquanto) e foi feita uma alteração na lógica do programa que melhorou razoavelmente o desempenho.

Espero mais feedback quando ao desempenho do programa e sugestões para filtros que podem ser definidos como padrão (além dos que já estão lá).

Eu estou usando uma versão free desse

http://www.2brightsparks.com/syncback/syncback-hub.html

É muito bom !!!

marcobiscaro2112:

Nova versão! Mudando para linha 0.1.

Nessa versão há suporte a filtros (via expressões regulares por enquanto) e foi feita uma alteração na lógica do programa que melhorou razoavelmente o desempenho.

Espero mais feedback quando ao desempenho do programa e sugestões para filtros que podem ser definidos como padrão (além dos que já estão lá).

mto bom
pelo que to vendo…

vo baixa pra usa!

nao sei se seria interessante
mais no mesmo software vc integrar outras funcionalidades…
tipo esses softwares aqui http://www.velasco.com.br/softwares.php
são MTO MTO MTO Bons…
(ja usei quase todos… e todos que usam nao deixam a desejar)

apenas uma opnião!

abraço

A menos que você esteja varrendo vários discos ao mesmo tempo, não vale a pena tornar o programa multi-threaded. É que seu limitante é a velocidade do disco, não a CPU. E no seu caso, se você ficar abrindo e vasculhando vários arquivos ao mesmo tempo no mesmo disco, a menos que os tais arquivos sejam muito pequenos ou se o sistema operacional souber lidar com várias solicitações ao mesmo tempo em vários arquivos ao mesmo tempo, talvez você torne seu programa mais lento, não mais rápido.

Então, eu estava fazendo umas análises de desempenho e percebi que antes a utilização de disco estava muito baixa, por isso pensei que varias threads acelerariam o processo. Porém isso estava acontecendo por um problema na hora da leitura (o buffer estava excessivamente pequeno e isso deixava o consumo de CPU médio e a utilização de disco baixa). Agora que está resolvido eu realmente não pretendo partir para multi-thread.

Muito boa ferramenta. Útil e pretendo usá-la com frequência. Realmente está um pouco lenta, mas você poderia dar uma revisada no seu algoritmo, ou quem sabe postá-lo em pseudo-código para que possamos dar alguma sugestão.

Se você baixou, deve ver que o código-fonte está incluido =P

Então, eu estava fazendo umas análises de desempenho e percebi que antes a utilização de disco estava muito baixa, por isso pensei que varias threads acelerariam o processo. Porém isso estava acontecendo por um problema na hora da leitura (o buffer estava excessivamente pequeno e isso deixava o consumo de CPU médio e a utilização de disco baixa). Agora que está resolvido eu realmente não pretendo partir para multi-thread.

Se o consumo de CPU ainda estiver baixo pode valer a pena inserir mas threads como vc escreveu. Se você quiser fazer a busca em mais de um disco, talvez ter uma thread para cada disco seja interessante.

Tem um exemplo do Java concurrency in practice que é exatamente um indexador de uma “desktop search”. se quiser dar uma olhada.

http://www.javaconcurrencyinpractice.com/listings/ProducerConsumer.java

(Dicas de quem ainda não baixou o programa ).

Eu tenho uma dica, e espero que não a considere ofensiva!
Testei o programa e ele retorna a seguinte mensagem:

…

Arquivos disperdiçados: …

…

Mas desperdício se escreve com E!

Abraço!

kkk
já tinha notado isso também…
Mas primeiro tem que cuidar dos erros de programação, desempenho, etc… e depois dos erros ortográficos! (não que eles não sejam importantes)
=P

pedroroxd:

kkk
já tinha notado isso também…
Mas primeiro tem que cuidar dos erros de programação, desempenho, etc… e depois dos erros ortográficos! (não que eles não sejam importantes)
=P

Eu diria que se o usuário é da área de TI, de fato ele vai se preocupar mais com bugs, desempenho etc.

Mas se ele for um usuário leigo (e este aplicativo certamente é do interesse de muita gente que não é do mundo de TI), então ele vai medir a credibilidade do software principalmente pela interface gráfica!

Muito bom o programa marcobiscaro2112.
Baixei e testei!
Parabéns!

Só quero saber se os arquivos encontrados são enviados para você?
rsrs
PS. Só vi link agora em sua assinatura!
:thumbup:

vlw
abs

Eu gostaria de ver o fonte do seu projeto. Mas baixei do googlecode e só veio os .class. Onde estão disponíveis os fontes?

Pessoal, desculpe pela demora para responder, é que por algum motivo não os recebi e-mails de notificação quando vocês postaram aqui.

rod.attack:

Eu tenho uma dica, e espero que não a considere ofensiva!
Testei o programa e ele retorna a seguinte mensagem:

…

Arquivos disperdiçados: …

…

Mas desperdício se escreve com E!

Abraço!

rod.attack:

pedroroxd:

kkk
já tinha notado isso também…
Mas primeiro tem que cuidar dos erros de programação, desempenho, etc… e depois dos erros ortográficos! (não que eles não sejam importantes)
=P

Eu diria que se o usuário é da área de TI, de fato ele vai se preocupar mais com bugs, desempenho etc.

Mas se ele for um usuário leigo (e este aplicativo certamente é do interesse de muita gente que não é do mundo de TI), então ele vai medir a credibilidade do software principalmente pela interface gráfica!

Não disponibilizei um arquivo com os fontes ainda para baixar. Só está disponível por enquanto via SVN no Google Code.

Erro de português corrigido no trunk. Próxima versão já sai correta.

Tanto tempo sem entrar no guj…
Mas jah baxei o detector =)

Achei interessante, e é sem dúvida bem funcional.

Há uma coisinha chata nele que é o ‘update’ da JTree, quando você apaga um item duplicado, ele da collapse na tree, mas realmente não é tão trivial assim de fazer a atualização da parte específica, mas até vou ver se consigo fazer algum exemplo assim e lhe passar depois.

Eu também tenho vários projetos pessoais pequenos, que uso para atender as minhas necessidades, mas pretendo publicar um ou outro, às vezes pode ser útil e interessante para as outras pessoas.

Grinvon:

Achei interessante, e é sem dúvida bem funcional.

Há uma coisinha chata nele que é o ‘update’ da JTree, quando você apaga um item duplicado, ele da collapse na tree, mas realmente não é tão trivial assim de fazer a atualização da parte específica, mas até vou ver se consigo fazer algum exemplo assim e lhe passar depois.

Eu também tenho vários projetos pessoais pequenos, que uso para atender as minhas necessidades, mas pretendo publicar um ou outro, às vezes pode ser útil e interessante para as outras pessoas.

Baixei e utilizei seu programa e sem dúvidas é muito bom,

só achei uma coisa que poderia ser implementada que no meu ponto de vista seria muito útil:
A utilização da Tecla “Delete” para poder apagar os arquivos, sem ter que ir la no botão apagar,

assim poderia navegar na JTree com as setas e apagar os arquivos com o delete.

Mas fora isso sem comparação, Muito Bom, parabéns!

manolimars:

Baixei e utilizei seu programa e sem dúvidas é muito bom,

só achei uma coisa que poderia ser implementada que no meu ponto de vista seria muito útil:
A utilização da Tecla “Delete” para poder apagar os arquivos, sem ter que ir la no botão apagar,

assim poderia navegar na JTree com as setas e apagar os arquivos com o delete.

Mas fora isso sem comparação, Muito Bom, parabéns!

Parabéns!
Esta na minha lista de programas pra melhorar o desempenho do PC

Mas tenho algumas sugestões
esta tudo ótimo mas acho que o terminal não poderia aparecer e tentar melhorar o tempo sei que é difícil mas sei la de repente dando uma olhada no seu algorítimo de de melhorar um pouco e no Vasculhando diretórios… acho que teria que mostrar mais detalhes pois da uma agonia ver aquela tela sempre igual por um bom tempo

Mas parabéns mesmo pelo projeto e quando um amigo reclamar que tem muitos arquivos duplicados indicarei esse!

Cara, o programa passa um tempão procurando um arquivo numa pasta pequena e não acha, e pra que serve esse excluir???
Se eu fosse como muitos colegas meus, eu nem ia mais querer saber de seu programa e nunca mais ia usa-lo. Mas ainda bem que não sou eles :lol:
Também não consegui achar o código-fonte.
Da umas melhoradas ai.
Tchau!
Se cuida

Cara to testando aqui!
Eu to iniciando no Java agora e to achando o seu software sensacional!!