Discussoes de Programacao e Tecnologia

[RESOLVIDO] Ler arquivo TXT de 300mb

7 respostas
S
sciuba

Olá amigos,

Como posso ler um arquivo txt em java com um tamanho de 300mb??

Estou tentando dessa forma:

fileImport = new File(FacesContext.getCurrentInstance().getExternalContext().getRealPath("Active/ImportFiles/importMaterial/master.txt"));
		
		file.renameTo(fileImport);
		
		FileReader fileReader = new FileReader(fileImport);
		
		BufferedReader br = new BufferedReader(fileReader);
		
		String linha = br.readLine();
		
		while (linha != null){
			System.out.println(linha);
			
			linha = br.readLine();
		}
		
		fileReader.close();

O arquivo carrega tranquilo e começo a leitura porém depois de 2000 linhas ± recebo o erro de Queue full

Como posso proceder para conseguir carregar/ ler este arquivo sem estourar a fila ou a memória.

Obrigado

Alura Desenvolvimento Back-End Java Sua Carreira em desenvolvimento back-end Java: dos fundamentos à arquitetura de sistemas...

7 Respostas

S
sciuba

alguém

R
rodrigo.uchoa

Cola aqui a pilha de erros. Mas se eu tivesse que arriscar em um problema, diria que é o tamanho da heap. Tenta aumentar o tamanho da heap usando os parâmetros -Xmx e -Xms.

A
Ataxexe

Você pode usar um Scanner.

Tem alguns exemplos neste link:

S
sciuba 
2014-11-10T13:56:41.551-0200|Grave: java.lang.IllegalStateException: Queue full
	at java.util.AbstractQueue.add(AbstractQueue.java:98)
	at java.util.concurrent.ArrayBlockingQueue.add(ArrayBlockingQueue.java:283)
	at com.sun.common.util.logging.LoggingOutputStream.flush(LoggingOutputStream.java:116)
	at java.io.PrintStream.write(PrintStream.java:482)
	at com.sun.common.util.logging.LoggingOutputStream$LoggingPrintStream.write(LoggingOutputStream.java:392)
	at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:221)
	at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:291)
	at sun.nio.cs.StreamEncoder.flushBuffer(StreamEncoder.java:104)
	at java.io.OutputStreamWriter.flushBuffer(OutputStreamWriter.java:185)
	at java.io.PrintStream.write(PrintStream.java:527)
	at java.io.PrintStream.print(PrintStream.java:669)
	at com.sun.common.util.logging.LoggingOutputStream$LoggingPrintStream.print(LoggingOutputStream.java:297)
	at java.io.PrintStream.println(PrintStream.java:806)
	at com.sun.common.util.logging.LoggingOutputStream$LoggingPrintStream.println(LoggingOutputStream.java:279)
	at org.apache.felix.gogo.runtime.threadio.ThreadPrintStream.println(ThreadPrintStream.java:200)
	at br.com.saboia.utils.ImportMaterial.importMaterial(ImportMaterial.java:33)
	at br.com.saboia.controller.ImportBBean.importXLS(ImportBBean.java:97)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at com.sun.el.parser.AstValue.invoke(AstValue.java:275)
	at com.sun.el.MethodExpressionImpl.invoke(MethodExpressionImpl.java:304)
	at org.jboss.weld.util.el.ForwardingMethodExpression.invoke(ForwardingMethodExpression.java:40)
	at org.jboss.weld.el.WeldMethodExpression.invoke(WeldMethodExpression.java:50)
	at com.sun.faces.facelets.el.TagMethodExpression.invoke(TagMethodExpression.java:105)
	at javax.faces.component.MethodBindingMethodExpressionAdapter.invoke(MethodBindingMethodExpressionAdapter.java:87)
	at com.sun.faces.application.ActionListenerImpl.processAction(ActionListenerImpl.java:102)
	at javax.faces.component.UICommand.broadcast(UICommand.java:315)
	at javax.faces.component.UIViewRoot.broadcastEvents(UIViewRoot.java:790)
	at javax.faces.component.UIViewRoot.processApplication(UIViewRoot.java:1282)
	at com.sun.faces.lifecycle.InvokeApplicationPhase.execute(InvokeApplicationPhase.java:81)
	at com.sun.faces.lifecycle.Phase.doPhase(Phase.java:101)
	at com.sun.faces.lifecycle.LifecycleImpl.execute(LifecycleImpl.java:198)
	at javax.faces.webapp.FacesServlet.service(FacesServlet.java:646)
	at org.apache.catalina.core.StandardWrapper.service(StandardWrapper.java:1682)
	at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:318)
	at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:160)
	at org.apache.catalina.core.StandardPipeline.doInvoke(StandardPipeline.java:734)
	at org.apache.catalina.core.StandardPipeline.invoke(StandardPipeline.java:673)
	at com.sun.enterprise.web.WebPipeline.invoke(WebPipeline.java:99)
	at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:174)
	at org.apache.catalina.connector.CoyoteAdapter.doService(CoyoteAdapter.java:357)
	at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:260)
	at com.sun.enterprise.v3.services.impl.ContainerMapper.service(ContainerMapper.java:188)
	at org.glassfish.grizzly.http.server.HttpHandler.runService(HttpHandler.java:191)
	at org.glassfish.grizzly.http.server.HttpHandler.doHandle(HttpHandler.java:168)
	at org.glassfish.grizzly.http.server.HttpServerFilter.handleRead(HttpServerFilter.java:189)
	at org.glassfish.grizzly.filterchain.ExecutorResolver$9.execute(ExecutorResolver.java:119)
	at org.glassfish.grizzly.filterchain.DefaultFilterChain.executeFilter(DefaultFilterChain.java:288)
	at org.glassfish.grizzly.filterchain.DefaultFilterChain.executeChainPart(DefaultFilterChain.java:206)
	at org.glassfish.grizzly.filterchain.DefaultFilterChain.execute(DefaultFilterChain.java:136)
	at org.glassfish.grizzly.filterchain.DefaultFilterChain.process(DefaultFilterChain.java:114)
	at org.glassfish.grizzly.ProcessorExecutor.execute(ProcessorExecutor.java:77)
	at org.glassfish.grizzly.nio.transport.TCPNIOTransport.fireIOEvent(TCPNIOTransport.java:838)
	at org.glassfish.grizzly.strategies.AbstractIOStrategy.fireIOEvent(AbstractIOStrategy.java:113)
	at org.glassfish.grizzly.strategies.WorkerThreadIOStrategy.run0(WorkerThreadIOStrategy.java:115)
	at org.glassfish.grizzly.strategies.WorkerThreadIOStrategy.access$100(WorkerThreadIOStrategy.java:55)
	at org.glassfish.grizzly.strategies.WorkerThreadIOStrategy$WorkerThreadRunnable.run(WorkerThreadIOStrategy.java:135)
	at org.glassfish.grizzly.threadpool.AbstractThreadPool$Worker.doWork(AbstractThreadPool.java:564)
	at org.glassfish.grizzly.threadpool.AbstractThreadPool$Worker.run(AbstractThreadPool.java:544)
	at java.lang.Thread.run(Thread.java:745)
S
sciuba

[quote=Ataxexe]Você pode usar um Scanner.

Tem alguns exemplos neste link:

Kra obrigado pela dica, tentei todas as opções que este link que passou dava, e ainda recebo a mesmo erro. Detalhe é uma aplicação Web que estou usando o glassfish como servidor de aplicação!

Esta erro de Queue full acredito que seja do glassfish 4. Tem como configurar isso para não estourar. pois é somente texto porém são arquivos grandes em torno de 300mb.

Terei de fazer um batch para importar isso?

Obrigado

A
Ataxexe

[quote=sciuba]

Ataxexe:
Você pode usar um Scanner.

Tem alguns exemplos neste link:

Kra obrigado pela dica, tentei todas as opções que este link que passou dava, e ainda recebo a mesmo erro. Detalhe é uma aplicação Web que estou usando o glassfish como servidor de aplicação!

Esta erro de Queue full acredito que seja do glassfish 4. Tem como configurar isso para não estourar. pois é somente texto porém são arquivos grandes em torno de 300mb.

Terei de fazer um batch para importar isso?

Obrigado

Olhando o log parece que é o “System.out.println(linha);” que está dando problema. Você realmente precisa cuspir cada linha do arquivo? Tente executar a operação sem esse “System.out.println(linha);”.

Se você estiver usando o GlassFish 4.0, mude para o 4.1 pois tem um bug que parece se aplicar ao seu caso:

https://java.net/jira/browse/GLASSFISH-21029

S
sciuba

Resolvido

no Glassfish em configurações - > server
alterei os valores máximos das threads para -1 ou seja "sem limite de tamanho" e resolveu o meu problema, e sim eu removi também os "System.out" do código.

Obrigado pela opinião e atenção de todos.

Criado 7 de novembro de 2014
Ultima resposta 11 de nov. de 2014
Respostas 7
Participantes 3

Topicos relacionados

Java.net.MalformedURLException: no protocol "conteudo do xml!" 7 respostas JVM - memória reservada 14 respostas Thread.sleep() dentro de loop 6 respostas ProcessBuilder.start() não executa nem apresenta exception 12 respostas Batch - boas práticas 6 respostas
Alura Git Flow: entenda o que é, como e quando utilizar Entenda o que é Git Flow, como funciona seu fluxo com branches como Master, Develop, Feature, Release e Hotfix, além de vantagens e desvantagens.
Casa do Codigo Ontologias e Web Semantica: Do conceito a aplicacao Por Ivam Galvao Filho — Casa do Codigo