python多线程处理多个文件（python读取大文件处理时使用多线程）
本文目录
python读取大文件处理时使用多线程
如果有个很大的文件，几十G?，需要每次读取一部分，处理后再读取剩余部分。
with open as f 已经从内部处理难点，使用 for line in f 以迭代器的形式每次读取一行，不会有内存问题。
下面程序的思路是用一个列表存放读取到的数据，达到长度后就开始处理，处理完就清空列表，继续执行
日志文件太大，python怎么分割文件，多线程操作
python的多线程为伪多线程，多线程并不能提高文件IO的速度，在读取文件时使用直接读取 for line in open(’文件名’, ’r’) 效率最高，因为此方式为直接读取，不像其它方式要把文件全部加载到内存再读取，所以效率最高。分割时文件时，提前计算好行数，把读取的每固定数量的行数存入新文件，直接读取完成，最后删除旧文件，即可实现文件分割。
示意代码：
line_count = 0
index = 0
fw = open(’part’+str(index)+’.log’, ’w’)
for line in open(’filename.log’, ’r’):
fw.write(line)
line_count += 1
# 假设每10000行写一个文件
if line_count 》 10000:
fw.close()
index += 1
fw = open(’part’+str(index)+’.log’, ’w’)
fw.close()
有3个文件1.txt 2.txt 3.txt 我想利用python多线程同时查看3个文件的内容
# -*- coding: utf-8 -*-
import threading
def read(file_uri):
with open(file_uri) as fp:
for i in fp.readlines():
print file_uri, i
a = threading.Thread(name=’daemon’, target=read, args=(’1.txt’,))
a.setDaemon(True)
a.start()
b = threading.Thread(name=’daemon’, target=read, args=(’2.txt’,))
b.setDaemon(True)
b.start()
c = threading.Thread(name=’daemon’, target=read, args=(’3.txt’,))
c.setDaemon(True)
c.start()
a.join()
b.join()
c.join()
不知道你为什么有这样的要求，其实没啥意义。如果想分次读取文件，会让内容变乱，如果想顺序，还要枷锁，还不如不使用线程了。
如果解决了您的问题请采纳！
如果未解决请继续追问
更多文章：
jfreechart 极坐标设置线条颜色（各位，怎样修改 matlab 中极坐标生成的图像线条的宽度求程序指导！ 谢谢了！！！）
2025年8月9日 12:00
appear后面可以加名词吗（高考英语备考之 appear的用法）
2025年9月17日 03:30
django框架安装过程（京东云擎怎么搭建django 框架）
2025年7月24日 02:00
index加match函数出错（excel中INDEX和MATCH函数出现的问题）
2026年1月3日 23:00
2025年12月10日 00:00
2026年3月16日 06:00
2026年9月17日 03:30
2025年12月24日 15:45
2026年5月26日 06:30
2025年10月15日 02:15
2025年11月5日 11:45
routes插件（模拟火车2019机车插件和线路插件安装在哪里怎么激活求大神解答！！）
2025年7月11日 16:45
手机java运行库下载（三星C3300K手机下载JAVA游戏详细方法）
2026年1月12日 09:00
雅马哈音响portable（为什么存储卡里的歌在可插卡蓝牙音响上有些能放，有些不能放）
2026年8月5日 16:15
2025年10月13日 06:45
2025年7月19日 17:45
易语言源码忘记保存奔溃怎么找回（易语言源码丢失，用什么恢复软件恢复后可以用）
2025年12月9日 05:45
2025年9月25日 17:15
2026年2月22日 07:45
2025年6月7日 00:45
