将可迭代的字节转换为可迭代的字符串,其中每个值都是一行

2022-04-03 00:00:00 python csv newline

问题描述

我有一个可迭代的bytes,如

bytes_iter = (
    b'col_1,',
    b'c',
    b'ol_2
1',
    b',"val',
    b'ue"
',
)

(但通常不会被硬编码或一次全部可用,而是由生成器提供),我想将其转换为str行的可迭代,其中换行符在前面是未知的,但可以是 中的任何一个。因此,在本例中为:

lines_iter = (
    'col_1,col_2',
    '1,"value"',
)

(但话又说回来,只是作为一个可迭代变量,而不是说它一次都在内存中)。

如何执行此操作?

上下文:我的目标是将字符串行的可迭代传递给csv.reader(我认为需要整行?),但我只对这个答案感兴趣。


解决方案

使用io模块为您完成大部分工作:

class ReadableIterator(io.IOBase):
    def __init__(self, it):
        self.it = iter(it)
    def read(self, n):
        # ignore argument, nobody actually cares
        # note that it is *critical* that we suppress the `StopIteration` here
        return next(self.it, b'')
    def readable(self):
        return True

然后只需调用io.TextIOWrapper(ReadableIterator(some_iterable_of_bytes))

相关文章