查找位置 Python在数亿级数据集中查找某个元素是否存在解决方案?

Python在数亿级数据集中查找某个元素是否存在解决方案?我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。有几点要注意:1、不要用Python写周期,1.7亿周期运行到你的电脑

Python在数亿级数据集中查找某个元素是否存在解决方案?

我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。

有几点要注意:

1、不要用Python写周期,1.7亿周期运行到你的电脑上没有电源。

2. 使用pandas和numpy,并使用他们自己的搜索方法。

3. 如果没有足够的内存,熊猫.readcsv当然,当使用迭代器时,这个时间线程并不重要,因为您的瓶颈是Io。