查找位置 Python在数亿级数据集中查找某个元素是否存在解决方案?
Python在数亿级数据集中查找某个元素是否存在解决方案?我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。有几点要注意:1、不要用Python写周期,1.7亿周期运行到你的电脑
Python在数亿级数据集中查找某个元素是否存在解决方案?
我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。
有几点要注意:
1、不要用Python写周期,1.7亿周期运行到你的电脑上没有电源。
2. 使用pandas和numpy,并使用他们自己的搜索方法。
3. 如果没有足够的内存,熊猫.readcsv当然,当使用迭代器时,这个时间线程并不重要,因为您的瓶颈是Io。