spark redis集群 如何高效地向Redis写入大量的数据?
如何高效地向Redis写入大量的数据?1. 创建一个新的文本文件,包括redis命令set key0 value0 set key1 value1。。。Set Keyn valuen如果你有原始数据,
如何高效地向Redis写入大量的数据?
1. 创建一个新的文本文件,包括redis命令
set key0 value0 set key1 value1。。。Set Keyn valuen
如果你有原始数据,构造这个文件并不困难,比如shell或Python
2。将这些命令转换为redis协议。
redis pipeline函数支持redis协议,而不是直接的redis命令。
如何转换可以参考以下脚本。
3. 插入带管道的cat数据.txt|redis cli--pipe
Shell VS redis pipe