欢迎使用金字塔普通技术服务论坛,您可以在相关区域发表技术支持贴。
我司技术服务人员将优先处理 VIP客服论坛 服务贴,普通区问题处理速度慢,请耐心等待。谢谢您对我们的支持与理解。


金字塔客服中心 - 专业程序化交易软件提供商金字塔软件金字塔软件问题提交 → 建议把1分线、5秒线等数据分日或分月保存

   

欢迎使用金字塔普通技术服务论坛,您可以在相关区域发表技术支持贴。
我司技术服务人员将优先处理 VIP客服论坛 服务贴,普通区问题处理速度慢,请耐心等待。谢谢您对我们的支持与理解。    


  共有2773人关注过本帖平板打印复制链接

主题:建议把1分线、5秒线等数据分日或分月保存

帅哥哟,离线,有人找我吗?
yanxc
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:小飞侠 帖子:2046 积分:2707 威望:0 精华:1 注册:2011/6/14 14:49:49
  发帖心情 Post By:2015/5/4 13:32:59 [只看该作者]

以下是引用netfox在2015/5/4 11:42:02的发言:

楼主这是算法问题。

  限定数据然后读取,看似资源节省了但实际操作容易导致数据读取不足,也就是没冗余会崩的。

 

一般写法确实一口气全读取,然后只显示部分。 你看 readline 函数是每次读取一行,一行一行读取,全部读到内存。  f.open 函数根本就不管你多大直接全读取了,唯一就是你可以设定缓存是多少。

   读取一半后在读取一半,效率其实不咋样的。

 

如果只是限定读取部分,然后在读取。 就意味open要开2次, 并且有个问题,前一次到底关闭还是打开?  每次open必须带一个close, 不能open,open,close模式。

 你这样就相当于一个文件放到2个缓存。 实际占用内存是一样,但在程序内分2部分,导致对变量操作要跳来跳去。

 

O__O  当然我只写过300M数据运算, 2G的。。。我还真没写过。


怎么可能效率不咋样。

我是复盘几年前的一天两天,结果金字塔把几年的数据都调出来。
显然占用不在一个档次上。

 回到顶部