欢迎使用金字塔普通技术服务论坛,您可以在相关区域发表技术支持贴。
我司技术服务人员将优先处理 VIP客服论坛 服务贴,普通区问题处理速度慢,请耐心等待。谢谢您对我们的支持与理解。


金字塔客服中心 - 专业程序化交易软件提供商金字塔软件金字塔软件问题提交 → 建议把1分线、5秒线等数据分日或分月保存

   

欢迎使用金字塔普通技术服务论坛,您可以在相关区域发表技术支持贴。
我司技术服务人员将优先处理 VIP客服论坛 服务贴,普通区问题处理速度慢,请耐心等待。谢谢您对我们的支持与理解。    


  共有3805人关注过本帖树形打印复制链接

主题:建议把1分线、5秒线等数据分日或分月保存

帅哥哟,离线,有人找我吗?
yanxc
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:小飞侠 帖子:2046 积分:2707 威望:0 精华:1 注册:2011/6/14 14:49:49
建议把1分线、5秒线等数据分日或分月保存  发帖心情 Post By:2015/5/4 10:47:43 [显示全部帖子]

由于需要长期数据作研究,目前1分线、5秒线都达到近2G,调出非常慢。
建议学分笔数据,拆分到日,或者拆分到月也行。

这样,在调出历史数据段的时候,比如2010-2011,也就不需要再白白调出2011-2015的数据占用资源和时间了。

 回到顶部
帅哥哟,离线,有人找我吗?
yanxc
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:小飞侠 帖子:2046 积分:2707 威望:0 精华:1 注册:2011/6/14 14:49:49
  发帖心情 Post By:2015/5/4 11:29:42 [显示全部帖子]

以下是引用pyd在2015/5/4 11:06:31的发言:
你是在图上调出2010-2011的数据?可以手工直接下载2010-2011的数据,k线图上直接锁定你要看的2010-2011,不用调出中间的数据


我当然点了锁定。

但其实金字塔还是把所有数据全部调出,然后再只显示了2010-2011。所以资源和时间还是浪费了。

 回到顶部
帅哥哟,离线,有人找我吗?
yanxc
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:小飞侠 帖子:2046 积分:2707 威望:0 精华:1 注册:2011/6/14 14:49:49
  发帖心情 Post By:2015/5/4 11:31:01 [显示全部帖子]

以下是引用FexTel在2015/5/4 11:09:29的发言:

1,改变存储方式后,历史数据格式全部都要进行调整!会影响大批量用户

2,目前方式只会影响盘后分析处理情况,暂不会进行处理

即使不修改。 

如果我锁定2010-2011,金字塔是否会调出2012之后的扩展数据呢? 

建议至少扩展数据按锁定来调,而不是全调。
[此贴子已经被作者于2015/5/4 11:31:10编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
yanxc
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:小飞侠 帖子:2046 积分:2707 威望:0 精华:1 注册:2011/6/14 14:49:49
  发帖心情 Post By:2015/5/4 13:32:59 [显示全部帖子]

以下是引用netfox在2015/5/4 11:42:02的发言:

楼主这是算法问题。

  限定数据然后读取,看似资源节省了但实际操作容易导致数据读取不足,也就是没冗余会崩的。

 

一般写法确实一口气全读取,然后只显示部分。 你看 readline 函数是每次读取一行,一行一行读取,全部读到内存。  f.open 函数根本就不管你多大直接全读取了,唯一就是你可以设定缓存是多少。

   读取一半后在读取一半,效率其实不咋样的。

 

如果只是限定读取部分,然后在读取。 就意味open要开2次, 并且有个问题,前一次到底关闭还是打开?  每次open必须带一个close, 不能open,open,close模式。

 你这样就相当于一个文件放到2个缓存。 实际占用内存是一样,但在程序内分2部分,导致对变量操作要跳来跳去。

 

O__O  当然我只写过300M数据运算, 2G的。。。我还真没写过。


怎么可能效率不咋样。

我是复盘几年前的一天两天,结果金字塔把几年的数据都调出来。
显然占用不在一个档次上。

 回到顶部