以文本方式查看主题

-  金字塔客服中心 - 专业程序化交易软件提供商  (http://www.weistock.com/bbs/index.asp)
--  金字塔软件问题提交  (http://www.weistock.com/bbs/list.asp?boardid=2)
----  数据导入超级慢  (http://www.weistock.com/bbs/dispbbs.asp?boardid=2&id=161694)

--  作者:klc
--  发布时间:2018/2/26 1:09:15
--  数据导入超级慢
版本升级之后,导入数据超级慢,在该电脑上导出数据只需要2分钟,导入则需要两小时!数据文件只有60M啊!
升级之前(忘记之前的版本号了,大概是3.9X左右)导入同样大小的文件只要几分钟。
60M包含了三个期货市场一百多个品种1个月的1分钟数据,导一个月就要两小时啊,下图是一个小时前的截图(已经导了一个小时):

图片点击可在新窗口打开查看此主题相关图片如下:无标题.gif
图片点击可在新窗口打开查看

--  作者:klc
--  发布时间:2018/2/26 1:15:43
--  
刚计算了以下,一个品种需要100秒,只是一个月的K线。运行的时候,16G的内存仅使用了不到4G,但4核cpu大概50%使用。
--  作者:banzhuan
--  发布时间:2018/2/26 8:59:08
--  
您是导出、导入系统格式(DAD格式)的数据吗?   还有一种办法就是把原金字塔目录下的DATA文件夹全部复制到新版本的目录下,这样会比较快 
--  作者:klc
--  发布时间:2018/3/29 12:31:53
--  
是系统格式.另外,没法替换文件因为:为了效率某电脑不会保存太长时间的历史数据,但会源源不断的接收新数据。为了复盘测试及检验策略,另一台电脑保存历史上全部的数据,并定期将上述产生的新数据合并过来(这就需要导出导入了)
--  作者:klc
--  发布时间:2018/3/29 12:33:19
--  
此外,需要这样合并的主要为IB接口接收的行情,也无法从金字塔服务器下载到历史,所以只能自行收集了