系统崩溃，怎么解决

100011187 · 发表于 2024-10-11 15:51

交易的流程如下：每个品种加载一个公式，公式需要调用 python 模块引用，引用的内容是加载一个 xgboost 训练的模型，公式通过这个模型获取预测指标；

现在发现问题如下：16 核 64g 内存服务器，如果全品种运行一个这样的公式，CPU占用率是每分钟有几秒钟100%占用，其他时间占用很少。但增加第二个类似的公式之后， cpu 长时间处于满载状态，并且系统崩溃。

请问是什么问题，有什么办法优化这个流程？

admin · 发表于 2024-10-11 15:53

没有办法。机器学习本身就很消耗硬件资源。你要么升级硬件、要么减少运算量。

100011187 · 发表于 2024-10-11 21:57

升级到 32核，128内存，还是崩溃了

我在想，是不是原来的写法有问题，原来的写法是一个py一个模型，太耗资源了

如果改成一个python写入两个模型，会不会好一些？

技术015 · 发表于 2024-10-11 22:09

你可以使用金字塔提供的机器学习模块，在模块中先训练好模型，然后PEL直接调用预测结果。
这样可以大大减小系统资源占用

100011187 · 发表于 2024-10-11 22:29

金字塔提供的机器学习模块好像不太好用

如果用我刚才说的方法，改成一个python写入两个模型，会不会好一些？

100011187 · 发表于 2024-10-11 22:52

我们训练好的模型，能跟金字塔的机器学习模块对接吗

admin · 发表于 2024-10-12 08:28

你直接把训练好的模型导入后，通过pel函数取值就行

100011187 · 发表于 2024-10-14 08:48

我们现在做的是，在pel里面调用一个py引用
跟你发的这个，通过菜单导入文件的方式有区别吗
截图202410140847387480.png

100011187 · 发表于 2024-10-14 08:54

对了，看了金字塔机器学习的菜单，好像不支持lgbm？
那么如果是lgbm训练的模型，该怎么对接

截图202410140854427587.png

admin · 发表于 2024-10-14 09:25

1.目前我们提供的模型中，没有你使用的这个训练算法。
2.因为pel不支持直接读取训练好的模型结果，所以才要通过这个机器学习功能导入后，在使用对应的函数读取。本质上和你直接在python中直接读取训练后的模型。在引用它应该是一样的。

3. 4楼中的建议是基于你的模型在外部训练完毕后，在由金字塔读取训练后的结果。而不是两者齐头并进的执行。
至于分来写有没有效果，需要你试试才知道。这个我们也不清楚。

		自动登录	找回密码
密码