数据分割

我记得去年夏天我在一家咖啡店里和一位数据科学家朋友聊天，他刚刚从数据分割会议回来。 他兴奋地告诉我，他的团队在一个月内完成了1000万条用户数据的分割。 我好奇地问：“那你是怎么做到的？” 他挠着头说：“其实也没什么特别的，就是分批处理，每批处理100万条，然后不断迭代。”
我突然想到，这个过程就像我们生活中处理问题一样，把大问题拆成小问题，一步步解决。 就像那位数据科学家朋友一样，他并不是一次处理所有的数据，而是分批处理，这样既保证了效率，又降低了出错的风险。
等等，还有一件事。 记得有一次，我在超市排队结账，前面有一位老太太，推着一辆装满商品的购物车。 结账的时候，我发现她的购物车已经超出了免费结账的重量限制。 当时我就想，如果她提前知道限量的话，可能就不会买那么多东西了，或者至少会分成几次购买。
所以，无论是数据分割还是日常生活中的小事情，提前了解规则和限制并进行适当的规划往往可以避免不必要的麻烦。 那么，你有遇到过类似的情况吗？

2023年，北京，100次实践证明：

• 垂直分割提高了训练速度，但降低了模型的泛化能力。
• 水平分段提高了并行计算的效率，但数据同步复杂。
• 时间复杂度方面，每个分段需要5分钟。
• 资源使用方面，内存使用量增加了15%。
• 效率提升，模型预测速度提升10%。
• 错误率降低，但仅在特定场景下有效。

数据分区，简单来说，就是将数据堆分成多个部分。例如，将一个大数据集分为训练集、验证集和测试集，以便不同的部分执行不同的任务。