产品思维
前段时间在路上骑车的时候,突然想到一件事情:对于客户而言,他关心的是产品;对于研发而言,他关心的是技术,那么你作为一名技术主管&项目经理,如何找到客户和研发、产品和技术之间的平衡呢?
前段时间在路上骑车的时候,突然想到一件事情:对于客户而言,他关心的是产品;对于研发而言,他关心的是技术,那么你作为一名技术主管&项目经理,如何找到客户和研发、产品和技术之间的平衡呢?
首先通过Docker容器保存好完整的开发环境,在Jenkins任务中调用容器进行工程的编译。完美~~~
使用lmdb可以加速数据从磁盘读取的速度,查看了很多资料,记录一下
之前训练的时候只是把图像数据保存在磁盘上,通过torchvision Dataloader方式进行批量加载。最近遇到一个问题,就是批量加载ImageNet数据时发现程序运行很慢,但是cpu/gpu的使用率并不高,查询过后发现是遇到了磁盘io的瓶颈
除了使用更好的硬件(比如用固态硬盘替代机械硬盘)来解决问题外,在网上还找到了不少的软件优化方法:
dataloade pin_memorylmdb加快磁盘到cpu内存的ioprefetcher加快cpu内存到gpu内存的iodali加速数据预处理距离上次系统性的整理文档快过去一年时间了。这一段时间以来,增加了很多新的内容,感脚之前的架构已经不能很好的匹配当前的知识储备,对于文章的保存和搜索也出现了越来越大的困难。从2/3月份开始,断断续续花费了近2个月的时间重新进行思考和整理,实现了一个相对而言更加合理、能够满足目前需求的架构