分布式数据采集分析-开篇
来源:硬件电路设计与研究 发布时间:2024-05-23 分享至微信
长期从事数据采集和分析工作,一直有个想法:做个低成本的通用数据采集平台,类似平台大多使用高性能的FPGA/DSP来实现,编程开发需要专门的知识,并不适合大多数同学,基于PC机的数据分析是最方便的,可以用VC\labview\matlab\python....,而且最重要的是原始采样数据能实时存盘保留,能事后重新用新算法进行分析,这是FPGA/DSP等方法不易实现的,或者实现成本很高,前段时间基于此想法实现了,和大家分享共同改进,同时也是一个文档的总结:
1)光纤千兆网/IP,用于单方向(ADC采集-->PC1数据存盘)高速回传ADC数据,目前800Mbits/s能不掉点地实时存盘和分发,后续会从软件上讲解实现原理和代码
2)千兆以太网/TCP,由PC1实时存盘时同时分发数据进行处理,采用TCP协议是为了保障不同PCn的处理能力差异,而又不掉点
3)PC2...PCn可以实现不同的数据处理算法和分析显示。目前没有实现不同处理代码程序的统一分发
关键技术问题:
1)如何确保存盘数据不掉点,或检测数据中哪些发生了掉点?这样ADC采样的verilog和PC机程序进行配合
2)高速光纤收发的verilog时序约束与优化
3)如何高速网络数据的实时存储和快存储慢分发的同时进行
4)ADC数据采集和基本处理采用了zynq7010,其程序设计与时序.光纤收发用Zynq7010的PL实现,千兆以太网/TCP用PS+LWIP+freertos实现,这些在后续都会公开讲解
[ 新闻来源:硬件电路设计与研究,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
硬件电路设计与研究
研究riscv架构处理器、敏捷软件开发、IC设计、模拟电路设计、高速电路设计仿真等。
查看更多
相关文章
分布式数据采集分析2_高速数据存储
2024-05-23
帆软数据分析平台助力台湾晶技,实现数据平民化愿景
2024-05-17
OpenAI强化企业服务能力,收购Rockset加速数据分析
2024-06-26
热门搜索