大数据开发，在线%人工智能，舆情分析%系统开发，基于html,jquery,echart,python,django,人工智能,cnn,lstm,hadoop,mapreduxe,yarn,hsdf
·
经验心得
做一个基于大数据舆情项目，然后再使用人工智能模型训练来进行舆情分析，详细的一些nlp原理，和大数据操作之前说过我就不提了，项目demo还是老样子不同板块不同功能分开处理就行，像业务类crud我们使用django框架来搭建，有了业务数据后我们需要考虑后期是否大量需要进行数据挖掘处理分析展示，所以使用大数据来进行处理，最后把数据提取喂给人工智能进行模型训练就行。为什么现在开始上架大数据了？没办法除了合作伙伴们要求我上架大数据demo，本人实际工作中也经常用的，像近期很多大厂，安全公司来找我，给我最小都入侵日志都是tb级的数据，如果我们拿到TB级别数据怎么读取？一行一行的读？还是分块读取？好分块读不错但是毕竟还是单线程，加个多线程不好？要不多进程通讯通讯各种管道用上，比多线程还消耗资源？还是不行就一台服务器单节点在处理要不咱们分布式处理它？以下发任务方式给不同肉鸡节点让它们空闲的时候自己处理是否可行？!
Agent 垂直技术社区，欢迎活跃、内容共建。
更多推荐
1
0- 0
已为社区贡献64条内容
所有评论(0)