招聘&找人预算18w,远程+定期见面,大数据云平台搭建和维护

头像共建者
社区管理员
614阅读32评论

合作方式:项目制 远程+定期见面
预估日薪:2000
预估总价:180000元
预估工时:90天
所在区域:北京海淀中关村
一、需求描述
类别:大数据云平台开发和维护
进度:目前只有想实现的功能,具体怎么实现需要沟通
功能:我是高校做学术研究的,平时积累了不少数据,现在想把这些数据集合到云平台上,这个平台的功能一是存储数据,二是可以在这个平台上分析数据,分析完之后把结果下载下来,三是有研究人员可以发帖交流,数据共享的功能
技术:数据库、云计算相关
二、人才要求
要有云平台、大数据的开发经验,个人和团队都可以
三、参考产品
亚马逊云计算、微软云计算、腾讯云、阿里云
可以自己搭建私有云,也可以基于市面上的主流产品进行开发
四、合作方式
开发方式:最好在北京,可以随时沟通
开发周期:半年-1年,越快越好

招聘类型:
外包零活
职业:
开发
工作方式:
同城驻场远程工作
需消耗电量 5
收藏
举报
加载中…
精选评论
头像
等级0

我是发布这个帖子的人,怎么被搬运到这里来了

你这个要求我看了一眼,网页那个是一般功能,不说了。需要一个后端,我是个AWS开发,所以就用AWS举例了。数据量特别大的话建议是普通EC2后端服务器 + worker instance 用来生成报告和做queue job + lambda处理单一碎片数据,这样的模式。储存raw data就用S3就行了,aurora sql 做relational db + elasticsearch/dynamodb储存一些non-relational的数据。阿里云也应该有对应的服务。

两个建议,这个级别的项目我感觉是用不到一些大数据工具的,什么spark,hadoop之类的,一般会大数据处理的开发和团队需要熟练掌握spark和一些内存机制,会比较贵,十八万打两个月水花就没了。你的数据量就算很大,但是如果不需要全数据分析,只要做一些简单的filter和aggregation的话,并且如果不是那种对performance和optimization需求非常大的业务逻辑,就拿lambda + workers生成报告就行了,处理半小时一小时发个邮件通知下载感觉也很正常。

第二个建议,无论如何,只要数据不是极敏感信息,不要作死自己搭服务器,你这个需求如果上云的话95%的难点云平台能帮你解决,你18万这个数字勉强合理。自己搭服务器的话,你做好出180万的准备。。

头像
等级0

联系我的时候请说明为什么能接这个项目,比如做个什么类似的项目,有什么技术储备,这样才有聊下去的基础

似乎要求过高,容易聊不透啊

你好,请问这个项目有人接了吗?
我是在创业公司负责大数据平台的,刚好最近离职休息有时间,AWS、阿里云、数据存储、数据分析这些都挺熟的,如果还没人接的话,可以联系我。
wx:zhen_1-3-1-4

头像
等级2

这种一般需要团队做吧

头像
等级0
头像
等级1

支持支持,就是说了半天完全看不懂老哥要具体干什么。

头像
等级1

这种活预计是有点不好做的,钱不是很好拿。完全可能做了一半甲方不想做了。

头像
等级0

在北京的再投哈,其他地区沟通真的不方便

头像
等级3

@### 小小搬运工 :是你单位得活?

头像
等级0

你好,技术选型上,你这需要全文检索引擎Elastic search,原因在于: Elastic search适用于:分布式的搜索引擎和数据分析引擎,全文检索,结构化检 索,数据分析;对海量数据进行近实时的处理,可以将海量数据分散到多台服务器上去存储和检索。 不适用于:数据需要频繁更新,需要复杂关联查询的数据

挺符合你这需求。

头像
等级0

公司大数据团队成员,熟悉AI+BI

头像
等级0

不错,点赞关注

头像
等级0

MetaData开源数据库了解下。 如果只是希望做简单BI的话完全不用上啥大数据吧0.0

头像
等级0

5年的大数据经验来看,你的需求有点不明确,咱们可以联系细讨

头像
等级0

我们拥有成熟的大数据团队、和数据分析师。在北京也做过很多的大数据项目。如果需要我们可以一起详细的探讨一下。

头像
等级0

联系方式 wx:li17705402244 可以远程讨论一下需求

头像
等级0

你好,我从事大数据开发有7年经验,对大数据平台的架构设计,大数据技术解决方案都比较熟悉,包括离线统计分析,准实时统计分析,海量数据高效检索,机器学习等。我对您的需求很感兴趣,如果你对我有意的话,欢迎联系我,谢谢,祝好。我的微信:zlur_xxxx,我的qq:641415784

头像
等级0

个人可能做不了这么大的项目

头像
等级2

看起来不错,支持一下

头像
等级0

我们几个朋友正在做类似产品,方便了解下吗