大数据采集主要有以下方式:
1. 日志采集:采集服务器日志、网络日志、应用日志等,这些日志记录了系统和用户的各种行为信息。日志采集可以用来分析系统运行状况、用户行为等。
2. 页面采集:采集网站页面、移动APP页面等,获取用户访问页面的信息,可以用于页面访问分析、用户画像等。
3. 移动数据采集:采集移动设备产生的各类数据,如定位数据、通讯录数据、传感器数据等,用于移动用户分析。
4. 社交采集:采集社交网络产生的数据,如用户关系数据、交流数据、画像数据等,用于社交网络分析和社会关系分析。
5. 传感器采集:采集各类传感器设备产生的信息,如RFID读取数据、GPS数据、机器运行状态数据等,用于物联网和工业互联网相关的分析。
6. 问卷调查采集:通过问卷调查采集第一手数据,用于针对性很强的分析与研究,可以更精确地获取信息。但成本较高,规模较小。 7. 爬虫采集:通过网络爬虫采集互联网公开数据信息,如新闻数据、电商数据、招聘数据等。这些数据可以用于相关分析和产品优化。 8. O2O采集:采集线上和线下(Online to Offline)产生的数据,如电商支付数据与店铺销售数据等。这些数据可以用于O2O业务和商业模式相关的分析。
9. M2M采集:采集机器之间交互产生的数据(Machine to Machine),用于工业生产与设备管理的优化。
10. 公开数据集采集:采集部门和企业公开发布的各类数据集,这些数据的应用范围较广,可以用于 diferentes 的分析与研究。