pyspark-sparksql练习


1.实验数据说明:Student字段说明:字段名类型备注snoint学号sclassint班级号snameDate姓名sgenderint性别sageint年龄Teacher字段说明:字段名类型备注tnoint教工号tnameint姓名tsexint性别tageint年龄Course字段说明:字段名

pyspark-通过协同过滤算法推荐电影


数据集是Movielens官网的ml-100k数据,下载地址https://grouplens.org/datasets/movielens/用jupyter实现比较好from pyspark.sql import SparkSessionuser_df=spark.read.text('data/

pyspark-通过kmeans分析出租车数据并调用百度API进行可视化


(1)数据准备采用数据为出租车载客时的GPS记录数据集,数据格式为CSV,CSV格式是数据分析中常见的一种数据格式。CSV(Comma-Separated Values) 即逗号分隔值,文件以文本的方式存储表格数据(包含数字和文本)。其中每一行代表一条记录,每条记录被逗号分隔为字段,并且每条记录都有

pyspark-机器学习实战:预测婴儿出生率(二)使用ML库


在上一文中,主要对Spark MLlib机器学习库使用流程进行了介绍。从搭建环境开始,然后加载数据,探索数据,直到进行模型的训练与评估,最终进行未知数据的预测,即预测婴儿生存机会本文则来介绍如何使用ML机器学习库来实战ML!同样使用上一节的数据集来演示ML的构建过程。再次尝试预测婴儿的生存几率。**

PySpark-机器学习实战:建立鸢尾属植物种的ML分类模型、建立ML回归模型并使用定义的特征预测电厂的发电量(使用ML库)


分类和回归ML库在Spark的帮助下,从UCI机器学习知识库开源数据集。iris数据集(https://archive.ics.uci.edu/ml/machine-learning-databases/iris)电厂数据(https://archive.ics.uci.edu/ml/machine

机器学习难吗?那必然难啊!!!


机器学习第一章数据挖掘数据挖掘概念数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息,从数据中发现有用的信息,从而帮助我们做出决策数据挖掘做什么:1预测和描述数据,预测的计算机和事件过程被称为监督学习:从标记的训练数据来推断一个功能的机器学习任务描述则被通常称为无监督学习:根据位置样本决绝模式