数据挖掘_Boston house-price data(波士顿房价数据)
深度学习3：波士顿房价预测（1）
深度学习3：波⼠顿房价预测（1）转载：波⼠顿房价问题房价的预测和前两期的问题是不同的，最⼤的区别就是这个问题不是离散的分类，他是⼀个连续值，那么在搭建⽹络时候的技巧就有所区别。
代码实例分析from keras.datasets import boston_housing(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()12导⼊数据train_data.shapetest_data.shape看⼀下数据的尺⼨，发现训练集的尺⼨是404，13；测试集的尺⼨是102，13；说明这些数据不多，这⼗三个数据特征是各种数值，包括犯罪率，住宅平均房间数，道路的通畅程度等。
很明显，这些数据都看起来没什么关系，相互之间⽆法联系，还有⼀个最要命的就是我们⽆法确定那个数据更加的重要。
另外，这些数据的范围也不同，想要使⽤，必须要做⼀些处理。
train_targets看⼀下targets，就可以看到当时房⼦的房价了，这就是训练集中对应的结果集，类似于上两个例⼦中的标签集。
mean = train_data.mean(axis=0)train_data -= meanstd = train_data.std(axis=0)train_data /= stdtest_data -= meantest_data /= std这⾥就是应对数据范围不同的办法，⽅法叫标准化，含义就是加⼯每个特征，使他们的数据满⾜平均值为0，标准差为1.具体的⽅法就是每列取平均值，减去平均值，再除以减掉之后的标准差。
这⾥要注意标准化所⽤的数据必须是在训练集上得到，实际操作中不能让任何数据从验证集上得到，不然会导致模型过拟合的问题。
from keras import modelsfrom keras import layersdef build_model():model = models.Sequential()model.add(layers.Dense(64, activation='relu',input_shape=(train_data.shape[1],)))model.add(layers.Dense(64, activation='relu'))model.add(layers.Dense(1))pile(optimizer='rmsprop', loss='mse', metrics=['mae'])return model这⾥就是搭建学习模型的步骤，因为这个模型要重复使⽤，所以我们把它写成函数的形式。
利用三种回归模型预测波士顿房价的问题描述
利用三种回归模型预测波士顿房价的问题描述
波士顿房价预测是基于波士顿地区的一些特征来预测房屋价格的问题。
我们收集了一些关于波士顿地区的数据，包括犯罪率、住宅平均房间数、低于贫困线的比例等等。
我们的目标是建立一个回归模型，根据这些特征来预测房屋的价格。
为了达到这个目标，我们可以选择三种回归模型进行预测。
第一种是线性回归模型，它假设房价与特征之间存在线性关系。
我们可以通过拟合一个线性方程来预测房价。
第二种是决策树回归模型，它通过构建一棵决策树来预测房价。
决策树模型可以捕捉到特征之间的非线性关系，并且可以处理离散和连续型特征。
第三种是支持向量回归模型，它通过找到一个最优的超平面来拟合数据。
支持向量回归模型可以处理高维特征，并且可以处理离群点的影响。
我们可以使用这些回归模型对波士顿房价进行预测，并通过评估模型的性能来选择最优的模型。
预测结果可以帮助房地产开发商、投资者和买家做出更明智的决策。
尽管我们要避免敏感内容的讨论，但在实际应用中，还会考虑到其他因素如地理位置、交通便利性等对房价的影响。
波士顿修正房价数据集(boston_corrected dataset)_
波士顿修正房价数据集(boston_corrected dataset)数据介绍：This consists of the Boston house price data of Harrison and Rubinfeld (1978) JEEM with corrections and augmentation of the data with the latitude and longitude of each observation. Submitted by Kelley Pace (kpace@).关键词：波士顿,房价,校正,增强,纬度,经度, Boston,houseprice,correction,augmentation,latitude,longitude,数据格式：TEXT数据详细介绍：boston_corrected datasetThis file contains the Harrison and Rubinfeld (1978) data corrected for a few minor errors and augmented with the latitude and longitude of the observations. This file appears under boston in the statlib index. One can obtain matlab and spreadsheet versions of the information below from www.finance.lsu/re under spatial statistics links.Harrison, David, and Daniel L. Rubinfeld, Hedonic Housing Prices and the Demand for Clean Air,?Journal of Environmental Economics and Management, Volume 5, (1978), 81-102. Original data.Gilley, O.W., and R. Kelley Pace, On the Harrison and RubinfeldData,?Journal of Environmental Economics and Management, 31 (1996),403-405. Provided corrections and examined censoring.Pace, R. Kelley, and O.W. Gilley, Using the Spatial Configuration of the Data to Improve Estimation,? Journal of the Real Estate Finance and Economics 14 (1997), 333-340. Added georeferencing and spatial estimation.数据预览：点此下载完整数据集。
波士顿房价数据统计分析报告
波士顿房价数据统计分析报告作者：米纯来源：《经营管理者·中旬刊》2016年第07期摘要：该报告以波士顿房价数据样本为研究对象，目的是通过统计学方法分析各变量与波士顿郊区房价之间的关系，选出对房价影响较大的几个变量，并确定各变量之间的数学关系。
分析采用的软件是SPSS，分析方法为因子分析、相关分析、回归分析方法。
首先，鉴于样本变量较多，因此通过因子分析检验是否可以对变量进行降维处理。
然后，对数据进行相关性分析，先找出5个与房价相关性较强的变量，并针对变量建立多元回归模型，在对该模型评价之后，确认了其中三个变量的强相关关系；在剔除相关性较弱的两个变量之后，又建立了新的回归模型，经评价，该模型对变量的解释较贴切，检验效果显著。
通过以上分析，得出影响房价的主要因素为：房间数量、居民社会地位、教育程度，并构建了多元线性方程。
关键词：因子分析相关多元回归一、统计前估计及变量的选择处理1.预先估计。
初步判断14个变量，根据个人先验知识做出房价影响因素的估计：预计空气质量和距离就业中心的距离将在很大程度上影响房价，即，NOX和DIS两个变量将显示出与价变量MEDV之间的强相关关系。
2.变量选择。
波士顿房价数据样本共14个变量，包括13个定量变量和1个定性变量，共计506个数据。
定性变量为，是否临近河边——CHAS。
除此之外其余都为定量变量。
鉴于数据量较大，且为了统计方便，在接下来的分析中，将剔除该定性变量。
对剩下的13个变量进行统计分析。
二、因子分析该样本数据14个属性，共计506个数据。
数据样本较大，维数较高。
考虑到更加便捷地提高分析效率，要分析各因素对波士顿房价的影响，首先对变量进行降维处理，考虑14个变量中是否可由一两个综合变量来进行概括。
因此，首先对样本数据进行主成分和因子分析。
设置因子数量为3.1.主成分选取。
数据结果显示，前三个成分特征值累计占了总方差的72.341%，后面的特征值贡献低于10%，且越来越小。
《用Python玩转数据》项目—线性回归分析入门之波士顿房价预测（一）
《⽤Python玩转数据》项⽬—线性回归分析⼊门之波⼠顿房价预测（⼀）sklearn的波⼠顿房价数据是经典的回归数据集。
在MOOC的课程《⽤Python玩转数据》最终的实践课程中就⽤它来进⾏简单的数据分析，以及模型拟合。
⽂章将主要分为2部分：1、使⽤sklearn的linear_model进⾏多元线性回归拟合；同时使⽤⾮线性回归模型来拟合（暂时还没想好⽤哪个？xgboost，还是SVM？）。
2、使⽤tensorflow建⽴回归模型拟合。
⼀、使⽤sklearn linear_regression 模型拟合boston房价datasetsfrom sklearn import datasetsfrom sklearn import linear_modelfrom sklearn.cross_validation import train_test_splitfrom sklearn import metricsimport osimport matplotlib.pyplot as pltimport pandas as pdimport numpy as np'''----------load 数据集-----------'''dataset = datasets.load_boston()# x 训练特征：['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS','RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT']x = dataset.datatarget = dataset.target#把label变为(?, 1)维度，为了使⽤下⾯的数据集合分割y = np.reshape(target,(len(target), 1))#讲数据集1:3⽐例分割为测试集：训练集x_train, x_verify, y_train, y_verify = train_test_split(x, y, random_state=1)'''x_train的shape：(379, 13)y_train的shape：(379, 1)x_verify的shape：(127, 13)y_verify 的shape：(127, 1)''''''----------定义线性回归模型，进⾏训练、预测-----------'''lr = linear_model.LinearRegression()lr.fit(x_train,y_train)y_pred = lr.predict(x_verify)'''----------图形化预测结果-----------'''#只显⽰前50个预测结果，太多的话看起来不直观plt.xlim([0,50])plt.plot( range(len(y_verify)), y_verify, 'r', label='y_verify')plt.plot( range(len(y_pred)), y_pred, 'g--', label='y_predict' )plt.title('sklearn: Linear Regression')plt.legend()plt.savefig('lr/lr-13.png')plt.show()'''----------输出模型参数、评价模型-----------'''print(lr.coef_)print(lr.intercept_)print("MSE:",metrics.mean_squared_error(y_verify,y_pred))print("RMSE:",np.sqrt(metrics.mean_squared_error(y_verify,y_pred)))#输出模型对应R-Squareprint(lr.score(x_train,y_train))print(lr.score(x_verify,y_verify)) 结果如下：[[-1.13256952e-01 5.70869807e-02 3.87621062e-02 2.43279795e+00-2.12706290e+01 2.86930027e+00 7.02105327e-03 -1.47118312e+003.05187368e-01 -1.06649888e-02 -9.97404179e-01 6.39833822e-03-5.58425480e-01]]-----------权重参数W[45.23641585]----------偏置biasMSE: 21.88936943247483RMSE: 4.678607638226872----------MSE和RMSE都是表⽰衡量同之间的偏差0.7167286808673383----------训练集的R-Square0.7790257749137334-----------测试集的R-Square从图看，部分数据结果偏差不⼤，部分预测结果还有⼀定差距，从r-square来看拟合效果凑合。
美国波士顿的房价趋势
美国波士顿的房价趋势
美国波士顿的房价趋势近年来呈现稳步增长的趋势。
自2010年以来，波士顿地区的房价一直在上涨。
这主要是由于波士顿地区的经济增长和就业机会的增加，以及房屋供应不足等因素所推动的。
根据市场数据，波士顿地区的房价在过去的几年里每年都有一个较高的增长率。
值得注意的是，这个增长率可能因地区而异。
例如，市中心地区的房价上涨相对较快，而郊区则相对较慢。
这是因为市中心地区有更多的商业和就业机会，吸引了更多的人们定居，而郊区则相对较为宜居和宁静。
然而，最近几年，波士顿地区的房价增长速度有所放缓。
这主要是由于房屋供应增加，以及市场需求的一些变化所导致的。
房屋供应的增加主要来自于新建住房项目的增加，同时投资者也在购买和出租房产，增加了市场上的租赁房屋供应。
尽管房价的增长速度有所放缓，波士顿地区的房价仍然远高于全国平均水平。
这是因为波士顿地区的人口持续增长，经济活动不断增加，以及高等教育和科研机构的集中等原因所致。
因此，预计波士顿地区的房价在未来仍将保持稳定增长的趋势。
波士顿房价数据统计分析报告
波士顿房价数据统计分析报告波士顿是美国马萨诸塞州的首府，也是全美国东北地区的重要城市之一。
作为一座国际化的城市，波士顿的房地产市场一直备受关注。
本报告将对波士顿房价数据进行统计分析，帮助读者了解该市的房价水平及其趋势。
1. 数据收集及处理为了进行准确的分析，我们收集了波士顿近五年的房价数据。
这些数据包括：房屋销售价格、房屋面积、地理位置、建筑年份等信息。
在数据收集后，我们进行了数据清洗和处理，剔除了异常值和缺失数据，以确保分析的准确性和可靠性。
2. 波士顿房价统计根据我们所收集到的数据，我们对波士顿的房价进行了统计。
通过计算房价的平均值、中位数、最大值和最小值，我们可以得到以下结论：波士顿的房价整体呈上升趋势，市场供需平衡，房价相对稳定。
同时，由于地区的不同，房价存在一定的差异性，一些地段的房价较高，而一些地段的房价较低。
3. 波士顿房价因素分析为了了解波士顿房价的主要影响因素，我们进行了进一步的分析。
通过对房价与房屋面积、地理位置、建筑年份等变量进行相关性分析，我们可以得到以下结论：3.1 房屋面积：房屋面积与房价呈正相关关系，即房屋面积越大，房价越高。
3.2 地理位置：地理位置也是影响房价的重要因素。
波士顿市中心的房价较高，而远离市中心的地区房价相对较低。
3.3 建筑年份：建筑年份对房价也有一定影响。
一般来说，较新的房屋价格相对较高，而老旧的房屋价格相对较低。
4. 波士顿房价趋势预测根据历史数据和市场发展情况，我们可以初步预测波士顿房价的趋势。
由于波士顿的经济繁荣和对房地产的需求，房价预计将继续保持上升趋势。
然而，由于市场的变化和政策的干预，房价上涨的速度可能会有所放缓。
5. 投资建议对于有意投资波士顿房地产的人士，我们给出以下建议：5.1 选择地理位置优越的房产，特别是市中心附近的房屋，因为这些房产的增值潜力更高。
5.2 留意新建项目，特别是位于新兴发展地区的房屋。
这些项目通常具有较高的升值潜力。
基于回归方法分析波士顿房价数据间的相关关系
DOI: 10.12677/sa.2020.93036
336
统计学与应用
赵冉
本例是属于回归模型的案例，在数据集中包含 506 组数据。通过对波士顿房地产数据进行初步的观 察并分析找出影响房价中位数的因素，希望建立一个能够预测房屋价值的多元线性回归模型。
2.1.2. 多元线性回归模型的一般形式 设随机变量 y 与一般变量 x1, x2 ,, xp 的线性回归模型为 y = β0 + β1x1 + β2 x2 + + β p xp + ε
yˆ *=
βˆ1* x1*
+
βˆ2* x2*
+ +
βˆ
* p
x*p
式中，
βˆ1*
,
βˆ2*
,,
βˆ
* p
是
y
对自变量
x1 ,
x2
,,
xp
的标准化回归系数。
2.2.2. 回归参数的普通最小二乘估计
( ) ( ) ∑ Q
即寻找参数 β0 , β1,, β p=
β0
,nβ1
,, yi −
βp β0
的估计值 βˆ1 − β1xi1 − −
, βˆ2 ,, β p xip 2
βˆp ，使离差平方和 达到极小。
当 ( X ′X )−1 存在i=时1 ，即得回归参数的最小二乘估计为：
βˆ = ( X ′X )−1 X ′y
2.2.3. 回归方程、回归系数的检验 1) F 检验 对多元线性回归方程的显著性检验就是要看自变量 x1, x2 ,, xp 从整体上对随机变量 y 是否有明显的影响。 原假设 H0 : β=1 β=2 = β=p 0
想要移民美国？先来看看这15个城市的房价吧
想要移民美国？先来看看这15个城市的房价吧统计从National Association of Realtors中拿到每个城市的中位数房价水平，结合最平常的30年房贷及税务进行计算，得出了以下结论。
看看你所在的城市标准，大家有目标了吗？1.旧金山San Francisco人口: 777,660房产中位数价格: $744,400每月贷款支付额: $3,391买房所需年薪（家庭年收入）: $145,5002.圣地亚哥San Diego人口: 1,284,347房产中位数价格: $517,800每月贷款支付额: $2,372买房所需年薪（家庭年收入）: $101,5003.洛杉矶Los Angeles人口: 3,794,640房产中位数价格： $481,900每月贷款支付额: $2,251买房所需年薪（家庭年收入）: $96,5004.纽约New York City人口: 8,213,839房产中位数价格: $410,800每月贷款支付额 $2,153买房所需年薪（家庭年收入）: $92,500 5.波士顿Boston人口: 645,966房产中位数价格: $399,900每月贷款支付额: $1,971买房所需年薪（家庭年收入）: $84,500 6.华盛顿Washington, D.C.人口: 582,049房产中位数价格: $389,100每月贷款支付额： $1,907买房所需年薪（家庭年收入）: $82,000 7.西雅图Seattle人口: 652,405房产中位数价格： $359,900每月贷款支付额: $1,752买房所需年薪（家庭年收入）: $75,000 8.芝加哥Chicago人口: 2,824,584房产中位数价格: $221,800每月贷款支付额: $1,383买房所需年薪（家庭年收入）: $59,500 9.巴尔的摩Baltimore人口: 640,064房产中位数价格: $255,800每月贷款支付额: $1,334买房所需年薪(家庭年收入): $57,000 10.费城Philadelphia人口: 1,517,628房产中位数价格: $231,300每月贷款支付额 $1,274买房所需年薪（家庭年收入）: $54,500 11.休斯顿Houston人口: 2,076,189房产中位数价格: $202,500每月贷款支付额: $1,194买房所需年薪（家庭年收入）: $51,000 12.达拉斯Dallas人口: 1,246,185房产中位数价格: $193,500每月贷款支付额: $1,173买房所需年薪（家庭年收入）: $50,50013.圣安东尼奥San Antonio人口: 1,258,733房产中位数价格: $186,400每月贷款支付额: $1,078买房所需年薪（家庭年收入）: $46,000 14.凤凰城Phoenix人口: 1,476,331房产中位数价格: $200,500每月贷款支付额: $965买房所需年薪（家庭年收入）: $41,500 15.底特律Detroit人口: 921,147房产中位数价格: $151,500每月贷款支付额 $901买房所需年薪（家庭年收入）: $38,500。
实验01波士顿房价预测
实验01波⼠顿房价预测实验01 波⼠顿房价预测实现代码:from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegressionfrom sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.metrics import mean_squared_errorfrom sklearn.externals import joblibfrom sklearn.metrics import r2_scorefrom sklearn.neural_network import MLPRegressorimport pandas as pdimport numpy as nplb = load_boston()# train_test_split(train_data,train_target,test_size=0.3,random_state=5)#train_data：待划分样本数据#train_target：待划分样本数据的结果（标签）#test_size：测试数据占样本数据的⽐例，若整数则样本数量#random_state：设置随机数种⼦，保证每次都是同⼀个随机数。
若为0或不填，则每次得到数据都不⼀样#train_test_split()函数是⽤来随机划分样本数据为训练集和测试集的，当然也可以⼈为的切⽚划分x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.2)# 为数据增加⼀个维度,相当于把[1, 5, 10] 变成 [[1, 5, 10],]y_train = y_train.reshape(-1, 1)y_test = y_test.reshape(-1, 1)# 进⾏标准化std_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)std_y = StandardScaler()y_train = std_y.fit_transform(y_train)y_test = std_y.transform(y_test)# 正规⽅程预测#最⼩⼆乘法线性回归lr = LinearRegression()#fit_transform⽅法是fit和transform的结合，fit_transform(X_train) 意思是找出X_train的均值和标准差，并应⽤在X_train上lr.fit(x_train, y_train)print("r2 score of Linear regression is",r2_score(y_test,lr.predict(x_test)))#岭回归from sklearn.linear_model import RidgeCV#岭回归模型cv = RidgeCV(alphas=np.logspace(-3, 2, 100))cv.fit (x_train , y_train)print("r2 score of Linear regression is",r2_score(y_test,cv.predict(x_test)))#梯度下降⽤于判断使⽤凸loss函数（convex loss function）的分类器sgd = SGDRegressor()#⼀个数组X（其size为[n_samples, n_features]）：保存着训练样本；⼀个数组Y：保存着训练样本的target值（class label）：sgd.fit(x_train, y_train)print("r2 score of Linear regression is",r2_score(y_test,sgd.predict(x_test)))from tensorflow.keras.models import Sequentialfrom yers import Dense#基准NN#使⽤标准化后的数据seq = Sequential()#构建神经⽹络模型#input_dim来隐含的指定输⼊数据shapeseq.add(Dense(64, activation='relu',input_dim=lb.data.shape[1]))seq.add(Dense(64, activation='relu'))seq.add(Dense(1, activation='relu'))pile(optimizer='rmsprop', loss='mse', metrics=['mae'])seq.fit(x_train, y_train, epochs=300, batch_size = 16, shuffle = False)score = seq.evaluate(x_test, y_test,batch_size=16) #loss value & metrics valuesprint("score:",score)print('r2 score:',r2_score(y_test, seq.predict(x_test)))运⾏结果:正规⽅程预测:岭回归结果:梯队下降:最终结果:遇到的问题及解决⽅法:原因:tensorflow 版本过⾼，该函数已经整合到tensorflow当中。
影响波士顿不同社区房价水平的因素分析——基于分位数回归方法
１． ７ ３ １ ２． ６
． ０ ０ ６ １， ３４ ８０ ７ ３ ． １ ２ ２２１ ７ ６
８ ８． ９７ ２． １ ６４ ４７ ： ２． ４ ９ Ｓ６ ８：
ｌ ｏｗ ｓｔ ａｔ ｓｔ ｒ ａｔｉ ｏ
５ ０６ ５ Ｏ６
ｌ ２． ７ ０１ ４８ １ ８． ４ ５９ ２９
，． ２ ３ ８０ ６６ ２． １ ６５ ８２
裹 ２ 自变量的描述性统计
ＶａＣ １ ａ ｂｌ ｅ Ｏｂ ｓ Ｍｅａ ｎ Ｓｔ ｄ， Ｄ ｅ ． Ｍｉ ｎ Ｍ Ｓ：
（ 一）数 据来源 本文中的数据来源于 １ ９ ７ ８年 Ｈ ａ ｒ ｉ ｒ ｓ ｏ ｎ和 Ｒ ｕ ｂ ｉ ｎ ｆ ｅ ｌ ｄ教授发表 在环境 经济与管理期刊 （ Ｊ Ｅ Ｅ Ｍ）上的一篇文章 （ Ｈｅ ｄ ０ ｎ ｉ ｃ ｈ ｏ ｕ ｓ ｉ ｎ ｇ ｐ ｒ ｉ ｃ ｅ ｓ ａ ｎ ｄ ｄ ｅ ． ｍ ａ ｎ ｄ ｆ ｏ ｒ ｃ ｌ ｅ ａ ｎ ａ ｉ ｒ［ Ｊ ］ ．Ｊ ｏ ｕ ｎ ｒ ａ ｌ ｏ ｆ Ｅ ｎ ｖ ｉ ｒ ｏ ｎ ｍ ｅ ｎ ｔ ａ ｌ Ｅ ｃ ｏ ｎ ｏ ｍ ｉ ｃ ｓ ａ ｎ ｄ Ｍ ａ ｎ ａ ｇ ｅ — ｍ ｅ ｎ ｔ ，１ ９ ７ ８ ， ５ ， ８ １ —１ ２ ２ ） 。该数 据收集 了波士 顿地 区 ５ ０ ６个 家庭住 房 信息 ，其可能的影响因素包括 １ ４ 个变量 。如下表 （ 表１ ）
【北美购房网】美国波士顿房价市场分析
【北美购房网】美国波士顿房价市场分析波士顿（Boston）位于美国东海岸，是美国马萨诸塞州的首府和新英格兰地区最大城市。
为全球高等教育、科研、金融、生物技术和医疗保健产业的中心。
作为教育、医疗以及共同基金排名世界第一的城市，波士顿地产有几大特点：1，租售旺盛，供不应求。
2，全球买家投资高地。
3，楼市环境稳健，抗经济周期强。
租售旺盛的房产需求供不应求、房价稳定上涨#MLS 2016波士顿房地产市场年度报告#房价同比增长8.6%，比12年增长36.1% 。
可售房源同比去年减少34%，比12年减少41%。
租金涨幅全美第二波士顿环球报（Boston Global）指出：大波士顿地区公寓房租在2015年整体上涨6%，同比25个都会地区中，涨幅全美第二，租金全美第三，波士顿的房屋空置率仅为2.6%。
全球买家投资高地人口增长迅速2010年到2016年大波士顿地区人口增长5.2%，未来3年人口增长率2.7%。
低失业率2016年底，麻州失业率创2000年以来历史新低2.8%，远低于美国的平均失业率4.7%。
2016年US NEWS 评出的最佳求职城市波士顿排名第四，仅次于圣荷西，旧金山，华盛顿特区。
高性价比相比较旧金山和纽约的高房价，波士顿移民人口比例适中，经济稳定，房价合理，房产保值性好。
近几年波士顿房产投资总收入=房价增值8.6%+租金4%=12.6%。
顶尖学区波士顿有全美最好的教育资源。
小初高，大学一站式教育。
多任总统及富豪就读于哈佛大学；21世纪诺贝尔奖得主最多的大学MIT；希拉里，宋氏三姐妹毕业于卫斯理女子学院；布什总统父子，毕业于菲利普斯高中。
稳健的楼市环境下跌风险低来自S&P（标准普尔公司）的一篇报道预测，如果美国再次遭遇一场2007年的金融危机，波士顿城区房价预计会跌2%。
就算最糟糕的情况，波士顿地产预计下滑6%，远低于全美预计下滑的27%，波士顿市场的稳定性不难看出。
房屋净值占房价比例高波士顿居民房产净值水平（房屋净值占房价的比例），位列全美第二，为43%，仅次于纽约市。
基于pyspark的波士顿房价预测案例
基于pyspark的波⼠顿房价预测案例⽬录本实验包含线性回归模型、梯度上升回归、决策树、随机森林、梯度回归树五种模型的创建和⽐较以及加载！⼀、问题描述：本次实验休⼠顿房价数据集是⼀个回归问题，共有506个样本，13个输⼊变量和1个输出变量。
数据集中的每⼀⾏数据都是对休⼠顿周边或城镇房价的情况描述，下⾯对数据集变量说明下，⽅便理解数据集变量代表的意义。
数据集各特征介绍：· CRIM：城镇⼈均犯罪率。
· ZN：住宅⽤地超过 25000 sq.ft. 的⽐例。
· INDUS：城镇⾮零售商⽤⼟地的⽐例。
· CHAS：查理斯河空变量（如果边界是河流，则为1；否则为0）。
· NOX：⼀氧化氮浓度。
· RM：住宅平均房间数。
· AGE：1940 年之前建成的⾃⽤房屋⽐例。
· DIS：到波⼠顿五个中⼼区域的加权距离。
· RAD：辐射性公路的接近指数。
· TAX：每 10000 美元的全值财产税率。
· PTRATIO：城镇师⽣⽐例。
· B：1000（Bk-0.63）^ 2，其中 Bk 指代城镇中⿊⼈的⽐例。
· LSTAT：⼈⼝中地位低下者的⽐例。
· price：⾃住房的平均房价，以千美元计。
⼆、机器学习预测模型概述：1、线性回归分析中，如果只包括⼀个⾃变量和⼀个因变量，且⼆者的关系可⽤⼀条直线近似表⽰，这种回归分析称为⼀元线性回归分析。
如果包括两个或两个以上的⾃变量，且因变量和⾃变量之间是线性关系，则称为。
2、随机森林回归模型随机森林回归模型为⼀种集成学习算法。
通过在数据上构建多个模型，集成所有模型的建模结果。
⼤概流程如下：从样本集中使⽤Bootstrap采样选出n个样本。
从所有属性中随机选择k个属性，之后再使⽤信息增益、基尼指数⽅法不断找到最佳分割属性建⽴CART决策树（也可以是svm、LR 等），这⾥的k控制了随机性的引⼊程度。
波士顿房价数据集可视化
波⼠顿房价数据集可视化波⼠顿房价数据集卡内基梅隆⼤学，StatLib库，1978年涵盖了⿇省波⼠顿的506个不同郊区的房屋数据404条训练数据集，102条测试数据集每条数据14个字段，包含13个属性，和1个房价的平均值⽬标将所有属性与房价之间的关系可视化代码import matplotlib.pyplot as pltimport numpy as npimport tensorflow as tfplt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] # 指定默认字体plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显⽰为⽅块的问题boston_housing = tf.keras.datasets.boston_housing#数据集不需要测试，将所有的数据都加载到训练数据集⽤于显⽰，test_split为划分测试机的⽐例(train_x,train_y),(test_x,test_y) = boston_housing.load_data(test_split = 0)title_list = ['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PTRATIO','B-1000','LSTAT','MEDV']plt.figure(figsize=(8,8))for i in range(13):plt.subplot(4,4,i+1)plt.scatter(train_x[:,i],train_y,s=5)plt.xlabel(title_list[i])plt.ylabel('Price')plt.title(str(i+1)+'. '+title_list[i]+' - Price')plt.tight_layout(rect=[0,0,1,0.95])plt.suptitle('各属性与房价之间的关系')plt.show()效果。
BI应用：从房价预测案例窥探数据挖掘
BI应用：从房价预测案例窥探数据挖掘数据挖掘是从大量的数据中去发现有用的信息，根据这些信息来辅助决策。
数据挖掘揭示的是未知的、将来的数据关系，主要的作用就是预测，采用计算机技术、统计学、模型算法等。
模型算法有分类算法、回归算法、聚类算法等，每种算法类型又包含多种不同的算法，例如分类算法，就包含逻辑回归、朴素贝叶斯、决策树等，使用的编程语言有Java 语言、Python，大家听了是不是觉得很专业、很复杂？今天给大家推荐一款简单易用的工具——Smartbi Mining，是由Smartbi推出的独立产品，旨在为个人、团队、企业所做的决策提供预测性分析。
Smartbi Mining具有流程化、可视化的建模界面，内置实用的、经典的统计挖掘算法和深度学习算法，并支持Python扩展算法，基于分布式云计算，可以将模型发送到Smartbi统一平台，与BI平台完美整合。
简单拖拉拽就可轻松完成预测，实在是太方便。
此次以“波士顿房价预测”数据为例来带大家窥探一下数据挖掘如何进行。
1.Smartbi Mining操作界面点击机器学习管理界面右上角“创建机器学习项目”，可以通过示例数据源学习数据挖掘的流程和操作（创建文件目录设置名称）。
最左侧是节点树：包含了已经开发好的所有节点。
中间是主要实现区域，将节点之间拖拽过来即可。
右侧是节点的参数配置和属性配置。
2.数据挖掘流程数据挖掘有一套标准的流程，可以对数据进行各种科学的处理和预测，从而发现数据本身隐藏的规律。
具体流程如下：第一步：业务理解。
明确目标，明确分析需求。
第二步：数据准备。
收集原始数据、检验数据质量、整合数据、格式化数据。
第三步：建立模型。
选择建模技术、参数调优、生成测试计划、构建模型。
第四步：评估模型。
对模型进行全面的评估，评估结果、重审过程。
3.案例演示案例背景：房价是大家一直很关注的问题，无论房地产商还是准备购房的消费者，合理的评估房价的走势，都可以从中受益。
2.sklearn库中的标准数据集与基本功能
2.sklearn库中的标准数据集与基本功能sklearn库中的标准数据集与基本功能下⾯我们详细介绍⼏个有代表性的数据集：当然同学们也可以⽤sklearn机器学习函数来挖掘这些数据，看看可不可以捕捉到⼀些有趣的想象或者是发现：波⼠顿房价数据集：波⼠顿房价数据集包含506组数据，每条数据包含房屋以及房屋周围的详细信息。
其中包含城镇犯罪率、⼀氧化氮浓度、住宅平均房间数、到中⼼区域的加权距离以及⾃住房平均房价等。
因此，波⼠顿房价数据集能够应⽤到回归问题上。
这⾥是波⼠顿房价数据集的部分房价数据信息展⽰：例如：NOX这个属性代表⼀氧化氮的浓度，RM这个属性代表的是住宅的平均房间数；我们可以通过使⽤sklearn.datasets.load_boston即可加载相关的数据集； 重要参数： 1.return_X_y:表⽰是否返回target(即价格)，默认为False,只返回data(即属性)。
这⾥我们提供两个实例：⽰例1：⽰例1展⽰了如何import load_boston这个数据集；通过打印boston.data.shape我们可以看到维度是：506,13⽰例2：当return_X_y设置为True的时候：load_boston同时返回data和target鸢尾花数据集：鸢尾花数据集是数据挖掘任务常⽤的⼀个数据集；鸢尾花数据集采集的是鸢尾花的测量数据以及其所属的类别。
测量数据包括：萼⽚长度、萼⽚宽度、花瓣长度、花瓣宽度。
类别共分为三类：Iris Setosa,Iris Versicolour,Iris Virginica。
该数据集可⽤于多分类问题。
使⽤sklearn.datasets.load_iris即可加载相关数据集参数：1.return_X_y:若为True,则以(data,target)形式返回数据，默认为False,表⽰以字典形式返回数据全部信息(包含data和target)鸢尾花数据集--加载⽰例：⼿写数字数据集⼿写数字数据集包括：1797个0-9的⼿写数字数据，每个数字由8*8⼤⼩的矩阵构成，矩阵中值的范围是0-16，代表颜⾊的深度。
机器学习》20-实验三 波士顿房价预测参考代码[3页]
![机器学习》20-实验三 波士顿房价预测参考代码[3页]](https://img.taocdn.com/s3/m/15c4e6feac51f01dc281e53a580216fc700a5398.png)
# 从sklearn.datasets导入波士顿房价数据from sklearn.datasets import load_boston# 读取房价数据存储在变量X,y中X,y = load_boston(return_X_y=True)print(X.shape)print(y.shape)# 数据分割from sklearn.model_selection import train_test_split# 70%作为训练样本，30%数据作为测试样本X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)print(X_train.shape)print(X_test.shape)print(y_train.shape)print(y_test.shape)# 数据标准化from sklearn.preprocessing import StandardScalerscaler_X = StandardScaler()scaler_y = StandardScaler()# 分别对训练和测试数据的特征以及目标值进行标准化处理X_train = scaler_X.fit_transform(X_train)y_train = scaler_y.fit_transform(y_train.reshape(-1, 1))X_test = scaler_X.transform(X_test)y_test = scaler_y.transform(y_test.reshape(-1, 1))# 从sklearn.linear_model导入LinearRegressionfrom sklearn.linear_model import LinearRegression# 使用默认参数值实例化线性回归器LinearRegressionlr = LinearRegression()# 使用训练数据进行训练lr.fit(X_train, y_train)# 对测试数据进行回归预测lr_y = lr.predict(X_test)# 导入r2_score、mean_squared_error以及mean_absolute_error from sklearn.metrics import r2_scoreprint("LinearRegression的R_squared：",r2_score(y_test, lr_y))from sklearn.metrics import mean_squared_errorprint("LinearRegression均方误差：",mean_squared_error(scaler_y.inverse_transform(y_test), scaler_y.inverse_transform(lr_y))) from sklearn.metrics import mean_absolute_errorprint("LinearRegression绝对值误差:",mean_absolute_error(scaler_y.inverse_transform(y_test),scaler_y.inverse_transform(lr_y)))# 使用LinearRegression 自带的评估函数print("LinearRegression自带的评估函数",lr.score(X_test, y_test))print("---" * 20)# 从sklearn.linear_model导入SGDRegressorfrom sklearn.linear_model import SGDRegressorsgdr = SGDRegressor(max_iter=5, tol=None)# 使用训练数据进行训练sgdr.fit(X_train, y_train.ravel())# 使用SGDRegressor模型自带的评估函数print("SGDRegressor自带的评估函数：",sgdr.score(X_test, y_test))# 从sklearn.neighbors导入KNeighborsRegressorfrom sklearn.neighbors import KNeighborsRegressor# 初始化K近邻回归knr_uni = KNeighborsRegressor(weights="uniform")knr_uni.fit(X_train, y_train.ravel())print('KNeighorRegression（weights="uniform"）自带的评估函数:', knr_uni.score(X_test, y_test))knr_dis = KNeighborsRegressor(weights='distance')# 使用训练数据进行训练knr_dis.fit(X_train, y_train.ravel())print('KNeighorRegression（weights="distance"）自带的评估函数:', knr_dis.score(X_test, y_test))# 房价预测—支持向量回归from sklearn.svm import SVR# 使用SVR训练模型，并对测试数据做出预测svr_linear = SVR(kernel='linear')svr_linear.fit(X_train, y_train.ravel())print('SVR(kernel="linear")自带的评估函数:',svr_linear.score(X_test, y_test))svr_poly = SVR(kernel='poly')svr_poly.fit(X_train, y_train.ravel())print('SVR(kernel="poly")自带的评估函数:',svr_poly.score(X_test, y_test))svr_rbf = SVR(kernel='rbf')svr_rbf.fit(X_train, y_train.ravel())print('SVR(kernel="rbf")自带的评估函数:',svr_rbf.score(X_test, y_test))# 从sklearn.tree中导入DecisionTreeRegressor。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Boston house-price data(波士顿房价数据)
数据摘要：
This data set contains the Boston house-price data of Harrison, D. and Rubinfeld, D.L.
中文关键词：
数据挖掘,经济,管理,房价,波士顿,
英文关键词：
Data mining,Economics,Management,House-price,Boston,
数据格式：
TEXT
数据用途：
The data can be used for regression and analysis.
数据详细介绍：
Boston house-price data Abstract
The Boston house-price data of Harrison, D. and Rubinfeld, D.L.
'Hedonic prices and the demand for clean air', J. Environ. Economics & Management, vol.5, 81-102, 1978.
Data Description
Variables in order:
CRIM per capita crime rate by town
ZN proportion of residential land zoned for lots over 25,000 sq.ft.
INDUS proportion of non-retail business acres per town
CHAS Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
NOX nitric oxides concentration (parts per 10 million)
RM average number of rooms per dwelling
AGE proportion of owner-occupied units built prior to 1940
DIS weighted distances to five Boston employment centres
RAD index of accessibility to radial highways
TAX full-value property-tax rate per $10,000
PTRATIO pupil-teacher ratio by town
B 1000(Bk - 0.63)^2 where Bk is the proportion of blacks by
town
LSTAT % lower status of the population
MEDV Median value of owner-occupied homes in $1000's
Reference
Used in Belsley, Kuh & Welsch, 'Regression diagnostics ...', Wiley, 1980.
N.B. Various transformations are used in the table on pages 244-261 of the latter.
数据预览：
点此下载完整数据集。