开发文档

项目介绍

基于python爬虫的二手房交易数据可视化系统。

功能介绍

• 注册：用户注册，获得登录权限。
• 登录：用户登录，获得网站管理权限。
• 个人中心：管理和浏览个人信息，可以修改密码、头像等。
• 网站爬虫：针对相关网站进行数据爬取，获取相关字段。
• 数据清洗：对爬取数据进行缺失值、重复值、异常值的处理。
• 房价预测：提取数据的多维特征，进行机器学习建模。
• 数据分析：从多个角度分析数据。
• 数据管理：管理和浏览爬取数据的信息。
• 数据可视化：采用图标形式浏览数据分析的结果。

开发环境

• 后端： Python 3.8 + Django 4.2
• 前端： Javascript + html + css
• 数据库：MySQL 8.4
• 开发平台：Pycharm + vscode
• 运行环境：Windows 10/11

关键技术

• 前端技术栈 html、css、Javascript、pyecharts、matplotlib
• 后端技术栈 Python、Django、pip、requests

后端技术

django框架

Django是一款基于Python开发的全栈式一体化Web应用框架。2003年问世之初，它只是美国一家报社的内部工具，2005年7月使用BSD许可证完成了开源。Django采用MTV设计模式，即Model（模型）+ Template（模板）+ View（视图）。它遵循MVC设计，并且内置了对象关系映射（ORM）层，使得开发者无需关心底层的数据存取细节，可以更专注于业务逻辑的开发。

Django的目的是削减代码量，简单且迅速地搭建以数据库为主体的复杂Web站点。它是全栈式框架，因此安装起来很简单，而且使用者众多。这使得Django除具有完备的官方文档之外，还有大量的关联文档、丰富的第三方库可供使用。与其他框架相比，Django用起来要轻松得多。

优点：

• 提供了定义序列化器Serializer的方法。可以快速根据Django ORM或者其他库自动序列化或反序列化。
• 提供了丰富的类视图MIXIN扩展类。可以简化视图的编写。
• 具有丰富的定制层级。包括函数视图、类视图，还可以将视图与自动生成API结合，满足各种需求。
• 支持多种身份认证和权限认证方式。
• 内置了限流系统。

运行步骤

后端运行步骤

(1) 安装mysql数据库，启动服务

(2) 打开cmd命令行，进入mysql，并新建数据库

mysql -u root -p
CREATE DATABASE IF NOT EXISTS python_lj DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(3) 恢复sql数据

use xxx
source xxxx.sql

(4) 修改settings.py中的配置信息

(5) 安装python 3.9

(6) 安装依赖包

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple

(7) 运行命令

python manage.py runserver