博客
关于我
利用 SQLAlchemy 实现轻量级数据库迁移
阅读量:686 次
发布时间:2019-03-17

本文共 1548 字,大约阅读时间需要 5 分钟。

本文介绍结合 python 的几个工具,实现轻量级的数据库迁移。

在日常工作中,可能需要将数据迁移到不同的数据库,可以考虑下面一些简单的办法:

  • kettle 的多表复制向导,之前写过一篇博文:
  • 使用 CSV 作为中介,需要花时间处理字段的数据类型
  • 利用 sqlalchemy,之前写过一篇博文:。博文的操作过程还是比较繁琐,需要手工维护字段的数据类型

假设我们现在需要把 sql server 中 emp_master 表的数据迁移到 sqlite 数据库的同名表中。迁移的过程分为两步:

  • 基于源数据库的表结构,在目标数据库中创建表
  • 利用 pandas 的 dataframe 将数据传输到目标数据库

创建数据库表schema

首先利用 sqlacodegen 工具,生成 sqlalchemy ORM 模型:

sqlacodegen mssql+pymssql://user:pwd@localhost:1433/testdb > models.py -- tables emp_master

生成如下的代码,起始代码可能有些差异,手工修改一下:

# models.pyfrom sqlalchemy import Column, Integer, Stringfrom sqlalchemy.ext.declarative import declarative_baseBase = declarative_base()class EmpMaster(Base):    __tablename__ = 'emp_master'    EMP_ID = Column(Integer, primary_key=True)    GENDER = Column(String(10))    AGE = Column(Integer)    EMAIL = Column(String(50))    PHONE_NR = Column(String(20))    EDUCATION = Column(String(20))    MARITAL_STAT = Column(String(20))    NR_OF_CHILDREN = Column(Integer)

使用 sqlalchemy 在目标数据库中创建数据库和表:

# create_shcema.pyfrom sqlalchemy import create_enginefrom models import Baseengine = create_engine('sqlite:///employees.db')Base.metadata.create_all(engine)

利用 pandas dataframe 迁移数据

需要用到 read_sql() 方法读取数据到 dataframe,用到 dataframe 的 to_sql() 方法将数据发送的目标数据库:

# data_migrate.pyfrom sqlalchemy import create_engineimport pandas as pdsource_engine = create_engine('mssql+pymssql://user:pwd@localhost:1433/testdb')target_engine = create_engine('sqlite:///employees.db')df = pd.read_sql('emp_master', source_engine)df.to_sql('emp_master', target_engine, index=False, if_exists='replace')

转载地址:http://zjthz.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(71)——数据库介绍(MySQL安装 体系结构、基本管理)再回顾
查看>>
Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
查看>>
Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
查看>>
Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
查看>>
Mysql学习总结(78)——MySQL各版本差异整理
查看>>
Mysql学习总结(79)——MySQL常用函数总结
查看>>
Mysql学习总结(7)——MySql索引原理与使用大全
查看>>
Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
查看>>
Mysql学习总结(81)——为什么MySQL不推荐使用uuid或者雪花id作为主键?
查看>>
Mysql学习总结(82)——MySQL逻辑删除与数据库唯一性约束如何解决?
查看>>
Mysql学习总结(83)——常用的几种分布式锁:ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结
查看>>
Mysql学习总结(84)—— Mysql的主从复制延迟问题总结
查看>>
Mysql学习总结(85)——开发人员最应该明白的数据库设计原则
查看>>
Mysql学习总结(8)——MySql基本查询、连接查询、子查询、正则表达查询讲解
查看>>
Mysql学习总结(9)——MySql视图原理讲解与使用大全
查看>>
MySQL学习笔记十七:复制特性
查看>>
Mysql学习第一课-mysql的定义及sql语句
查看>>
mysql安全模式: sql_safe_updates
查看>>
mysql安装,卸载,连接
查看>>
MySQL安装之没有配置向导
查看>>