将SQL Server数据迁移到MySQL

ag • 2017.08.16 00:13 • 文章 • 阅读 2781

本文作者: GavinDong

版权属于: GavinDong博客

文章链接: https://www.gavindong.com/1276.html

如果使用过程中遇到问题，可 **点击此处** 交流沟通。

ag普通用户

0 14

文章

go操作mysql

package main

import (
	"database/sql"
	"fmt"

	_ "github.com/go-sql-driver/mysql"
)

func main() {
	/*
		db host: localhost
		db port: 3306
		db version: 10.3.7-MariaDB

		database: create database go;
		table: create table Person(`uid` int(10) not null auto_increment,
							`name` varchar(50),
							`age` int(1),
							`city` varchar(50),
							primary key(`uid`))
							;
	*/

	//connect to mysql/mariadb
	//username:password@protocol(address)/dbname?param=value
	//my database is:go
	db, err := sql.Open("mysql", "root:123456@tcp(localhost:3306)/go?charset=utf8")
	checkErr(err)

	//insert mysql
	stmt, err := db.Prepare("INSERT Person SET name=?,age=?,city=?")
	checkErr(err)

	res, err := stmt.Exec("李玲", 35, "上海市")
	checkErr(err)

	id, _ := res.LastInsertId()
	fmt.Println("最后插入id", id)

	//update
	stmt, err = db.Prepare("update Person set name=? where uid=?")
	checkErr(err)

	res, err = stmt.Exec("李璐", 1)
	checkErr(err)

	affect, err := res.RowsAffected()
	checkErr(err)

	fmt.Println("更新行数：", affect)

	//delete.
	stmt, err = db.Prepare("delete from Person where name=?")
	checkErr(err)

	res, err = stmt.Exec("李玲")
	checkErr(err)

	affect2, err2 := res.RowsAffected()
	checkErr(err2)
	fmt.Println("删除行数", affect2)

	//select mysql.
	rows, err := db.Query("SELECT * FROM Person")
	checkErr(err)

	for rows.Next() {
		var uid int
		var name string
		var age int
		var city string
		err = rows.Scan(&uid, &name, &age, &city)
		checkErr(err)
		fmt.Println(uid, name, age, city)
	}

	//关闭mysql数据库连接
	db.Close()

}

func checkErr(err error) {
	if err != nil { //err非空则表明遇到错误.
		panic(err)
	}
}

package main

import (

"database/sql"

"fmt"

_ "github.com/go-sql-driver/mysql"

)

func main() {

db host: localhost

db port: 3306

db version: 10.3.7-MariaDB

database: create database go;

table: create table Person(`uid` int(10) not null auto_increment,

`name` varchar(50),

`age` int(1),

`city` varchar(50),

primary key(`uid`))

;

//connect to mysql/mariadb

//username:password@protocol(address)/dbname?param=value

//my database is:go

db, err := sql.Open("mysql", "root:123456@tcp(localhost:3306)/go?charset=utf8")

checkErr(err)

//insert mysql

stmt, err := db.Prepare("INSERT Person SET name=?,age=?,city=?")

checkErr(err)

res, err := stmt.Exec("李玲", 35, "上海市")

checkErr(err)

id, _ := res.LastInsertId()

fmt.Println("最后插入id", id)

//update

stmt, err = db.Prepare("update Person set name=? where uid=?")

checkErr(err)

res, err = stmt.Exec("李璐", 1)

checkErr(err)

affect, err := res.RowsAffected()

checkErr(err)

fmt.Println("更新行数：", affect)

//delete.

stmt, err = db.Prepare("delete from Person where name=?")

checkErr(err)

res, err = stmt.Exec("李玲")

checkErr(err)

affect2, err2 := res.RowsAffected()

checkErr(err2)

fmt.Println("删除行数", affect2)

//select mysql.

rows, err := db.Query("SELECT * FROM Person")

checkErr(err)

for rows.Next() {

var uid int

var name string

var age int

var city string

err = rows.Scan(&uid, &name, &age, &city)

checkErr(err)

fmt.Println(uid, name, age, city)

}

//关闭mysql数据库连接

db.Close()

}

func checkErr(err error) {

if err != nil { //err非空则表明遇到错误.

panic(err)

}

2018.06.08

1.9K000

文章

Ubuntu配置LAMP环境

Ubuntu配置LAMP环境

#给root用户设置密码
passwd root

#--------安装------------
使用一键安装包方式安装(很少用)：
sudo tasksel install lamp-server

使用命令行方式定制安装：
sudo apt-get install apache2 php5 mysql-server php5-mysql

验证安装结果：
cd /var/www
vim info.php

<?php
	echo mysql_connect('localhost','root','123456') ? 'php连接mysql成功':'php-mysql连接失败';

	phpinfo();
?>

#安装PHP常用扩展库
sudo apt-get install php5-gd curl libcurl3 libcurl3-dev php5-curl

#--------配置--------------
#LAMP配置文件位置
Apache：/etc/apache2
MySQL：/etc/mysql
PHP：/etc/php5

#配置apache虚拟主机
#创建虚拟主机的数据目录
sudo mkdir -p /wwwroot/{video,bbs,oa}

#创建虚拟主机的配置文件
cd /etc/apache2/sites-available
cp -v default video
cp -v default bbs
cp -v default oa

#修改虚拟主机配置文件里ServerName和DocumentRoot配置
ServerName oa.mydomain.com
DocumrntRoot	/wwwroot/oa

#创建软连接，使配置文件被apache主配置文件加载
cd /etc/apache2/sites-enabled
ln -s ../sites-available/oa oa
ln -s ../sites-available/bbs bbs
ln -s ../sites-available/video video

#重启apache
sudo service apache2 restart

#修改MySQL的数据目录
#停止MySQL
sudo service mysql stop
mkdir -p /mysqldata
sudo chown -vR mysql:mysql /mysql/data
sudo chmod -vR 700 /mysqldata/

#复制MySQL数据文件
由于/mysqldata目录权限已经设置为700，因此此处需要root用户登录才能进行拷贝
su root
cp -av /var/lib/mysql/* /mysqldata/

#修改mysql配置文件
vim /etc/mysql/my.cnf
主要修改里边的datadir为新的数据目录，例如此处：
datadir	= /mysqldata

#修改apparmor（ubuntu安全机制控制软件）配置文件，让mysql自定义配置生效
sudo vim /etc/apparmor.d/user.sbin.mysqld
找到里边的两行：
/var/lib/mysql/ r,
/var/lib/mysql/** rwk,

修改为新的数据目录：
/mysqldata/ r,
/mysqldata/** rwk,

#重启安全监督软件apparmor
sudo service apparmor reload

#启动MySQL
sudo service mysql start

Ubuntu配置LAMP环境

#给root用户设置密码

passwd root

#--------安装------------

使用一键安装包方式安装(很少用)：

sudo tasksel install lamp-server

使用命令行方式定制安装：

sudo apt-get install apache2 php5 mysql-server php5-mysql

验证安装结果：

cd /var/www

vim info.php

<?php

echo mysql_connect('localhost','root','123456') ? 'php连接mysql成功':'php-mysql连接失败';

phpinfo();

#安装PHP常用扩展库

sudo apt-get install php5-gd curl libcurl3 libcurl3-dev php5-curl

#--------配置--------------

#LAMP配置文件位置

Apache：/etc/apache2

MySQL：/etc/mysql

PHP：/etc/php5

#配置apache虚拟主机

#创建虚拟主机的数据目录

sudo mkdir -p /wwwroot/{video,bbs,oa}

#创建虚拟主机的配置文件

cd /etc/apache2/sites-available

cp -v default video

cp -v default bbs

cp -v default oa

#修改虚拟主机配置文件里ServerName和DocumentRoot配置

ServerName oa.mydomain.com

DocumrntRoot /wwwroot/oa

#创建软连接，使配置文件被apache主配置文件加载

cd /etc/apache2/sites-enabled

ln -s ../sites-available/oa oa

ln -s ../sites-available/bbs bbs

ln -s ../sites-available/video video

#重启apache

sudo service apache2 restart

#修改MySQL的数据目录

#停止MySQL

sudo service mysql stop

mkdir -p /mysqldata

sudo chown -vR mysql:mysql /mysql/data

sudo chmod -vR 700 /mysqldata/

#复制MySQL数据文件

由于/mysqldata目录权限已经设置为700，因此此处需要root用户登录才能进行拷贝

su root

cp -av /var/lib/mysql/* /mysqldata/

#修改mysql配置文件

vim /etc/mysql/my.cnf

主要修改里边的datadir为新的数据目录，例如此处：

datadir = /mysqldata

#修改apparmor（ubuntu安全机制控制软件）配置文件，让mysql自定义配置生效

sudo vim /etc/apparmor.d/user.sbin.mysqld

找到里边的两行：

/var/lib/mysql/ r,

/var/lib/mysql/** rwk,

修改为新的数据目录：

/mysqldata/ r,

/mysqldata/** rwk,

#重启安全监督软件apparmor

sudo service apparmor reload

#启动MySQL

sudo service mysql start

记事本笔记(如果乱码，请将浏览器编码调整为UTF-8再查看txt笔记)： Ubuntu配置LAMP环境 #备注：设置…

2018.04.09

2.1K400

文章

SAP通过SDI Agent操作MySQL数据库的方式

MySQL是互联网领域是非常流行的，但在SAP生态圈却不太受待见，2019年的S4 HANA还是没有原生支持通过DBCO直连MySQL。如下图所示，DBCO中没有MySQL的选项，…

ag
2020.10.20
3.1K000
文章

MacOS通过brew安装MariaDB

MacOS通过brew安装MariaDB brew install mariadb sudo brew services start mariadb sudo chown -R m…

ag
2017.08.14
2.1K100
文章

Configuring JDBC driver and creating connection

In this document, I will try to explain how to install JDBC drivers in BusinessObjects and…

ag
2018.02.28
1.8K000
文章

开发数据分析产品的技术选型

数据库(OLAP/OLTP)：PostgreSQL数据库工具：Dbreaver / DataGripETL工具：Kettle 用户交互平台：go iris + echarts 项目…

ag
2018.05.08
2.7K200
文章

SAP Copy an existing DB table to a new one

在研究Central Finance in SAP S4HANA过程中，看到一个很有意思的事务代码，记录一下。在SAP中将表重命名或者复制一张表到另一张表的工具？可以CF模块提供…

ag
2021.03.05
1.1K000
文章

大数据离线同步工具DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、Ta…

ag
2018.05.28
2.1K000
文章

Linux平台卸载MySQL总结

service mysql stopwhereis mysqlfind / -name mysql将查出来的MySQL目录（除了数据等需要保留之外的）全部删除！yum -y rem…

ag
2017.06.01
1.7K100
文章

简单粗暴的MySQL备份方式

crontab job设置：

Shell

30 01 * * * /root/copy_db_files.sh 30 03 * * * /root/scp_to_backupserver.sh

1
2

30 01 * * * /root/copy_db_files.sh
30 03 * * * /root/scp_to_backupserver.sh

copy_db_files.sh脚本[crayon-62f35efd49bee55821…

ag
2018.01.16
2.1K200

发表评论

登录后才能评论

评论列表（14条）

ag 2017.08.16 00:17

重要的sqlserver到mysql数据库迁移，用DB2DB或者mysql-workbench，不要用其他工具！

workbench下载：
http://dev.mysql.com/downloads/file/?id=466686

DB2DB下载：
百度一下，有绿色版，也可以购买商业版。

回复
ag 2017.08.16 00:17

转载备用：http://www.cnblogs.com/digdeep/p/4841361.html
数据库 SQL Server 到 MySQL 迁移方法总结
最近接手一起老项目数据库 SQL Server 到 MySQL 的迁移。因此迁移前进行了一些调查和总结。下面是一些 SQL Server 到 MySQL 的迁移方法。
1. 使用 SQLyog 迁移
具体方法可以参加：http://www.cnblogs.com/gaizai/p/3237907.html
优点：该迁移方法很简单，灵活，迁移时，可以进行字段的修改，比如在sql server中原来是datetime，然后迁移到mysql时你可以配置成timestamp；
成功率很高；
缺点：迁移很慢！这是该方法最大的缺点，如果表的数据量达到几十万行，甚至几百万行，你会发现迁移起来真的很慢。明显比其他迁移方法慢很多。
2. 使用 powerdesigner 和 sql server 的脚本导出功能来迁移
第一步：该方法首先使用 powerdesigner，对sql server数据库，进行逆向工程，得到E-R图，然后生成MySQL的建表语句。完成数据库结构的迁移；
当然表结构的迁移，不使用powerdesigner一样也是可以的。比如我将表结构导出成语句，然后手动进行修改，然后在MySQL中运行，也是一样的；
第二部：然后使用 sql server的工具 SSMS，将sql server数据库中的表的数据，导出成insert语句，每个表对应导出一个文件，然后对文件进行一些处理，
然后导入到MySQL数据库中。
具体的对 sql server 导出的sql文件的处理方法，参见：http://www.cnblogs.com/digdeep/p/4822499.html
3. 使用Oracle MySQL Server 官方的 workbeach 工具进行迁移
mysql官方有两篇 sql server 迁移到 mysql的指导手册，可以参考：
http://www.mysql.com/why-mysql/white-papers/guide-to-workbench-migration-wizard/
http://www.mysql.com/why-mysql/w … ql-server-to-mysql/
上面的连接中可以下载到pdf文件，安装文件的说明，使用 workbeach 工具就能进行迁移。因为 workbeach 有30天的使用期，所以完全不需要担心；
在workbench 连接sql server时，用户需要有 view any database 的权限。不然workbench无法访问sql server的表结构的元数据，从而无法进行迁移。
还有使用 Navicat 来进行迁移的方法，方法和 SQLyog 是类似的。
4. 三种方法比较
方法一只适合数据量小的迁移方法，如果数据量大，迁移时间短，基本是不适合的；
方法二是比较好的方法，缺点就是sql server导出的insert脚本中 datetime字段和decimal需要自己写代码进行转换，稍微有点麻烦；
第三种方法应该是最佳的选择，比较简单，速度也快，又不需要自己进行字段的处理。
所以对于数据量比较大的情况，应该选择方法三或者方法二。
5. 迁移需要注意的一些问题
sql server 在向 mysql 迁移时，需要注意的一些问题，在连接 http://www.mysql.com/why-mysql/w … ql-server-to-mysql/ 的文档中都有说明。下面是一些具体的注意事项：
1）唯一索引的不同，sql server的唯一索引的字段只能允许存在一个null值，而mysql，一直oracle中唯一索引对应的字段都允许存在多个null值；
2）ifnull 与 isnull ，sql server使用的是 ifnull，而mysql 中要使用 isnull:
3）所有的分页sql都需要重写：
SQL server的分页(使用的是 row_number() over(……))：
4）存储过程的迁移是最麻烦的：
存储过程的语法存在很大的不同。
http://www.mysql.com/why-mysql/white-papers/guide-to-migrating-from-sql-server-to-mysql/ 的文档中有一些说明。
下面是一些mysql存储过程的参考文章：
http://www.cnblogs.com/digdeep/p/4818660.html
http://www.cnblogs.com/digdeep/p/4814020.html

回复
ag 2017.08.16 00:17

注意：
数据迁移到MySQL之后，由于存储机制的不同，容量将可能会非常大！
例如，我同步了一张在SqlServer中容量为19M左右的表到MySQL之后，大小为56M，可见增大了好多（MySQL这边用的是InnoDB）。

回复
ag 2017.08.16 00:16

啥意思呢？意思就是当你准备迁移的时候，要确保目标机器的磁盘空间足够、要准备好足够的时间。

回复
ag 2017.08.16 00:16

SQLServer查看一个库里所有表的数据量：
在SqlServer Management Studio中选中一个数据库，然后执行下面的查询，然后将结果另存为CSV导出之后方便查看：
SELECT a.name,b.rows FROM sysobjects a
INNER JOIN sysindexes b ON a.id=b.id
WHERE b.indid IN(0,1) AND a.Type=’u’
ORDER BY a.name

回复
ag 2017.08.16 00:16

SqlServer中的视图迁移到MySQL中后，会变成真实存在的“表”，即从SQLServer复制数据库进入MySQL的时候会发现待选择的数据库表清单比SQLServer中长很多！

回复
ag 2017.08.16 00:16

SqlYog并不是实时存储到MySQL中的，而是先从SqlServer读取一批数据，之后再更新到MySQL，如此周而复始。如果一张表数据非常多，比如100W条，则SqlYog滚动日志会显示很多次已经传输XXXX条记录很多次，直到最后一次才完全结束。

回复
ag 2017.08.16 00:16

SQLyog，sqlserver datetime到mysql datetime
使用SQLyog倒数据库表时，如果是从sqlserver向MySQL导入，那么遇到datetime类型的字段，SQLyog会把datetime转换为timestamp。
而mysql的timestamp时间范围是’1970-01-01 08:00:01′ and ‘2038-01-19 11:14:07’。
这样，sqlserver中’1900-01-01 00:00:00’的日期到了mysql就变成’0000-00-00 00:00:00’，数据被强制转换。
如果不想被强制转换，就得在表导入mysql前，手动调整为datetime，如果datetime字段较多，一个个去调整那太麻烦了。
可是SQLyog又没有可以统一设置的地方，这时，使用下面方法可以满足要求：
使用SQLyog的Import External Data工具
1、创建一个job file。“start a new job”->一系列配置步骤可以参考网上教程->勾选要导入的表->Run immediately取消选中，选中saving options，save job file->把job file存放本地
2、编辑该job file，批量替换timestamp为datetime。
3、使用该job file进行导入。重新打开Import External Data工具，使用Edit a saved job选择job file导入

回复
ag 2017.08.16 00:15

推荐Navicat Premium_11.2.7简体中文版，比SqlYog快太多（可能是我的SqlYog版本比较老爸~~）

回复
ag 2017.08.16 00:15

数据迁移可以用sqlyog ultimate或者Navicat Premium，都不错的！

回复
ag 2017.08.16 00:15

嗯What is the ibtmp1 file in MySQL 5.7?
http://www.tuicool.com/articles/r6BRBz

回复
ag 2017.08.16 00:15

MySQL InnoDB：
MySQL存储引擎选择 InnoDB与MyISAM区别：
根据经验来看，如果是一些小型的应用或项目，那么MyISAM 也许会更适合。当然，在大型的环境下使用MyISAM 也会有很大成功的时候，但却不总是这样的。如果你正在计划使用一个超大数据量的项目，而且需要事务处理或外键支持，那么你真的应该直接使用InnoDB方式。但需要记住InnoDB 的表需要更多的内存和存储，转换100GB 的MyISAM 表到InnoDB 表可能会让你有非常坏的体验。
ibd是MySQL数据文件、索引文件，无法直接读取。
frm是表结构文件，可以直接打开。
ib_logfile0 和ib_logfile1 是二进制日志文件，可以用mysqlbinlog工具检查。
ibdata1 是innodb引擎表的表空间文件，存放数据，索引。
ib_buffer_pool
在关闭MySQL时，会把内存中的热数据保存在磁盘里ib_buffer_pool文件中，位于数据目录下。
在启动MySQL后，会自动从ib_buffer_pool文件加载热数据到Buffer_Pool缓冲池里。
auto.cnf 是存放本MySQL服务器的UUID的（唯一识别号）
关于mysql-bin文件：
mysql-bin.001397
my.cnf的配置建议：
log-bin=mysql-bin
binlog_format=mixed
server-id = 1
expire_logs_days = 10
early-plugin-load = “”
ibtmp1文件的解释：
http://www.tuicool.com/articles/r6BRBz
If you’re running MySQL 5.7, you might have noticed the ibtmp1 file located in the datadir, and you might be wondering exactly what this file is.
In 5.7, InnoDB added a separate tablespace for all non-compressed InnoDB temporary tables. This new tablespace is named ibtmp1 and is located in the datadir by default.
“The new tablespace is always recreated on server startup. … A newly added configuration file option, innodb_temp_data_file_path, allows for a user-defined temporary data file path. For related information, see InnoDB Temporary Table Undo Logs.”

回复
ag 2017.08.16 00:15

mysql binlog日志自动清理及手动删除
方法1：
# vim /etc/my.cnf //修改expire_logs_days,x是自动删除的天数，一般将x设置为短点，如10
expire_logs_days = x //二进制日志自动删除的天数。默认值为0,表示“没有自动删除”
此方法需要重启mysql，附录有关于expire_logs_days的英文说明
一般，设置为10天。
my.cnf的配置建议：
log-bin=mysql-bin
binlog_format=mixed
server-id = 1
expire_logs_days = 10
early-plugin-load = “”
方法2：
手动清除binlog文件
# /usr/local/mysql/bin/mysql -u root -p
> PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY); //删除10天前的MySQL binlog日志,附录2有关于PURGE MASTER LOGS手动删除用法及示例
> show master logs;
也可以重置master，删除所有binlog文件：
# /usr/local/mysql/bin/mysql -u root -p
> reset master; //附录3有清除binlog时，对从mysql的影响说明

回复
ag 2017.08.16 00:14

**注意：这里要对bit类型和date(datetime)类型进行映射，否则会迁移失败，因为sqlServer中bit类型与mysql中的bit不是同一个类型，mysql中用tinyint类型来表示boolean类型，而sqlserver中date(datetime)迁移到mysql中会变成timestamp，这是不行的。
迁移过程需要将自动影射的date/datetime类型映射为date/datetime，bit类型映射为tinyint类型。

回复

将SQL Server数据迁移到MySQL

相关文章

发表评论

评论列表（14条）