文章关键字:|SQL Server|海量|数据|导入|格式|限制|
最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqlserver中,如果使用普通的insert语句进行写出的话,恐怕没个把小时完不成任务,先是考虑使用bcp,但这是基于命令行的,对用户来说友好性太差,实际不大可能使用;最后决定使用BULK INSERT语句实现,BULK INSERT也可以实现大数据量的导入,而且可以通过编程实现,界面可以做的非常友好,它的速度也很高:导入100万条数据不到20秒中,在速度上恐怕无出其右者。
但是使用这种方式也有它的几个缺点:
1.需要独占接受数据的表
2.会产生大量的日志
3.从中取数据的文件有格式限制
但相对于它的速度来说,这些缺点都是可以克服的,而且你如果愿意牺牲一点速度的话,还可以做更精确的控制,甚至可以控制每一行的插入。对与产生占用大量空间的日志的情况,我们可以采取在导入前动态更改数据库的日志方式为大容量日志记录恢复模式,这样就不会记录日志了,导入结束后再恢复原来的数据库日志记录方式。
具体的一个语句我们可以这样写:
以下为引用的内容:
alter database taxi
set RECOVERY BULK_LOGGED
BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
?? DATAFILETYPE = 'char',
?? FIELDTERMINATOR = ',',
?? ROWTERMINATOR = '\n',
?TABLOCK
)
alter database taxi
set RECOVERY FULL
这个语句将从e:\out.txt导出数据文件到数据库taxi的detail表中。
原文地址:http://www.evget.com/zh-CN/Info/ReadInfo.aspx?id=9234
分享到:
相关推荐
基于OPENDATASOURCE函数的SQL Server数据库海量数据的快速导入导出方法
论坛文章(赛迪网技术社区)详细讲解了SQL Server海量数据导入的最快方法,更多内容请参考下
如何实现海量文本数据导入MS_SQL_Server2000数据库
实验目的和要求:了解SQL SEVER 2000的功能及组成,熟练掌握利用SQL SEVER 2000企业管理器和查询分析器创建数据库、表、索引和修改表结构及向数据库输入数据、修改数据和删除数据的操作方法和步骤,掌握定义数据约束...
支持Oracle,SQL Sever,Access,Excel等数据库之间数据格式批量转换:即Oracle转SQL Server;SQL Server转Oracle;Oracle转Access;Access转Oracle;SQL Server转Access, Access转SQL Server等,支持Oracle,SQL Sever,...
采用OLTP交易数据库和OLAP数据仓库(用于搜索和分析)分离的模式,OLTP作为OLAP的数据源通过SQL Server Integration Services (SSIS)定期导入到OLAP数据仓库环境中,OLAP采用星型结构以便于更好地满足搜索和将来的...
数据同步工具通过本工具可以非常方便地实现数据库和Elasticsearch之间的数据同步功能,数据库与数据库之间的数据同步功能Bboss is a good elasticsearch ...可以快速编写,打包发布可运行的数据导入工具支持的数据库:
把历史数据经过抽取、转换,导入数据仓库(SQL Server2000)。然后进一步导入多维数据库(Analysis Service)。我们用ProClarity(普科的商务智能工具)搭建分析平台。通过网络,游戏厂商或运营商可以随时察看分析...
4:支持从Excel表格、Access数据库、文本文件,XML文件,Oracle,DB2,SQL Server等市场上大多数数据源中直接导入数据,支持用户自定义查询和字段过滤。 5:多种数据准备方式:支持先准备数据,然后设计,也支持...
鸿耘大型固定资产条码管理系统简介 <br/>有别于财务型的固定资产核算管理系统,本...后台数据库采用MS Sql Server大型数据库系统,满足了海量数据存储和检索的需要,并很容易与企业的其它管理系统无缝对接。
学校资源库管理系统运用JSP技术+SQL2000SERVER编制。其开发主要包括后台数据库的建立和维护以及前端页面的处理两个方面。 学校资源库管理系统为学校教师提供教案、试题、素材、课件的上传、管理、查询,也就是学校...
采用易检索、高速度、数据备份、安全性和灵活性上更具效率的数据库做为存储目标,开发出一套完全基于数据库存储的邮件服务器软件,以适应日新月异的数字存储数据库化和海量数据存储的要求。和传统邮件服务器一样,...
系统要求:Windows Server 2003/2008 + IIS6.0以上/IIS7.0 / .NET 2.0 数据库要求:MS SQL2005/2008 开发语言: C# .Net framework 2.0 一、MEP快递单打印软件 简介: 可自行设计各种快递单格式批量打印的软件...
3.增加了SQLCE数据库切换到SqlServer数据库的说明文档,以及配套程序集. 二、系统功能介绍 管理员: 添加账户:教师(主管),学生(员工) 管理账户:修改,删除 添加班级(部门) 管理班级(部门):修改,删除 ...
3.增加了SQLCE数据库切换到SqlServer数据库的说明文档,以及配套程序集. 二、系统功能介绍 管理员: 添加账户:教师(主管),学生(员工) 管理账户:修改,删除 添加班级(部门) 管理班级(部门):修改,删除 ...