1.1 數據與數據管理技術

數據庫是數據管理的主要技術，是計算機科學的重要分支。對于一個國家來說，數據庫的建設規模、數據庫信息量的大小和使用頻度已成為衡量這個國家信息化程度的重要標志。數據庫變得越來越重要，而且無處不在，比如今日頭條等網絡新聞的存儲、QQ好友信息同步、求職信息發布、選課信息呈現、電子商務平臺的個性化信息的推薦等，都離不開數據庫。

因此，數據庫已經成為現代信息系統不可分離的重要組成部分。具有數百萬甚至數十億字節信息的數據庫已經普遍存在于金融、教育、工業、農業、服務業和政府部門等諸多行業部門的信息系統中，是計算機領域中發展最快的技術之一。

數據庫系統的出現使信息系統從以加工數據的程序為中心轉向圍繞共享的數據庫為中心的新階段。這樣既便于數據的集中管理，又有利于應用程序的研制和維護，提高了數據的利用率和相容性，目前的大數據技術提高了決策的可靠性。

1.1.1 數據庫系統的基本概念

1．數據與信息

現代社會是信息的社會，信息正在以驚人的速度增長。因此，如何有效地組織和利用它們已成為急需解決的問題。引入數據庫技術的目的就是為了高效地管理及共享大量的信息，而信息與數據是分不開的。

數據是描述事物的符號記錄，也是數據庫中存儲、用戶操縱的基本對象。數據不僅是數值，而且可以是文字、圖形、動畫、聲音、視頻等。數據是信息的符號表示。例如，可以這樣來描述某高校計算機系一位同學的基本信息：李梅，女，1995年6月生，安徽省阜陽市人，2014年入學。在計算機中描述如下：（李梅，女，1995-06，安徽省阜陽市，計算機系，2014），即把學生的姓名、性別、出生年月、出生地、所在院系、入學時間等組織在一起，組成一條記錄。這些符號被賦予了特定的語義，具體描述了一條信息，具有了傳遞信息的功能。數據有如下特性。

1）數據是有“型”和“值”之分。數據的型是指數據的結構，數據的值是指數據的具體取值。如表1-1中的課程信息是由“課程編號”“課程名稱”“學分”“學時”“教師編號”等數據項構成的。第一行就可以看作課程數據的型，第二行開始就是課程的信息，即課程型的值。

從表1-1可以看出，數據項“教師編號”還可以與教師信息表中的教師編號建立聯系。因此數據的型不僅可以表示數據內部的構成，還能表示數據之間的聯系。

2）數據有定性表示和定量表示之分。比如一個人的健康情況可以用“良好”和“一般”來表示，而學生的成績可以用數字表示。

3）數據受數據類型和取值范圍的約束。數據類型是針對不同的應用場合設計的數據約束。數據類型不同，則數據的表示形式、存儲方式以及能進行的操作運算也各不相同。比如一個人的年齡就必須用整數表示。在使用計算機處理信息時，就應該為數據選擇合適的類型。常見數據類型有字符型、數值型、日期型等。

4）數據具有載體和多種表現形式。數據的載體可以是紙張、硬盤等，也可以是報表、語音以及不同語言符號表示。

信息是有一定含義的、經過加工處理的、對決策有價值的數據。例如，農民在實際的生產過程中，從生產規劃、種植前準備、種植期管理，到采收、銷售等環節，可以從“天時、地利、人和”三方面理解數據收集。“天時”可以指實時的氣象數據，如降水、溫度、風力、濕度等；“地利”可以指動靜態的土壤數據，如土壤水分、土壤溫度，作物品種信息、作物病蟲害信息等；“人和”則是從人力資源給出的信息，如農資產品使用、農產品加工和流通渠道、農產品市場價格等。通過整合農民機械化農場設備的種植和產量數據，以及氣象、種植區劃等多樣數據，可以得到較為詳盡的種植決策信息，精準化農事生產，幫助農民提高產量和利潤。利用信息通過對農業生產全過程的精準化、智能化管理，可以極大限度地減少化肥、水資源、農藥等投入，提高作業質量，使農業經營變得有序化，從而為轉向規模化經營打下良好基礎。因此，信息是對現實世界中存在的客觀實體、現象、聯系進行描述的有特定語義的數據，它是人類共享的一切知識及客觀加工提煉出的各種消息的總和。

從以上可以看出，信息和數據既有聯系又有區別。在數據庫領域，通常處理的是像學生記錄這樣的數據，它是有結構的，稱之為結構化數據。正因為如此，通常對數據和信息不作嚴格區分。

信息與數據的關系可以歸納為：數據是信息的載體，信息是數據的內涵。即數據是信息的符號表示，而信息通過數據描述，又是數據語義的解釋。

數據處理又稱為信息處理，是指對各種形式的數據進行收集、存儲、傳播和加工直至產生新信息輸出的全過程。數據處理的目的一般有兩個：一是借助計算機科學地保存和管理大量復雜的數據，以方便而充分地利用這些寶貴的信息資源；其二是從大量已知的表示某些信息的原始數據出發，抽取、導出對人們有價值的、新的信息。例如，為了統計每個班的男生和女生的人數，首先要獲取所有學生的基本數據，如圖1-1左表所示，通過數據處理，產生圖1-1右表所示的匯總信息，從中可以看到，1701和1703兩個班的男生人數均為兩人，女生人數均為一人。

數據管理是數據處理的中心問題，是指數據的收集、整理、組織、存儲、查詢、維護和傳送等各種操作，也是數據處理的基本環節，是數據處理必有的共性部分。因此，對數據管理應當加以突出，集中精力開發出通用且方便好用的軟件，把數據有效地管理起來，以便最大限度地減輕數據消費者的負擔。

總之，數據處理和數據管理是相互聯系的，數據管理中各種操作都是數據處理業務必不可少的基本環節，數據管理技術的好壞，直接影響到數據處理的效率。

數據技術所研究的問題是如何科學組織和存儲數據，如何高效地處理數據以獲取其內在信息。數據庫技術正是針對這一目標逐漸完善起來的一門計算機軟件技術。

2．數據庫

“數據庫”這個名詞起源于20世紀中葉，當時美軍為作戰指揮需要建立起了一個高級軍事情報基地，把收集到的各種情報存儲在計算機中，并稱之為“數據庫”。起初人們只是簡單地將數據庫看作是一個電子文件柜、一個存儲數據的倉庫或容器。后來隨著數據庫技術的產生，人們引申并沿用了該名詞，給“數據庫”這個名詞賦予了更深層的含義。

那么，數據庫到底是什么呢？可以簡單歸納為：數據庫（DataBase，DB）是按照一定結構組織并長期存儲在計算機內的、可共享的大量數據的集合。概括起來說，數據庫具有永久存儲、有組織和可共享三個基本特點。關于數據庫的概念，請注意以下5點。

1）數據庫中的數據是按照一定的結構——數據模型來進行組織的，即數據間有一定的聯系以及數據有語義解釋。數據與對數據的解釋是密不可分的。例如，2017，若描述一個學生的入學年份表示2017年，若描述山的高度則表示2017米。

2）數據庫的存儲介質通常是硬盤，其他介質包括光盤、U盤等。這些數據存儲介質可大量地、長期地存儲及高效地使用數據。

3）數據庫中的數據能為眾多用戶所共享，能方便地為不同的應用服務，比如資訊平臺。

4）數據庫是一個有機的數據集成體，它由多種應用的數據集成而來，故具有較少的冗余、較高的數據獨立性（即數據與程序間的互不依賴性）。

5）數據庫由用戶數據庫和系統數據庫（即數據字典，對數據庫結構的描述）兩大部分組成。數據字典是關于系統數據的數據庫，通過它能有效地控制和管理用戶數據庫。

3．數據庫管理系統

數據庫管理系統（Database Management System，DBMS）安裝于操作系統之上，是一個管理、控制數據庫中各種數據庫對象的系統軟件。數據庫用戶無法直接通過操作系統獲取數據庫文件中的具體內容。數據庫管理系統通過調用操作系統的服務，比如進程管理、內存管理、設備管理以及文件管理等服務，為數據庫用戶提供管理、控制數據庫中各種數據庫對象、數據庫文件的接口，實現對數據的管理和維護。

數據庫管理系統通常會選擇某種“數學模型”存儲、組織、管理數據庫中的數據，常用的數學模型包括“層次模型”“網狀模型”“關系模型”“面向對象模型”等。基于“關系模型”的數據庫管理系統稱為關系數據庫管理系統（Relational Database Management System，RDBMS）。隨著關系數據庫管理系統的日臻完善，目前關系數據庫管理系統已占據主導地位。

通過關系數據庫管理系統，數據庫開發人員可以輕而易舉地創建關系數據庫容器，并在該數據庫容器中創建各種數據庫對象（表、索引、視圖、存儲過程、觸發器、函數等）以及維護各種數據庫對象。

數據庫管理系統的目標是讓用戶能夠更方便、更有效、更可靠地建立數據庫和使用數據庫中的信息資源。數據庫管理系統不是應用軟件，它不能直接用于諸如工資管理、人事管理、資料管理等事務管理工作，但數據庫管理系統能夠為事務管理提供技術和方法、應用系統的設計平臺和設計工具，使相關的事務管理軟件很容易設計。也就是說，數據庫管理系統是為設計數據管理應用項目提供的計算機軟件，利用數據庫管理系統設計事務管理系統可以達到事半功倍的效果。

DBMS主要作用是在數據庫建立、運行和維護時對數據庫進行統一的管理控制和提供數據服務，可以從以下4個方面理解。

1）從操作系統角度。DBMS是使用者，它建立在操作系統的基礎之上，需要操作系統提供底層服務，如創建進程、讀寫磁盤文件、管理CPU和內存等。

2）從數據庫角度。DBMS是管理者，是數據庫系統的核心，是為數據庫的建立、使用和維護而配置的系統軟件，負責對數據庫進行統一的管理和控制。

3）從用戶角度。DBMS是工具或橋梁，是位于操作系統與用戶之間的一層數據管理軟件。用戶發出的或應用程序中的各種操作數據庫的命令，都要通過它來執行。

4）產業化的DBMS稱為數據庫產品。目前，商品化的數據庫管理系統以關系型數據庫為主導產品，技術比較成熟。主要有Oracle公司的Oracle和MySQL，IBM公司的DB2，SYBASE公司的Sybase，Microsoft公司的SQL Server、Access和Visual FoxPro等。

（1）Oracle

Oracle世界上第一個開放式商品化關系型數據庫管理系統，于1983年推出。它采用標準的結構化查詢語言（Structured Query Language，SQL），支持多種數據類型，提供面向對象存儲的數據支持，具有第四代語言開發工具，支持UNIX、Windows NT、OS/2、Novell等多種平臺。除此之外，它還具有很好的并行處理功能。Oracle產品主要由Oracle服務器產品、Oracle開發工具、Oracle應用軟件組成，也有基于PC的數據庫產品，主要滿足對銀行、金融、保險等企業、事業單位開發大型數據庫的需求。

Oracle數據庫最新版本為Oracle Database 19c。

（2）DB2

DB2是IBM公司研制出的一種關系型數據庫管理系統，分別在不同的操作系統平臺上服務。DB2是基于SQL的關系型數據庫產品。20世紀80年代初期DB2的重點放在大型的主機平臺上。到20世紀90年代初，DB2發展到中型機、小型機以及PC平臺，DB2適用于各種硬件與軟件平臺，各種平臺上的DB2有共同的應用程序接口，運行在一種平臺上的程序可以很容易地移植到其他平臺。DB2的用戶主要分布在金融、商業、鐵路、航空、醫院、旅游等各個領域，以金融系統的應用最為突出。

（3）Sybase

Sybase是美國SYBASE公司推出的客戶機/服務器（C/S）模式的關系數據庫系統，也是世界上第一個真正的基于客戶機/服務器體系結構的關系數據庫管理系統。Sybase數據庫將用戶分為四種不同的類型，即系統管理員、數據庫管理員、數據庫對象管理員和其他一般用戶。系統管理員可訪問所有數據庫和數據庫對象。Sybase產品主要由服務器產品Sybase SQL Server、客戶產品Sybase SQL Toolset和接口軟件Sybase Client/Server Interface組成，還有著名的數據庫應用開發工具PowerBuilder。

（4）MySQL

MySQL是目前最流行的關系型數據庫管理系統，由瑞典MySQL AB（AB，在瑞典語中表示“股份公司”，是“aktiebolag”的首字母縮寫）公司開發，目前屬于Oracle公司。在Web應用方面MySQL是最好的RDBMS應用軟件之一。目前最新的版本是5.7，本書也將以此版本作為講述對象。

MySQL所使用的SQL語言是用于訪問數據庫的最常用標準化語言。MySQL軟件分為社區版和商業版，由于其體積小、速度快、總體擁有成本低，尤其是開放源代碼這一特點，一般中小型網站的開發都選擇MySQL作為網站數據庫。由于其社區版的性能卓越，搭配PHP和Apache可組成良好的開發環境。

（5）SQL Server

SQL Server是美國微軟公司開發的一個關系數據庫管理系統，采用客戶/服務器體系結構，以T-SQL作為其數據庫查詢和編程語言。SQL Server采用二級安全驗證、登錄驗證以及數據庫用戶許可驗證等安全模式。SQL Server支持兩種身份驗證模式：Windows NT身份驗證和SQL Server身份驗證，權限分配非常靈活。SQL Server可以在不同的Windows操作平臺上運行，并支持多種不同類型的網絡協議，如TCP/IP、IPX/SPX等。近年來，SQL Server不斷更新版本，最新版本為SQL Server 2017。

（6）PostgreSQL

PostgreSQL是一個開放源代碼的關系型數據庫管理系統，它是在加州大學伯克利分校計算機系開發的POSTGRES基礎上發展起來的。目前，PostgreSQL數據庫已經是個非常優秀的開源項目，很多大型網站都使用PostgreSQL數據庫來存儲數據。

PostgreSQL支持大部分SQL標準，并且提供了許多其他特性，如復雜查詢、外鍵、觸發器、視圖、事務完整性和MVCC。同樣，PostgreSQL可以用許多方法擴展，例如，通過增加新的數據類型、函數、操作符、聚集函數和索引方法等。

（7）Access

1992年，Microsoft公司首次發布Access。Access是Microsoft公司推出的基于Windows的桌面關系數據庫管理系統（RDBMS），是Office系列應用軟件之一。它提供了表、查詢、窗體、報表、頁、宏、模塊7種用來建立數據庫系統的對象；提供了多種向導、生成器、模板，把數據存儲、數據查詢、界面設計、報表生成等操作規范化，為建立功能完善的數庫管理系統提供了方便，也使得普通用戶不必編寫代碼，就可以完成大部分數據管理的功能。由于Access只是一種桌面數據庫，所以它適合數據量少（記錄數不多和數據庫文件不大）的應用。目前最新版本為Access 2019。

（8）Visual FoxPro

Visual FoxPro簡稱VFP，是Microsoft公司推出的數據庫開發軟件，用它來開發數據庫，既簡單又方便。Visual FoxPro源于美國Fox Software公司推出的數據庫產品FoxBase，在DOS上運行，與xBase系列相容。FoxPro原來是FoxBase的加強版，最高版本曾出過2.6。之后，Fox Software被微軟收購，加以發展，使其可以在Windows上運行，并且更名為Visual FoxPro。目前最新版為Visual FoxPro 9.0。在桌面型數據庫應用中，Visual FoxPro處理速度極快，是日常工作中的得力助手。

注：Visual Foxpro、Access和SQL Server都是Microsoft公司的產品，只能在Microsoft公司Windows系列的操作系統上運行。而Oracle、DB2、MySQL和PostgreSQL等數據庫是可以跨平臺的，它們不僅可以在Windows系列的操作系統上運行，還可以在其他操作系統（例如UNIX、Linux和Max OS）上運行。

DBMS主要功能包括以下幾個方面。

1）數據定義功能。DBMS提供數據定義語言（Data Definition Language，DDL），用戶通過它可以方便地對數據庫中的數據對象進行定義，比如數據庫表結構的定義。

2）數據操縱功能。DBMS還提供數據操縱語言（Data Manipulation Language，DML），用戶可以使用DML操縱數據以實現對數據庫的基本操作，如查詢、插入、刪除和修改等。

3）數據庫的運行管理。數據庫在建立、運用和維護時由數據庫管理系統統一管理、統一控制，以保證數據的安全性、完整性、多用戶對數據的并發使用及發生故障后的系統恢復。

4）數據庫的建立和維護功能。數據庫的建立是指對數據庫各種數據的組織、存儲、輸入、轉換等，包括以何種文件結構和存儲方式組織數據，如何實現數據之間的聯系等。

數據庫的維護是指通過對數據的并發控制、完整性控制和安全性保護等策略，以保證數據的安全性和完整性，并且在系統發生故障后能及時回復到正確的狀態。

數據庫管理系統是數據庫系統的一個重要組成部分。

4．數據庫系統

數據庫系統（DataBase System，DBS）是指計算機引入數據庫后的系統，它能夠有組織地、動態地存儲大量的數據，提供數據處理和數據共享機制。一般由硬件系統、軟件系統、數據庫和人員組成。由于數據庫的建立、使用和維護等工作只靠一個DBMS是不夠的，還需要專門的專業人員協助完成。DBS其簡化表示為：

DBS=計算機系統（硬件、軟件平臺、人）+DBMS+DB

數據庫系統包含了數據庫、DBMS、軟件平臺與硬件支撐環境及各類人員；DBMS在操作系統（Operating System，OS）的支持下，對數據庫進行管理與維護，并提供用戶對數據庫的操作接口。一般在不引起混淆的情況下，常常把數據庫系統直接簡稱為數據庫。它們之間的關系如圖1-2所示。

5．信息系統

信息系統（lnformation System，IS）是由計算機硬件、網絡和通信設備、計算機軟件、信息資源、信息用戶等組成的以處理信息流為目的的人機一體化系統。它是以提供信息服務為主要目的數據密集型、人機交互的計算機應用系統，具有對信息進行加工處理、存儲和傳遞，同時具有預測、控制和決策等功能。

信息系統的5個基本功能是信息的輸入、存儲、處理、輸出和控制。一個完整的信息系統應包括控制與自動化系統、輔助決策系統、數據庫（含知識庫）系統以及與外界交換信息的接口等，它是一個綜合、動態的管理系統。

從信息系統的發展和系統特點來看，可大致分為數據處理系統、管理信息系統、決策支持系統、虛擬現實系統、專家或智能系統等類型。無論是哪種類型的系統都需要基礎數據庫及其數據管理的支持，故數據庫系統是信息系統的重要基石。

不同的程序設計語言會采用不同的數據庫訪問技術。主要的數據庫訪問技術有ODBC、JDBC、ADO. NET、PDO等。

1.1.2 數據管理技術的發展

目前，在計算機的各類應用程序中，用于數據處理的約占80%。數據處理是指對數據進行收集、管理、加工、傳播等一系列工作。其中，數據管理是研究如何對數據分類、組織、編碼、存儲、檢索和維護的一門技術，其優劣直接影響數據處理的效率，因此它是數據處理的核心。數據庫技術是應數據管理的需求而產生的，而數據管理技術又是隨著計算機技術的發展而完善的。數據管理技術經歷了人工管理、文件系統管理、數據庫系統管理階段，隨著新技術的發展，其研究與應用已邁向高級數據庫系統階段。

1．人工管理

人工管理階段是計算機數據管理的初級階段。當時計算機主要用于科學計算，數據量少、不能保存。數據面向應用，多個應用涉及的數據相同時，由于用戶各自定義自己的數據，無法共享，因此存在大量的數據冗余。此外，當時沒有專門的軟件對數據進行管理，程序員在設計程序時不僅要規定數據的邏輯結構，而且還要設計其物理結構（即數據的存儲地址、存取方法、輸入輸出方式等），這樣使得程序與數據相互依賴、密切相關（即數據獨立性差），一旦數據的存儲地址、存儲方式稍有改變，就必須修改相應的程序。

人工管理階段程序與數據的關系如圖1-3所示。

人工管理階段的主要問題如下。

1）無外存或只有磁帶外存，輸入輸出設備簡單。數據不能長期保存。

2）無操作系統，無文件管理系統，無管理數據的軟件。數據不能共享，冗余度極大。

3）數據是程序的組成部分，數據不獨立，修改數據必須修改程序。處理時，數據隨程序一起送入內存，用完后全部撤出計算機，不能保留。數據大量重復，不能共享。數據獨立性差。

4）文件系統尚未出現，程序員必須自行設計數據的組織方式。

2．文件系統管理

到了20世紀50年代末，計算機不僅用于科學計算，而且大量用于數據管理，同時磁盤、磁鼓等大容量直接存儲設備的出現，可以用來存儲大量數據。操作系統中的文件系統就是專門用來管理所存儲數據的軟件模塊。主要表現在以下幾個方面。

1）外存有了很大的發展，除磁帶機外，還出現了大容量的硬盤和靈活的軟磁盤。輸入、輸出能力大大加強。

2）系統軟件方面，出現了操作系統、文件管理系統和多用戶的分時系統；出現了專用于商業事務管理的高級語言COBOL，它主要用于文件處理，也可以進行非數值處理。

3）數據管理方面，實現了數據對程序的一定的獨立性，數據不再是程序的組成部分，修改數據不必修改程序，數據有結構，被組織到文件內，存儲在磁帶、磁盤上，可以反復使用和保存。文件邏輯結構向存儲結構的轉換由軟件系統自動完成，減輕了系統開發和維護工作。

4）文件類型已經多樣化。由于有了直接存取設備，就有了索引文件、鏈接文件、直接存取文件等，而且能對排序文件進行多碼檢索。

5）數據存取以記錄為單位。

這一階段數據管理的特點有：數據可以長期保存；對文件進行統一管理，實現了按名存取，文件系統實現了一定程度的數據共享（文件部分相同，則難以共享）；文件的邏輯結與物理結構分開，數據在存儲器上的物理位置、存儲方式等的改變不會影響用戶程序（即物理獨立性好），但一旦數據的邏輯結構改變，必須修改文件結構的定義，修改應用程序（即邏輯獨立性差）。文件系統中程序與數據的關系如圖1-4所示。此外，文件是為某一特定應用服務的，難以在已有數據上擴充新的應用，文件之間相對獨立，有較多的數據冗余，應用設計與編程復雜。

文件系統管理的主要問題如下。

1）邏輯獨立性差。文件是為某一特定應用服務的，系統不易擴充。一旦數據邏輯結構改變，就必須修改文件結構的定義及應用程序；應用程序的變化也將影響文件的結構。因而文件仍不能反映現實世界事物之間的聯系。

2）數據冗余度較大。文件系統中文件基本上對應于某個應用程序，數據仍是面向應用的，不同應用程序所需數據有相同部分時，仍需建立各自的數據文件，不能共享，數據維護困難，一致性難以保證。

3）文件應用編程復雜。

3．數據庫系統管理

隨著數據量急劇增加，數據管理的規模日趨增大，數據操作與管理日益復雜，文件系統管理已不能適應需求。20世紀60年代末發生了對數據庫技術有著奠基作用的兩件大事：1968年美國的IBM公司推出了世界上第一個層次數據庫管理系統；1970年美國IBM公司的高級研究員E. F. Codd連續發表論文，提出了關系數據庫的理論。這些標志著以數據庫系統為手段的數據管理階段的開始。

數據庫系統對數據的管理方式與文件系統不同，它把所有應用程序中使用的數據匯集起來，按照一定結構組織集成，在DBMS軟件的統一監督和管理下使用，多個用戶、多種應用可充分共享。數據庫系統中程序與數據之間的關系如圖1-5所示。數據庫管理技術的出現為用戶提供了更廣泛的數據共享和更高的數據獨立性，并為用戶提供了方便的操作使用接口。

現在，數據庫系統的管理技術快速發展，正在進入管理非結構化數據、海量數據、知識信息，面向物聯網、云計算等新的應用與服務為主要特征的高級數據庫系統階段。數據庫系統管理正向著綜合、集成、智能一體化的數據庫服務系統時代邁進。

數據管理經歷的各個階段有自己的背景及特點，數據管理技術也在發展中不斷地完善，其3個階段的比較見表1-2。

數據庫的上述特點使信息系統的研制，從圍繞加工數據的以程序為中心轉移到圍繞共享的數據庫來進行，實現了數據的集中管理，提高了數據的利用率和一致性，從而能更好地為決策服務。