最近在弄一個項目分析的時候,看到有一個后綴為”.sqlite”的數據文件,由于以前沒怎么接觸過,就想著怎么用python來打開并進行數據分析與處理,于是稍微研究了一下。
SQLite是一款非常流行的關系型數據庫,由于它非常輕盈,因此被大量應用程序采用。
像csv文件一樣,SQLite可以將數據存儲于單個數據文件,以便方便的分享給其他人員。許多編程語言都支持SQLite數據的處理,python語言也不例外。
sqlite3是python的一個標準庫,可以用于處理SQLite數據庫。
用sqlite3創建和操作數據庫文件
對于數據庫的SQL語句,本文會用到最基礎的SQL語句,應該不影響閱讀。如果想進一步了解,可參考如下網址:
http://www.w3school.com.cn/sql/index.asp
下面,我們來應用salite3模塊來創建SQLite數據文件,以及進行數據讀寫操作。
主要的步驟如下:
與數據庫建立連接,創建數據庫文件(.sqlite文件)
創建游標(cursor)
創建數據表(table)
向數據表中插入數據
查詢數據
演示代碼如下:
import sqlite3 with sqlite3.connect('test_database.sqlite') as con: c = con.cursor() c.execute('''CREATE TABLE test_table (date text, city text, value real)''') for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"): print("Table", table[0]) c.execute('''INSERT INTO test_table VALUES ('2017-6-25', 'bj', 100)''') c.execute('''INSERT INTO test_table VALUES ('2017-6-25', 'pydataroad', 150)''') c.execute("SELECT * FROM test_table") print(c.fetchall())
Table test_table [('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]
關于SQLite數據庫中數據的可視化預覽,有很多的工具可以實現,我這里使用的是SQLite Studio,是一個免費使用的工具,不需要安裝,下載下來就可以使用,有興趣的同學可以參考下面的鏈接。
https://sqlitestudio.pl/index.rvt?act=download
數據預覽的效果如下:
用pandas來讀取sqlite數據文件
從上面代碼的運行結果可以看出,數據查詢的結果是一個由tuple組成的list。python的list數據在進行進一步的數據處理與分析時,可能會不太方便。可以想象一下,假設如果數據庫的表格中一共有100萬行或者更多數據,從list中循環遍歷獲取數據,效率會比較低。
這時,我們可以考慮用pandas提供的函數來從SQLite數據庫文件中讀取相關數據信息,并保存在DataFrame中,方便后續進一步處理。
Pandas提供了兩個函數,均可以讀取后綴為“.sqlite”數據文件的信息。
read_sql()
read_sql_query()
import pandas as pd with sqlite3.connect('test_database.sqlite') as con: # read_sql_query和read_sql都能通過SQL語句從數據庫文件中獲取數據信息 df = pd.read_sql_query("SELECT * FROM test_table", con=con) # df = pd.read_sql("SELECT * FROM test_table", con=con) print(df.shape) print(df.dtypes) print(df.head())
(2, 3)
date????? object
city????? object
value??? float64
dtype: object
??????? date??????? city? value
0? 2017-6-25????????? bj? 100.0
1? 2017-6-25? pydataroad? 150.0
以上這篇Python讀取和處理文件后綴為.sqlite的數據文件(實例講解)就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
