1.查詢(xún)數(shù)據(jù)庫(kù)中數(shù)據(jù)表是否存在，不存在則創(chuàng)建

            
              import psycopg2

conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
try:
     cur.execute("select to_regclass(" + "\'" +  table_name + "\'" + ") is not null")
     rows = cur.fetchall()
except Exception as e:
     rows = []
     conn.close()
if rows:
     data = rows
     flag = data[0][0]
     print(flag)   

            
          

flag的值即為查詢(xún)出來(lái)的表是否存在的狀態(tài)，存在則為T(mén)rue，不存在則為False
利用python在數(shù)據(jù)庫(kù)創(chuàng)建表的例子網(wǎng)上很多，在此就不進(jìn)行贅述了。

1. executemany()方法批量輸入數(shù)據(jù)到數(shù)據(jù)庫(kù)
   data是需要插入的數(shù)據(jù)，為list類(lèi)型，3列，數(shù)據(jù)條數(shù)有70多萬(wàn)條

            
              import psycopg2
    
conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
sql =  "insert into " + table_name + " values(%s, %s, %s)"
cur.executemany(sql, data)
conn.commit()
conn.close()

            
          

該方法下，70多萬(wàn)條數(shù)據(jù)插入到數(shù)據(jù)庫(kù)需要3.88分鐘

1. datafame的to_sql()插入數(shù)據(jù)到數(shù)據(jù)庫(kù)

            
              from sqlalchemy import create_engine

result = pd.DataFrame(data)
engine = create_engine('postgresql://user:password@host:port/database')
pd.io.sql.to_sql(result, table_name, engine, index = False, if_exists='append')

            
          

該方法下，70多萬(wàn)條數(shù)據(jù)插入到數(shù)據(jù)庫(kù)需要4.42分鐘

1. 強(qiáng)大的copy_from()，是postgresSQ的內(nèi)置函數(shù)

            
              import psycopg2
from sqlalchemy import create_engine
import pandas as pd
import StringIO
from io import BytesIO

data1 = pd.DataFrame(data)
# dataframe類(lèi)型轉(zhuǎn)換為IO緩沖區(qū)中的str類(lèi)型
output = BytesIO()
data1.to_csv(output, sep='\t', index=False, header=False)
output1 = output.getvalue()
   
conn = psycopg2.connect(host=***, user=***, password=***, database=***)
cur = conn.cursor()
cur.copy_from(StringIO.StringIO(output1), table_name1, null='',columns=columns)
conn.commit()
cur.close()
conn.close()
print('done')

            
          

這兒需要特別記錄下，copy_from是默認(rèn)將\N作為NULL值得，但是to_csv會(huì)將None值變?yōu)椤啊弊址?，因此需要在copy_from中說(shuō)明null=''，即空字符串就是代表的NULL，找了好久才找到快速解決null值得問(wèn)題，是中文網(wǎng)站上找到的，確實(shí)英文提問(wèn)英文回答的，應(yīng)該是兩個(gè)老外一問(wèn)一答

在實(shí)際使用中又遇到一個(gè)問(wèn)題，查詢(xún)數(shù)據(jù)庫(kù)時(shí)，如果字段為int類(lèi)型，存在空值，python查詢(xún)出數(shù)據(jù)后，int類(lèi)型空值會(huì)變成NaN，to_csv時(shí)，int類(lèi)型字段會(huì)被修改為float類(lèi)型的，我的解決方法是在查詢(xún)sql時(shí)將int型字段轉(zhuǎn)換為字符串類(lèi)型的。

用copy_from()方法，70多萬(wàn)條數(shù)據(jù)插入到數(shù)據(jù)庫(kù)僅僅需要0.06分鐘,相比于前兩種方法執(zhí)行效率高太多啦
嘗試了多張數(shù)據(jù)表循環(huán)批量插入，之前用executemany()需要15個(gè)小時(shí)才能插入完成的數(shù)據(jù)，用copy_from()只需要90分鐘左右。相比來(lái)說(shuō)已經(jīng)很優(yōu)秀了！

原文地址：https://blog.csdn.net/skye1208/article/details/90264431