亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python多進(jìn)程讀取文件

系統(tǒng) 2149 0

文件夾中文件數(shù)較多,每份文件較大的情況下,可以采用多進(jìn)程讀取文件
最后附完整項(xiàng)目代碼

            
              
                #單進(jìn)程讀取文件夾中的單份文件
              
              
                def
              
              
                read_data
              
              
                (
              
              path
              
                )
              
              
                :
              
              
    start 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
                with
              
              
                open
              
              
                (
              
              path
              
                ,
              
              
                'rb'
              
              
                )
              
              
                as
              
               f
              
                :
              
              
        filename 
              
                =
              
               pickle
              
                .
              
              load
              
                (
              
              f
              
                )
              
              
    end 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
                print
              
              
                (
              
              
                'Task runs %0.2f seconds.'
              
              
                %
              
              
                (
              
              
                (
              
              end 
              
                -
              
               start
              
                )
              
              
                )
              
              
                )
              
              
                return
              
               filename


              
                #向數(shù)據(jù)庫(kù)插入數(shù)據(jù)
              
              
                def
              
              
                insert_data
              
              
                (
              
              db_connect
              
                ,
              
               result
              
                ,
              
               table
              
                )
              
              
                :
              
              
    cursor 
              
                =
              
               db_connect
              
                .
              
              cursor
              
                (
              
              
                )
              
              
                #轉(zhuǎn)換數(shù)據(jù)格式,插入數(shù)據(jù)庫(kù)
              
              
    static_result_df1 
              
                =
              
               np
              
                .
              
              array
              
                (
              
              result
              
                )
              
              
                .
              
              tolist
              
                (
              
              
                )
              
              
    static_result_df2 
              
                =
              
              
                list
              
              
                (
              
              
                map
              
              
                (
              
              
                tuple
              
              
                ,
              
               static_result_df1
              
                )
              
              
                )
              
              

    sql_truncate 
              
                =
              
              
                "truncate {};"
              
              
                .
              
              
                format
              
              
                (
              
              table
              
                )
              
              
    sql_insert 
              
                =
              
              
                '''
    insert into {}
        (columns_name
    ) values 
    (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
    '''
              
              
                .
              
              
                format
              
              
                (
              
              table
              
                )
              
              
                try
              
              
                :
              
              
                # 執(zhí)行sql語(yǔ)句
              
              
        cursor
              
                .
              
              execute
              
                (
              
              sql_truncate
              
                )
              
              
        cursor
              
                .
              
              executemany
              
                (
              
              sql_insert
              
                ,
              
               static_result_df2
              
                )
              
              
                # 執(zhí)行sql語(yǔ)句
              
              
        cursor
              
                .
              
              commit
              
                (
              
              
                )
              
              
                print
              
              
                (
              
              
                "Done Task!"
              
              
                )
              
              
                except
              
              
                :
              
              
                # 發(fā)生錯(cuò)誤時(shí)回滾
              
              
        cursor
              
                .
              
              rollback
              
                (
              
              
                )
              
              
    cursor
              
                .
              
              close
              
                (
              
              
                )
              
              
                if
              
               __name__
              
                ==
              
              
                '__main__'
              
              
                :
              
              
                #開(kāi)啟進(jìn)程,與邏輯核保持一致
              
              
    connect_db 
              
                =
              
               connect_db
              
                (
              
              
                )
              
              
    filepath 
              
                =
              
               r
              
                'D:\filename'
              
              
    table 
              
                =
              
              
                'table_name'
              
              

    t1 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
    pro_num 
              
                =
              
              
                10
              
              
                #進(jìn)程數(shù)
              
              
    pool 
              
                =
              
               Pool
              
                (
              
              processes 
              
                =
              
               pro_num
              
                )
              
              
    job_result 
              
                =
              
              
                [
              
              
                ]
              
              
                #遍歷文件夾讀取所有文件
              
              
                for
              
              
                file
              
              
                in
              
               os
              
                .
              
              listdir
              
                (
              
              filepath
              
                )
              
              
                :
              
              
        filename 
              
                =
              
               filepath 
              
                +
              
              
                '\\'
              
              
                +
              
              
                file
              
              
        res 
              
                =
              
               pool
              
                .
              
              apply_async
              
                (
              
              read_data
              
                ,
              
              
                (
              
              filename
              
                ,
              
              
                )
              
              
                )
              
              
        job_result
              
                .
              
              append
              
                (
              
              res
              
                )
              
              

    pool
              
                .
              
              close
              
                (
              
              
                )
              
              
                #關(guān)閉進(jìn)程池
              
              
    pool
              
                .
              
              join
              
                (
              
              
                )
              
              
                #合并所有讀取的文件
              
              
    get_result 
              
                =
              
               pd
              
                .
              
              DataFrame
              
                (
              
              
                )
              
              
                for
              
               tmp 
              
                in
              
               job_result
              
                :
              
              
        get_result 
              
                =
              
               get_result
              
                .
              
              append
              
                (
              
              tmp
              
                .
              
              get
              
                (
              
              
                )
              
              
                )
              
              
    t2 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              

    insert_data
              
                (
              
              connect_db
              
                ,
              
               get_result
              
                ,
              
               table
              
                )
              
              
                print
              
              
                (
              
              
                'It took a total of %0.2f seconds.'
              
              
                %
              
              
                (
              
              t2 
              
                -
              
               t1
              
                )
              
              
                )
              
            
          

完整項(xiàng)目代碼鏈接:https://github.com/AlisaAlbert/TransferData/blob/master/InsertData.py


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!??!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 久久99热66这里只有精品一 | 青草国产精品久久久久久 | 秘密影院久久综合亚洲综合 | 久久人与动人物a级毛片 | 国产91小视频在线观看 | 日韩欧美色视频在线观看 | 极品粉嫩粉嫩福利视频在线 | 国产麻豆高清视频在线第一页 | 91视频第一页 | 久热草在线 | 国内精品久久久久丫网址 | 豆国产93在线 | 亚洲 | 久久国产午夜精品理论片34页 | 国产高清国产专区国产精品 | 国产亚洲欧洲精品 | 91情国产l精品国产亚洲区 | 国内精品久久久久久久星辰影视 | 国产在线观看中文字幕 | 99爱这里只有精品 | 国产成人精品免费午夜 | 99久久国产综合精品麻豆 | 九九国产视频 | 国产不卡在线观看视频 | 欧美人成一本免费观看视频 | 综合图片亚洲 | 久久国产精品女 | 国产精品久久久久亚洲 | 国产在线视频色综合 | 尤物免费视频 | 美女一级毛片视频 | 国产精品久久久久影院 | 欧美香蕉爽爽人人爽观看猫咪 | 天天色天天操天天 | 久久精品在线免费观看 | 99爱视频精品免视看 | 精品日韩在线视频 | 日本一级毛片片在线播放 | 精品久久久久久午夜 | 国产成人一区二区三区影院免费 | 97色精品视频在线观看免费 | 中文日韩欧美 |