亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python爬蟲存進數據庫

系統 1877 0
            
              
                import
              
               os
              
                ,
              
              sys

              
                import
              
               requests

              
                import
              
               bs4

              
                import
              
               pymysql

              
                #import MySQLdb
              
              
                #連接MYSQL數據庫  ,第一個參數是ip地址/數據庫的用戶名/密碼/數據庫名稱/端口/編碼格式
              
              
db 
              
                =
              
               pymysql
              
                .
              
              connect
              
                (
              
              host
              
                =
              
              
                '127.0.0.1'
              
              
                ,
              
              user
              
                =
              
              
                'root'
              
              
                ,
              
              password
              
                =
              
              
                'mysql'
              
              
                ,
              
              db
              
                =
              
              
                'test'
              
              
                ,
              
              port
              
                =
              
              
                3306
              
              
                ,
              
              charset
              
                =
              
              
                'utf8'
              
              
                )
              
              
                #db = MySQLdb.connect('127.0.0.1','root','mysql','test',coon.set_character_set('utf8'))
              
              
                print
              
              
                (
              
              
                '連接數據庫成功!'
              
              
                )
              
              
conn 
              
                =
              
               db
              
                .
              
              cursor
              
                (
              
              
                )
              
              
                #cursor是游標對象,獲取指針以操作數據庫
              
              
conn
              
                .
              
              execute
              
                (
              
              
                'set names utf8'
              
              
                )
              
              
                #-------------------------------------------------------------------------------------
              
              
html 
              
                =
              
              
                'https://www.dongmanmanhua.cn/dailySchedule?weekday=MONDAY'
              
              
result 
              
                =
              
               requests
              
                .
              
              get
              
                (
              
              html
              
                )
              
              
texts 
              
                =
              
               result
              
                .
              
              text

data 
              
                =
              
               bs4
              
                .
              
              BeautifulSoup
              
                (
              
              texts
              
                ,
              
              
                'html.parser'
              
              
                )
              
              
                ;
              
              
lidata 
              
                =
              
               data
              
                .
              
              select
              
                (
              
              
                'div#dailyList ul.daily_card li'
              
              
                )
              
              
                #print(lidata)
              
              
arr 
              
                =
              
              
                {
              
              
                }
              
              
                for
              
               x 
              
                in
              
               lidata
              
                :
              
              
    did 
              
                =
              
               x
              
                .
              
              get
              
                (
              
              
                'data-title-no'
              
              
                )
              
              
                print
              
              
                (
              
              did
              
                )
              
              
    name 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'p.subj'
              
              
                )
              
              
    name1 
              
                =
              
               name
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
    url 
              
                =
              
               x
              
                .
              
              a
              
                .
              
              get
              
                (
              
              
                'href'
              
              
                )
              
              
                #print(url)
              
              
    story 
              
                =
              
               x
              
                .
              
              a
              
                .
              
              p
    story1 
              
                =
              
               story
              
                .
              
              string
    user 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'p.author'
              
              
                )
              
              
    user1 
              
                =
              
               user
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
    like 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'em.grade_num'
              
              
                )
              
              
    like1 
              
                =
              
               like
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
                #-----------------------------------------------------------------------------------------------
              
              
                #寫入MYSQL數據庫
              
              
    t 
              
                =
              
              
                [
              
              did
              
                ,
              
              name1
              
                ,
              
              url
              
                ,
              
              story1
              
                ,
              
              user1
              
                ,
              
              like1
              
                ]
              
              
    sql 
              
                =
              
               u
              
                "INSERT INTO dongman(did,name,url,story,user,likes) VALUES(%s,%s,%s,%s,%s,%s)"
              
              
    conn
              
                .
              
              execute
              
                (
              
              sql
              
                ,
              
              t
              
                )
              
              
                #    t1 = (did,name1,url,story1,user1,like1)
              
              
                #    sql1 = u'''insert into dongman(did,name,url,story,user,likes) values (%d,'%s','%s','%s','%s','%s')''' % t1
              
              
                #    conn.execute(sql1)
              
              
    db
              
                .
              
              commit
              
                (
              
              
                )
              
              
                #提交操作
              
              
                print
              
              
                (
              
              
                '插入數據成功!'
              
              
                )
              
              
                #關閉MySQL連接
              
              
conn
              
                .
              
              close
              
                (
              
              
                )
              
              
db
              
                .
              
              close
              
                (
              
              
                )
              
            
          

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲小视频在线 | 91尤物国产尤物福利在线 | 成人老司机深夜福利久久 | 欧美成人性videos | 国产精品美女流白浆视频 | 精品热久国产福利视频 | 婷婷激情在线视频 | 97福利视频 | 国产精品麻豆久久99 | 欧美伊香蕉久久综合类网站 | 国产亚洲一区呦系列 | 97超级碰碰碰碰精品 | 波多野结衣精品一区二区三区 | 夜夜操天天插 | 婷婷国产成人久久精品激情 | 欧美在线综合 | 99久久精品国产9999高清 | 久久在线观看免费视频 | 国产99视频精品草莓免视看 | 国产97色在线 | 亚洲 | 久久99热这里只有精品高清 | 日本19xxxxxxxx69| 99视屏 | 美女被羞羞产奶视频网站 | 欧美成人交tv免费观看 | 乱人伦中文视频在线 | 四虎精品影院 | 亚洲精品tv久久久久久久久久 | 国产欧美在线视频免费 | 中文字幕亚洲一区 | 欧美日韩一区二区亚洲 | www亚洲欲色成人久久精品 | 一级毛片在线免费观看 | 天天躁狠狠躁夜夜躁 | 国产精选在线播放 | 色天天色综合 | 伊人久久成人 | 狠狠色丁香婷婷久久 | 欧美日韩免费在线观看 | 国产精品免费视频播放 | 在线观看www.|