有一個(gè)需求就是需要對url進(jìn)行進(jìn)一步的劃分得到詳細(xì)的各個(gè)字段信息,下面是簡單的實(shí)現(xiàn):
#!/usr/bin/python # -*- coding: UTF-8 -*- ''' __Author__:沂水寒城 功能: 對URL進(jìn)行分割,基于urlparse, publicsuffix, urllib編寫 ''' from urlparse import urlparse import codecs from publicsuffix import PublicSuffixList from urllib import splitport import re def domain_split(server_domain): ''' server_domain為網(wǎng)站所用服務(wù)名+域名 分割域名, 得到前綴(服務(wù)名)、主機(jī)域名、后綴(頂級域名) 輸入www.baidu.com,輸出'www', 'baidu', 'com' 輸入172.31.137.240,輸出'', '172.31.137.240', '' ''' PSL_FILE = codecs.open('public_suffix_list.dat', encoding='utf8') psl = PublicSuffixList(PSL_FILE) domain = psl.get_public_suffix(server_domain) # 取域名的第一個(gè)字段,即第一個(gè)'.'之前的為主機(jī)域名, 后面為頂級域名,前面為所使用的服務(wù) if '.' in domain: server = server_domain[:-len(domain)] host = domain[:domain.index('.')] top = domain[domain.index('.'):] hostname = server + host + top else: # 說明提取域名失敗,例如172.31.137.240等IP形式,此時(shí)全部當(dāng)作主機(jī)域名 server = '' host = server_domain top = '' hostname = server_domain return server, host, top, hostname def url_split_new(url): ''' url分割 ''' if not url.startswith('http'): # 補(bǔ)全協(xié)議,否則urlparse出錯(cuò) url = 'http://' + url parts = urlparse(url) # 服務(wù)+域名'www.baidu.api.com.cn'切分 server, host, top, hostname = domain_split(parts.netloc) host, port = splitport(host) if port == None: port = '' return {'protocol': parts.scheme, 'hostname': hostname, 'path': parts.path} if __name__ == '__main__': print url_split_new('http://www.baidu.com/') print url_split('http://www.baidu.com/')
以上這篇python實(shí)現(xiàn)切割url得到域名、協(xié)議、主機(jī)名等各個(gè)字段的例子就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
