今天群里有個(gè)伙計(jì)問，怎么用python統(tǒng)計(jì)Nginx日志訪問次數(shù)前十的IP才能快一些，他表示自己使用的方式是將日志前面的IP全部放在列表中，然后通過列表的count方法來統(tǒng)計(jì)的，起初都還好，但是當(dāng)日志量一大就很慢，問有沒有啥好的方法可以解決！

當(dāng)然有，可以使用python的字典來加快速度，下面的日志文件是我用代碼模擬生成的：

            
              #!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/5/22 10:27
# @Author  : Cooleyes
# @File    : get_top10.py
# @Software: PyCharm

# 舞臺(tái)再大，你不表演，你永遠(yuǎn)都是觀眾!

# 創(chuàng)建一個(gè)空字典用來統(tǒng)計(jì)IP出現(xiàn)的次數(shù)
ip_count = {}
with open('nginx.log') as f:
    lines = f.readlines()

for line in lines:
    # 通過spilt取得ip
    ip = line.strip().split()[0]
    # 如果ip在字典中那么值+1否則在字段中添加ip并賦值為1
    if ip in ip_count:
        ip_count[ip] += 1
    else:
        ip_count[ip] = 1

# 最后使用items方法將字段轉(zhuǎn)成元組的形式，進(jìn)行排序，取出前十位
# [('192.168.1.1',11), ('192.168.1.2',10), ......]
for ip, count in  sorted(ip_count.items(), key=lambda x:x[1], reverse=True)[:10]:
    print(f'{ip} -- {count}')


            
          

以上代碼中基本都使用的是基礎(chǔ)的一些知識相信大家都能看懂，難一點(diǎn)的地方應(yīng)該在最后排序那里，sorted函數(shù)排序時(shí)可以指定一個(gè)key參數(shù)，key參數(shù)必須是一個(gè)函數(shù)，其中key = lambda x:x[1] 表示使用元組中索引為1的值進(jìn)行排序，也就是統(tǒng)計(jì)出來的次數(shù)，我測試的時(shí)候使用代碼生成了1000 0000條模擬的日志記錄，最后大概能在8~9秒內(nèi)統(tǒng)計(jì)出來

當(dāng)然聰明的朋友可以把這些代碼寫成一個(gè)函數(shù)，方便以后使用！

?

后來發(fā)現(xiàn)linux下可以使用一些命令組合實(shí)現(xiàn)這個(gè)功能，只是不知道效率如何

            
              awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10

            
          

?

第一篇博客，如有不足請見諒

?