python中urllib2與BeautifulSoup爬取數據保存MongoDB

 　　Beautiful Soup是一個用來解析HTML和XML的python庫，它可以按照你喜歡的方式去解析文件，查找並修改解析樹。它可以很好的處理不規范標記並生成剖析樹(parse tree). 它提供簡單又常用的導航(navigating)，搜索以及修改剖析樹的操作。

　　如圖使用urllib2與BS4模塊爬取html頁面數據，分別為標題、內容、股票名稱、股票ID、發布時間、圍觀人數。

　　Example:

 代碼如下  

##-coding:utf-8-##
import time
from bs4 import BeautifulSoup
import urllib2
import pymongo
import re
import datetime

def update():
    datas = {}
    connection = pymongo.Connection('192.168.1.2', 27017)
 #連接mongodb
    db = connection.test_hq
 #創建或連接test_hq庫
    for i in soup.find_all("div", class_="item"):
        datas['_id'] = str(i.h2.a['href']).split('/')[-1].split('.')[0]
 #獲取html頁面名稱為id號
        datas['title'] = i.h2.get_text()
 #獲取標題
        url2 = i.h2.a['href']
 #獲取標題內容url地址
        html2 = urllib2.urlopen(url2)
        html_doc2 = html2.read()
        soup2 = BeautifulSoup(html_doc2)
        datas['content'] = soup2.find(attrs={"name":"description"})['content']
 #獲取文章內容
        stock_name = []
        stock_id = []
        for name in re.findall(u"[u4e00-u9fa5]+",i.find(class_="stocks").get_text()):
            stock_name.append(name)
 #獲取影響股票名稱，已數組方式保存對應股票id號，mongo支持數組插入
        datas['stock_name'] = stock_name
        for id in re.findall("d+",i.find(class_="stocks").get_text()):
            stock_id.append(id)
 #獲取影響股票id
        datas['stock_id'] = stock_id       
        datas['update_time'] = datetime.datetime.strptime(re.search("w+.*w+", i.find(class_="fl date").span.get_text()).group(), '%Y-%m-%d %H:%M') - datetime.timedelta(hours=8)
 #獲取發布時間，轉換為mongo時間格式
        datas['onlooker'] = int(re.search("d+",i.find(class_="icons ic-wg").get_text()).group())
 #獲取圍觀數
        db.test.save(datas)
 #插入數據庫

def get_data():
    
    title = str(soup.h2.a['href']).split('/')[-1].split('.')[0]
    #獲取html頁面名稱做更新判斷
    with open('update.txt', 'r') as f:
        time = f.readline()
    if  title == time:
        print 'currently no update', title
    else:
        with open('update.txt', 'w') as f:
            f.write(title)
        update()
      
while True:
    if __name__ == '__main__':
        url = 'http://www.ipython.me/qingbao/'
        html = urllib2.urlopen(url)
        html_doc = html.read()
        soup = BeautifulSoup(html_doc)
        get_data()
        time.sleep(30)
 #每30秒刷新一次