基于Python第三方库Requests和BeautifulSoup，从百度资讯中获取给定关键词的检索结果。
import requests
from bs4 import BeautifulSoup
url = 'http://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&rsv_dl=ns_pc&word='+'70周年国庆'
page_cnt = 0
item_cnt = 0
while True:
r = requests.get(url)
page_cnt += 1
soup = BeautifulSoup(r.text, "html.parser")
for element in soup.select('#content_left div div.result'):
item_cnt += 1
print('第%d条新闻\n 标题：%s\n URL：%s' %
(item_cnt, element.select('.c-title')[0].getText().strip(),
element.select('.c-title a')[0].get('href')))
next_page = soup.select('#page > a.n')
if len(next_page) > 0 and page_cnt < 10:
url = 'http://www.baidu.com'+next_page[0].get('href')
else:
break
第1条新闻 标题：国庆70周年大阅兵有何不同之处:这个变化最明显 URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezzrq9084758.shtml 第2条新闻 标题：国庆70周年阅兵当天 他们将率先走过天安门(图) URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezueu9067928.shtml 第3条新闻 标题：国庆70周年交通卡开售就抢光,第二批开启网上预订 URL：http://www.xhby.net/nj/yw/201909/t20190929_6352183.shtml 第4条新闻 标题：驻萨尔瓦多使馆举行国庆70周年招待会 URL：http://baijiahao.baidu.com/s?id=1645979923393399799&wfr=spider&for=pc 第5条新闻 标题：香港"光头警长"启程赴京:荣幸参加国庆70周年活动 URL：http://3g.163.com/news/article/EQ7T18060001899N.html 第6条新闻 标题：丰台区司法局召开国庆70周年维稳安保决胜决战阶段司法所工作会... URL：http://www.beijing.gov.cn/zfxxgk/ftq11GG06/bmdt52j/2019-09/29/content_558c9f0ff76f452d81199b1a7f33b06e.shtml 第7条新闻 标题：庆祝新中国成立70周年港岛欢腾贺国庆文艺晚会举办 URL：http://news.sina.com.cn/o/2019-09-29/doc-iicezueu9049251.shtml 第8条新闻 标题：中国国庆70周年!俄罗斯、美国、日本、巴基斯坦等国纷纷发表祝贺 URL：http://baijiahao.baidu.com/s?id=1645976997534059970&wfr=spider&for=pc 第9条新闻 标题：西昌:我爱我的祖国——70周年国庆油画展开展 URL：https://sichuan.scol.com.cn/ggxw/201909/57064124.html 第10条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第11条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第12条新闻 标题：国庆70周年“宣言”:长风破浪会有时 URL：http://baijiahao.baidu.com/s?id=1645933177447684425&wfr=spider&for=pc 第13条新闻 标题：提升生态文明,建设美丽中国——国庆70周年第四场发布会今日下午举办 URL：http://baijiahao.baidu.com/s?id=1645983256051249978&wfr=spider&for=pc 第14条新闻 标题：...奋进的天津”天津市网信系统庆祝新中国成立70周年大型网络直播... URL：http://baijiahao.baidu.com/s?id=1645905716151155090&wfr=spider&for=pc 第15条新闻 标题：...检察长张学军国庆前夕走访慰问“庆祝中华人民共和国成立70周年... URL：http://www.legaldaily.com.cn/locality/content/2019-09/29/content_8005945.htm 第16条新闻 标题：Vlog|国庆70周年!长城新媒体记者带你看现场! URL：http://news.sina.com.cn/o/2019-09-28/doc-iicezzrq9018924.shtml 第17条新闻 标题：庆祝大会、阅兵式、群众游行……国庆70周年活动看点前瞻 URL：http://www.legaldaily.com.cn/index/content/2019-09/29/content_8005779.htm 第18条新闻 标题：国庆70周年“宣言”:雄关漫道真如铁 URL：http://baijiahao.baidu.com/s?id=1645725333114503133&wfr=spider&for=pc 第19条新闻 标题：央视新闻国庆70周年阅兵直播几点开始?在哪看? URL：http://bj.bendibao.com/news/2019929/264403.shtm?tdsourcetag=s_pcqq_aiomsg 第20条新闻 标题：国庆70周年大阅兵有何不同之处:这个变化最明显 URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezzrq9084758.shtml 第21条新闻 标题：国庆70周年阅兵当天 他们将率先走过天安门(图) URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezueu9067928.shtml 第22条新闻 标题：国庆70周年交通卡开售就抢光,第二批开启网上预订 URL：http://www.xhby.net/nj/yw/201909/t20190929_6352183.shtml 第23条新闻 标题：驻萨尔瓦多使馆举行国庆70周年招待会 URL：http://baijiahao.baidu.com/s?id=1645979923393399799&wfr=spider&for=pc 第24条新闻 标题：香港"光头警长"启程赴京:荣幸参加国庆70周年活动 URL：http://3g.163.com/news/article/EQ7T18060001899N.html 第25条新闻 标题：丰台区司法局召开国庆70周年维稳安保决胜决战阶段司法所工作会... URL：http://www.beijing.gov.cn/zfxxgk/ftq11GG06/bmdt52j/2019-09/29/content_558c9f0ff76f452d81199b1a7f33b06e.shtml 第26条新闻 标题：庆祝新中国成立70周年港岛欢腾贺国庆文艺晚会举办 URL：http://news.sina.com.cn/o/2019-09-29/doc-iicezueu9049251.shtml 第27条新闻 标题：中国国庆70周年!俄罗斯、美国、日本、巴基斯坦等国纷纷发表祝贺 URL：http://baijiahao.baidu.com/s?id=1645976997534059970&wfr=spider&for=pc 第28条新闻 标题：西昌:我爱我的祖国——70周年国庆油画展开展 URL：https://sichuan.scol.com.cn/ggxw/201909/57064124.html 第29条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第30条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第31条新闻 标题：国庆70周年“宣言”:长风破浪会有时 URL：http://baijiahao.baidu.com/s?id=1645933177447684425&wfr=spider&for=pc 第32条新闻 标题：提升生态文明,建设美丽中国——国庆70周年第四场发布会今日下午举办 URL：http://baijiahao.baidu.com/s?id=1645983256051249978&wfr=spider&for=pc 第33条新闻 标题：...奋进的天津”天津市网信系统庆祝新中国成立70周年大型网络直播... URL：http://baijiahao.baidu.com/s?id=1645905716151155090&wfr=spider&for=pc 第34条新闻 标题：...检察长张学军国庆前夕走访慰问“庆祝中华人民共和国成立70周年... URL：http://www.legaldaily.com.cn/locality/content/2019-09/29/content_8005945.htm 第35条新闻 标题：Vlog|国庆70周年!长城新媒体记者带你看现场! URL：http://news.sina.com.cn/o/2019-09-28/doc-iicezzrq9018924.shtml 第36条新闻 标题：庆祝大会、阅兵式、群众游行……国庆70周年活动看点前瞻 URL：http://www.legaldaily.com.cn/index/content/2019-09/29/content_8005779.htm 第37条新闻 标题：国庆70周年“宣言”:雄关漫道真如铁 URL：http://baijiahao.baidu.com/s?id=1645725333114503133&wfr=spider&for=pc 第38条新闻 标题：央视新闻国庆70周年阅兵直播几点开始?在哪看? URL：http://bj.bendibao.com/news/2019929/264403.shtm?tdsourcetag=s_pcqq_aiomsg 第39条新闻 标题：国庆70周年大阅兵有何不同之处:这个变化最明显 URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezzrq9084758.shtml 第40条新闻 标题：国庆70周年阅兵当天 他们将率先走过天安门(图) URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezueu9067928.shtml 第41条新闻 标题：国庆70周年交通卡开售就抢光,第二批开启网上预订 URL：http://www.xhby.net/nj/yw/201909/t20190929_6352183.shtml 第42条新闻 标题：驻萨尔瓦多使馆举行国庆70周年招待会 URL：http://baijiahao.baidu.com/s?id=1645979923393399799&wfr=spider&for=pc 第43条新闻 标题：香港"光头警长"启程赴京:荣幸参加国庆70周年活动 URL：http://3g.163.com/news/article/EQ7T18060001899N.html 第44条新闻 标题：丰台区司法局召开国庆70周年维稳安保决胜决战阶段司法所工作会... URL：http://www.beijing.gov.cn/zfxxgk/ftq11GG06/bmdt52j/2019-09/29/content_558c9f0ff76f452d81199b1a7f33b06e.shtml 第45条新闻 标题：庆祝新中国成立70周年港岛欢腾贺国庆文艺晚会举办 URL：http://news.sina.com.cn/o/2019-09-29/doc-iicezueu9049251.shtml 第46条新闻 标题：中国国庆70周年!俄罗斯、美国、日本、巴基斯坦等国纷纷发表祝贺 URL：http://baijiahao.baidu.com/s?id=1645976997534059970&wfr=spider&for=pc 第47条新闻 标题：西昌:我爱我的祖国——70周年国庆油画展开展 URL：https://sichuan.scol.com.cn/ggxw/201909/57064124.html 第48条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第49条新闻 标题：国庆70周年“宣言”:长风破浪会有时 URL：http://baijiahao.baidu.com/s?id=1645933177447684425&wfr=spider&for=pc 第50条新闻 标题：提升生态文明,建设美丽中国——国庆70周年第四场发布会今日下午举办 URL：http://baijiahao.baidu.com/s?id=1645983256051249978&wfr=spider&for=pc 第51条新闻 标题：...奋进的天津”天津市网信系统庆祝新中国成立70周年大型网络直播... URL：http://baijiahao.baidu.com/s?id=1645905716151155090&wfr=spider&for=pc 第52条新闻 标题：...检察长张学军国庆前夕走访慰问“庆祝中华人民共和国成立70周年... URL：http://www.legaldaily.com.cn/locality/content/2019-09/29/content_8005945.htm 第53条新闻 标题：全省唯一!甘孜“铁人交警”受邀参加国庆70周年观礼活动 URL：http://baijiahao.baidu.com/s?id=1645973919029421596&wfr=spider&for=pc 第54条新闻 标题：Vlog|国庆70周年!长城新媒体记者带你看现场! URL：http://news.sina.com.cn/o/2019-09-28/doc-iicezzrq9018924.shtml 第55条新闻 标题：庆祝大会、阅兵式、群众游行……国庆70周年活动看点前瞻 URL：http://www.legaldaily.com.cn/index/content/2019-09/29/content_8005779.htm 第56条新闻 标题：国庆70周年“宣言”:雄关漫道真如铁 URL：http://baijiahao.baidu.com/s?id=1645725333114503133&wfr=spider&for=pc 第57条新闻 标题：央视新闻国庆70周年阅兵直播几点开始?在哪看? URL：http://bj.bendibao.com/news/2019929/264403.shtm?tdsourcetag=s_pcqq_aiomsg 第58条新闻 标题：国庆70周年大阅兵有何不同之处:这个变化最明显 URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezzrq9084758.shtml 第59条新闻 标题：国庆70周年阅兵当天 他们将率先走过天安门(图) URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezueu9067928.shtml 第60条新闻 标题：国庆70周年交通卡开售就抢光,第二批开启网上预订 URL：http://www.xhby.net/nj/yw/201909/t20190929_6352183.shtml 第61条新闻 标题：驻萨尔瓦多使馆举行国庆70周年招待会 URL：http://baijiahao.baidu.com/s?id=1645979923393399799&wfr=spider&for=pc 第62条新闻 标题：香港"光头警长"启程赴京:荣幸参加国庆70周年活动 URL：http://3g.163.com/news/article/EQ7T18060001899N.html 第63条新闻 标题：丰台区司法局召开国庆70周年维稳安保决胜决战阶段司法所工作会... URL：http://www.beijing.gov.cn/zfxxgk/ftq11GG06/bmdt52j/2019-09/29/content_558c9f0ff76f452d81199b1a7f33b06e.shtml 第64条新闻 标题：庆祝新中国成立70周年港岛欢腾贺国庆文艺晚会举办 URL：http://news.sina.com.cn/o/2019-09-29/doc-iicezueu9049251.shtml 第65条新闻 标题：中国国庆70周年!俄罗斯、美国、日本、巴基斯坦等国纷纷发表祝贺 URL：http://baijiahao.baidu.com/s?id=1645976997534059970&wfr=spider&for=pc 第66条新闻 标题：西昌:我爱我的祖国——70周年国庆油画展开展 URL：https://sichuan.scol.com.cn/ggxw/201909/57064124.html 第67条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第68条新闻 标题：国庆70周年“宣言”:长风破浪会有时 URL：http://baijiahao.baidu.com/s?id=1645933177447684425&wfr=spider&for=pc 第69条新闻 标题：提升生态文明,建设美丽中国——国庆70周年第四场发布会今日下午举办 URL：http://baijiahao.baidu.com/s?id=1645983256051249978&wfr=spider&for=pc 第70条新闻 标题：...奋进的天津”天津市网信系统庆祝新中国成立70周年大型网络直播... URL：http://baijiahao.baidu.com/s?id=1645905716151155090&wfr=spider&for=pc 第71条新闻 标题：...检察长张学军国庆前夕走访慰问“庆祝中华人民共和国成立70周年... URL：http://www.legaldaily.com.cn/locality/content/2019-09/29/content_8005945.htm 第72条新闻 标题：全省唯一!甘孜“铁人交警”受邀参加国庆70周年观礼活动 URL：http://baijiahao.baidu.com/s?id=1645973919029421596&wfr=spider&for=pc 第73条新闻 标题：Vlog|国庆70周年!长城新媒体记者带你看现场! URL：http://news.sina.com.cn/o/2019-09-28/doc-iicezzrq9018924.shtml 第74条新闻 标题：庆祝大会、阅兵式、群众游行……国庆70周年活动看点前瞻 URL：http://www.legaldaily.com.cn/index/content/2019-09/29/content_8005779.htm 第75条新闻 标题：国庆70周年“宣言”:雄关漫道真如铁 URL：http://baijiahao.baidu.com/s?id=1645725333114503133&wfr=spider&for=pc 第76条新闻 标题：央视新闻国庆70周年阅兵直播几点开始?在哪看? URL：http://bj.bendibao.com/news/2019929/264403.shtm?tdsourcetag=s_pcqq_aiomsg 第77条新闻 标题：国庆70周年大阅兵有何不同之处:这个变化最明显 URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezzrq9084758.shtml 第78条新闻 标题：国庆70周年阅兵当天 他们将率先走过天安门(图) URL：http://mil.news.sina.com.cn/china/2019-09-29/doc-iicezueu9067928.shtml 第79条新闻 标题：国庆70周年交通卡开售就抢光,第二批开启网上预订 URL：http://www.xhby.net/nj/yw/201909/t20190929_6352183.shtml 第80条新闻 标题：驻萨尔瓦多使馆举行国庆70周年招待会 URL：http://baijiahao.baidu.com/s?id=1645979923393399799&wfr=spider&for=pc 第81条新闻 标题：香港"光头警长"启程赴京:荣幸参加国庆70周年活动 URL：http://3g.163.com/news/article/EQ7T18060001899N.html 第82条新闻 标题：丰台区司法局召开国庆70周年维稳安保决胜决战阶段司法所工作会... URL：http://www.beijing.gov.cn/zfxxgk/ftq11GG06/bmdt52j/2019-09/29/content_558c9f0ff76f452d81199b1a7f33b06e.shtml 第83条新闻 标题：庆祝新中国成立70周年港岛欢腾贺国庆文艺晚会举办 URL：http://news.sina.com.cn/o/2019-09-29/doc-iicezueu9049251.shtml 第84条新闻 标题：中国国庆70周年!俄罗斯、美国、日本、巴基斯坦等国纷纷发表祝贺 URL：http://baijiahao.baidu.com/s?id=1645976997534059970&wfr=spider&for=pc 第85条新闻 标题：西昌:我爱我的祖国——70周年国庆油画展开展 URL：https://sichuan.scol.com.cn/ggxw/201909/57064124.html 第86条新闻 标题：国庆专辑 | 省戒毒局诵经典唱红歌 庆祝新中国成立70周年 URL：http://www.thepaper.cn/newsDetail_forward_4562155 第87条新闻 标题：国庆70周年“宣言”:长风破浪会有时 URL：http://baijiahao.baidu.com/s?id=1645933177447684425&wfr=spider&for=pc 第88条新闻 标题：提升生态文明,建设美丽中国——国庆70周年第四场发布会今日下午举办 URL：http://baijiahao.baidu.com/s?id=1645983256051249978&wfr=spider&for=pc 第89条新闻 标题：...奋进的天津”天津市网信系统庆祝新中国成立70周年大型网络直播... URL：http://baijiahao.baidu.com/s?id=1645905716151155090&wfr=spider&for=pc 第90条新闻 标题：...检察长张学军国庆前夕走访慰问“庆祝中华人民共和国成立70周年... URL：http://www.legaldaily.com.cn/locality/content/2019-09/29/content_8005945.htm 第91条新闻 标题：全省唯一!甘孜“铁人交警”受邀参加国庆70周年观礼活动 URL：http://baijiahao.baidu.com/s?id=1645973919029421596&wfr=spider&for=pc 第92条新闻 标题：Vlog|国庆70周年!长城新媒体记者带你看现场! URL：http://news.sina.com.cn/o/2019-09-28/doc-iicezzrq9018924.shtml 第93条新闻 标题：庆祝大会、阅兵式、群众游行……国庆70周年活动看点前瞻 URL：http://www.legaldaily.com.cn/index/content/2019-09/29/content_8005779.htm 第94条新闻 标题：国庆70周年“宣言”:雄关漫道真如铁 URL：http://baijiahao.baidu.com/s?id=1645725333114503133&wfr=spider&for=pc 第95条新闻 标题：央视新闻国庆70周年阅兵直播几点开始?在哪看? URL：http://bj.bendibao.com/news/2019929/264403.shtm?tdsourcetag=s_pcqq_aiomsg
