首先,现在Element找到每部分内容所在的标签,标签相同的,通过get＿attribute查找属性确定位置。
其次,与json方法一样,将每个小标签赋予空值,防止找不到该小标签影响整个页面的爬取。
接着,通过find＿elements＿by＿css＿selector用法,将定位好的内容爬取下来,并赋值给对应的变量。
最后,将所有变量整合,放进列表ulist1中,方便后续写入Excel。为方便后续数据的处理、分析和研究,将爬取下来的内容保存到Excel中,对于爬取数据量大的,亦可以保存到MongoDB中。