Skip to main content
 首页 » 编程设计

python之从没有指导性 HTML 结构的具有挑战性的网站中抓取信息

2025年04月02日12cyq1162

我需要从一个非常具有挑战性的网站上抓取一些信息

这是一个例子:

<div class="overview"> 
        <span class="course_titles">Courses:</span>  
        <a href="/schools/courses/173/" class="course_name">Math101</a> (Math; Monday; Room 10); 
        <a href="/schools/student/1388/" class="coursestudent_name">Mark</a> 17,  
        <a href="/schools/student/1401/" class="coursestudent_name">Alex</a> 18, ),  
 
        <a href="/schools/courses/2693/" class="course_name">English101</a> (English; Thursdays; Room 12);  
        <a href="/schools/student/1403/" class="coursestudent_name">Sarah</a> 16,  
        <a href="/schools/student/1411/" class="coursestudent_name">Nancy</a> 17,  
        <a href="/schools/student/1390/" class="coursestudent_name">Casey</a> 17 ),  
</div> 

每门类(class)都有特定的学生,他们的名字后面有他们的年龄(那些随机字符已经在里面了)。

我需要将每门类(class)与他们各自的学生以及年龄一起抓取。

不幸的是,除了包罗万象的 div 类之外,没有固有的层次结构。我尝试通过“course_name”使用 BeautifulSoup 进行抓取,然后添加所有具有“coursestudent_name”属性的项目,但通过这种方式我添加了每门类(class)的所有学生。

我希望我可以更改网站,但我不能。任何人都知道我如何才能与正确的学生一起获得每门类(class)的信息?

谢谢!

请您参考如下方法:

您主要可以使用 BeautifulSoup 然后使用一点点正则表达式来获取不在任何 html 标签内的学生年龄

soup = BeautifulSoup(html, "html.parser") 
allA = soup.find("div", {"class" : "overview"}).find_all("a") 
 
classInfo = {} 
currentClass = None 
for item in allA: 
    if item['class'] == ['course_name']: 
        classInfo[item.text] = [] 
        currentClass = item.text 
    else: 
        classInfo[currentClass] += [(item.text, int(re.search(item.text + r"</a> (\d+)", html).group(1)))] 
 
 
print(classInfo) 

这个输出:

{'English101': [('Sarah', 16), ('Nancy', 17), ('Casey', 17)], 'Math101': [('Mark', 17), ('Alex', 18)]}