使用Python模块BeautifulSoup抓取XML，需要在树中使用特定标签_python

所以我已经在这个Python脚本上工作了一段时间了，我试图在Leg标签下抓取Duration和Distance标签。 问题在于，在“步骤”标签中，还有一个名为“持续时间和距离”的子标签，而“步骤”标签是“腿”标签的子标签。 当我抓取数据时，它也会返回那些Distance和Duration标签。 XML如下：

<DirectionsResponse>
        <route>
           <leg>
            <step>...</step>
            <step>
                <start_location>
                <lat>38.9096855</lat>
                <lng>-77.0435397</lng>
                </start_location>
                <duration>
                <text>1 min</text>
                </duration>
                <distance>
                <text>39 ft</text>
                </distance>
            </step>
            <duration>
            <text>2 hours 19 mins</text>
            </duration>
            <distance>
            <text>7.1 mi</text>
            </distance>
              </leg>
        </route>
</DirectionsResponse>

这是我正在使用的Python脚本：

import urllib
from BeautifulSoup import BeautifulSoup

url = 'https://www.somexmlgenerator.com/directions/xml?somejscript'
res = urllib.urlopen(url)
html = res.read()

soup = BeautifulSoup(html)
soup.prettify()
leg = soup.findAll('leg')

for eachleg in leg:
    another_duration = eachleg('duration')
    print eachleg

正如我提到的，我已经有一段时间了，也尝试过使用lxml，但是由于XML是动态生成的，因此很难通过它来抓取XML。 我采取了将XML刮为HTML的方法，但是我仍然是个新手，因此我肯定会接受其他建议！

使用BeautifulSoup（使用第4版，称为bs4 ），您需要将recursive=False传递给findAll以阻止它选择错误的持续时间：

from bs4 import BeautifulSoup

soup = BeautifulSoup(..., 'xml')

for leg in soup.route.find_all('leg', recursive=False):
    duration = leg.duration.text.strip()
    distance = leg.distance.text.strip()

或使用CSS：

for leg in soup.select('route > leg'):
    duration = leg.duration.text.strip()
    distance = leg.distance.text.strip()

使用lxml，您只需使用XPath：

durations = root.xpath('/DirectionsResponse/route/leg/duration/text/text()')
distances = root.xpath('/DirectionsResponse/route/leg/distance/text/text()')

使用Python模块BeautifulSoup抓取XML，需要在树中使用特定标签

问题描述

1楼