Skrabning af nettet med BeautifulSoup og Selenium

Hjem » Python » Skrabning af nettet med BeautifulSoup og Selenium

Webscraping er blevet en af ​​de superkræfter bag kulisserne, der stille og roligt driver dashboards, rapporter, maskinlæringsmodeller og interne værktøjer, men alligevel ser de fleste kun de endelige tal. Hvis du arbejder med data, vil du på et tidspunkt automatisk hente information fra websteder i stedet for at kopiere og indsætte den manuelt, og det er præcis, hvor Python, BeautifulSoup og Selenium skinner.

Når man begynder at fordybe sig i scraping, støder man hurtigt på et centralt spørgsmål: skal man parse HTML direkte med BeautifulSoup eller starte en rigtig browser med Selenium, eller endda kombinere begge dele? Statiske sider, JavaScript-tunge frontends, login-walls, hastighedsgrænser og etiske begrænsninger påvirker alle dette valg. I denne guide gennemgår vi, hvordan scraping fungerer, hvor BeautifulSoup er nok, hvornår Selenium er det ekstra overhead værd, og hvordan man forbinder dem i robuste arbejdsgange i produktionsklassen.

Forståelse af webscraping og hvornår du rent faktisk har brug for det

I sin kerne er webscraping den automatiserede indsamling af information fra websteder, der omdanner HTML beregnet til mennesker til strukturerede data, som din kode kan forbruge. Det kan betyde at udtrække priser, jobopslag, anmeldelser, forskningsartikler eller endda bare kommentarer for at analysere holdninger til et specifikt emne eller produkt.

Scraping går dybere end simpel skærmscraping, fordi du ikke er begrænset til, hvad der gengives visuelt; du målretter den underliggende HTML, attributter og nogle gange JSON-svar, der aldrig vises direkte på siden. I stedet for at kopiere en hel artikel og dens hundredvis af kommentarer, kan du for eksempel kun scrape kommentartekster og tidsstempler og indføre dem i en pipeline til sentimentanalyse.

Hovedårsagen til, at scraping er så populært i dag, er, at data er råmaterialet til analyser, anbefalingssystemer, automatisering af kundesupport og især til finjustering af store sprogmodeller (LLM'er). Med de rigtige pipelines kan du gentagne gange høste nyt, domænespecifikt indhold og holde dine modeller og dashboards i overensstemmelse med virkeligheden via integration af data warehouse og data lake i stedet for at blive fastfrosset ved det sidste træningsafbrydelse.

Selvfølgelig har scraping en mørkere side, hvis det gøres uforsigtigt eller aggressivt, og derfor skal du altid overveje juridiske termer, tekniske begrænsninger og etikken i det, du indsamler, og hvor ofte du indsamler det. At ignorere disse begrænsninger kan overbelaste servere, bryde kontrakter eller eksponere privat eller ophavsretligt beskyttet materiale på måder, der hurtigt kan bringe dig i problemer.

BeautifulSoup vs. Selen: To komplementære værktøjer

Pythons scraping-værktøjskasse er enorm, men to navne dukker konstant op: BeautifulSoup og Selenium, og de løser meget forskellige dele af problemet. BeautifulSoup er et parsingbibliotek: det tager HTML eller XML og eksponerer en brugervenlig API til at gennemgå DOM-træet, filtrere elementer og trække de dele ud, du er interesseret i. Det downloader ikke sider eller udfører JavaScript af sig selv.

Selenium automatiserer derimod en rigtig browser: den starter Chrome, Firefox, Edge eller andre via en WebDriver, klikker på knapper, udfylder formularer, venter på, at JavaScript kører, og giver dig derefter den fuldt gengivne side. Fra Seleniums synspunkt er du bare en meget hurtig og meget tålmodig superbruger, der styrer browseren via kode.

Som en tommelfingerregel er BeautifulSoup et perfekt valg, når du scraper statiske websteder eller HTML hentet fra en normal HTTP-anmodning, mens Selenium er det foretrukne værktøj, når webstedet er meget dynamisk, bygget op omkring JavaScript på klientsiden eller låst bag loginflows og komplekse brugerinteraktioner. Mange produktionsopsætninger kombinerer faktisk begge dele: Selenium henter og gengiver, BeautifulSoup analyserer HTML-snapshottet.

Der er også en vedligeholdelses- og kompleksitetsvinkel, der er værd at overveje: Selenium introducerer browserdrivere, versionskompatibilitetsproblemer og flere bevægelige dele, mens BeautifulSoup er let og smertefri, men begrænset til den HTML, du kan få uden at køre JavaScript. At vælge det forkerte værktøj til jobbet har en tendens til enten at sinke dig unødvendigt eller gøre din skraber uudholdeligt skrøbelig, når stedet ændrer sig.

Hvor smuk suppe passer ind i en typisk skrabepipeline

BeautifulSoup er normalt tilsluttet en simpel pipeline: grab HTML (ofte med anmodninger bibliotek), analysere det ind i et træ, navigere til relevante noder og eksportere resultater til CSV, JSON eller en database for SQL-dataanalyse. Det flow fungerer utroligt godt til statiske sider som dokumentationssider, simple jobportaler, nyhedsarkiver eller sandbox-sider designet til scraping-øvelse.

Under motorhjelmen konverterer BeautifulSoup den rodede HTML til et Python-objekttræ, hvor hvert element – ​​tags, attributter, tekstnoder – bliver tilgængeligt via intuitive metoder som f.eks. find(), find_all()og CSS-lignende filtrering. Du kan slå elementer op efter tagnavn, id, klasse eller endda ved at matche tekstindhold eller brugerdefinerede funktioner.

Når du har fundet den rigtige del af siden, kan du fortsætte med at dykke ned ved at skifte mellem forældre, børn og søskende i DOM'en og udtrække .text indhold for synlige strenge eller attributværdier som f.eks. href for links eller src til billeder. Den navigationsmodel ender med at føles meget lig den måde, du inspicerer elementer i browserudviklerværktøjer.

For statiske jobportaler kan du f.eks. hente HTML-koden fra en annonceside, identificere den container, der ombryder alle jobkort efter dens id, og derefter bruge BeautifulSoup til at finde hvert jobkort, finde titel, virksomhed, placering og ansøgnings-URL, alt sammen uden nogensinde at starte en fuld browser. Det betyder lavere ressourceforbrug, hurtigere udførelse og enklere implementering til servere eller CI-pipelines.

Inspektion af målwebstedet, før du skriver kode

Før man skriver en enkelt linje Python, starter en solid scraping-workflow altid i browseren med udviklerværktøjerne åbne og din "HTML-detektiv"-hat på. Dit mål er at forstå, hvilke URL'er der skal kaldes, hvilke elementer der indeholder dataene, og hvor stabile disse strukturer ser ud.

Det første skridt er blot at bruge hjemmesiden som en normal bruger: klik rundt, anvend filtre, åbn detaljesider, og se, hvad der sker med URL-linjen, mens du navigerer. Du vil hurtigt bemærke mønstre såsom stisegmenter for specifikke elementer eller forespørgselsparametre, der repræsenterer søgeord, placeringer eller filtre.

URL'er koder i sig selv en masse information, især via forespørgselsstrenge, hvor du vil se nøgle-værdi-par som ?q=software+developer&l=Australia der styrer, hvad serveren returnerer. Hvis du kan justere disse parametre manuelt i adresselinjen, kan du ofte generere nye resultatsæt uden at røre nogen HTML overhovedet.

Når du har fået en fornemmelse af navigationsmodellen, skal du åbne browserens udviklerværktøjer – normalt via en Inspect-indstilling eller en tastaturgenvej – og se på fanen Elementer eller Inspector for at udforske DOM'en. Hvis du holder musen over elementer i HTML-ruden, fremhæves deres visuelle repræsentation på siden, hvilket gør det meget nemmere at identificere containere, titler, metadata og knapper.

Her leder du efter stabile hooks: id'er, klassenavne eller tagstrukturer, der gentages forudsigeligt på tværs af alle de elementer, du vil indsamle, f.eks. div med et id, der indeholder alle resultater eller en article tag med en specifik klasse, der indpakker hvert produkt eller jobkort. Jo stærkere og mere beskrivende disse kroge er, desto mere robust vil din skraber være, når mindre kosmetiske ændringer implementeres.

Statiske vs. dynamiske hjemmesider: Hvorfor det er vigtigt

Fra en scrapers perspektiv opdeles internettet i to store grupper: statiske websteder, der sender dig færdiglavet HTML, og dynamiske apps, der sender dig JavaScript og beder din browser om at sammensætte siden i farten. Den sondring afgør, om anmodninger plus BeautifulSoup er nok, eller om du har brug for et komplet browserautomatiseringslag som Selenium.

På statiske sider indeholder den HTML, du henter med en HTTP GET, allerede de titler, priser, anmeldelser og links, du er interesseret i, selvom markup'en ser lidt kaotisk ud ved første øjekast. Når du har downloadet svarteksten, kan BeautifulSoup nemt parse og filtrere den så ofte som nødvendigt – ingen JavaScript-udførelse kræves.

Dynamiske websteder, ofte bygget med frameworks som React, Vue eller Angular, returnerer slanke HTML-skeletter og et tykt bundt af JavaScript, der kører i browseren, udløser API-kald og manipulerer DOM'en til at injicere indhold. Hvis du kun bruger anmodninger, vil du se skeletmarkup- eller rå JSON-slutpunkter, ikke det brugervenligt gengivne jobkort eller produktgitter, du inspicerede tidligere.

Til disse JavaScript-tunge sider har du enten brug for et værktøj, der kan udføre scripts – som Selenium eller en headless browser – eller du skal reverse engineere de underliggende API'er, som siden kalder, og aktivere dem direkte. BeautifulSoup spiller stadig en vigtig rolle i parsningen af ​​resulterende HTML, men den kan ikke udføre renderingstrinnet alene.

Der er også en hybridkategori, hvor data er teknisk set statiske, men skjult bag loginformularer eller flertrinsflows, såsom dashboards eller abonnementsindhold, og i disse situationer er Selenium særligt nyttigt til at automatisere indtastning af legitimationsoplysninger, tryk på knapper og først derefter overførsel af det endelige HTML-snapshot til BeautifulSoup.

Praktisk BeautifulSoup-arbejdsgang på et statisk websted

For at se BeautifulSoup i aktion, forestil dig at scrape et jobportal til træning eller en "bøger at scrape"-sandkasse, der serverer almindelig HTML med ensartet markup for hvert element. Du starter med at oprette et virtuelt miljø og installere anmodninger og smuksuppe4og skriver et lille script, der henter katalogsiden.

Når du har downloadet sideindholdet, sender du svarteksten til BeautifulSoup(html, "html.parser"), som opbygger et parsetræ, som du kan udforske gennem Python-objekter i stedet for rå strenge. Derfra kan du ringe soup.find() or soup.find_all() at fokusere på specifikke tags og klasser.

Antag at hver bog er pakket ind i en <article class="product_pod"> tag: du kan finde alle sådanne noder, og derefter for hver artikel finde en <h3> tag med et integreret link for at hente titlen og den relative URL, plus en <p class="price_color"> tag for at udtrække prisen. Tekstindholdet kommer fra .text attribut, mens attributter som href or title opføre sig som ordbogstaster.

Når du itererer over disse elementer, opbygger du Python-ordbøger, der indfanger de felter, du er interesseret i, og tilføjer dem til en liste, som du kan serialisere til JSON for. JSON-behandling i SQL, konverter til en DataFrame, eller send direkte til din database. Takket være trænavigationen har du sjældent brug for skrøbelige regulære udtryk, selvom regex stadig kan være praktisk, når du matcher tekst i noder.

Denne type tilgang generaliserer fint til enhver statisk annoncering: jobannoncer, blogarkiver, ejendomsannoncer eller dokumentationsindekser, forudsat at HTML-koden i det mindste har en vis ensartet struktur, du kan hæfte dig ved. Når webstedet ændres, behøver du typisk kun at justere et par selektorer i stedet for at omskrive hele scraperen.

Kombination af selen og BeautifulSoup til komplekse flows

For dynamiske sider eller login-beskyttet indhold kommer det bedste fra begge verdener ofte ved at parre Selenium som browsermotor med BeautifulSoup som HTML-parser. Selenium giver dig en fuldt gengivet DOM og muligheden for at interagere med siden; BeautifulSoup forvandler den DOM til et håndterbart, forespørgselsvenligt træ.

Sekvensen på højt niveau forløber normalt således: start en WebDriver (f.eks. Chrome), naviger til mål-URL'en, vent eksplicit på, at de kritiske elementer indlæses, og hent derefter page_source, som du indlæser i BeautifulSoup. Fra det tidspunkt og fremefter ligner din kode meget ethvert statisk webstedsparsing-script.

Seleniums WebDriver API giver dig mulighed for at finde felter og knapper via CSS-selektorer, XPath-, id- eller navneattributter, og derefter sende tastetryk, klikke, rulle eller endda uploade filer, som om du selv styrede musen og tastaturet. Det er det, der gør den ideel til håndtering af loginformularer, cookiebannere, dropdown-filtre, uendelig rulning eller flertrinsguider.

Du kan f.eks. åbne en loginside, indtaste legitimationsoplysninger, indsende formularen, vente, indtil den aktuelle URL matcher måldashboardet, og først derefter registrere den fulde HTML-kode, som skal sendes til BeautifulSoup til detaljeret udtrækning. Når du er færdig med at skrabe, så ring driver.quit() rydder op i browserprocesser og frigiver ressourcer.

Værktøjer som webdriver_manager kan automatisk downloade den rigtige browserdriver, hvilket sparer dig besværet med manuelt at administrere binære filer, efterhånden som browsere udvikler sig, og er en del af et godt administration af afhængigheder i Python. Du skal stadig holde øje med versionskompatibilitet, men opsætningen bliver dramatisk mindre smertefuld sammenlignet med at fastlåse drivere selv.

Skrabning af dynamisk indhold: Et eksempel i YouTube-stil

Dynamiske platforme som moderne videosider er et klassisk tilfælde, hvor Selenium tjener sin plads, fordi de dovent indlæser mere indhold, kun når du scroller eller interagerer med siden. En enkelt HTTP GET returnerer normalt kun den oprindelige viewport og JavaScript-shell.

Forestil dig at ville indsamle metadata for de seneste hundrede videoer fra en kanal: URL'er, titler, varigheder, uploaddatoer og visningsantal. Du ville pege Selenium på kanalens videofane, vente på, at siden indlæses, og derefter simulere, at du trykker på End-tasten flere gange, så webstedet fortsætter med at tilføje flere elementer til gitteret.

Efter et par scroll-cyklusser og korte dvaleintervaller, hvor JavaScript kan hente og gengive nye chunks, kan du vælge alle videocontainere – ofte repræsenteret af et brugerdefineret tag som f.eks. ytd-rich-grid-media—og iterer gennem dem for at udvinde deres indlejrede indhold. I hver container finder du et linktag, der indeholder href og titel, span-tags med arie-labels for varighed, plus indlejrede metadata-spænd, der viser visninger og uploadoplysninger.

Selens find_element og find_elements Metoder kombineret med XPath- eller CSS-selektorer gør det nemt at bore ned i hver container og trække disse værdier ud. Når du har samlet dem alle i en liste over ordbøger, skriver en hurtig JSON-dump dit datasæt til disken til senere analyse.

Til sidst lukker du browservinduet med driver.close() or driver.quit(), hvilket giver dig et gentageligt script, der kan planlægges, versionskontrolleres og udvides, efterhånden som din datapipeline vokser. I mange anvendelsessager bliver disse data trænings- eller evalueringssættet til downstream-modeller, dashboards eller interne søgeværktøjer.

Opskalering: Webscraping til finjustering af LLM

Med fremkomsten af ​​finjusterede LLM'er har scraping udviklet sig fra et nichebaseret data engineering-trick til en afgørende måde at opbygge specialiserede træningskorpora og holde dem friske. Generelle modeller, der er trænet på offentlige internet-snapshots, halter ofte bagefter ændringer i den virkelige verden eller mangler din interne terminologi, stil og arbejdsgange.

Ved at scrape målrettede websteder – hvad enten det er offentlig dokumentation, specialiserede fora, forskningstidsskrifter eller din egen interne vidensbase – kan du samle datasæt, der afspejler præcis det sprog, den tone og de formater, du ønsker, at din model skal mestre. For en kundesupportassistent kan det betyde at indsamle ofte stillede spørgsmål, artikler i hjælpecenteret, e-mailskabeloner og endda anonymiserede chatlogfiler.

BeautifulSoup spiller en hovedrolle her, når dine kildekoder er statisk HTML eller let tilgængelige bag simple GET-slutpunkter, fordi det giver dig mulighed for at fjerne navigationsrod, annoncer og dekorativ markup, så kun kerneteksten og metadataene er justeret til dit træningsskema. Du kan tagge sektioner, opdele indhold i eksempler og eksportere JSON, så det er klar til finjustering eller RAG-pipelines.

Selen bliver nødvendigt, når nogle af disse værdifulde kilder gemmer sig bag autentificering, betalingsmure eller tung JavaScript, såsom interne dashboards eller kundeportaler. I disse tilfælde automatiserer du browseren til at logge ind og navigere, tager derefter snapshots af nøglevisninger og analyserer dem med BeautifulSoup for at opnå ren tekst.

Nøglen er altid at respektere organisationens politikker, licenser og privatlivsbegrænsninger: Selv hvis teknologien giver dig mulighed for at udtrække næsten alt, bør dine juridiske og etiske rammer i høj grad begrænse, hvad der rent faktisk indgår i dine LLM-træningssæt. Det betyder at springe følsomme personoplysninger over, overholde robots.txt og servicevilkårene og koordinere med datastyringsteams, når du er i tvivl.

Etiske og juridiske overvejelser ved scraping

Bare fordi en webside er offentligt synlig, betyder det ikke, at du frit kan kopiere den i stor skala, automatisere adgang eller videresælge dens indhold uden begrænsninger. Etisk scraping starter med at læse og overholde et websteds servicevilkår, robots.txt-direktiver og åbenlyse forretningsmodeller.

Kopibeskyttet indhold såsom betalte artikler, abonnementstidsskrifter og premiumnyheder sidder ofte bag betalingsmure, netop fordi det ikke er meningen at blive massedownloadet og videredistribueret af bots. Automatisering af massedownloads af dette materiale kan udløse retssager ud over simple kontoudelukkelser.

Privatliv er en anden stor bekymring: scraping af sider, der afslører personlige oplysninger, private dashboards eller kontospecifikke oplysninger, skaber alvorlige advarselssignaler, medmindre du har udtrykkelig tilladelse og har indført databeskyttelsesforanstaltninger. Selv "harmløse" offentlige profiler kan falde ind under privatlivsreglerne afhængigt af jurisdiktion og anvendelsesscenarie.

På den tekniske side bør du altid begrænse dine anmodninger og undgå at overbelaste et websted med parallelle scrapers, der kan forringe ydeevnen eller forårsage afbrydelser. Implementer høflige forsinkelser, respekter hastighedsgrænser, og brug caching eller trinvise opdateringer for at reducere belastningen, når det er muligt.

Endelig, hvis du er i tvivl, så kontakt webstedsejeren eller indholdsudbyderen, forklar din brugsscenarie, og se, om de tilbyder en officiel API eller et partnerskabsprogram. En API er næsten altid mere stabil, forudsigelig og juridisk forsvarlig end scraping, selvom det betyder at investere noget tid i at integrere et nyt endpoint eller en ny autentificeringsordning.

Bygger robuste skrabere, der overlever ændringer på byggepladsen

En af de største praktiske udfordringer inden for webscraping er holdbarhed: hjemmesider udvikler sig, markup ændres, og pludselig returnerer dine omhyggeligt justerede selektorer tomme lister eller får dit script til at gå ned. At behandle scrapers som enhver anden produktionssoftware hjælper med at reducere smerten.

Start med at målrette semantiske markører, der er mindre tilbøjelige til at ændre sig – beskrivende klassenavne, id'er eller strukturelle relationer – i stedet for ultra-skrøbelige selektorer knyttet til position eller rent kosmetiske klasser. Når et element har et betydningsfuldt navn som f.eks. card-content or results-container, er det normalt sikrere end at stole på en tilfældig automatisk genereret klassestreng.

Dernæst, indbygget fejlhåndtering: når du ringer find() or find_all(), vær forberedt på det tilfælde, hvor elementet mangler eller returnerer Noneog undgå at ringe blindt .text på nulobjekter. Logføring af manglende felter og uventede layouts gør fejlfinding meget nemmere, når et redesign finder sted.

Automatiserede tests eller planlagte CI-job, der kører dine scrapers med jævne mellemrum, er yderst værdifulde, fordi de registrerer brud tidligt i stedet for at lade dine pipelines lydløst producere tomme eller beskadigede datasæt. Selv en simpel røgtest, der kontrollerer antallet af udtrukne elementer i forhold til en tærskelværdi, kan fange større regressioner.

For Selenium-baserede flows kan du forvente, at UI-justeringer og mindre DOM-omrokeringer vil ødelægge naive XPath-selektorer, så hold dine locatorer så enkle og robuste som muligt, og centraliser dem ét sted i din kodebase. Når frontend-teamet justerer markup, vil du gerne opdatere ét modul i stedet for at jagte selektorer spredt på tværs af flere scripts.

Med tiden kan du også opdage, at nogle scraping-opgaver er mere stabile, når de udføres via officielt dokumenterede API'er, selvom det betyder, at man helt skal skifte væk fra HTML-parsing for bestemte slutpunkter. Kombination af API'er, hvor det er muligt, med BeautifulSoup og Selenium, hvor det er nødvendigt, giver ofte den mest vedligeholdelsesvenlige arkitektur.

BeautifulSoup og Selenium kombinerer alt og komplementerer hinanden snarere end konkurrerer: BeautifulSoup udmærker sig ved hurtig og pålidelig parsing af HTML, når du først har det, mens Selenium skinner ved at drive komplekse, JavaScript-tunge eller autentificerede oplevelser til det punkt, hvor den pågældende HTML eksisterer. Brugt med omtanke – med fokus på etik, ydeevne og vedligeholdelse – lader de dig transformere det støjende, konstant skiftende web til rene, strukturerede datasæt, der er klar til analyse, dashboards eller træning af den næste generation af skræddersyede sprogmodeller.