Extracting value from html using bs4

Question

I am trying to extract the value of Comirnaty and Moderna from this link

I am using:

from bs4 import BeautifulSoup
import requests

page = requests.get('https://vilnius-vac.myhybridlab.com/selfregister/vaccine')
soup = BeautifulSoup(page.text, 'html.parser')
soup.find_all('div',class_='col-md-12 m-2')

Which returns

[
 PASIRAITOKIME RANKOVES VARDAN LIETUVOS – VAKCINUOKITĖS VILNIUJE IR GRĮŽKITE Į SAUGŲ BEI NORMALŲ GYVENIMĄ.
 Šiuo metu vakcinacijai kviečiamų grupių sąrašą nuolat rasite čia: deleted. Čia taip pat skelbiame ir informaciją apie tai, kokias grupes planuojame kviesti artimiausiu metu.
 Prisijungimas prie sistemos vyksta per elektroninius valdžios vartus. Čia reikia:
 
 Nurodyti savo arba registruojamo asmens duomenis bei kontaktinį numerį;
 Pasirinkti vieną iš galimų laikų skiepijimui;
 Pasirinkti norimą vakcinacijos lokaciją Vilniuje iš siūlomų variantų.
 
 Šią informaciją jums priminsime SMS žinute. Jūsų pareiga ir svarbiausia užduotis - pasirinktu laiku (tikrai ne anksčiau nei 10 min. iki skiepijimo!) atvykti į vakcinavimo vietą, gauti skiepą, ir čia pat sulaukti informacijos dėl revakcinacijos - antrojo skiepo - laiko.
 Jei registruotis nepavyksta, pagelbėti prašykite bet kurio artimo ir patikimo žmogaus – užsiregistravęs su savo elektroninės bankininkystės duomenimis, jis turės pasirinkti galimybę registruoti „kitą asmenį“.
 Jei turite klausimų dėl vakcinų ar vakcinavimo proceso, atsakymus galite rasti svetainėje https://vakcina.vilnius.lt/. 
 Nepamirškime – kuo daugiau vakcinuotų žmonių, tuo greičiau galėsime grįžti į visiems įprastą saugų ir normalų gyvenimą.
 ,
 
 
 ,
 
 ,
 
 
 ]

And I am interested in:

Using inspect I find these classes:

But soup.find_all('div',class_='ml-2 text-success text-danger') returns nothing.

How can I extract the values of these divs?

user_6106791 · Answer

You don't even need bs4 for this.

You can grab that exact part of HTML with regex and parse it to a list of dicts.

Here's how:

import json
import re

import requests

page = requests.get("https://vilnius-vac.myhybridlab.com/selfregister/vaccine").text
vaccine_data = json.loads(re.search(r"vaccine-rooms='(.*?)'", page).group(1))
# print(vaccine_data)
for item in vaccine_data:
    print(item["name"], item["free_total"])

Output:

Moderna 0
Comirnaty 1
AstraZeneca 3255

user_10035985 · Answer

You can use json module to load the data stored in the attribute:

import json
import requests
from bs4 import BeautifulSoup


url = "https://vilnius-vac.myhybridlab.com/selfregister/vaccine"    
soup = BeautifulSoup(requests.get(url).content, "html.parser")    
data = json.loads(soup.select_one("vaccine-rooms")[":vaccine-rooms"])

for d in data:
    print("{:<20} {}".format(d["name"], d["free_total"]))

Prints:

Moderna              0
Comirnaty            0
AstraZeneca          3268

To have two variables:

moderna = next(d["free_total"] for d in data if d["name"] == "Moderna")
comirnaty = next(d["free_total"] for d in data if d["name"] == "Comirnaty")

print(moderna)
print(comirnaty)

Prints:

0
0

Extracting value from html using bs4

2 Answers