Blog JSystems - z miłości do programowania

Posty kategorii Python, podkategorii źródła danych

Parsowanie stron internetowych z użyciem Beautiful Soup





Beautiful Soup transformuje dokumenty HTML do postaci drzewa obiektów Python ( z dokumentacji : https://www.crummy.com/software/BeautifulSoup/bs4/doc/ ).

Instalacja pakietu

Pakiet Beautiful Soup 4 będziemy zwykle wykorzystywać w połączeniu z pakietem requests:

Więcej

Wykorzystanie baz danych - bazy PostgreSQL





Sposób łączenia z serwerem bazodanowym w Pythonie jest zależny od tego z jakim rodzajem bazy danych się łączymy. Po nawiązaniu połączenia, sposób korzystania z bazy (pobieranie, zmiana, kasowanie i ładowanie danych) odbywa się tak samo dla każdego rodzaju bazy relacyjnej. Bazy obiektowe rządzą się swoimi prawami, ale nie będziemy ich tu omawiać.

 

Łączenie z serwerem PostgreSQL

Do łączenia z serwerem PostgreSQL proponuję bibliotekę "psycopg2". Łączenie z bazą …

Więcej

Dane zdalne - wykorzystanie usług sieciowych





Pobieranie danych za pomocą GET

Usługi sieciowe służą do wymiany informacji za pomocą protokołu HTTP. Zwykle ten protokół wykorzystywany jest do przesyłania stron internetowych, ale zamiast kodu HTML mogą także zostać przesłane dane w formacie np. JSON czy XML. Usługi sieciowe mogą nie tylko zwracać jakieś dane, ale również je odbierać. W ten sposób często integrowane są systemy napisane w różnych językach programowania czy różne autonomiczne elementy jednej …

Więcej

Przetwarzanie danych XML





Modułów służących do przetwarzania XML w Pythonie jest bardzo wiele, prezentuję tutaj taki z jakiego sam korzystam. Nawet jeśli zamierzasz korzystać z innego, możesz potraktować ten rozdział jako przykład.

W tym samym katalogu co kod który będę uruchamiać w ramach przykładów umieszczam plik o nazwie "dane.xml", a oto jego zawartość:

<?xml version="1.0" encoding="UTF-8"?>
<dane atrybut="jakaś wartość">
<imie>Andrzej</imie>
<nazwisko param="wartość przykładowa" param2="kolejna wartość przykładowa">Klusiewicz</nazwisko>
<wzrost>176cm</wzrost>
<adres>
     <miasto>Warszawa</miasto>
     <kod>02-019</kod>
</adres>
Więcej