prikaz prve stranice dokumenta Web scraping-automatizirano prikupljanje podataka
  Download
PDF 2.1 MB
undergraduate thesis
Web scraping-automatizirano prikupljanje podataka
2023. urn:nbn:hr:190:964873
Jerčinović, Kristijan
University of Rijeka
Faculty of Engineering
Student Records Office

Cite this document

Jerčinović, K. (2023). Web scraping-automatizirano prikupljanje podataka (Undergraduate thesis). Rijeka: University of Rijeka, Faculty of Engineering. Retrieved from https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović, Kristijan. "Web scraping-automatizirano prikupljanje podataka." Undergraduate thesis, University of Rijeka, Faculty of Engineering, 2023. https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović, Kristijan. "Web scraping-automatizirano prikupljanje podataka." Undergraduate thesis, University of Rijeka, Faculty of Engineering, 2023. https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović, K. (2023). 'Web scraping-automatizirano prikupljanje podataka', Undergraduate thesis, University of Rijeka, Faculty of Engineering, accessed 27 November 2024, https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović K. Web scraping-automatizirano prikupljanje podataka [Undergraduate thesis]. Rijeka: University of Rijeka, Faculty of Engineering; 2023 [cited 2024 November 27] Available at: https://urn.nsk.hr/urn:nbn:hr:190:964873

K. Jerčinović, "Web scraping-automatizirano prikupljanje podataka", Undergraduate thesis, University of Rijeka, Faculty of Engineering, Rijeka, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:190:964873

Please login to the repository to save this object to your list.
Metadata
TitleWeb scraping-automatizirano prikupljanje podataka
Title (english)Web scraping-automated data collection
AuthorKristijan Jerčinović
MentorMladen Tomić (mentor)
Committee memberMiroslav Joler (predsjednik povjerenstva)
Committee memberMladen Tomić (član povjerenstva)
GranterUniversity of Rijeka
Faculty of Engineering
(Student Records Office)
Rijeka
Defense date and country2023-07-12, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Web struganje je tehnika prikupljanja podataka s internet stranica te spremanje tih podataka za daljnje korištenje. Može se koristiti ručno ili automatizirano, iako ručni način više nitko ne koristi, jer se sve više pokušava razviti potpuno automatizirani način struganja korištenjem umjetne inteligencije. Automatizacija olakšava struganje omogućujući jednostavno raščlanjivanje HTML koda stranice i dohvaćanje podataka koje želimo, jednostavan pristup API-u te konstantno mijenjanje IP adresa, prilikom korištenja proxy rotacije, tijekom zaobilaženja ograničenja od stranica. Struganje ima široku primjenu od korištenja za uspoređivanje cijena na tržištu, praćenje vremenskih prognoza, dohvaćanja objava, komentara, rasprava, lokacija na društvenim mrežama, pa do razvoja modela strojnog učenja. Također, treba voditi računa koji alat za struganje koristimo, jer ako želimo strugati podatke s dinamičkih web stranica, onda ćemo koristiti Selenium, Puppeteer ili Beautiful Soup sa Selenium-om od besplatnih alata te Octoparse od alata koji se plaćaju. S druge strane, ako su nam u cilju samo statičke stranice možemo koristiti Beautiful Soup ili Scrapy, vodeći računa o količini podataka koje želimo strugati. U ovom radu pokazali smo karakteristike pojedinih tehnika struganja i dali primjere kako izgledaju u praksi. Također, demonstrirali smo na konkretnim primjerima upotrebu alata za struganje, kao što su Beautiful Soup, Selenium te nešto malo o Scrapy-ju.
Abstract (english)
Web scraping is a technique of collecting data from the internet and saving it for further use. It can be used manually or automatically, although the manual mode is no longer used, because the weight nowadays is to make web scraping fully automated using artificial intelligence. Automation makes scraping more productive by making HTML parsing and the retrieving of the data we want fast and easy, making APIs more accessable and constantly changing IP addresses when using proxy rotation, while bypassing site restrictions. Scraping has a wide range of applications from using it to compare prices, tracking weather forecasts, retrieving posts, comments, discussions, locations on social media and even developing machine learning models. Also, we should take care which scraping tool we use, because if we want to scrape data from dynamic web sites, then we will use Selenium, Puppeteer or Beautiful Soup with Selenium from the free tools and Octoparse from paid ones. On the other hand, if our goal is to scrape data only from static sites, we can use Beautiful Soup or Scrapy, taking into account the amount of data we want to scrape. In this work, we have shown the characteristics of certain scraping techniques and given examples of how they look in practical use. Also, we demonstrated on examples the use of scraping tools such as Beautiful Soup, Selenium and a little bit of Scrapy.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:190:964873
Study programmeTitle: Computer Engineering
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence Attribution 4.0 International (CC BY 4.0) icon
Created on2023-07-18 16:04:56