7 Web Scraping

Dans cette partie nous allons extraire les données du site web Allociné. Pour cela, nous nous intéressons plus particulièrement aux films les mieux notés par les membres Allociné.
Nous allons ainsi récupéré pour chaque film:
- le titre
- la durée
- le genre
- le réalisateur
- les acteurs
- la note moyenne atribuée par la presse
- la note moyenne attribuée par les spectateurs
- le synopsis

7.2 Nom du film

Table 7.1: Nom du film
x
Forrest Gump
La Ligne verte
Your Name
Green Book : Sur les routes du sud
Coco
La Liste de Schindler
12 hommes en colère
Bohemian Rhapsody
Le Parrain
Le Seigneur des anneaux : le retour du roi

7.3 Duree

##  [1] "\n                    \n                    \n                                                            \n                                            2h 20min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Comédie,\n                                                                                                                                                                            Drame,\n                                                                                                                                                                            Romance\n                                        \n                                    "
##  [2] "\n                    \n                    \n                                                            \n                                            3h 09min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Policier,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "                                                                                                                                                                               
##  [3] "\n                    \n                    \n                                                            \n                                            1h 50min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Animation,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "                                                                                                                                                                              
##  [4] "\n                    \n                    \n                                                            \n                                            2h 10min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Biopic,\n                                                                                                                                                                            Drame\n                                        \n                                    "                                                                                                                                                                                       
##  [5] "\n                    \n                    \n                                                            \n                                            1h 45min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Animation,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "                                                                                                                                                                              
##  [6] "\n                    \n                    \n                                                            \n                                            3h 15min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Historique,\n                                                                                                                                                                            Guerre\n                                        \n                                    "                                                                                                                                                                                  
##  [7] "\n                    \n                    \n                                                            \n                                            1h 35min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Drame\n                                        \n                                    "                                                                                                                                                                                                                                                                                                                                                                            
##  [8] "\n                    \n                    \n                                                            \n                                            2h 15min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Biopic,\n                                                                                                                                                                            Drame\n                                        \n                                    "                                                                                                                                                                                       
##  [9] "\n                    \n                    \n                                                            \n                                            2h 55min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Policier,\n                                                                                                                                                                            Drame\n                                        \n                                    "                                                                                                                                                                                     
## [10] "\n                    \n                    \n                                                            \n                                            3h 21min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Aventure,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "
Table 7.2: Durée
x
2h 20
3h 09
1h 50
2h 10
1h 45
3h 15
1h 35
2h 15
2h 55
3h 21

Nous transformons la variable durée en numeric qui sera ensuite convertie en minute.

Table 7.3: Durée
x
140
189
110
130
105
195
95
135
175
201

7.4 Genre

La class .xXx est une class utilisée pour faire référence aux genres des films mais aussi à d’autres éléments qui n’entrent pas dans cet étude. Pour minimiser le nombre d’éléments, on précise que les genres des films ont comme parent la class .meta-body-info

##  [1] "\n                    \n                    \n                                                            \n                                            2h 20min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Comédie,\n                                                                                                                                                                            Drame,\n                                                                                                                                                                            Romance\n                                        \n                                    "
##  [2] "\n                    \n                    \n                                                            \n                                            3h 09min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Policier,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "                                                                                                                                                                               
##  [3] "\n                    \n                    \n                                                            \n                                            1h 50min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Animation,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "                                                                                                                                                                              
##  [4] "\n                    \n                    \n                                                            \n                                            2h 10min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Biopic,\n                                                                                                                                                                            Drame\n                                        \n                                    "                                                                                                                                                                                       
##  [5] "\n                    \n                    \n                                                            \n                                            1h 45min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Animation,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "                                                                                                                                                                              
##  [6] "\n                    \n                    \n                                                            \n                                            3h 15min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Historique,\n                                                                                                                                                                            Guerre\n                                        \n                                    "                                                                                                                                                                                  
##  [7] "\n                    \n                    \n                                                            \n                                            1h 35min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Drame\n                                        \n                                    "                                                                                                                                                                                                                                                                                                                                                                            
##  [8] "\n                    \n                    \n                                                            \n                                            2h 15min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Biopic,\n                                                                                                                                                                            Drame\n                                        \n                                    "                                                                                                                                                                                       
##  [9] "\n                    \n                    \n                                                            \n                                            2h 55min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Policier,\n                                                                                                                                                                            Drame\n                                        \n                                    "                                                                                                                                                                                     
## [10] "\n                    \n                    \n                                                            \n                                            3h 21min\n                                        \n                                            /\n                    \n                                                                                                                                                                                                Aventure,\n                                                                                                                                                                            Fantastique\n                                        \n                                    "
Table 7.4: Genre
2h 20min Comédie, Drame, Romance
3h 09min Policier, Fantastique
1h 50min Animation, Fantastique
2h 10min Biopic, Drame
1h 45min Animation, Fantastique
3h 15min Historique, Guerre
1h 35min Drame
2h 15min Biopic, Drame
2h 55min Policier, Drame
3h 21min Aventure, Fantastique
Table 7.5: Genre
x
Comédie
Policier
Animation
Biopic
Animation
Historique
Drame
Biopic
Policier
Aventure

7.6 Acteurs

Table 7.7: Actors
Avec Tom Hanks, Gary Sinise, Robin Wright
Avec Tom Hanks, Michael Clarke Duncan, David Morse
Avec Yoann Borg, Alice Orsat, Fanny Blanchard
Avec Viggo Mortensen, Mahershala Ali, Linda Cardellini
Avec Andrea Santamaria, Benjamin Bratt, Ary Abittan
Avec Liam Neeson, Ben Kingsley, Ralph Fiennes
Avec Henry Fonda, Martin Balsam, John Fiedler
Avec Rami Malek, Gwilym Lee, Lucy Boynton
Avec Marlon Brando, Al Pacino, James Caan
Avec Sean Astin, Elijah Wood, Viggo Mortensen
Table 7.8: Acteurs
Acteur 1 Acteur 2 Acteur 3
Tom Hanks Gary Sinise Robin Wright
Tom Hanks Michael Clarke Duncan David Morse
Yoann Borg Alice Orsat Fanny Blanchard
Viggo Mortensen Mahershala Ali Linda Cardellini
Andrea Santamaria Benjamin Bratt Ary Abittan
Liam Neeson Ben Kingsley Ralph Fiennes
Henry Fonda Martin Balsam John Fiedler
Rami Malek Gwilym Lee Lucy Boynton
Marlon Brando Al Pacino James Caan
Sean Astin Elijah Wood Viggo Mortensen

7.7 Synopsis

## [1] "\n                      Quelques décennies d'histoire américaine, des années 1940 à la fin du XXème siècle, à travers le regard et l'étrange odyssée d'un homme simple et pur, Forrest Gump.\n        \n            "                                                                                                                                                                          
## [2] "\n                      Paul Edgecomb, Gardien-chef du pénitencier de Cold Mountain en 1935, était chargé de veiller au bon déroulement des exécutions capitales. Parmi les prisonniers se trouvait un colosse du nom de John Coffey...\n        \n            "                                                                                                                               
## [3] "\n                      Mitsuha, adolescente coincée dans une famille traditionnelle, rêve de quitter ses montagnes natales pour découvrir la vie trépidante de Tokyo. Elle est loin d’imaginer pouvoir vivre l’aventure urbaine dans la peau de… Taki, un jeune lycéen vivant à Tokyo, occupé entre son petit boulot dans un restaurant italien et ses nombreux amis.\n        \n            "
## [4] "\n                      En 1962, alors que règne la ségrégation, Tony Lip, un videur italo-américain du Bronx, est engagé pour conduire et protéger le Dr Don Shirley, un pianiste noir de renommée mondiale, lors d’une tournée de concerts.\n        \n            "                                                                                                                         
## [5] "\n                      Depuis déjà plusieurs générations, la musique est bannie dans la famille de Miguel. Un vrai déchirement pour le jeune garçon dont le rêve ultime est de devenir un musicien aussi accompli que son idole, Ernesto de la Cruz. \n        \n            "                                                                                                                
## [6] "\n                      Evocation des années de guerre d'Oskar Schindler, industriel autrichien rentré à Cracovie en 1939 avec les troupes allemandes. Il va, tout au long de la guerre, protéger des juifs en les faisant travailler dans sa fabrique.\n        \n            "
Table 7.9: Synopsis
x
Quelques décennies d’histoire américaine, des années 1940 à la fin du XXème siècle, à travers le regard et l’étrange odyssée d’un homme simple et pur, Forrest Gump.
Paul Edgecomb, Gardien-chef du pénitencier de Cold Mountain en 1935, était chargé de veiller au bon déroulement des exécutions capitales. Parmi les prisonniers se trouvait un colosse du nom de John Coffey…
Mitsuha, adolescente coincée dans une famille traditionnelle, rêve de quitter ses montagnes natales pour découvrir la vie trépidante de Tokyo. Elle est loin d’imaginer pouvoir vivre l’aventure urbaine dans la peau de… Taki, un jeune lycéen vivant à Tokyo, occupé entre son petit boulot dans un restaurant italien et ses nombreux amis.
En 1962, alors que règne la ségrégation, Tony Lip, un videur italo-américain du Bronx, est engagé pour conduire et protéger le Dr Don Shirley, un pianiste noir de renommée mondiale, lors d’une tournée de concerts.
Depuis déjà plusieurs générations, la musique est bannie dans la famille de Miguel. Un vrai déchirement pour le jeune garçon dont le rêve ultime est de devenir un musicien aussi accompli que son idole, Ernesto de la Cruz.
Evocation des années de guerre d’Oskar Schindler, industriel autrichien rentré à Cracovie en 1939 avec les troupes allemandes. Il va, tout au long de la guerre, protéger des juifs en les faisant travailler dans sa fabrique.

7.8 Note

##  [1] "2,6" "4,6" "--"  "2,8" "4,6" "--"  "4,0" "4,6" "--"  "4,0" "4,5"
## [12] "--"  "4,1" "4,5" "--"  "4,2" "4,5" "--"  "5,0" "4,5" "--"  "3,0"
## [23] "4,5" "--"  "4,6" "4,5" "--"  "3,8" "4,5" "--"

On sépare les notes en deux catégories notes de la presse et notes des spectateurs.

Les lignes impaires sont les notes de la presse et les lignes paires celles des spectateurs

## Warning in function_list[[k]](value): NAs introduits lors de la conversion
## automatique
Table 7.10: Notes presse
x
2.6
2.8
4.0
4.0
4.1
4.2
5.0
3.0
4.6
3.8
Table 7.11: Notes spectateurs
x
4.6
4.6
4.6
4.5
4.5
4.5
4.5
4.5
4.5
4.5

7.9 Création de notre data frame

Table 7.12: Entête des données
Nom Duree Genre Realisateur Acteur 1 Acteur 2 Acteur 3 Notes_presse Notes_spectateurs
Forrest Gump 140 Comédie Robert Zemeckis Tom Hanks Gary Sinise Robin Wright 2.6 4.6
La Ligne verte 189 Policier Frank Darabont Tom Hanks Michael Clarke Duncan David Morse 2.8 4.6
Your Name 110 Animation Makoto Shinkai Yoann Borg Alice Orsat Fanny Blanchard 4.0 4.6
Green Book : Sur les routes du sud 130 Biopic Peter Farrelly Viggo Mortensen Mahershala Ali Linda Cardellini 4.0 4.5
Coco 105 Animation Adrian Molina Andrea Santamaria Benjamin Bratt Ary Abittan 4.1 4.5
La Liste de Schindler 195 Historique Steven Spielberg Liam Neeson Ben Kingsley Ralph Fiennes 4.2 4.5
12 hommes en colère 95 Drame Sidney Lumet Henry Fonda Martin Balsam John Fiedler 5.0 4.5
Bohemian Rhapsody 135 Biopic Bryan Singer Rami Malek Gwilym Lee Lucy Boynton 3.0 4.5
Le Parrain 175 Policier Francis Ford Coppola Marlon Brando Al Pacino James Caan 4.6 4.5
Le Seigneur des anneaux : le retour du roi 201 Aventure Peter Jackson Sean Astin Elijah Wood Viggo Mortensen 3.8 4.5

Dans cette phase initiale, on a extrait que la premère page du site. L’idéal serait d’en extraire plus (voir toutes les pages) et de faire une fonction qui permettrait d’automatiser au maximum cette tâche.