JeffProd | Blog

Scraper des sites en interceptant les requêtes

Fri, 22 Oct 2021 01:38:39 +0200

Le “Web scraping” est une technique pour extraire le contenu des sites internet dans le but d’archiver les données de manière structurée. Les données sont extraites directement depuis le code source. Le travail consiste à les rechercher dans une jungle de balises HTML.

Il est pourtant bien plus simple de récupérer ces données dans un format structuré. Ceci est possible en interceptant les requêtes web entre votre navigateur et le site internet.

Cloner un PC et le démarrer dans une machine virtuelle

Sun, 20 Jun 2021 09:36:58 +0200

Sauvegarder un ordinateur complet et le démarrer dans une machine virtuelle est réalisable en quelques commandes Linux. Les outils sont libres et gratuits.

Aidez la science et recevez des crypto-bananes

Sun, 28 Mar 2021 17:56:11 +0200

Et si au lieu de miner des cryptomonnaies nous participions à faire avancer la science ? Et pourquoi pas les deux ? Voici comment procéder à des calculs scientifiques et recevoir en retour des crypto-bananes.

Les Web Workers en Javascript

Sun, 28 Feb 2021 12:00:44 +0100

Le Javascript est exécuté dans un seul processus (“single threaded” en anglais). Lorsqu’on démarre un long traitement, l’interface utilisateur peut être ralentie voire figée.

Pour pallier à ce problème les Web Workers sont apparus. Ils permettent d’exécuter un script en arrière plan, dans un autre processus.

Créez votre barre d'état i3/sway en bash et python

Sun, 21 Jun 2020 11:19:31 +0200

i3 est un gestionnaire de fenêtres sur Linux. Il gère les fenêtres par onglet, en pile, et en mosaïque (tiling). L’avantage est que vous ne perdez plus de temps à organiser vos fenêtres avec la souris. Avec i3 la disposition est automatique. Les fenêtres s’ouvrent en occupant l’espace disponible. Par des raccourcis claviers personnalisables, on peut les déplacer, les afficher en plein écran, les agencer horizontalement ou verticalement. Cela s’avère bien plus pratique et rapide que la souris.

Svelte JS : Configuration de VSCode et internationalisation

Wed, 06 May 2020 10:04:05 +0200

Svelte est un ensemble d’outils pour développer des applications Javascript (encore un nouveau framework JS). Il est un concurrent direct de React ou VueJS. Après l’avoir essayé, je confirme que ce projet est à suivre avec intérêt.

Trouvez de tête le jour de la semaine pour n'importe quelle date

Wed, 01 Jan 2020 12:10:20 +0100

Le 14 juillet tombe quel jour cette année ? Est-ce que mon anniversaire sera un dimanche ? Il existe une méthode simple pour calculer mentalement le jour de la semaine pour une date donnée.

Automatisation de tâches dans un OS virtualisé

Thu, 05 Dec 2019 11:06:16 +0100

Ou comment effectuer des actions dans une machine virtuelle sans quitter le terminal…

Depuis Linux, je cherchais le moyen d’automatiser la compilation d’un logiciel sur Windows, et sans utiliser Wine qui n’a rien d’officiel.

VirtualBox est un logiciel de virtualisation multi-plateformes. Il est livré avec VBoxManage, un outil en ligne de commande qui permet de manipuler et gérer les machines virtuelles.

Sauvegardes chiffrées dans le cloud

Sat, 30 Nov 2019 15:23:28 +0100

La sauvegarde des données est essentielle pour pallier à un problème matériel (panne, destruction…) ou logiciel (rançongiciel…). Voici une solution sécurisée utilisant Restic et le stockage d’objets.

Gérez vos mots de passe avec des logiciels libres

Sun, 13 Oct 2019 19:57:40 +0200

Il existe plusieurs applications pour la gestion des mots de passe. Nombreuses sont gratuites mais commerciales.

Peut-on confier ses mots de passe et numéros de cartes bancaires à des entreprises commerciales ? Vous êtes seul juge. Mais sachez que “Si c’est gratuit c’est vous le produit”. Et les sociétés sont souvent la cible de hackers. Les fuites de données sont fréquentes.

De Ubuntu à Arch Linux

Fri, 13 Sep 2019 09:11:10 +0200

Ubuntu s’est imposé comme l’une des distributions Linux de référence et je l’utilise depuis plusieurs années. Arch Linux est très minimaliste et légère, à telle point qu’elle ne possède ni interface graphique ni installateur par défaut ! Je me devais donc d’essayer…

Les PWA et TWA

Mon, 10 Jun 2019 00:11:04 +0200

PWA, TWA, APK ? Le développement d’applications pour mobile évolue. Il existe aujourd’hui plusieurs façons de développer une application.

Application native (APK)

L’APK (Android Package Kit) est un format de fichier natif pour le système Android. Il est développé en Java (ou Kotlin). L’application compilée au format APK peut être soumise à un Play store pour être diffusée.

Le logiciel de référence pour développer une application Android est Android studio.

Cela présente un inconvénient : un coût de développement non négligeable pour porter l’application sur différents systèmes (Swift, Objective-C pour iOS, Java/Kotlin pour Android).

Web scraping avec Electron

Sat, 09 Mar 2019 08:12:35 +0100

Le “Web sraping” est une technique pour extraire le contenu des sites internet dans le but d’archiver les données de manière structurée. Attention toutefois à respecter les conditions d’utilisation du site web concerné.

Electron est un framework pour créer des applications natives Windows/Mac/Linux avec les technologies du web (Javascript, HTML, CSS). Il inclut le navigateur Chromium, entièrement configurable et manipulable.

Pouvait-on rêver mieux pour développer une application portable avec interface graphique pour scraper un site particulier ?

Limiter le nombre de requêtes vers une API

Sat, 22 Dec 2018 14:25:59 +0100

Vous avez développé une API publique et vous voulez éviter les abus ? Il est possible de limiter l’accès à un nombre de requêtes déterminé selon une période donnée. Par exemple, si un utilisateur envoie deux demandes successives alors que vous n’autorisez qu’une requête toutes les 5 secondes, il obtiendra la réponse suivante :

Limite atteinte, veuillez réessayer dans 4 secondes.

Créer une application Android avec Cordova et VueJS

Mon, 17 Dec 2018 15:36:19 +0100

Nous avons vu qu’il est possible de développer des applications de bureau avec les technologies du web (Javascript/HTML/CSS). De même, je vous propose de créer une application Android, de l’installation des briques logicielles, jusqu’à la publication sur le Play Store. Nous utiliserons VueJS pour coder l’interface et Cordova pour empaqueter l’application.

Un moteur de recherche interne pour votre site Hugo

Wed, 05 Sep 2018 07:36:39 +0200

Nous avons vu comment créer un site web avec HUGO, voyons maintenant comment ajouter un moteur de recherche interne.

L’objectif est de le réaliser :

sans installer des dépendances Javascript sur votre ordinateur
sans indexer des “mots vides” (ou stop words), c’est-à-dire les mots inutiles comme “et, ou, nous, comment…”
indexer des mots uniques pour chaque page (sans doublons)
vos prochains articles seront référencés automatiquement sans aucune maintenance.

Créez un blog en deux minutes avec HUGO

Sat, 11 Aug 2018 11:14:47 +0200

Pour créer un site web il existe plusieurs logiciels comme WordPress ou Drupal (appelés CMS ou système de gestion de contenu). Ils fonctionnent en général avec le langage PHP et une base de données MySQL.

Partager un périphérique USB sur le réseau

Tue, 17 Jul 2018 14:02:00 +0000

Linux permet d’utiliser un périphérique USB connecté à une machine distante comme s’il était connecté directement sur votre ordinateur. Le module natif se nomme USB/IP. Le but est de partager un appareil (dongle, webcam, imprimante, scanner…). Il existe des solutions logicielles et matérielles payantes… c’est pourtant simple et gratuit.

Le hachage perceptuel (perceptual hashing)

Mon, 16 Jul 2018 10:02:00 +0000

En informatique, une signature numérique peut être créée pour chaque fichier. A la moindre modification de l’original, l’empreinte générée sera totalement différente. L’intérêt est de vérifier si le document a été altéré.

Un bot Discord pour créer des favicons

Sun, 01 Jul 2018 14:24:00 +0000

Une “favicon” est l’icône d’un site web dans votre navigateur. Pour un webmaster, il n’est pas toujours facile de créer ce fichier. Heureusement il existe un BOT Discord pour cela. Voici comment procéder.

Frameworks Javascript : Par où commencer ?

Sat, 23 Jun 2018 13:45:00 +0000

Avec le JavaScript à papa dans les années 1990, on pouvait afficher des flocons de neige à noël sur sa page web. Aujourd’hui ce langage a considérablement évolué. Il est utilisé pour créer des applications smartphone, des applications de bureau, des serveurs web…

Décompiler une application Electron

Sun, 11 Mar 2018 11:46:00 +0000

Ou comment retrouver le code source d’un logiciel créé avec le framework Electron.

Trading bot de crypto-monnaies

Tue, 27 Feb 2018 13:20:31 +0200

Vous l’avez remarqué, le cours des monnaies virtuelles ressemble à des montagnes russes. En effet, le prix est fixé uniquement sur l’offre et la demande. Pour en tirer profit, il y a deux possibilités : conserver la monnaie d’un projet auquel on croit sur le long terme, ou en tradant. Dans ce cas, il est possible d’automatiser certaines tâches d’achat/vente.

Développement d'applications multiplateforme avec Electron

Sat, 11 Nov 2017 10:20:15 +0200

Créer une application pour ordinateur de bureau avec interface graphique est possible avec python/tkinter, Java/JavaFX, C++/Qt… Mais avec ces solutions, l’utilisateur final doit installer Python, Java, et éventuellement C++ redistribuable.

Créer un BOT Telegram

Sat, 29 Apr 2017 15:02:41 +0200

Telegram est une application de messagerie instantanée. Outre les conversations avec vos amis, vous avez la possibilité de créer des BOTS. Ces programmes, avec lesquels vous pouvez dialoguer, peuvent rendre de nombreux services :

Créer des conteneurs chiffrés sous Linux

Thu, 30 Mar 2017 18:46:35 +0200

Avant il y avait TrueCrypt, puis VeraCrypt, AxCrypt aussi, et compagnie. Mais le plus simple est d’utiliser ce qu’offre nativement le noyau Linux.

Résoudre un Rubik's pocket cube avec Neo4j

Fri, 17 Mar 2017 19:14:01 +0200

Un pocket cube peut avoir 3 674 160 positions différentes. Pour une base de données NoSQL, ce nombre n’est même pas impressionnant.

Neo4j est une base de données de graphe NoSQL. Dans cet outil on pourrait modéliser les cubes, et les relier entre eux via les mouvements.

Commande 'rm' : ne supprimez plus vos fichiers définitivement

Mon, 27 Feb 2017 10:47:53 +0200

Vous est-il arrivé de perdre un fichier par erreur après l’avoir supprimé via un rm ?

Pour éviter que cela ne se reproduise, le plus simple est de substituer l’action de cette commande dans le but de placer le fichier dans la corbeille.

Chiffrer un fichier sous Linux

Wed, 23 Nov 2016 12:26:39 +0200

Pour transporter des fichiers confidentiels sur une clé USB, inutile d’installer un logiciel dédié comme VeraCrypt. Il suffit d’un ordinateur sous Linux.

Analyse visuelle de réseaux sociaux

Sun, 19 Jun 2016 16:05:07 +0200

Les API de Twitter permettent de récupérer les abonnés et les abonnements d’un compte. Lorsqu’on a téléchargé les listes de plusieurs comptes, comment les mettre en relation ?

Créez une interface graphique Qt pour vos scripts Python

Wed, 30 Mar 2016 21:40:18 +0200

Un script Python en ligne de commande c’est bien, mais la majorité des utilisateurs préfèrent utiliser une belle fenêtre avec des cases à cocher et des boutons.

Surveillez vos abonnés Twitter avec un Raspberry Pi

Sun, 06 Mar 2016 17:22:00 +0200

Twitter vous informe quand vous avez un nouvel abonné, mais pas lorsque l’un d’entre eux se désabonne. Pour le savoir, vous pouvez utiliser un service en ligne comme ManageFlitter.

Mais si vous ne souhaitez pas partager vos informations avec un site tiers, pourquoi ne pas coder un script sur Raspberry Pi à cet effet.

Chiffrer une base SQLite

Tue, 29 Dec 2015 18:50:39 +0200

Si vous conservez des données dans une base SQLite, vous voudrez certainement en interdire l’accès si elle se retrouve dans la nature ou hors cadre de votre application.

Dans cet article nous allons créer une base de données chiffrée, en ligne de commande.

LAMP sous Docker

Wed, 23 Sep 2015 20:57:27 +0200

LAMP, qu’on ne présente plus, c’est Linux Apache MySQL et PHP. Tout un environnement logiciel pour faire fonctionner un site internet.

Comment traduire un site internet ?

Tue, 15 Sep 2015 17:21:03 +0200

Traduire un site, ou un logiciel, est un travail fastidieux. Heureusement, un programme existe pour vous aider, il s’appelle gettext. Il n’est pas nouveau, c’est même un dinosaure. Mais comprendre son fonctionnement et le mettre en place peut être un peu déroutant au début.

Séparez le PHP du HTML

Tue, 01 Sep 2015 22:33:48 +0200

Pour développer un site web on peut inclure du PHP directement dans le HTML. On se retrouve alors à maintenir du code tel que celui-ci :

Server Sent Events

Sat, 06 Jun 2015 17:08:33 +0200

Sur votre site web, lorsque vous avez un long traitement à effectuer côté serveur, il peut s’avérer utile d’afficher l’état d’avancement en temps réel sur une page web. Il existe une API HTTP nommée Server-Sent-Events (SSE). Elle permet de recevoir des notifications push depuis le serveur.

Les bases d'un jeu Android en 2D

Tue, 07 Apr 2015 21:42:00 +0200

Nous allons disséquer un jeu vidéo et créer les bases d’une application Android en 2D.

Un script PHP pour détecter les erreurs 404

Thu, 19 Mar 2015 16:43:05 +0200

Une “erreur 404” sur un site internet est le cauchemar de tout webmaster. Les pages web sont créées, déplacées, supprimées… Et tomber sur un lien brisé n’est agréable ni pour vos visiteurs ni pour votre référencement dans les moteurs de recherche.

Un chronomètre en Java

Sat, 07 Mar 2015 19:53:03 +0200

En programmation, il peut être utile de connaître le temps d’exécution d’une portion de code. Je vous propose une simple classe Java qui simule un chronomètre.

Algorithmie : générateur de mots-mêlés

Mon, 23 Feb 2015 22:25:02 +0200

Un jeu de mots mêlés, ou “word search” en anglais, consiste à trouver des mots déterminés dans une grille remplie de lettres.

Les réseaux VPN

Sat, 07 Feb 2015 16:03:49 +0200

VPN signifie “Virtual Private Network” : réseau privé virtuel sur internet à travers un tunnel sécurisé (ou pas, mais dans ce cas cela n’a aucun intérêt). Les ordinateurs connectés au VPN sont ainsi sur le même réseau local (virtuel). La connexion entre les ordinateurs est de type client / serveur et gérée par un logiciel VPN.

Utilisation d'une base SQLite sous Android

Sun, 25 Jan 2015 16:02:51 +0200

SQLite est un moteur de base de données relationnel gratuit. Il est facilement portable car le moteur et les données sont contenus dans un même fichier. C’est donc un excellent choix pour le stockage de données dans un smartphone.

Android : Afficher des données sous forme de tableau

Sat, 03 Jan 2015 16:45:25 +0200

Dans une application Android, il existe (à ma connaissance) deux options pour afficher des données sous forme de tableau.

La première solution utilise les objets ListView et SimpleCursorAdapter.
La deuxième cré des TextView à la volée dans un TableLayout.

Créez un blog avec Jekyll

Thu, 11 Dec 2014 23:24:33 +0200

Jekyll est un outil de création de site internet. Il permet de générer des pages HTML à partir de votre contenu rédigé dans de simples fichiers textes.

Finis les sites en CMS avec du PHP/MySQL : Pourquoi créer des pages dynamiques en interrogeant une base de données quand il suffit de créer directement la page finale ?

Installez le nouveau Captcha de Google sur votre site en PHP

Fri, 05 Dec 2014 00:38:30 +0200

CAPTCHA est un service gratuit qui permet de protéger les sites web contre le spam. Il est utilisé dans les formulaires pour éviter les soumissions automatisées par des robots malveillants. Il s’agit en général de recopier un mot déformé dans une image :

Le test du singe

Fri, 10 Oct 2014 23:43:42 +0200

En informatique, après la phase de développement d’un logiciel, arrive la phase de test.

Avez-vous prévu tous les cas d’erreur ? Que se passera-t-il si un utilisateur saisit du texte dans votre programme alors que vous attendiez un nombre ?

Raccourcir et personnaliser des URL

Sat, 04 Oct 2014 21:33:56 +0200

Pour mémoire, une URL (Uniform Resource Locator) est tout simplement l’adresse d’une page internet. Exemple :
https://fr.jeffprod.com/blog/2014/comment-programmer-un-jeu-dechecs

On peut réduire cette adresse en ceci :
https://bit.ly/2wByZJx
Elle vous conduira sur la même page.

Comment programmer un jeu d'échecs ?

Mon, 22 Sep 2014 20:50:07 +0200

Vous souhaitez relever le défi d’écrire un jeu d’échecs ? Ou simplement comprendre comment un ordinateur peut jouer correctement ? Je vous propose d’étudier le code source du programme écrit pour l’occasion :
“Jepychess” qui signifie à peu de chose près “JeffProd Simple Python Chess Program”.

Sauvegardez vos données avec RSync

Mon, 25 Aug 2014 19:45:16 +0200

Il est impératif de sauvegarder vos données sur un périphérique externe. En effet, vous n’êtes jamais à l’abri d’une panne, d’un vol, ou d’une suppression malencontreuse de documents.

Enregistrement audio et vidéo d'un écran Android

Wed, 18 Jun 2014 10:07:46 +0200

Comment capturer une vidéo de l’écran de votre smartphone gratuitement, sans le “rooter”, et avec un outil fourni par Google ?

Programmation : tirage au sort sans redondance

Mon, 12 May 2014 20:14:56 +0200

Au cours d’un développement, on peut être amené à tirer au sort des données.
Voici une fonction Java pour tirer au sort un nombre compris entre min et max :

JPCalendar : un calendrier en PHP

Sat, 22 Mar 2014 20:04:48 +0200

JeffProd-Calendar est une classe PHP pour afficher un calendrier mensuel ou annuel sur votre site.
Il est possible d’ajouter des évènements et définir leur couleur.

Développez en local avec Git

Fri, 07 Mar 2014 20:47:22 +0200

Pour le développement d’applications, on utilise un logiciel de gestion de versions. Il permet le travail collaboratif et la conservation de l’historique de chaque fichier. Le plus ancien est CVS. Son remplaçant est Subversion (SVN). Il existe aussi Git dont le développement a débuté en 2005 par un certain Linus Torvalds.

Mon premier Semi-Marathon

Sun, 02 Mar 2014 19:06:01 +0000

Ou comment j’ai perdu 5 kg en 5 mois pour courir 21.1 km ! Je ne parlerai pas des kilos pris aux ski grâce aux fondues savoyardes…

Redimensionner des images par lot

Wed, 26 Feb 2014 23:06:59 +0200

Sous Linux, l’utilitaire ImageMagick permet de retailler des images en ligne de commande.
S’il n’est pas installé sur votre ordinateur, tapez :

JPForm : classe PHP pour les formulaires HTML

Sat, 15 Feb 2014 23:02:58 +0200

JPForm est une classe PHP pour vous simplifier la vie avec les formulaires HTML. Si vous codez vous-même votre site internet sans utiliser de CMS, alors ce code pourra vous être utile.