After that, I’ll try to go back to school, doing a Master in Computer Science (because I have no choices in fact) in either the EPFL or the Universities of Bern, Neuchâtel and Fribourg. I see this as being an exit door to what I’m currently doing for a living and an opening door to a new world of opportunities which must not be related to the everywhere Internet.

Many people of my family or friends seem to not follow my moves and not understanding and seeing the meaning behind them. I can tell you, there is nothing particular I’m looking for except the thing I know the most, myself.

Going back to the Alp has a strong meaning, the work there is repetitive. You have to milk, do the cheese every single day no matter how you are, what the weather is or if something went wrong. You have to do it, working in rythm with the animals, the nature, the weather, everything surrounding you. It directs, inhibits my eager of discoveries, knowledge, questions, novelties, forcing me to focus on what matters. And what matters isn’t related to myself, it’s what matter for the whole, the bigger stuff I’m part of.

To be honest with you, working as a Freelance is a way to not be part of anything.

Now the studies, what’s hidden behind this. I’m only describing the idea I may have now which won’t be what it’s gonna bring while doing it. It’s again about going back to something, somewhere. Being humble enough to say, I don’t know shit and I need to be told because I’m ready to listen and learn, instead of pretending I know what I, in fact, ignore. Also, if we learned a lot at the engineering school the focus was really on practice and my theroritical basics as been missed. Sometimes I can feel that lack and it’s a gap that can be filed.

I had the opportunity to give some lessons at an engineering school and it might be something I could do in the future once I’ve learned how to be nice and to answer kindly to stupid and repetitive questions. They are days where I feel more like Linus than Richard when it comes to explaining something very simple to smart people. We need both of them but not everyone likes when you hurt their feelings.

And the most important thing, maybe is because I can. I don’t know how hard it will be but I know I can try without worring about money or people that would be affected by this. (Put here a little “forever alone” rage comic head)

You are who you are, nothing you do, own or make define you.

Retour à l’Alpage, pour la seconde année je vais passer un été au soleil, à quelques 1800 mètres d’altitude entre traite et fabrication de l’Étivaz AOC. Peut-être est-ce un moyen de trouver un équilibre dans cette folle vie que mon travail me fait mener. La suite devant être un retour aux bancs d’école pour y effectuer un Master.

Pour tout avouer, il n’y a pas forcément de but précis dans mes démarches, déplacement, changements, expériences si ce n’est de les vivre. J’entends encore une bonne copine me dire que seul le chemin compte vraiment. Je sais que ça travaille certains membres de ma famille, mais c’est important de laisser aller ce genre de choses.

Plus personnellement, et pour me contredire totalement, refaire du connu, se replonger dans de l’existant ne m’est pas chose aisée. L’excitation de la nouveauté est tellement forte, enivrante que seul l’aspect du rassurant car connu n’offre rien en comparaison. J’ai assez peu ce côté jusqu’au-boutiste, je trouve (et ça n’est qu’un point de vue). Ainsi par cette boucle, j’aspire à approndir cette capacité à prendre du plaisir dans le perfectionnement, se perfectionner plutôt que de butiner. Être entier plutôt que superficiel dans son travail, sa vie. Changer est si facile quand on a commencé, qu’il faut réapprendre une certaine stabilité.

Les maigres expériences d’enseignement que j’ai pû glâner ces deux dernières années m’ont plues et vont peut-être devenir une voie envisagable. Autant j’ai de l’amertûme par rapport à ce milieu autant m’y plonger permettra(it) de l’apprivoiser d’une certaine manière.

Et vous que faites vous ces 4 prochains mois ?

Let’s build a web server (aka HTTP server).

#!/usr/bin/env php
<?php
$socket = stream_socket_server(
 'tcp://0.0.0.0:8000', $errno, $errstr
);

if (!$socket) {
 echo "$errstr ($errno)", PHP_EOL;
} else {
 while ($conn = stream_socket_accept($socket, -1)) {
  $request = '';
  while (substr($request, -4) !== "\r\n\r\n") {
   $request .= fread($conn, 1024);
  }
  $response = <<<EOS
HTTP/1.1 200 OK
Content-Type: text/html
Content-Length: 12

Hello World!
EOS;
  fwrite($conn, $response);
  fclose($conn);
 }
}

This is pretty much it. As PHP isn’t multi-threaded maybe the libevent library can help but I didn’t manage to install it. Or you could fork it using the pcntl_fork way. It actually works, badly but works.

Let’s create a WSGI for PHP. Maybe not.

I’m now wondering who would use this for real production stuff. It’s not close from what exists in the other web servers like Unicorn, Gunicorn, … even if they can leverage threads, native code and existing libraries more easily I guess. Not an expert though.

The code is on Github: pure PHP web servers (non-concurrent and concurrent)

Lors d’une récente discussion sur Reddit concernant l’usage de PHP pour des WebSocket ou plutôt son bien fondé, je me suis rendu compte que j’avais encore une mauvaise image de ce dernier. En l’associant à son usage premier, couplé à un server web (via mod_php, php-fpm, fastcgi, …), on oublie qu’il peut servir de langage de script (au même titre que d’autres) et même un peu plus. Il est possible d’écrire un serveur TCP/UDP en PHP pur.

Dans la version simple (voir le code), le serveur n’accepte qu’une seule connexion à la fois, il n’est donc pas très utile en soit.

La seconde forke, c’est-à-dire que le script se duplique ce qui permet d’accepter plus de requêtes à la fois mais crée également un nouveau interpréteur PHP par fois (un fonctionnement commun, PHP n’est pas multithreadé). Il y a bien des fonctions permettant de se servir de la bibliothèque libevent mais je n’ai pas réussi à l’installer. Pour information, libevent est une des bibliothèque permettant à certains serveur web de traîter un grand nombre de connexions simultanées (C10K problem).

Ça ne va pas toute à fait m’enlever l’idée de la tête que PHP est un langage de template avant tout et permet aussi de faire des choses un peu plus poussées. Je demande encore à voir un serveur WebSocket en PHP même si techniquement c’est réalisable.

So you check the basics like GET and POST arguments. And maybe you check the values coming for the cookies as well. But do you check the file uploading? You know that type arguments sent. This how a request look like:

POST /…
…
Content-Type: multipart/form-data; boundary=boundary

--boundary
Content-Disposition: form-data; name="key"

value
--boundary
Content-Disposition: form-data; name="file"; filename="image.png"
Content-Type: image/png

…Your PNG image here…
--boundary--

The Content-Type field is guessed by the browser and most of the time on the file extension. But it can decide to send whatever it wants like application/octet-stream which just says that it’s a binary file.

So, you shall not trust it and always verify what you get using the proper tool, like the UNIX command file PHP ships with it and Python has a wrapper called magic. That how you use it in Python in a WSGI application (using WebOb).

import magic
from webob import Request

def application(environ, start_response):
 req = Request(environ, charset="utf-8")
 # sent from the browser
 uploaded_file = req.POST.get("file")
 # what we actually got
 guessed_type = uploaded_file.type
 magic_type = magic.from_buffer(uploaded_file.read(1024),
                                mime=True)
 uploaded_file.seek(0)
 "… whatever else …"

This way you can really white list the file you users are uploading and prevent them for sending you .mov, .doc or whatever when they think they are uploading a new avatar for their profile. True story.

The code is on github

On vous a certainement dit et répété de vérifier tout ce qui provient de vos utilisateurs, juste ? Alors vous vérifiez les GET et les POST, et parfois aussi les cookies mais avez-vous pensé aux envois de fichiers ?

Aha, non ! C’est bien ce que je pensais. En gros, pour faire simple on peut vous faire parvenir n’importe quoi en vous disant que c’est n’importe quoi d’autre. Tiens une image alors que je t’envoie un document LibreOffice (c’est comme Office, si si). Et ça se fait très certainement sans en avoir conscience car c’est le navigateur qui rempli cette information et de manière générale il la devine à partir de l’extension du fichier.

C’est pourquoi il est important d’exclure cette donnée et d’aller la repêcher par ses propres moyens. En PHP, par exemple, ça se fait avec finfo qui est très proche de la commande UNIX file, bien connue. Los.

<?php
$file = $_FILES['file'];
// ce que nous donne le navigateur
$guessed_type = $file['type'];
// ce que file nous donne
$finfo = new finfo(FILEINFO_MIME);
$magic_type = $finfo->file($file['tmp_name']);

Un petit cas concret de problème que nous avons rencontré. Une gif animée enregistrée en tant que jpg dont on désire obtenir une miniature avec Imagick risque de vous donner autant d’images qu’il y a de frames (si bien entendu vous supportez aussi les gif animées, ce que nous faisons).

Et vous éviterez aussi de retrouver trop de bordel dans les avatars de vos utilisateurs.

Le code se trouve sur github

At the end this operation will happen once, but during the current development we might be running them a lot while adding new data sets to it.

Let’s dive, on how we import the data into the new database:

LOAD DATA INFILE
 "/tmp/data.dat"
INTO TABLE
 table_name;

That’s very fast, and can be faster if you allow more space for the InnoDB logs.

Now, where does that tmp/data.dat file come from what does it look like. This file has been generated by another request ran on the old database.

SELECT
 id, name, some_value
FROM
 old_table
INTO OUTFILE
 "/tmp/data.dat";

This is a trivial one, recreating a new table with three columns. By default the output format is a tab separated file where NULL has been replaced by \N.

If your old data base — like it’s our case — is still in Latin 1 or 15 (in Europe), using iconv on the .dat file can convert it to, for example, utf-8.

iconv \
 -f iso-8859-15 \
 -t utf-8 \
 /tmp/data.dat > /tmp/data_utf8.dat
mv /tmp/data{_utf8,}.dat

We got tricked by some cp-1252 characters mixed with the Latin 15 ones, beware of those.

And to finish this, two tipps if your old data are too messed up.

You are using text fields in the old data but will use a dedicated table now one so you should use a temporary table for this kind of mapping, i.e. country.

You cannot get all the data at once and need to compute stuff for some rows. In our case moving the pictures to a dedicated table and linking them back afterwards. So we load the data that need to be updated into a temporary table and then perform on update SQL statement to update them all at once, they work like natural joins.

Mon projet actuel consistant à migrer des données presque historiques peu structurées, chaotiques et pleines de surprises vers un modèle plus carré aux contraintes d’intégrités respectées. Pour y arriver, et après divers essais, voici comment nous nous y prenons. Le contexte est simple, une base de donnée MySQL en MyISAM et latin 15 (iso-8859-15) est morphée en une autre devant inclure la première mais permettre plus utilisant InnoDB (pour les contraintes d’intégrité notamment) et UTF-8 (unicode partout, tout le temps).

Dans les solutions explorées, il y a la manière dont fonctionne la commande mysqldump qui produit des INSERT. C’est bien, dès qu’il s’agit d’effectuer des opérations un peu plus complexe sur les données à sélectionner ça en devient plus difficile et il y a des limites quant au nombre d’insertions pouvant être effectué à la fois. Pas assez simple.

Une autre approche aurait été de se reposer sur un outil de ETL (Extract Transform Load), très utilisé pour tout ce qui est BI (business intelligence), mais à vue de nez ça ne serait pas assez rapide.

Car même si l’opération, au final, ne sera exécutée qu’une seule fois, au moment de la migration vers le nouveau schéma, en développement il nous faut le faire régulièrement pour nous assurer que les données récentes passent toujours et que le nouveau schéma en cours de migration le fasse.

Et dans une optique purement MySQL, assumant que l’ancienne et la nouvelle base sont indépendantes, l’option a été de se servir des facultés d’export et d’import de MySQL vers le système de fichier avec les commandes :

SELECT …
FROM
 nom de la table
INTO OUTFILE
 nom du fichier;

et

LOAD DATA INFILE
 nom du fichier
INTO
 nom de la table;

Le fichier intermédiaire (les données sont séparées par des tabulations et retours-ligne par défaut) peut être converti en unicode à l’aide de la commande iconv et à coups de tr, il est même possible de se débarasser des quelques caractères cp1252 restant.

Et pour tous les cas qui sortent d’un simple SELECT / LOAD, les tables temporaires sont d’une très grande utilité pour effectuer des tables de liaisons (données textuelles vers identifiant, i.e. pays, monnaie, …) ou des importations en plusieurs étapes à l’aide d’un UPDATE sur toute une table (via une très vilaine jointure naturelle, si si).

Au final, je me demande si nous n’aurions pas dû effectuer ce travail là sur la version live du site et amorcer des migrations partielles des données plutôt que de vouloir tout basculer d’un coup. L’avenir le dira.

Si vous avez mieux que cette méthode assez brute, c’est avez grand plaisir que j’en prendrai connaissance.

First things to know is that pages are owned by users not applications and you can only interact with facebook as an application on the behalf of a user. First thing first, you need to create an application.

To act on a Page from an application, the administrator of a Page your application want to administrate must give you the permission to manage his pages. This permission is called, no surprises here: manage_pages.

Once the permission is granted, an access_token can be retrieved from https://graph.facebook.com/me/accounts and used from the application to interact with the page.

Nowadays Facebook applications should be made using mostly the JavaScript SDK to login, logout and so forth. That said, ours gonna be static only as we don’t need more.