So I wanted to create stub articles and useful charts to flesh out our internal wiki. I of course grabbed the amazing Altova Mapforce and made short work of generating pages and charts and then imported them into our wiki using pywikipedia http://meta.wikimedia.org/wiki/Using_the_python_wikipediabot

Here is what I came up with

http://sites.google.com/site/mellerbeck/Home/usingAltovaMapforcetoCreateWikipediaArticles.pdf?attredirects=0

Here is a quick flash video of the process as well.

http://sites.google.com/site/mellerbeck/Home/wiki.swf?attredirects=0

Le Toolserver (TS) est un petit groupe de serveurs géré par Wikimedia Deutschland (détails ici). Il héberge un bon nombre de scripts aux utilités diverses (par exemple, c’est là que je fait tourner mon système de bienvenutage automatique, ainsi qu’un système retirant dans les articles les liens pointant sur des images supprimées)

le TS est un énorme plus pour les projets Wikimedia a plus d’un titre, mais je reste avec l’impression que ses ressources sont mal utilisées.

Voici une petite analyse, prise pendant l’écriture de ce billet, des programmes lancés sur le TS, classés par plus utilisation de mémoire. Pour simplifier, je n’ai gardé que les ~15 premiers. Pour correspondance, 1% de la mémoire correspond à 80Mo. J’ai traduit certaines commandes en quelque chose de compréhensible pour le plus grand nombre.
%MEM COMMAND
5.1 interwiki.py
4.3 interwiki.py
3.9 interwiki.py
3.6 interwiki.py
2.9 (tomcat)
2.6 (pircbot)
1.8 (manageur java)
1.5 (pircbot)
1.5 (pircbot)
1.4 (pircbot)
1.4 (pircbot)
1.3 (pircbot)
1.2 interwiki.py
1.2 (un script python inconnu)
1.1 (linky)
1.0 (linky)
1.0 (pircbot)

Petite explication et consommation mémoire cumulée :

• interwiki.py (13% de la mémoire sur cet échantillon, soit ~1040Mo)
• pircbot et linky (12.8% de la mémoire sur cet échantillon, soit ~1024Mo)

Mon analyse rejoint globalement celle faite sur le blog du toolserver : ces deux éléments plombent plus du quart des ressources mémoire du TS, et pour quels avantages ?

linky/pircbot

Linky et pircbot sont deux bots IRC. Et un bot IRC, ça n’est rien de plus qu’un gadget pour geeks. Vu les fonctionnalités (afficher un lien http lorsque quelqu’un tape un [[lien]] sur le chan, etc), le fait que chaque instance prenne entre 80Mo (1%) et 208Mo (2.6%) de mémoire est tout simplement ridicule. Je suis conscient que c’ets en java, mais quand même, faut pas pousser, là…

Interwiki.py

interwiki.py est un robot interwiki. Contrairement aux bots sus-nommés, l’utilité d’un script interwiki est reconnue. Mais dans le même temps, il n’est pas absolument nécessaires qu’ils tournent en permanence (contrairement, par exemple, à un script qui reverte les vandales en temps réel, comme celui de Salebot).

Par conséquent, les faire tourner sur le TS n’est pas indispensable, surtout vu la charge qu’ils causent. Et ça, il serait grand temps que ses utilisateurs sur TS s’en rendent compte (avec une mention spéciale pour le type qui le lance en double…)
Pour comparer, j’utilise moi même interwiki.py , sur mon ordinateur personnel : il se lance le matin quand j’allume mon ordi, et s’arrête chaque soir lorsque je l’éteind (soit 16H de fonctionnement/jour). Rien de bien sorcier, et ça marche très bien. On ne me fera pas croire qu’il faut une bête de course pour le faire fonctionner, vu que ça fonctionnait très bien sur mon ancien portable, qui était du matos “premier prix” datant de 2002.

Bref : Utilisateurs du TS, pensez un peu aux autres !

Comme je l’ai mentionné dans mon billet Wikipédia et les robots, une partie de l’accueil des nouveaux, couramment néologisé “bienvenutage”, est partiellement effectué automatiquement par un robot.

Il se trouve que c’est moi qui gère ce robot. Comme pour tout, il y a des gens pour, des gens contre… mais voyons un peu comment tout cela à commencé.

L’origine

Tout d’abord, il faut savoir qu’au niveau logiciel, absolument rien n’est prévu pour l’accueil des nouveaux arrivants.

Depuis les temps immémoriaux et jusqu’il y a pas si longtemps, cette activité fut assurée uniquement par les contributeurs, posant un message d’aide et bienvenue sur la page de discussion des nouveaux lorsqu’ils les repèrent au détour de leur liste de suivi.

Courant mars 2007, je suis aperçu qu’en pratique, sans doute parce qu’ils éditent sur des pages peu suivies -leur commune de 300 habitants par exemple-, nombre d’entre eux n’étaient pas vus et tout simplement oubliés, et restaient “dans le noir”.

Je me suis dit à l’époque “aah, c’est surement pour ça qu’ils éditent 2/3 fois pour ne plus jamais revenir”, et me suis donc décidé à combler ce vide en parcourant le log des créations de compte tous les quelques jours pour apporter une peu de lumière a ces malheureux oubliés.

Le modèle de bienvenue utilisé communément à l’époque me sortant par les oreilles, j’ai créé mon propre modèle
et me suis mis au travail. Il est à noter que ce modèle ne plait pas à tout le monde, et j’ai eu des remarques négatives à son sujet…mais aussi des remarques constructives (propositions d’amélioration, correction de fautes) et de nombreuses remarques positives, notamment 6 personnes me demandant son emplacement pour pouvoir le réutiliser.

J’ai globalement assuré ce “bienvenutage des oubliés” à la main entre mars et juillet 2007, mais je commençais à en avoir vraiment assez : “bienvenuter” à la chaine une petite centaines de personnes par jour est une tâche bassement répétitive -ouvrir la page de discussion, poser le modèle, sauvegarder…- et sérieusement ennuyeuse (et inductrice de crampes) à la longue.

L’automatisation implicite

Courant juin 2007, j’ai commencé à chercher une solution logicielle pour me supplanter dans cette activité. J’utilisais déjà à l’époque le framework pywikipedia pour mes activités robot (interwikis, suppression de liens vers image effacée, etc.) et j’ai découvert parmi ses nombreux scripts welcome.py, qui correspond précisément à ce dont j’avais besoin.

Après un sondage informel à ce sujet sur IRC, j’ai commencé une série de tests avec ce script, puis utilisé régulièrement celui ci sur mon propre compte (c’est à dire que les modifications apparaissent sous mon pseudo, comme si je les avais faites à la main) jusqu’à fin d’août 2007.

pourquoi avec mon propre compte ?

Il y a deux raisons principales

• L’action de bienvenue est, dans cette version du script, la même : je ne voyait pas l’intérêt de différencier l’auteur alors qu’en pratique, il n’y avais aucune différence entre ma méthode et celle du script.
• Le faire explicitement faire “par un robot” risquait de déclencher l’ire de certains membres de la communauté.

L’automatisation explicite

Début septembre 2007, fort de ces deux mois d’expérience, j’ai pris mon courage a deux pattes et ai passé le script sur mon compte robot, sur lequel le script fut lancé à la main en moyenne tous les deux jours. Je n’ai toutefois pas fait d’annonce officielle à ce sujet.

Quelques temps après, ayant acquis un compte sur le toolserver (TS), j’ai pu affranchir le script des aléas de mes lancements manuels (il arrive que je ne soit chez moi, ou même simplement que j’oublie de le lancer) en l’installant là bas, ou il est dorénavant exécuté automatiquement une fois par jour.

ce billet devenant trop long, la suite (historique à partir d’octobre 2007) sera détaillée dans un autre billet.

I made very initial release of sources searcher for authors, which may be used for improving quality of Wikipedia articles. It is just basically useful, but I think that it will become more useful very soon (including a web interface at Toolserver). Also, please add your comments, wishes etc. When program become usable for wider public, I’ll announce it at Wikimedian lists.

Project page at SourceForge is here; you may download 14kB version without pywikipediabot or 4MB+ version with pywikipediabot. Program will not work without pywikipediabot, so if you didn’t download it separately, download version with it.

Here is the inital README file:

Version 0.0.1, 2007-11-03

This is Python Sources, initial version of the software for making authors’ life easier. For now, it is not so useful, but a person who knows to work with pywikipediabot may use it.

First of all, go to pywikipedia directorium and change bot parameters there and log in as you would with pywikipedia bot. This bot doesn’t edit anything, but it is cool to have bot accounts all over the wiki world, even they don’t have bot flags

== Purpose and usage ==

Intention of this program is to generate relevant links/sources for appropriate subject.

1) For example, if you want to find sources in English about sociolinguistics concept “idiom”, you should type:

./gen_sources.py en sociolinguistics idiom

2) But, if you want to find sources in Spanish, but you know only English, assuming that English Wikipedia has an interwiki link to the appropriate article on Spanish Wikipedia (as it has in this case), you should type:

./gen_sources.py en sociolinguistics idiom es

== Output ==

Program will generate a (media)wiki list of external links. You may use them via your personal MediaWiki installation or via your user page on some project which uses MediaWiki.

In this version you will get sources from the next sites:

- Wikipedia (if you mentioned other language, you will get sources in both
languages)
- Google search (only in the first language)
- Google Books (only in the first language)
- Britannica (only in English)

== Further development ==

I want to work on this software and you may expect new versions in the near future. I have a couple of ideas (if you take a look at the code, you would be able to see some of them). At least, in the next version I’ll write here a little bit more about ideas.

== Contact ==

Milos Rancic, millosh@gmail.com

== Terms of use ==

If you get pysources with pywikipediabot, for terms of use of pywikipediabot, please take a look at the file LICENSE inside of subdirectory “pywikipediabot”.

pysources, program for helping authors by generating sources links Copyright (C) 2007 Milos Rancic

This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.

This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

You should have received a copy of the GNU General Public License along with this program. If not, see <http://www.gnu.org/licenses/>.