I’d heard about the google data api, but up until recently hadn’t found much practical use for it.

Suddenly I needed to pull back the top search terms for a site monitored by google analytics. The default view only shows 500 at a time. Granted this accounted for 30% of the “unique searches’, but I wanted to see a bit more.

Though it was sort of hard to find, I used the example script dataFeed.sh to retrieve the top 10k search terms.

The script wants you to set the variables for username/password and “PROFILE_ID” The value for this last is the id=xxxx in the url when you cruise around the analytics site.

Rather than read thru the quirky documentation as to what dimensions and metrics were available, I used the Data Feed Query Explorer to find the values instead:

feedUri="https://www.google.com/analytics/feeds/data\
?start-date=2009-08-01\
&end-date=2009-12-04\
&dimensions=ga:searchKeyword\
&metrics=ga:searchDepth,ga:searchDuration,ga:searchExits,ga:searchRefinements,ga:searchUniques,ga:searchVisits\
&sort=-ga:searchUniques\
&max-results=40000\
&ids=ga:$PROFILE_ID\
&prettyprint=true"

curl $feedUri -s --header "Authorization: GoogleLogin $googleAuth"

Despite the max-results of 40k, it looks like there is a max of 10k, which is fine.

All in all, pretty ez. Digging it all up.. sort of sucked.

Hence the write up… hope it helps some buddy!

Nel precedente articolo spiegavo come utilizzare le Google Blogger Data Api per pubblicare post sulla piattaforma di blogging di google.

Lo studio di tali API aveva come obiettivo la realizzazione di un piccolo tool per la pubblicazione automatica su Blogspot da blogs ospitati su piattaforme differenti: per dirla semplice, “ho un blog su wordpress.com, lo voglio ‘migrare’ su blogspot e magari tenere aggiornata questo ‘mirror’, come fare senza utilizzare plugin aggiuntivi? (che, tra le altre cose, wordpress.com non permette di installare)”.
Ho realizzato quindi una prima bozza di applicazione (in VB.NET) che si occupasse di scorrere un Feed RSS e pubblicare in maniera automatica quanto letto su un blog ospitato su Blogger, tenendo naturalmente conto di quando già pubblicato.

Successivamente ad una prima versione in VB.NET, ho effettuato la conversione in Python, garantendomi la compatibilità con Linux e Mac senza ricorrere all’utilizzo di Mono.
L’idea di trasformare il tutto in una WebApp mi frullava per la testa (sarebbe stato bello rendere il tutto fruibile anche da iPhone e dispositivi simili): Google App Engine mi è venuto in aiuto.

Basata interamente su Python, la piattaforma di ‘application hosting’ fornita da Google mi permetteva di riutilizzare quanto già scritto senza grosse modifiche e, ‘giocando in casa’, mi permetteva di utilizzare il sistema di autenticazione interno per passare le credenziali a Blogspot.

Prendiamo ora in considerazione la stessa funzione da me realizzata in VB.NET, convertita per funzionare sul Google App Engine:

  def CreatePublicPost(self, blogger_service, blog_id, title, content, link):
    query = service.Query()

    #Check entry
    checkentry = db.GqlQuery("SELECT * FROM PostedEntries where blogid=:1 and titolo=:2", blog_id, title)
    if (checkentry.count() > 0):
      return "notizia presente"

    entry = gdata.GDataEntry()
    entry.title = atom.Title('xhtml', title)
    content = content + "
<a href='" + link + "'> FONTE </a>"
    entry.content = atom.Content(content_type='html', text=content)

    #Storing title of posted entry
    elemento = dataclasses.PostedEntries()
    elemento.blogid = blog_id
    elemento.titolo = title
    elemento.put()
    blogger_service.Post(entry, str('/feeds/' + blog_id + '/posts/default'))
    return "pubblicata"

l’unica differenza con la precedente è il metodo utilizzato per controllare la presenza o meno del post che si sta per pubblicare.
Nella versione in VB effettuavo una query su Blogger, scorrendo tutti i post e confrontandone il titolo con quanto stavo per pubblicare.

Sull’App Engine mi sono quasi subito scontrato con le limitazioni di quota: se un processo utilizza troppi cicli di CPU, l’applicazione viene momentaneamente ‘bloccata’.
Cosa che accadeva continuamente, essendo il vecchio metodo di controllo non proprio parco nell’uso della CPU.

Per risolvere il problema mi sono appoggiato sul DataStore interno all’AppEngine: ogni post inserito viene archiviato, in modo che un successivo ciclo di sincronizzazione escluda automaticamente quanto già pubblicato senza dover andarselo a cercare accedendo a Blogger.

La primissima beta della WebApp la trovate all’indirizzo http://bloggersync.appspot.com.

L’utilizzo è estremamente semplice: una volta effettuato il login con il vostro account di Google e autorizzato BloggerSync ad accedere ai dati di Blogger, verrà visualizzata una scarna pagina contenente i titoli dei blog legati all’account, con accanto un campo di testo da compilare con il Feed Rss scelto come ‘fonte’ per la pubblicazione.

Con la pressione del pulsante “Pubblica da RSS” si da il via alla procedura di copia dei contenuti, che si conclude con un report di quanto pubblicato (in quanto nuovo) e quanto già presente e quindi non aggiunto. Il feed inserito viene salvato e riproposto al successivo accesso.

L’applicazione è ancora immatura, devo occuparmi di risolvere ancora parecchi bugs (come un fastidioso timeout quando viene effettuata primissima operazione di copia), quindi utilizzatela ‘as-is’ e a vostro rischio e pericolo: considerando che era nata per mantenere allineati http://andreafortuna.wordpress.com e http://andreafortuna.blogspot.com, e che ora il secondo a forza di prove e test è diventato un deposito di posts duplicati (nonostante sia riuscito a far funzionare la verifica degli elementi duplicati), ci andrei comunque cauto!

Un’ultima nota: leggendo queste righe, molti avranno pensato “simpatico questo, rilascia questo tool e ora sai quanti si divertiranno a copiare i blog altrui!“. Per arginare almeno in parte il problema, l’applicazione si prende la briga di aggiungere in coda a ogni post pubblicato un link ben evidente alla fonte.