HiddenPage Creazione del testo di addestramento
<h2>Creazione del testo di addestramento</h2>
<p>Il testo di addestramento dovrebbe essere un file di testo pulito contente
del testo `simile' a quello che volete scrivere.
Pi&ugrave &egrave grande il testo meglio &egrave. Noi pensiamo
che 300K siano una dimensione giusta.
</p><p>
Esempio di testi di addestramento che potreste usare sono:
<ul>
  <li>Prendere tutti i documenti di testo che avete scritto e incollate
tutto insieme in un unico documento.
</li>
  <li>Utilizzate storie - per esempio noi abbiamo usato <em>Emma</em> id Jane Austen
dal <a href=http://promo.net/pg/>Progetto Gutenberg</a>. 
Il problema utilizzando solo una o due storie &egrave che particolari parole (come Emma o Alice)
si trovano molto di frequente e quindi le storie non sono ideali per testi di addestramento generici.
</li>
       <li>Utilizzare tutti i messagi email che avete scritto e incollarli insieme in un unico documento.
</li>
     </ul>

<h3>Come costruire un testo di addestramento generico</h3>     
Di seguito &egrave spiegato come io ho costruito il testo di addestramento per
la versione inglese di Dasher.
<ol>
  <li>
Ho preso molti documenti in inglese. Prendete pi&ugrave materiale rispetto a quello 
che pensate possa servirvi cos&igrave potete scegliere un insieme di frasi 
<em>ben bilanciate</em> come le segue.
       </li>
  <li>
Elaborate tutto in modo che ci sia solo una frase per linea. <br>
L'ho fatto usando un programma in perl che ho scritto,
       <a href=/mackay/perl/processbook.p>processbook.p</a>
       con scripts come questi
       <pre>
foreach f ( alice emma )
  processbook.p  /books0/$f > /books/$f
end
</pre>       
 </li>
  <li>
<b>Ora</b> ottenete una lista delle 2000 pi&ugrave frequenti parole della lingua. L'idea &egrave
che siccome queste parole sono comuni &egrave importante che compaiano diverse volte nel
corpo finale in una variet&agrave di contesti. Useremo queste parole per selezionare le frasi
da inserire nel grosso testo che rappresenta il corpo finale. 
 <br>
Io ho ottenuto questa lista da internet e l'ho messa in un file che ho chiamato <tt>dict</tt>.
Ho rimosso da dict tutte le parole comuni assurde che impedivano al procedimento di funzionare
correttamente.
       </li>
  <li>
  Usate un altro programma per selezionare da ogni libro pre-processato le frasi che contengano
  le 2000 parole richieste. Visitate le parole in ordine per fare in modo che anche il corpo
  risultante sia ordinato, con le parole pi&ugrave utilizzate in cima alla lista; in questo
  modo il corpo pu&ograve essere ristretto tagliando via la parte finale e dovrebbe
  essere appripriato per la propria dimensione.
  <br>
  Incollate insieme le frasi dentro paragrafi di dimensione plausibile che possano emulare
  la normale scrittura.
  <br> 
  Io ho effettuato questo passo uando la utility linux <b>glimpse</b> e un mio programma
  perl <a href=/mackay/perl/corpus.p>corpus.p</a>
       <pre>
rm  /data/coll/mackay/books/*~
glimpseindex -b  -B   -H ~/dasher/  /data/coll/mackay/books/
corpus.p k=1 f=4 o=corpus4.txt
       </pre>
       Ecco come ho fatto <a href=/dasher/download/english/corpus4.txt1>this corpus</a> (316K),
       che &egrave stato usato in Dasher 1.6.8.
       </li>
</ol>

</p><p>
 Se qualcuno volesse costruire dei corpi in altre lingue e condividerli posso metterli in
 <a href=/dasher/download/>questo sito</a>.
</p>