Serio problema di sorting con imakeidx

Teodoro Studita” post=68686Nell’attesa di approfondire il comportamenti di imakeidx con il pachetto bibleref, sottopongo un nuovo problema per il quale non trovo soluzione (sicuramente c’è ma è davvero troppo esoterica per me).
Se si compila con imakeidx un indice di parole in greco, il sorting che ne deriva è alquanto anomalo, in quanto le voci vengono divise in due categorie, a seconda che inizino o meno con una vocale con segni diacritici. Ad es. prima ho un blocco con:

Αἰνοῦμεν
Δέσποτα
Διὰ

etc…

Poi tutte le parole che iniziano con vocale con segno diacritico (qualsiasi)

Ἀγαθὲ
Ἀκουστὸν
Ἄξιον

etc…

Ora, è ovvio che nell’ordinare i lemmi in ordine alfabetico i diacritici debbano essere ignorati, ma come fare a dirglielo?
Qualcuno può aiutarmi?

Temo che per il greco tu debba usare xindy che può gestire UTF-8

Ciao
Enrico

Teodoro Studita” post=68689Dunque, il manuale di imakeidx include, tra le opzioni di invocazione del pacchetto:

xindy
in order to use the xindy sorting and formatting engine; texindy is an alias for xindy and actually it’s the script texindy which is called by this package.

Tuttavia non mi è affatto chiaro come questi due interagiscano tra loro. In fondo a me basterebbe dire a xindy che il mio elenco è in greco con l’opzione -L (Companion, 668). Ma qual è la sintassi per farlo ?!?
In altre parole, al momento sono fermo a

`\usepackage[xindy]{imakeidx}`

Ma poi che devo fare…? Posso ugualmente seguire con il mio

`\makeindex[title=Indice Eortologico, columns=1]`

oppure devo cambiare qualcosa?

Devi passare le opzioni: \makeindex[options=-L,…]

Così verrà chiamato “texindy -L” (non so se basta).

Ciao
Enrico

Io sono persino stupito che makeindex, il motore di alfabetizzazione che viene lanciato da imakeidx riuscisse a ordinare in qualche modo delle entry in greco codificato utf-8. Incredibilmente sorpreso; il fatto poi che metta le parole che cominciano con un diacritico dpo quelle senza diacritico non mi stupisce affatto perché nella tabella unicode vengono dopo (hanno indirizzi più alti) delle corrispondenti lettere senza diacritici.
Secondo me texindi dovrebbe poter lavorare correttamente con i caratteri accentati e in codifica utf-8; per i caratteri latini non ho dubbi; per quelli greci probabilmente bisogna preparare una lista di ordinamento raggruppando le maiuscole e le minuscole con accenti vari secondo un ordine che inserisca questi cluster fra le consonanti nello stesso posto che occuperebbe la vocale minuscola non accentata. Ma credo che sia un lavoraccio, anche perché alphaacute va prima o dopo di alphagrave? le maiuscole e le minuscole con gli stessi accenti con che ordine vanno messi? e via di seguito con altre domande dello stesso genere.

Be’, tanto per cominciare io metterei direttamente una sorting key facendo cosi: per mandare nell’indice Ἀγαθὲ io scriverei
`
… Ἀγαθὲ\inxex{Agaje@Ἀγαθὲ} …
`
usando cioè la traslitterazione latina secondo i miei font o con qualunque altra traslitterazione latina che sembri più conveniente; ovviamente parlando dell’indice eortologico, stiamo in realtà parlando, sì, degli incipit, ma sostanzialmente di semplici parole. La chiave di sorting prima del segno @ può contenere anche diverse parole, non solo la prima parola del versetto, sempre traslitterate secondo lo schema prescelto.

Fra le traslitterazioni, quella corrispondente ai font LGR è la seguente¨
`
α β ς δ ε φ γ η ι θ κ λ μ ν ο π χ ρ σ τ υ ξ ψ ω ζ
a b c d e f g h i j k l m n o p q r s t u x y w z
`

Un’altra possibile traslitterazione potrebbe essere:
`
α β γ δ ε ζ η θ ι κ λ μ ν ξ ο π ρ σ τ υ φ χ ψ ω ς
a b c d e f g h i j k l m n o p q r s t u v w x y
`

Peccato che nelle finestre del codice il font monospaziato latino sia decisamente più largo di quello greco, ma entrambi hanno 25 segni in ordine.

Il vantaggio della traslitterazione LGR è che i segni latini, tranne due o tre corrispondono alle lettere greche “giuste” come suono o come forma; il suo svantaggio è che mettere in orine alfabetico rispetto a questa traslitterazione le parole greche non sono in ordine rispetto all’alfabeto greco; Il vantaggio della seconda traslitterazione è che l’ordinamento è corretto per il greco, ma è molto più difficile scrivere le parole.

Per preparare una tabella di sorting direttamente in greco, tenendo conto anche dei diacritici, è molto più difficile e richiede un mucchio di tempo; avrebbe il vantaggio di non richiedere di modificare tutte le istanze del comando \index.

Guarda, so che è possibile sia con makeindex sia con xindy, ma non ho la più vaga idea di come comporre il file .ist o .xdy per farlo. Tra l’altro alcune idee vengono dalla lettura dei pacchetti relativi al tedesco, che ha un ordinamento alfabetico specifico e diverso da quello valido per l’inglese (e per quel che intuisco, anche per l’italiano).

Nella cartella texmf-dist/makeindex/base/ ci sono alcuni file .ist dove si parla anche di sotring groups e di sort_rules; in particolare dentra o din.ist ci sono le regole TeX e LaTeX per gestire correttamente le dieresi in tedesco, ma di documentazione non ho trovatto traccia in nessun angolo, anche il più remoto dell’intera distribuzione TeX Live. Per altro aprendo quei file con un qualunque editor ASCII, si può leggere che vengono richiamanti altri file che nella distribuzione TeX Live non esistono.

Con texdoc ind si legge una descrizione del programma scritta da chi ha creato makeindex, ma non si parla affatto di sort_rule e sort_group che dovrebbero essere alla base di quel che ti serve.

Nessuna idea nemmeno da file per la composizione di indici analitici in greco politonico; ce ne è uno che si riferisce al greco, ma specifica solo che cosa fare per mettere i titolini (le lettere iniziali di ogni sezione) centrati nelle colonne dell’indice. Del sorting nemmeno l’odore.

Forse riuscirei a scrivere uno stile per l’ordinamento con le lettere latine corrispondenti alla codifica LGR e senza accenti, come ho suggerito in qualche mail precedente. Ma la vedo difficilissima.

Non sarebbe male avere a disposizione una parte del tuo file eortologico .idx per vedere come lavorarci sopra.

Dopo molti pensieri ho escluso che il problema si possa risolvere con makeindex, che è sostanzialmente un motore a 8 bit, che non può lavorare su file unicode. quindi se si modifica la sort_rule per adattarlo alla traslitterazione senza accenti del greco LGR, poi le voci scritte in alfabeto latino vengono male, cioè in disordine.

Bisogna per forza ricorrere a xindi; si tratta di scoprire come fargli leggere le codifiche e le sort_rule giuste in modo che non combini pasticci fra le entry in greco e quelle in caratteri latini. I file ci sono e unicode tiene ben distinti i codici delle lettere latine, anche accentate, da quelli greci anche accentati.

Dunque un esempio reale con una cinquantina di righe \indexentry{…}{…} sarebe molto utile; il tramite della dropbox va benissimo.

Ricevuto e scaricato. Ora comincio a lavorarci sopra.

Non disperare e aspetta fiducioso, sono riuscito ad ottenere un indice in greco con xindy, ma ha ancora qualche difetto importante.
Se è tanto er fare un indice in greco, senza separare i gruppi di entries con il “titoletto’ della lettera che inizia il gruppo, ci sono quasi, ma se si tratta di mettere la lettera inzioale (come in qualunque grande indice che si rispetti, secondo la mia modestissima opinione) devo lavoraci ancora un poco perché alcune entries vanno in una sezione a se non preceduta dalla lettera iniziale.

Carissimo,
ci sono quasi e forse domani ti do l’indirizzo del dropbox per scaricare il tutto, funzionante, almeno con gli esempi di cui dispongo. Nel frattempo ho scaricato la tua ultima modifica per i riferimenti alla bibbia dei LXX.

Devo produrti una versione leggermente modificata di imakeidx perché deve lavorare con xindy e non con texindy. avrà un nome leggermente diverso, ma la sua funzionalità sarà sostanzialmente invariata rispetto a come lhai usato finora.
Devo anche impacchettarti un file polytonic-utf8.xdy perché quello della distribuzione TeX Live va bene solo parzialmente per la grafia politonica, ma non riconosce moltissime lettere accentate. Non posso cambiargli il nome perché viene richiamato da un altro modulo della collezione xindy che lo chiama con quel nome, quindi, certamente dovrai conservarlo nella carella di lavoro oppure devi metterlo nel tuo albero personale; vedrò come si può fare.

Intanto tu cancella dal file dei riferimenti tutte le stringhe di sorting che avevi scritto secondo il mio precedente messaggio di aggiungere la stringa di sorting in lettere latine secondo la codifica LGR. Non vanno bene per lavorare con xindy.

Poi se la cosa funzionerà sul campo e non con gli esempi di cui dispongo, potrai pubblicare il tutto o comunque renderlo disponibile ad altri umanisti. Io mi incarico invece di far sapere a Joachim Schrod che il file della collezione xindy con lo stesso nome è bacato.

Spero che non sorgano altri intoppi; comunque nel peggiore dei casi si può sempre specificare l’opzione noauto a imakeidx per questo indice e fare andare xindy a mano dal terminal; ho già predisposto lo script bash che permette di farlo e funziona senza intoppi. Preferirei, però, ovviamente che il tutto sia fatto come per gli altri indici dall’interno di imakeidx. Al più posso studiare un’altra piccola modifica, da incorporare in una versione nuova di imakeidx (da inserire in CTAN e quindi in un prossimo aggiornamento di TeX Live) dove opzionalmente si può scegliere un qualunque eseguibile, compreso uno script bash per macchine UNIX o bat per macchine Windows, il cui nome può venire scelto dall’utente che si può scrivere lo script che vuole, con le opzioni che vuole per scopi particolari.

Vedrò con Enrico, coautore di imakeidx, che cosa sia più opportuno fare.

A presto
Claudio

OldClaudio” post=68971Al più posso studiare un’altra piccola modifica, da incorporare in una versione nuova di imakeidx (da inserire in CTAN e quindi in un prossimo aggiornamento di TeX Live) dove opzionalmente si può scegliere un qualunque eseguibile, compreso uno script bash per macchine UNIX o bat per macchine Windows, il cui nome può venire scelto dall’utente che si può scrivere lo script che vuole, con le opzioni che vuole per scopi particolari.

Vedrò con Enrico, coautore di imakeidx, che cosa sia più opportuno fare.

Penso che non sia molto complicato inserire questa possibilità, come anche modificare l’opzione xindy in modo che faccia girare proprio xindy e non, come adesso, texindy. Sarebbe una modifica non retrocompatibile, ma non dovrebbe dare grossi problemi.

Ciao
Enrico

egreg9″ post=68973
Penso che non sia molto complicato inserire questa possibilità, come anche modificare l’opzione xindy in modo che faccia girare proprio xindy e non, come adesso, texindy. Sarebbe una modifica non retrocompatibile, ma non dovrebbe dare grossi problemi.

No, infatti, è banale; ma effettivamente non è retrocompatibile; non ci avevo pensato, ma si può ovviare facilmente. Comunque sto lavorando su questo benedetto indice eortologico e sistemo questo; poi per il resto vedremo assieme.
Una cosa alla volta, alla mia età devo starci attento, altrimenti i miei neuroni non sono più all’altezza per svolgere il multitasking. 🙁

Ciao
Claudio

Nel frattempo io ho caricato su dropbox il mio lavoro:

http://dl.dropbox.com/u/46128876/TeodoroStuditaXindy.zip

dove ho fatto riferimento al tuo CitaTeo.sty, che funziona benissimo, anche se ho dovuto correggere un paio di cosette. In ogni caso il file zip contiene anche un file README.txt dove ci sono tutte le spiegazioni per l’uso.

C’è un problmea, non insormontabile, spero, ma ci vuole l’aiuto di Enrico: il programma xelatex è compilato con l’impostazione di default che pone il contatore \shellescape al valore 2, cioè sono consentite solo le esecuzioni dei programmi “autorizzati” e fra questi xindy non compare. Potrebbe essere compilato direttamente mediante shell escape se si riuscisse a configurare xelatex con un valore di \shellescape=1 (esecuzione indiscriminata, non protetta), ma io non ci sono riuscito sul mio Mac nememno da linea di comando; nello stesso tempo, proprio per motivi di sicurezza, non sarebbe corretto togliere i test di imakeidx, che comunque non basterebbero, perché tanto xelatex è in modalità protetta. Nota che non ci sono riuscito nemmeno provando a modificare il file .ini con cui si genera il formato di xelatex; forse avrei dovuto creare il formato da termnale specificando tutti i parametri necessari, ma non ci ho provato. Enrico magari ci conferma che sarebbe l’unica strada da seguire.

Con pdflatex io mi sono messo in modalità sprotetta e sto permanentemente in quello stato; non ho mai avuto problemi; la prima volta che manderò in esecuzione un programma “malicious” che mi pialla il disco, mi renderò conto dell’errore che ho fatto, ma per ora sono quattro anni che non ho avuto problemi di nessun genere.

Direi che comunque, a parte l’operazione manuale che rimane su un indice su tre, dovresti essere a posto.

OldClaudio” post=69010Nel frattempo io ho caricato su dropbox il mio lavoro:

http://dl.dropbox.com/u/46128876/TeodoroStuditaXindy.zip

dove ho fatto riferimento al tuo CitaTeo.sty, che funziona benissimo, anche se ho dovuto correggere un paio di cosette. In ogni caso il file zip contiene anche un file README.txt dove ci sono tutte le spiegazioni per l’uso.

C’è un problmea, non insormontabile, spero, ma ci vuole l’aiuto di Enrico: il programma xelatex è compilato con l’impostazione di default che pone il contatore \shellescape al valore 2, cioè sono consentite solo le esecuzioni dei programmi “autorizzati” e fra questi xindy non compare. Potrebbe essere compilato direttamente mediante shell escape se si riuscisse a configurare xelatex con un valore di \shellescape=1 (esecuzione indiscriminata, non protetta), ma io non ci sono riuscito sul mio Mac nememno da linea di comando; nello stesso tempo, proprio per motivi di sicurezza, non sarebbe corretto togliere i test di imakeidx, che comunque non basterebbero, perché tanto xelatex è in modalità protetta. Nota che non ci sono riuscito nemmeno provando a modificare il file .ini con cui si genera il formato di xelatex; forse avrei dovuto creare il formato da termnale specificando tutti i parametri necessari, ma non ci ho provato. Enrico magari ci conferma che sarebbe l’unica strada da seguire.

Con pdflatex io mi sono messo in modalità sprotetta e sto permanentemente in quello stato; non ho mai avuto problemi; la prima volta che manderò in esecuzione un programma “malicious” che mi pialla il disco, mi renderò conto dell’errore che ho fatto, ma per ora sono quattro anni che non ho avuto problemi di nessun genere.

Direi che comunque, a parte l’operazione manuale che rimane su un indice su tre, dovresti essere a posto.

Per far andare Xindy con imakeidx da pdflatex, xelatex o lualatex occorre l’opzione –shell-escape.

Ciao
Enrico

egreg9″ post=69011
Per far andare Xindy con imakeidx da pdflatex, xelatex o lualatex occorre l’opzione –shell-escape.

Lo so bene; se non ci sono riuscito dopo averle provate tutte è perché il problema è fuori della mia portata.

Riassumo:
1) pdflatex: l’opzione va messa nella configurazione della chiamanta da TeXShop e funziona benissimo; come ho detto sono anni cha vado avanti con questa impostanzione e non ho problemi.
2) non so nulle delle impostazioni di Lualatex che non uso mai.
3) xelatex lavora in modalità protetta anche se si specifica l’opzione –shell-escape; per lo meno, a meno di errori subdoli o cretini da parte mia, è quello che è successo a me.

[ edit ] Ci sono riuscito: e siccome si trattava di un errore cretino da parte mia, mi vergogno a comunicarlo. 😳

@TeodoroStudita; edita sul Mac (hai un Mac, non è così?) il file ~/Library/TeXShop/Engines/XeLaTeX.engine aggiungendo prima di -synctex=1 la stringa (senza virgolette) “-shell-escape” con una solo lineetta all’inizio. Poi edita Teobible.sty cancellando l’opzione “noautomatic,” dalla lista di pozioni per l’Incipitario. e il tutto dovrebbe funzionare che atteso in modo del tutto automatico.
Se hai un’altra macchina e usi un altro editor, vedi di adattare quello che ti ho detto per TeXShop a quanto è valido per la tua macchina.

Grazie Enrico

Claudio

Come hai visto ho corretto il messaggio precedente. Vedi dropbox: http://dl.dropbox.com/u/46128876/TeodoroStuditaXindy.zip

Invece mi premerebbe sottolineare che le tre colonne vanno bene per i riferimenti biblici, visto che sono brevissime indicazioni abbreviare con una lista di pagine; anche con due colonne andrebbe bene, ma secondo me con tre è meglio.

Teodoro Studita” post=69063Sarà senz’altro un problema di mia niubbagine, ma non trovo assolutamente il percorso ~/Library/TeXShop/Engines/XeLaTeX.engine

In altre parole dentro la directory “Libreria” della root non c’è affatto una cartella TexShop, né c’è altrove (o quantomeno non è visibile!), né usando il “mostra contenuto pacchetto” su TexShop arrivo a nulla di simile. Qualche suggeriment su dove trovare questa cosa esoterica?
Grazie!

Nella tua home. Se non la vedi, c’è lo stesso; apri una finestra del Finder e premi “Command+Shift+G”; nella finestrella che si apre scrivi “~/Library/TeXShop/Engines” (senza le virgolette).

Ciao
Enrico

Primo: devi lasciare uno spazio fra le opzioni in XeLaTeX.engine
`
xelatex -file-line-error -shell-escape -synctex=1 “$1”
`
La mancanza degli spazi è la causa del fatto che non ti abbia funzionato niente.

Secondo: c’è l’altra questione del doppio x: te l’ho detto in qualche messaggio fa e l’ho ripetuto nel file README.txt: devi usare il file imakeidxx.sty che ti ho messo nel file .zip; è importantissimo usare questo file perché tratta i motori xindy e texindy come due motori diversi, a differenza di imakeidx.sty che comunque lancia sempre texindy.

Con texindy (che non è un vero alias di xindy) viene anche invocato un lettergroup per le lettere latine che danneggi il lettergroup delle lettere greche e poi va a cercare un file in un’altra cartella diversa da quella che che bisogna usare per far andare il tuo indice.

A parte cambiare il titolo dell’indice, fai esattamente come ti ho indicato, metti gli spazi nei punti giusti, e nella peggiore delle ipotesi aggiungi fra le options (senza virgolette) “-t \jobname.ilg”; attento agli spazi e alle virgole.
In questo modo scrive nel file ilg quello che fa e se c’è qualcosa ancora che non gli torna lo scrive lì.

Inoltre dopo aver corretto il file XeLaTeX.engine, e aver fatto andare (anche senza indice eortologico, non è importante) apri il file .log (c’è un’apposita voce nel mio TeXShop:Menu::File “View log file) e leggi nelle prime righe se c’è scritto “restricted” prima di write18 enabled; se c’è ancora scritto “restricted” la modifica del file XeLaTeX.engine contiene errori e non produce il cambiamento desiderato.

[Off topic] La tesi è tua e ci scrivi quello che vuoi, ma ti suggerirei di evitare di scrivere eortologico con l’iniziale maiuscola; i titoli sono in italiano, no? Non sono in inglese! E se vuoi controllare anche gli altri titoli non sarebbe male. Scusami per questo suggerimento non richiesto; sono un ficcanaso …[/Off topic]

Perfetto; continuiamo in pvt. perché effettivamente dalle prime domande si tratta di cose specifiche, e non di interesse generale (credo) per gli altri frequentatori del forum

Ciao
Claudio

Teodoro Studita” post=68987Grazie Claudio! Puoi aspettare, se vuoi, a vedere il file dei LXX perché ho trovato il modo di modificare bibleref.sty in un modo che trasforma la bibbia anglosassone protestante in una ultra-ortodossa LXX con titoli in latino e secondo le abbreviazioni convenzionali degli umanisti italiani. Ho quasi finito di riscrivere il foglio di stile, appena ho terminato lo metto su dropbox.
Dunque ci aggiorniamo tra non molto

O cavoli… mi sa che hai portato a termine grosso modo il lavoro che volevo fare io, ma usando le abbreviazioni ortodosse al posto di quelle della Bibbia CEI 2008.

Se ho ben capito, hai modificato direttamente il .sty, cosa che però non segue le indicazioni presenti nella documentazione del pacchetto. Credo quindi che continuerò sulla mia strada: ti tengo comunque aggiornato, che magari riusciamo a fondere i nostri lavori e pubblicarli ufficialmente.

Ciao,
Carlo