Jeg sidder og skal udtrække data fra en ældre PDF.
-
Jeg sidder og skal udtrække data fra en ældre PDF. En af personerne i bogen hedder Kovač. Og åbenbart har typografen brugt en anden skriftvariant til bogstavet č - om det er fordi unicode er for svært eller fordi det bare ikke virkede dengang ved jeg ikke. Det medfører at min software slet ikke ved hvad det skal gøre med det bogstav og ordene omkring det.
Nå, der er kun små 70 forekomster i bogen, som jeg så må tage i hånden ...
Ja, det er lidt mystisk hvordan krumspring er blevet brugt.
Jeg vil gætte på at der er hoppet over hvor gærdet er lavest fordi man ikke lige kunne finde ud af hvordan man gjorde det "rigtigt".
(Se også automatisk genkendelse af Co²⁺ og CO₂ i videnskabelige tidsskrifter
) -
Ja, det er lidt mystisk hvordan krumspring er blevet brugt.
Jeg vil gætte på at der er hoppet over hvor gærdet er lavest fordi man ikke lige kunne finde ud af hvordan man gjorde det "rigtigt".
(Se også automatisk genkendelse af Co²⁺ og CO₂ i videnskabelige tidsskrifter
)@folfdk hvis så bare folk lavede de samme krumspring.
Og sjovt du bringer Co²⁺ på banen, jeg har lige siddet og grublet over hvordan jeg programmelt skal håndtere at se forskel på kemiske formler og en fodnotereference. Det er ikke så nemt -
@folfdk hvis så bare folk lavede de samme krumspring.
Og sjovt du bringer Co²⁺ på banen, jeg har lige siddet og grublet over hvordan jeg programmelt skal håndtere at se forskel på kemiske formler og en fodnotereference. Det er ikke så nemt@infonauten nej, det er nemlig ret svært!
Men det ved du jo alt om....
I forhold til forskning i cobalt er det en udfordring at man får alle de nye kuldioxid artikler når man søger 🤪
-
@infonauten nej, det er nemlig ret svært!
Men det ved du jo alt om....
I forhold til forskning i cobalt er det en udfordring at man får alle de nye kuldioxid artikler når man søger 🤪
@folfdk @infonauten På vegne af alle programmører: Undskyld!
-
Det er i det hele taget en spøjs PDF, når man kopierer tekst direkte fra den, kommer det ud uden mellemrum:
"Endørgikopetstedihuset.Derkomnoglelydefragangenudenfor,
ogsågikdørentilhendesværelseogsåop."Men mellemrummene ER der i den rå data, så mit udtræk fanger dem. Heldigvis. Bare spøjst at man ikke kan kopiere dem. Det er et fucked filformat.
@infonauten ja. PDF er vanvittigt
-
@infonauten nej, det er nemlig ret svært!
Men det ved du jo alt om....
I forhold til forskning i cobalt er det en udfordring at man får alle de nye kuldioxid artikler når man søger 🤪
@folfdk åh ja, har slet ikke overvejet søgning. Holy shit. Respekt for at finde noget som helst.
-
@infonauten ja. PDF er vanvittigt
@svuorela hver gang man tror man har fat i noget, kommer der en edge case og fucker alting over.
-
Jeg sidder og skal udtrække data fra en ældre PDF. En af personerne i bogen hedder Kovač. Og åbenbart har typografen brugt en anden skriftvariant til bogstavet č - om det er fordi unicode er for svært eller fordi det bare ikke virkede dengang ved jeg ikke. Det medfører at min software slet ikke ved hvad det skal gøre med det bogstav og ordene omkring det.
Nå, der er kun små 70 forekomster i bogen, som jeg så må tage i hånden ...@infonauten Da jeg lærte russisk i sin tid, var der 3 måder: tegnsættet CP-1251, et spirende Unicode eller en meget udbredt russisk font, som bare var en font med kyrilliske bogstaver uden stillingtagen til tegnsæt, så hvis man skiftede skrifttype, så blev der hele til danske tegn med forvrøvlet tekst.
Jeg var jo så en af redaktørerne på bladet hos Center for Russiske og Østeuropæiske Studier, så når der kom bidrag ind på den ene eller den anden måde, så var det en seriøs redigeringsopgave... -
@folfdk @infonauten På vegne af alle programmører: Undskyld!
Men vi ved jo godt hvordan det er.
Når man har set folk arbejde i word og skrive en overskrift, men ikke markere den som overskrift, så den ikke automatisk kommer med i indholdsfortegnelsen, så folk sidder og brokker sig over at skulle lave indholdsfortegnelse, eller at det ikke virker, når nu de selv kan se at den rigtige overskrift jo er der, men programmet bare er dumt.
Så tænker jeg i hvert fald at "mest digitaliserede land i verden" er korrekt og forkert på samme tid
-
@svuorela hver gang man tror man har fat i noget, kommer der en edge case og fucker alting over.
@infonauten og så antager du vel at dine pdf'er er velskabte.
Når jeg laver PDF-læser er der ofte 'jamen Adobe kan læse det' - ja. Men filen er forkert. -
@infonauten og så antager du vel at dine pdf'er er velskabte.
Når jeg laver PDF-læser er der ofte 'jamen Adobe kan læse det' - ja. Men filen er forkert.@infonauten jeg fandt i øvrigt 30GB semidefekte pdf'er via pdfa den anden dag.
Og husk at der er kommet en ny måde at komprimere data i PDF på...
-
@infonauten Da jeg lærte russisk i sin tid, var der 3 måder: tegnsættet CP-1251, et spirende Unicode eller en meget udbredt russisk font, som bare var en font med kyrilliske bogstaver uden stillingtagen til tegnsæt, så hvis man skiftede skrifttype, så blev der hele til danske tegn med forvrøvlet tekst.
Jeg var jo så en af redaktørerne på bladet hos Center for Russiske og Østeuropæiske Studier, så når der kom bidrag ind på den ene eller den anden måde, så var det en seriøs redigeringsopgave...@mjj hahaha, the horror!
-
@infonauten og så antager du vel at dine pdf'er er velskabte.
Når jeg laver PDF-læser er der ofte 'jamen Adobe kan læse det' - ja. Men filen er forkert.@svuorela filen er forkert og intet i dit økosystem har brokket sig. Det er også et crazy scenarie, når man tænker over det.
-
@infonauten jeg fandt i øvrigt 30GB semidefekte pdf'er via pdfa den anden dag.
Og husk at der er kommet en ny måde at komprimere data i PDF på...
@svuorela jeg sætter min lid til at de python libraries / bindings jeg bruger bliver opdateret upstream.
-
@svuorela jeg sætter min lid til at de python libraries / bindings jeg bruger bliver opdateret upstream.
@svuorela (nedtælling til at det sparker mig i røven, I know
) -
@svuorela jeg sætter min lid til at de python libraries / bindings jeg bruger bliver opdateret upstream.
@infonauten hvad er det du bruger?
-
@infonauten hvad er det du bruger?
@svuorela mit "gamle projekt" bruger PDFminer.six til at tilgå den rå data og smider så heuristiske regler ind for at sparke det til velformet, semantisk html. Det virker ok, især til layoutmæssigt simple titler, som der heldigvis også er en del af.
Til mit nye projekt ("V2") kigger jeg på pypdfium2, men jeg har endnu ikke fungerende kode.
-
@svuorela mit "gamle projekt" bruger PDFminer.six til at tilgå den rå data og smider så heuristiske regler ind for at sparke det til velformet, semantisk html. Det virker ok, især til layoutmæssigt simple titler, som der heldigvis også er en del af.
Til mit nye projekt ("V2") kigger jeg på pypdfium2, men jeg har endnu ikke fungerende kode.
@svuorela eller, jeg har et proof of concept.
-
Men vi ved jo godt hvordan det er.
Når man har set folk arbejde i word og skrive en overskrift, men ikke markere den som overskrift, så den ikke automatisk kommer med i indholdsfortegnelsen, så folk sidder og brokker sig over at skulle lave indholdsfortegnelse, eller at det ikke virker, når nu de selv kan se at den rigtige overskrift jo er der, men programmet bare er dumt.
Så tænker jeg i hvert fald at "mest digitaliserede land i verden" er korrekt og forkert på samme tid
@folfdk @infonauten Jeg stemmer for, at alle tekstbehandlingsprogrammer slettes - også LibreOffice Writer, og så skal alle fremover bruge LaTeX til al formateret tekst.
-
@folfdk @infonauten Jeg stemmer for, at alle tekstbehandlingsprogrammer slettes - også LibreOffice Writer, og så skal alle fremover bruge LaTeX til al formateret tekst.
@nerdd @folfdk @infonauten Ville en enklere løsning ikke være at fjerne alle fed, kursiv og understregningsknapperne [og tastaturgenvejene] i Word, LibreOffice mm. så der kun var logisk opmarkerings-knapper tilbage (h1, h2, p, em, osv)?
