Python

厚生労働省ブラック企業リスト4月版(2018年)

遅くなりましたが、4月版。今年の5月で厚生労働省が企業名を掲載し始めてから丸一年ということになります。 このブログで追いかけているのは8月からですが。 a244.hateblo.jp データの入手元 機械可読データ(タブ区切りテキスト形式) PDFからTSVへの変換ス…

某雑誌の総集編から特定の連載記事だけ抜き取りたい (その3)

前回、前々回の続き。ようやく完成。 a244.hateblo.jp a244.hateblo.jp pdftkコマンドで目次(しおり)を追加 まずはpdftkコマンドの、update_info_utf8を使う方法。 コマンドの書式 $ pdftk input.pdf update_info_utf8 info.txt output output.pdf input.p…

某雑誌の総集編から特定の連載記事だけ抜き取りたい (その2)

前回の続き。PDFファイルに対する目次の追加は次回。 a244.hateblo.jp 前提 工程 スクリプト その1 その2 課題など 汎用性の問題 ファイルのパスの扱い Pythonスクリプトでハマったところ まとめ 前提 macOS Python 3.6 工程 PDFファイルの暗号化の解除(シ…

某雑誌の総集編から特定の連載記事だけ抜き取りたい (その1)

PDFの目次?部分をパースすればいいかと思ったらまたしても単純ではない……。 やりたいこと 方針および手順 課題と方式検討。 準備 暗号化の解除 ページ番号の取り出し pdftk のセットアップ 使用方法 連載記事名とページ番号の取り出し 出力例 まとめ やりた…

陸自イラク日報のPDFにテキストを付加して検索できるPDFを作る(試行錯誤 その1)

意外なことに簡単なようですんなりとはいかない。とりあえずやってみた的な記事。 過去記事の続き。 JSONデータはDBにぶち込むほうが使い勝手がいいだろうとは思いますが、どっちにしろ出遅れているので違う方向で。 前提条件など OCR処理自体は過去の記事で…

陸自のイラク日報をOCRしてJSON化する(暫定版/Google Cloud Vision API)

すでに検索サイトも作った方がいますし、ブログ記事化した方もいますが、マイペースでいきましょう。 スクライド風にに言うと「俺がスロウリィ!?」ですが気分が乗らなかったのはしょうがない。 スクライド 5.1ch DVD-BOX (期間限定生産)出版社/メーカー: バ…

某新聞社のサイトから陸自のイラク日報をダウンロードするPythonスクリプト

別に普通にダウンロード用のソフト使えば済むんだけど勉強を兼ねて。 Pythonのライブラリのお陰でろくに勉強になっていないけど、BeautifulSoup4でやろうとしたらnth-of-type()が空振りするんでlxmlに逃げました。 情報公開請求?で入手した文書の著作権はあ…

FirefoxとWebDriverでheadlessモード(macOS)

いつの間にかFirefoxもheadlessモードに対応したらしいのでちょっと試してみた。 内容は大したことないです。 WebDriverと言うのは正確に言うとSelenium WebDriverでブラウザをプログラムから制御するライブラリ。headlessモードというのは実際に画面にウィ…

書評:『入門 Python 3』

ちょっと今更感はあるけどそういえば書評を書いてないね、ということで*1。 概要 入門 Python 3作者: Bill Lubanovic,斎藤康毅,長尾高弘出版社/メーカー: オライリージャパン発売日: 2015/12/01メディア: 単行本(ソフトカバー)この商品を含むブログ (3件) …

Voice Kit とサーボモーター その1

最終的な目標は音声でVoice Kit につないだカメラの首振りなどの制御。 まずは下準備としてラズパイからサーボをコントロールする。 やりたいこと Voice HAT (Voice Kitの拡張ボード)のカメラマウント用のサーボモーターをつなぐ Pythonからサーボモーター…

厚生労働省のブラック企業リストをPythonで解析する(PDFMiner.six)

タイトルの通り、5月ごろに話題になった例のPDFをPython3 + PDFMiner.six でパースしてTSV(タブ区切りテキスト化)する話です。 以前からやろうと思っていながら放置していました。 すでにgithub でTSVデータにして変換してくださった方がいるので完全に二…

OpenCV関連本いろいろ(洋書)

本のタイトルから対象にしているOpenCVのバージョンが判断しづらいケースや、内容の違いがよくわからないものが多いのでリスト化してみました。 随時更新予定です。 確実に言えることは、Amazon から買うより出版元の割引セールで買うか、電子版なら定額読み…

せっかくなのでラズパイでLEDを光らせてみる(RPi.GPIO)

なんとなくラズパイ買ったらやっておかないといけないような気がしたので(使命感?)。 ネタ元はトランジスタ技術 2016年 11月号。 横着なのでGPIOとブレッドボードの接続はT字の接続基板キットを使用。 cocopar Raspberry Pi model B+/raspberry pi 2B/3B …