tak0kadaの何でもノート

発声練習、生存確認用。

医学関連は 医学ノート

pythonからシェルスクリプトを呼び出す

一塊になったシェルスクリプトをリファクタリングしている。

  • ただ呼び出す場合
import subprocess

class ShellException(Exception):
    pass

def shell_exec(cmd: str, timeout_s: float = 0) -> None:
    cmd_org = cmd
    timeout_s = "" if timeout_s == 0 else "timeout {} ".format(timeout_s)
    cmd = "set -euxo pipefail\n" + timeout_s + cmd
    proc = subprocess.run(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
    print(proc.stdout.decode('utf-8'))

    if proc.returncode != 0:
        msg = "Execution of \"{}\" failed. \n\n {}"
        sh_msg = proc.stdout.decode('utf-8')
        raise ShellException(msg.format(cmd_org, sh_msg))

shell_exec("echo 'Hello World!'")
  • 値を取り出す場合
import subprocess

class ShellException(Exception):
    pass

def shell_valueof(cmd: str, timeout_s: float = 0) -> str:
    cmd_org = cmd
    timeout_s = "" if timeout_s == 0 else "timeout {} ".format(timeout_s)
    cmd = "set -euo pipefail\n" + timeout_s + cmd
    proc = subprocess.run(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

    if proc.returncode == 0:
        return proc.stdout.decode('utf-8')
    else:
        # return ""
        msg = "Execution of \"{}\" failed. \n\n {}"
        sh_msg = proc.stdout.decode('utf-8')
        raise ShellException(msg.format(cmd_org, sh_msg))

val = shell_valueof("pwd")

vscodeでmarkdownからpdfに変換する

Makdown MathとMarkdown PDFという拡張機能をインストールしてみた。Visual Studio Code - ArchWikiError: Failed to lanuch chrome! · Issue #97 · yzane/vscode-markdown-pdf · GitHubを見て取り敢えずchromiumの実行ファイルのパスを入力した(~/.config/Code\ -\ OSS/User/settings.json"markdown-pdf.executablePath": "/bin/chromium"を追記)ところ一応動いているようである。

tex対応についてはtex環境を整えるのが面倒なので、VSCode の Markdown で数式を表示して PDF 化する - Qiitaに従ってkatexを利用できるようにした。

doubleしか入っていないCSVをパースするプログラム

要件はメモリ128GBのPCで70GBのCSVをnp.ndarray形式でメモリに乗せること。np.load_txtも一応試したが、エラーでターミナルやブラウザも巻き込んで落ちた。std::ios::seekdirは相対位置指定にしか使えないはずだが、enumのため型変換されて、引数一つだけで与えてもコンパイルエラーになっていないことに気付くまでが一番長かった(c++ - Istream seekg() offsets and ios::end - Stack Overflow)。かなり遅いがI/Oがボトルネックなのかも知れない。

https://github.com/tak0kada/smic

VirtualboxにUSBからWindowsをインストール

docker内でpython実行するやつ

GitHub - tak0kada/dpythonを書いた。.bashrcにexport PATH="$PATH:~/bin"を追記しておけば、普通のpythonの代わりにdpython、ipythonの代わりにdipythonを使える。$PWDしかマウントしないが、データ解析に使うのにそれ以外のディレクトリにアクセスできる必要は今のところなさそう。yak shavingのしすぎなのでこれから進捗を出す。