tak0kadaの何でもノート

発声練習、生存確認用。

医学関連は 医学ノート へ

pythonからシェルスクリプトを呼び出す

python シェルスクリプト

一塊になったシェルスクリプトをリファクタリングしている。

  • ただ呼び出す場合
import subprocess

class ShellException(Exception):
    pass

def shell_exec(cmd: str, timeout_s: float = 0) -> None:
    cmd_org = cmd
    timeout_s = "" if timeout_s == 0 else "timeout {} ".format(timeout_s)
    cmd = "set -euxo pipefail\n" + timeout_s + cmd
    proc = subprocess.run(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
    print(proc.stdout.decode('utf-8'))

    if proc.returncode != 0:
        msg = "Execution of \"{}\" failed. \n\n {}"
        sh_msg = proc.stdout.decode('utf-8')
        raise ShellException(msg.format(cmd_org, sh_msg))

shell_exec("echo 'Hello World!'")
  • 値を取り出す場合
import subprocess

class ShellException(Exception):
    pass

def shell_valueof(cmd: str, timeout_s: float = 0) -> str:
    cmd_org = cmd
    timeout_s = "" if timeout_s == 0 else "timeout {} ".format(timeout_s)
    cmd = "set -euo pipefail\n" + timeout_s + cmd
    proc = subprocess.run(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

    if proc.returncode == 0:
        return proc.stdout.decode('utf-8')
    else:
        # return ""
        msg = "Execution of \"{}\" failed. \n\n {}"
        sh_msg = proc.stdout.decode('utf-8')
        raise ShellException(msg.format(cmd_org, sh_msg))

val = shell_valueof("pwd")

vscodeでmarkdownからpdfに変換する

環境設定

Makdown MathとMarkdown PDFという拡張機能をインストールしてみた。Visual Studio Code - ArchWikiとError: Failed to lanuch chrome! · Issue #97 · yzane/vscode-markdown-pdf · GitHubを見て取り敢えずchromiumの実行ファイルのパスを入力した(~/.config/Code\ -\ OSS/User/settings.jsonに"markdown-pdf.executablePath": "/bin/chromium"を追記)ところ一応動いているようである。

tex対応についてはtex環境を整えるのが面倒なので、VSCode の Markdown で数式を表示して PDF 化する - Qiitaに従ってkatexを利用できるようにした。

doubleしか入っていないCSVをパースするプログラム

C、C++ python 並列化

要件はメモリ128GBのPCで70GBのCSVをnp.ndarray形式でメモリに乗せること。np.load_txtも一応試したが、エラーでターミナルやブラウザも巻き込んで落ちた。std::ios::seekdirは相対位置指定にしか使えないはずだが、enumのため型変換されて、引数一つだけで与えてもコンパイルエラーになっていないことに気付くまでが一番長かった(c++ - Istream seekg() offsets and ios::end - Stack Overflow)。かなり遅いがI/Oがボトルネックなのかも知れない。

https://github.com/tak0kada/smic

VirtualboxにUSBからWindowsをインストール

環境設定

docker内でpython実行するやつ

環境設定

GitHub - tak0kada/dpythonを書いた。.bashrcにexport PATH="$PATH:~/bin"を追記しておけば、普通のpythonの代わりにdpython、ipythonの代わりにdipythonを使える。$PWDしかマウントしないが、データ解析に使うのにそれ以外のディレクトリにアクセスできる必要は今のところなさそう。yak shavingのしすぎなのでこれから進捗を出す。

Antergosインストール用スクリプト

環境設定

シェルスクリプトで大半のソフトウェアがインストールできるようになった。見た目の設定だけはAntergosのインストール後にやることリスト - tak0kadaの何でもノートを見て頑張る必要がある。

続きを読む

デスクトップPCにarch linuxインストールするためのスクリプトたち

環境設定

結局antergosのインストーラを使ったので供養です。スクリプトだけである程度何とか出来るようになったので多少の成長を認めた。

続きを読む