plusHa » Python

Quick backup

plusha — Tue, 14 Apr 2009 05:07:29 +0000

수치해석을 위한 프로그래밍을 주로 하는 제 경험상 프로그램들을 크게 수정하기 전후로 backup을 해야겠는데 CVS, Subversion, Git과 같은 version관리 프로그램은 쓰기가 거추장스럽더군요. 그렇다고 매번 복사하기는 귀찮고 해서 빠르고 간단하게 backup 할 수 있는 python script를 작성하여 사용하고 있습니다. quickBackup.py라는 script로, 실행하면 현재 디렉토리 아래에 ./bak라는 디렉토리를 만들고 파일을 backup해줍니다. 파일 이름이 source.f90일 경우 ./bak/source.bak01.f90 과 같이 복사를 하는 것이죠.

Backup 파일 이름은 option으로 조절할 수 있고, 자동으로 log file을 만들어 언제 어떤 파일을 backup했는지 알려줍니다. 원한다면 backup하면서 간단한 comment도 달 수 있습니다. 가장 마지막에 backup한 파일과 지금 backup하려는 파일이 동일할 경우에는 backup하지 않습니다. 한번에 여러 개의 파일을 backup할 수도 있습니다.^^

Gpl Quick Backup
    make ‘./bak’ directory and backup files
Usage :
    quickBackup.py [-h/-b/-t] filename

Required parameters :
    filename

Optional parameters :
    -h   : place backup number at head ( bak01.filename.extension )
   -b   : place backup number between filename and extension ( filename.bak01.extension )
    -t   : place backup number at tail ( filename.extension.bak01 )
    ** default : -b
    -c   : add comment to the log file ( ./bak/quickBackup.log )

Examples :
    quickBackup.py file1.f90 file2.f
    (edit file1.f90)
    quickBackup.py file1.f90
    ls ./bak
    -> file1.bak01.f90 file1.bak02.f90 file2.bak01.f quickBackup.log

Tagged: backup, Python

PyX example – Typecurve, Reserve

plusha — Tue, 16 Dec 2008 02:45:20 +0000

Arps typecurve

위 그림을 그리기 위한 python code는 다음과 같습니다.

from pyx import *

g=graph.graphxy(width=10,
                x=graph.axis.log(
                        title='$t_{Dd}$',min=0.01,max=1000,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)],tickattrs=[color.gray(0.5)])
                        ),
                x2=graph.axis.log(min=0.01,max=1000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)])),
                y=graph.axis.log(
                        title='$q_{Dd}$',min=0.001,max=10,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)],tickattrs=[color.gray(0.5)]))
                ,y2=graph.axis.log(min=0.001,max=10,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)]))
                        )
g.plot([graph.data.file("arps.dat",x=1,y=j) for j in [3,4,5,6,8,9,10,11]],
                [graph.style.line([style.linestyle.solid,style.linewidth.Thin,color.gray(0.3)])])
g.plot([graph.data.file("arps.dat",x=1,y=j) for j in [2,7,12]],[graph.style.line([style.linestyle.solid,style.linewidth.Thick])])

g.text(5,0.5,r"$b=0.0$")
g.text(6.7,0.5,r"$b=0.5$")
g.text(8.8,0.5,r"$b=1.0$")

g.writeEPSfile('typeCurve')

그리고 데이터를 만들기 위한 code는 다음과 같습니다.

import math
fout='arps.dat'
f=open(fout,'w')

for it in range(-30,40):
        tdd=10.0**(it/10.0)
        q=range(11)
        q[0]=math.exp(-tdd)
        for ib in range(1,11):
                b=ib*0.1
                q[ib]=(1+b*tdd)**(-1/b)

        f.write("%s"%tdd)
        for j in range(0,11):
                f.write(" %s"%q[j])
        f.write("\n")

f.close()

아래의 그림들은 다음의 data를 이용하여 그렸습니다.

6 2070
12 1755
18 1510
24 1315
30 1155
36 1025
42 915

linear

from pyx import *

g=graph.graphxy(width=10,
                x=graph.axis.lin(
                        title='$t \ (month)$',min=1,max=100,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.lin(min=1,max=100,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.lin(
                        title='$q(t) \ (bbls/day)$',min=1,max=3000,texter=graph.axis.texter.decimal(),
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.lin(min=1,max=15000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )
g.plot( [graph.data.file("hwb05535.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )   

g.writeEPSfile('hwlin.eps')

Log scale로 그리기

logarithmic

from pyx import *

g=graph.graphxy(width=10,
                x=graph.axis.log(
                        title='$t \ (month)$',min=1,max=100000,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.log(min=1,max=100000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.log(
                        title='$q(t) \ (bbls/day)$',min=10,max=100000,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.log(min=10,max=100000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )

g.plot( [graph.data.file("hwb05535.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )       

g.writeEPSfile('hwlog.eps')

적분 그림 넣기

integral

from pyx import *

Xmin=0
Xmax=350
Ymin=0
Ymax=2500
g=graph.graphxy(width=10,
                x=graph.axis.lin(
                        title='$t \ (month)$',min=Xmin,max=Xmax,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.lin(min=Xmin,max=Xmax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.lin(
                        title='$q(t) \ (bbls/day)$',min=Ymin,max=Ymax,texter=graph.axis.texter.decimal(),
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.lin(min=Ymin,max=Ymax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )
g.plot( [graph.data.file("hwb05535.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )
d=g.plot( graph.data.function("y(x)=2311*(1+0.0276*0.5535*x)**(-1.0/0.5535)"))
g.finish()
p=d.path        

pa=g.xgridpath(42)
pb=g.xgridpath(307)
(splita,),(splitpa,)=p.intersect(pa)
(splitb,),(splitpb,)=p.intersect(pb)
area=(pa.split([splitpa])[0] < <
                p.split([splita,splitb])[1] <<
                pb.split([splitpb])[0].reversed())
area[-1].close()
g.stroke(area,[deco.filled([color.cmyk.RoyalBlue])])

g.text(2,2.3,r"Reserves:",textattrs=[text.size.Large])
g.text(4.2,2.3,r"\int_{t_{now}}^{t_{el}}q(t)dt",textattrs=[text.size.Large,text.mathmode])
g.text(8,0.5,r"t_{el}=307",textattrs=[text.size.large,text.mathmode])

g.writeEPSfile('hwlinintegral.eps')

다음 그림은 아래의 data를 이용하여 그렸습니다.

6 39.42857
12 42.97959
18 46.46154
24 49.3125
30 53.30769
36 55.90909

Nind's method

from pyx import *

Xmin=0
Xmax=50
Ymin=30
Ymax=60
g=graph.graphxy(width=10,
                x=graph.axis.lin(
                        title='$t \ (month)$',min=Xmin,max=Xmax,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.lin(min=Xmin,max=Xmax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.lin(
                        title='$ 1/D \ (month)$',min=Ymin,max=Ymax,texter=graph.axis.texter.decimal(),
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.lin(min=Ymin,max=Ymax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )
g.plot( [graph.data.file("nind.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )
g.plot( [graph.data.function("y(x)=0.5535*x+36.276")]
                )

g.text(4.5,3.15,r"$1/D=0.5535t+36.276$",textattrs=[text.size.Large])
g.text(4.55,2.2,r"$b=0.5535$",textattrs=[text.size.Large])
g.text(4.2,1.65,r"$D_i=0.0276/month$",textattrs=[text.size.Large])

g.writeEPSfile('nind.eps')

Tagged: Python, PyX

Python plotting libraries

plusha — Tue, 16 Dec 2008 01:25:17 +0000

제가 접해본 python을 이용한 그림 그리기 프로그램 중 쓸만한 것으로는 Matplotlib과 PyX가 있습니다. 둘 다 python으로 코드를 짜면 그림을 그려주는 프로그램으로, paper에 출판할 수 있을 정도의 그림을 그릴 수 있습니다. 그 외에 PyXPlot이라고, gnuplot과 유사한 interface를 이용하면 자체적으로 PyX를 이용해 그림을 그려주는 프로그램이 있습니다.

Matplotlib은 제일 처음에 접했는데, 잠깐 쓰다가 말았습니다. 당시에는 기능이 떨어졌는데, 얼마 전에 보니 많이 upgrade 되었더군요. 앞으로 많이 사용하게 될 듯 합니다.

PyX는 eps, pdf 파일을 만들어줍니다. 상당히 자세한 부분까지 수정할 수 있어서 개인적으로 좋아하는 프로그램입니다. 하지만 update가 잘 안 되고, contour 그리기 기능이 없네요.

PyXPlot은 gnuplot을 써 보신 분들께서는 쉽게 쓰실 수 있는 프로그램으로, 간편하게 (gnuplot에 비하면 훨씬) 고품질의 그림을 그릴 수 있습니다. 쉽긴 하지만, PyX를 직접 쓰는 경우처럼 자세한 수정은 힘들죠.

앞으로 제가 그림을 그리기 위해 사용했던 코드와 그림들을 나중에 다시 참고하기 위해 블로그에 올릴 생각입니다.

Tagged: Matplotlib, Python, PyX, PyXPlot

GnuQuickPlot

plusha — Fri, 10 Oct 2008 22:22:43 +0000

GNU Quick Plot

Gnuplot은 리눅스에서 텍스트파일에 저장된 값을 빠르게 그림으로 그려주는 프로그램입니다.

다양한 기능을 가지고 있지만, 제 경우에는 주로 수치해석 후 결과 확인용으로 씁니다.

gnuplot으로 그림을 그릴 때에는 command line 상에서 ‘gnuplot’이라고 치고 들어가서 gnuplot 명령어들을 이용하여 그림을 그리고 ‘q’를 입력하여 빠져나옵니다.

그런데 간단히 결과를 확인해보기 위해서 gnuplot에 들어가서
p 'file1' w l,'file1' u 1:3 w l,'file1' u 1:4 w p
또는
set grid set xrange[:10] set log y p 'file1' w l,'file2' w l,'file3' w l
과 같이 매번 치려니 귀찮다는 생각이 들었습니다.

그래서 이 script를 만들게 되었습니다. 처음에는 ruby로 만들어 사용하다가 안 쓰는 기능은 빼고 python script로 바꿨습니다.

이 script를 사용하면 command line 상에서 바로 gnuplot 명령어를 사용하여 그림을 그릴 수 있습니다. 사용 방법은 아래와 같습니다.

Usage :

./gnuqp.py [options] filename1 [u 1:2] [w l], filename2 [u 1:2] [w l], filename3 ...
실행파일 이름, 몇 가지 setting 관련 옵션들, 이후에는 gnuplot의 plot 명령어를 입력합니다.

Required parameters :

filename1 Empty filename[2,3,...] will be replaced by the filename1
두 번째 위치부터는 파일명을 생략하면 첫 번째 파일명으로 대체합니다. 하나의 파일에서 여러 column들을 그릴 때 편리합니다.

Optional parameters :

u 1:2 : columns you want to plot w [lp..]: line style- line, point, dot or impulse ..etc (default: w l)
plot 명령어의 옵션들 중에는 using (columns)과 with (line style)만 지원합니다. 그 외의 명령은 잘 안 쓰더라고요^^.

위의 옵션을 주지 않았을 때 기본적으로 ”with line” 옵션으로 그립니다.
-p : do not run gnuplot. just print the gnuplot command -c : no comma seperation - the arguments are filenames seperated with a blank- use with glob pattern -l : set logscale y -g : set grid -x[:10] : set xrange [:10] -y[1:5] : set yrange [1:5]
위의 옵션들은 gnuplot의 setting을 간편하게 하기 위해 만들었습니다.

-p 옵션을 붙이면 gnuplot의 명령어만 출력하고 그림은 안 그립니다.

-c 옵션을 붙이면 파일들을 기본 옵션(with line)으로 그립니다. 이 때 파일명들 사이의 “,”를 생략하고 파일명만 씁니다. command line상에서 glob pattern을 이용하여 여러 그림을 그릴 수 있도록 하기 위한 옵션입니다.

나머지 gnuplot setting들은 위의 설명으로 충분할 것이라 생각합니다.

Examples :

./gnuqp.py -p "file1", u 1:3 w p -> p 'file1' u 1:2 w l, 'file1' u 1:3 w p ./gnuqp.py -p -c file.00* -> p 'file.0010' w l,'file.0020' w l,'file.0030' w l
Download: gnuqp.py

이 글은 스프링노트에서 작성되었습니다.

Tagged: Gnuplot, Python

SConstruct basic (SCons)

plusha — Tue, 03 Jun 2008 13:23:34 +0000

SConstruct은 Makefile과 비슷한 역할을 하는, Python script입니다. 따라서 Python이라는 언어의 강력한 기능들을 그대로 가져다 쓸 수 있다는 장점이 있습니다. Makefile을 make라는 명령어로 실행하듯이, SConstruct는 scons라는 명령어로 실행합니다. SConstruct file의 작성법은 Makefile이나 Rakefile의 작성법과는 차이가 있습니다. 작성법을 살펴보기 전에 먼저 ‘Environment’와 ‘Builder’라는 개념에 대해 살펴보겠습니다.

Environments

Makefile에서는 기본적으로 Shell의 환경변수들을 가져다가 썼습니다. 물론 PATH 환경변수도 가지고 오기 때문에 compiler의 절대경로를 써주지 않아도 알아서 잘 compile을 했었습니다.
반면에, scons는 기본적으로 Shell의 환경변수들을 가져오지 않습니다. scons를 설치할 때 기본적인 compiler들(gcc, gfortran 등)은 알아서 찾아내기 때문에 보통은 문제가 없지만 특정한 compiler(icc, ifort 등)를 사용하고 싶은 경우 compile 관련 환경변수(construction variables)에 절대경로를 지정해주거나 Shell의 환경변수를 가지고 옵니다. Shell의 환경변수들을 전부 가지고 오고 compiler로 ifort를 사용할 경우 script에 다음과 같이 써줍니다.

import os
DefaultEnvironment(ENV=os.environ,FORTRAN='ifort',
    FORTRANFLAGS='-assume byterecl -O2',LINK='ifort')

scons에는 위에 사용한 Default Environment외에도 사용자가 마음대로 Environment를 만들 수 있습니다. 아래와 같이 쓸 경우 myEnv라는 새로운 Environment를 만들어 사용할 수 있습니다. 이런 식으로 여러 개의 Environment들을 만들어 필요에 따라 같은 프로그램도 옵션을 바꿔가며 compile할 수 있습니다.

import os
myEnv=Environment(ENV=os.environ,CFLAGS='-O3',
    FORTRANFLAGS='-O1')

Builders

scons는 기본적으로 많이 사용되는 프로그램들의 compile 방법들을 알고 있습니다. Compile하는 object를 builder라고 하는데, c/c++, fortran, java, TeX, LaTeX, tar, zip 등 다수의 builder들이 존재합니다. 따라서 원하는 builder에 알맞은 target과 source 이름만 넣어주면 scons가 알아서 compile합니다. 필요한 변수(옵션)들은 해당 Environment에서 가지고 옵니다. 기본적인 작성법은 다음과 같습니다.

Program('target1.e','source1.f')
myEnv.Program('target2.e','source2.c')

첫 번째 줄은 ‘source1.f’라는 파일로부터 ‘target1.e’ 라는 파일을 생성하는 명령입니다. 이 때 필요한 변수들은 Default Environment에서 가지고 옵니다. 두 번째 줄은 ‘source2.c’라는 파일로부터 ‘target2.e’라는 파일을 생성하는 명령이고, 필요한 변수는 myEnv라는 Environment에서 가지고 옵니다. 위에서 Program이라는 명령은 source code에 해당하는 builder를 불러오는 역할을 하죠. 지금까지의 SConstruct script와 실행 결과를 살펴볼까요?

import os
DefaultEnvironment(ENV=os.environ,FORTRAN='ifort',
    FORTRANFLAGS='-assume byterecl -O2',LINK='ifort')
myEnv=Environment(ENV=os.environ,CFLAGS='-O3',
    FORTRANFLAGS='-O1')

Program('target1.e','source1.f')
myEnv.Program('target2.e','source2.c')

scons라고 실행하면,
scons: Reading SConscript files ... scons: done reading SConscript files. scons: Building targets ... ifort -o source1.o -c -assume byterecl -O2 source1.f gcc -o source2.o -c -O3 source2.c ifort -o target1.e source1.o gcc -o target2.e source2.o scons: done building targets.
와 같은 화면을 얻게 됩니다. 복잡한 내용은 빼고 실행 결과만 보고 싶을 경우 scons -Q 라고 실행하면 결과를 다음과 같이 보여줍니다.
ifort -o source1.o -c -assume byterecl -O2 source1.f gcc -o source2.o -c -O3 source2.c ifort -o target1.e source1.o gcc -o target2.e source2.o
위의 실행 결과를 보면 source file의 확장자에 따라 필요한 compiler를 사용하고 필요한 환경변수들을 가져다가 사용했음을 알 수 있습니다. 특정 Compiler가 사용하는 환경변수는 scons user manual에서 찾아볼 수 있습니다.

그럼 앞에서 살펴보았던 예제 – main.f, sub1.f, sub2.f 는 어떻게 compile하는지 살펴보겠습니다.

import os
DefaultEnvironment(ENV=os.environ,FORTRAN='ifort',
    FORTRANFLAGS='-assume byterecl -O2',LINK='ifort')

Program('main.e',['main.f','sub1.f','sub2.f'])

위와 같이 source file이 여러 개인 경우 source file들을 list로 묶어줍니다. 다른 방법으로 아래와 같이 쓸 수도 있습니다. Split이라는 함수는 문자열을 나눠서 list로 만들어줍니다.

import os
DefaultEnvironment(ENV=os.environ,FORTRAN='ifort',
    FORTRANFLAGS='-assume byterecl -O2',LINK='ifort')

obj=Split('main.f sub1.f sub2.f')
Program('main.e',obj)

Makefile이나 Rakefile에 비해 상당히 간단하죠? 실행 결과는 다음과 같습니다.
ifort -o main.o -c -assume byterecl -O2 main.f ifort -o sub1.o -c -assume byterecl -O2 sub1.f ifort -o sub2.o -c -assume byterecl -O2 sub2.f ifort -o main.e main.o sub1.o sub2.o
또 앞의 Makefile, Rakefile 예제들과는 달리 clean 이라는 target이 없습니다. scons -c 라고 실행하면 scons는 compile 과정에서 새로 생긴 파일들을 알아서 지워줍니다. 실행 결과는 다음과 같습니다.
scons: Reading SConscript files ... scons: done reading SConscript files. scons: Cleaning targets ... Removed main.o Removed sub1.o Removed sub2.o Removed main.e scons: done cleaning targets.
물론 특정 target만 만들고 싶을 때는 scons main.o와 같이 실행하여 하나의 target만 만들 수도 있습니다. main.o라는 target은 script 내에서 지정해준 적이 없지만 확장자 규칙에 따라 compile 중에 생기는 파일이기 때문에 앞에서와 같이 실행하면 알아서 만들어줍니다. 또한, 많은 경우 dependency도 알아서 check해줍니다.

만약 Program()에서 target을 생략하고 source만 적어주면 list의 첫 번째 source file 이름을 기준으로 target file 이름을 만들어 줍니다. 하지만 경험상 target file 이름을 적어주는 것이 좋더군요.

Program(['main.f','sub.f']) ## -> target='main'

오늘은 가장 기초적인 사용법을 알아보았습니다. 다음에는 scons에 대해 좀 더 자세히 살펴보겠습니다.

SCons Homepage