수치해석을 위한 프로그래밍을 주로 하는 제 경험상 프로그램들을 크게 수정하기 전후로 backup을 해야겠는데 CVS, Subversion, Git과 같은 version관리 프로그램은 쓰기가 거추장스럽더군요. 그렇다고 매번 복사하기는 귀찮고 해서 빠르고 간단하게 backup 할 수 있는 python script를 작성하여 사용하고 있습니다. quickBackup.py라는 script로, 실행하면 현재 디렉토리 아래에 ./bak라는 디렉토리를 만들고 파일을 backup해줍니다. 파일 이름이 source.f90일 경우 ./bak/source.bak01.f90 과 같이 복사를 하는 것이죠.

Backup 파일 이름은 option으로 조절할 수 있고, 자동으로 log file을 만들어 언제 어떤 파일을 backup했는지 알려줍니다. 원한다면 backup하면서 간단한 comment도 달 수 있습니다. 가장 마지막에 backup한 파일과 지금 backup하려는 파일이 동일할 경우에는 backup하지 않습니다. 한번에 여러 개의 파일을 backup할 수도 있습니다.^^

Gpl Quick Backup
    make ‘./bak’ directory and backup files
Usage :
    quickBackup.py [-h/-b/-t] filename

Required parameters :
    filename

Optional parameters : 
    -h   : place backup number at head ( bak01.filename.extension )
   -b   : place backup number between filename and extension ( filename.bak01.extension )
    -t   : place backup number at tail ( filename.extension.bak01 )
    ** default : -b
    -c   : add comment to the log file ( ./bak/quickBackup.log )

Examples :
    quickBackup.py file1.f90 file2.f
    (edit file1.f90)
    quickBackup.py file1.f90
    ls ./bak
    -> file1.bak01.f90  file1.bak02.f90  file2.bak01.f  quickBackup.log

1. gplBackup.sh

이 스크립트는 실수로 rm * 또는 rm –rf * 등의 명령을 내려 작업중인 source code를 삭제했을 때 복구할 수 있도록 파일들을 주기적으로 backup하는 스크립트입니다. 이 스크립트와 cron 명령을 함께 사용하게 되는데, 사용하기 위한 설정 과정은 다음과 같습니다.

1) 위의 스크립트를 Backup하고자 하는 디렉토리들이 있는 가장 상위의 디렉토리에 복사합니다.

예를 들어, /home/userid/codes/modeling과 /home/userid/codes/inversion 두 개의 디렉토리를 backup하고 싶을 때 위 스크립트를 다음의 디렉토리에 복사합니다.

/home/userid/codes/gplBackup.sh

2) 스크립트를 수정하여 backup하고자 하는 디렉토리와 확장자, backup에서 제외하고자 하는 디렉토리를 설정합니다.

Backup할 디렉토리는 dirList라는 배열에 저장합니다. Backup은 recursive하게 수행되기 때문에 subdirectory들 중 제외하고 싶은 디렉토리가 있을 경우, excDirList에 제외하고 싶은 디렉토리명을 써줍니다. Backup은 확장자나 파일명을 기준으로 하게 됩니다. Backup하고 싶은 확장자나 파일명을 extList라는 배열에 적어줍니다. 마지막으로 backupdir 이라는 변수에 backup한 파일들이 들어갈 디렉토리명을 적어주면 기본적인 스크립트 수정이 끝나게 됩니다.

예> backupdir = “/home/userid/codes/backup”

여기 적은 디렉토리는 미리 만들어 놓도록 합니다.

3) crontab -e로 crontab 파일 연 다음 아래의 줄을 추가합니다.

10 * * * * /home/userid/codes/gplBackup.sh

위의 6개의 항목이 의미하는 바는 다음과 같습니다.

분, 시, 일, 달, 요일, 실행 명령

따라서 위의 명령은 매 달, 매 일, 매 시 10분에 backup 스크립트를 실행하라는 명령입니다. 위의 줄을 추가한 후에는 crontab -l로 위의 줄이 추가되었는지 확인할 수 있습니다. 여기까지 해 놓으면 설정이 끝납니다.

위의 스크립트는 매 시 10분에 해당 디렉토리의 해당 파일들을 backup하고 스크립트 40번째 줄에 지정된 시간이 되면 디스크 용량 절약을 위해 지금까지 backup했던 파일들을 삭제합니다. 매일 지정된 시간에 생성된 파일은 남겨둡니다. 지정된 시간에 생성된 파일은 이름이 다릅니다. 기본적으로 매 시간 생성되는 파일은 “backup20090307-1210.tgz” 와 같은 이름을 가지고, 지정된 시간에 생성되는 파일은 “Backup.20090307-1510.tgz”와 같은 이름을 가집니다.

주의사항) 위 스크립트는 rm *과 같은 상황에 대비하기 위해 만든 것이기 때문에 되도록이면 주로 작업하는 code들만 backup하도록 하세요. 현재 컴퓨터에 있는 source code를 전부 backup하고 싶은 경우에는 아래의 gplFullBackup 스크립트를 사용합시다.

또, 공용 서버를 사용하는 경우, 위의 10분이라고 나온 예에서 10분을 27분, 38분과 같이 다른 사람들이 안 쓸 것 같은 시간으로 바꾸세요. 모두가 같은 시간에 backup하도록 한다면 그 시간에 컴퓨터에 많은 부하가 걸리겠죠.

2. gplFullBackup.sh

이 스크립트는 위의 스크립트와 유사한데, 매 시간 실행되는 것이 아니라 사용자가 직접 실행하도록 만든 스크립트입니다. 실행하면 “./backup/FullBackup20090226-1536.tgz” 과 같은 파일을 만들어줍니다.

최근 30 boxes라는 site를 이용하고 있다. 일정 관리하는 프로그램이 하나 필요해서 Outlook, Google Calendar, Windows live calendar 등을 써보다가 다 별로 마음에 안 들던 차에 30 boxes라는 site를 알게 되었다. 단순하게 보이지만 달력 기능에 충실하고, todo list와 api도 지원하며 blog에 올린 글이나 rss등도 관리할 수 있는 site였다. 최근 site 관리자의 활동이 좀 뜸한 듯 하긴 하지만, 결국 30 boxes를 선택했다. 매번 접속해서 확인하는 것은 귀찮기 때문에 항상 사용하는 Linux terminal에서 확인할 수 있는 프로그램이 있나 찾아봤다. 하지만 그런 프로그램이 없어서 30 boxes api를 이용하는 command line program을 직접 작성해서 사용하고 있다. 참 잘 만든 site라 생각한다.

한동안 windows에서 여러 개의 application launcher들을 설치해서 사용해봤다.

처음에는 Rocket Dock이나 Object Dock과 같은 docking program들을 사용했었다. Rocket dock이 더 안정적이었으나, Object dock에서 taskbar 기능을 제공했기에 taskbar를 숨기고 Object dock을 사용했다.

그러다가 Launchy를 발견했다. 마우스보다는 키보드를 사용하여 작업하는 것을 선호하는 나에게 딱 좋은 프로그램이었다. 잠깐 Launchy를 사용하다가 Launchy와 유사하고 더 많은 기능을 제공하는 Find And Run Robot(FARR)을 발견하게 되었다. FARR 또한 훌륭한 프로그램이고, Launchy보다 다양한 plugin들을 제공해줘서 FARR을 사용했다.

하지만, 쓰다 보니 FARR은 자체 인터넷 브라우저까지 제공하느라 그런지 메모리 소비량이 Launchy보다 좀 더 많았다. Launchy는 application list를 저장해놓고 그 list에서만 검색하기 때문에 빠른 반면 list를 update해줄 필요가 있다. FARR은 typing하는 순간 컴퓨터를 검색하기 때문에 항상 최신의 정보를 이용하는 대신 Launchy보다는 느렸다. 각각 장단점이 있겠으나, 나는 결국 Launchy를 선택하였고, 매일 Launchy를 사용하고 있다.

1. 리눅스에서 하드 추가하는 법

컴퓨터를 끄고 하드를 추가하고 bios에서 하드가 인식되는 것을 확인한 후 부팅합니다. Root 계정으로 로그인한 후,
# /sbin/fdisk -l
로 새 하드가 추가된 것을 확인합니다(예 /dev/sdc).
# /sbin/fdisk
를 실행하여 추가된 하드 디스크에 새로운 partition을 만듭니다. 새 파티션을 만드는 명령은 ‘n’이고 새 파티션을 쓰는 명령은 ‘w’입니다.
# /sbin/mkfs.ext3 /dev/sdc
로 새 파티션을 포맷합니다.
# mkdir /u1
과 같이 새 하드디스크를 마운트할 directory를 만듭니다.
# mount -t ext3 /dev/sdc1 /u1
과 같이 마운트합니다.
/etc/fstab 파일에
/dev/sdc1               /u1           ext3    defaults        1 2
과 같이 추가해줍니다. 끝.

2. 리눅스에서 네트워크 하드 디스크를 마운트하는 법

node01에 위의 하드를 추가했을 때, 위의 하드를 node02에도 마운트하는 법은 다음과 같습니다.
node01에서 /etc/exports 파일에 다음과 같이 추가해줍니다.
/u1     *(rw,no_root_squash)
여기서 *은 허용하는 ip 주소입니다. 그리고
# /usr/sbin/exportfs
# /etc/init.d/nfs restart
를 실행합니다.
다음에는 node02로 가서(rsh)
# mount -t nfs -o nolock node01:/u1 /u1
을 실행합니다. 끝.

참고할만한 파일들
/etc/fstab
/etc/mtab
/proc/mount

SCI Journal의 impact factor 찾아보기

ISI web of Knowledge에 들어가서 “Select a Database” tab을 선택한 후 “Journal Citation Reports”에 들어간다.

그럼 다음과 같은 화면이 뜨는데, ‘Search for a specific journal’을 선택하고 ‘SUBMIT’을 누른다.

다음 화면에서 Journal 이름 또는 ISSN 을 가지고 impact factor를 찾아볼 수 있다.

다음은 Geophysics로 검색해본 결과.

qsub 로 job 올릴 때 특정 node 빼고 돌리는 법

#!/bin/sh
#$ -cwd
#$ -V
#$ -v MPIHOME={mpi home}
#$ -N {job name}
#$ -S /bin/sh
#$ -pe mpich 20
#$ -A teragonhpc
#$ -j y
#$ -o log.out
#$ -q *@node*&!*04&!*01&!*12

$MPIHOME/bin/mpirun -np $NSLOTS -machinefile $TMPDIR/machines 실행파일

위의 내용은 qsub로 job을 올릴 때 사용하는 script.sh 파일 내용입니다. #$ 마지막 줄에 있는 -q 명령이 node 지정해주는 명령입니다. 위의 명령을 해석해보겠습니다.

1. &는 fortran의 .and. 연산자와 같은 역할을 합니다.
2. *@node* 은 모든 node를 사용하라는 명령입니다.
3. !은 .not. 즉, 부정을 의미합니다.
4. 따라서 !*04 는 04로 끝나는 node는 사용하지 말라는 의미입니다. 마찬가지로 !*01, !*12도 01번과 12번 node를 사용하지 말라는 의미입니다.

정리하면 -q *@node*&!*04&!*01&!*12 옵션을 붙여주면, 01번, 04번, 12번 node를 제외한 나머지 node만 사용해서 mpi를 돌리게 됩니다.

gnuplot

PyXPlot은 gnuplot의 확장 interface로 그림을 그릴 수 있게 해주는 프로그램입니다. 내부적으로는 Python과 PyX package를 이용하죠. 그림은 eps파일로 만들어 gv로 보여줍니다. 위의 그림과 아래의 그림은 아래의 명령으로 각각 Gnuplot과 PyXPlot에서 그린 결과를 보여줍니다.

set xlabel ‘Time (s)’
set ylabel ‘Amplitude’
set xrange [0:10]
p sin(x)

pyxplot

그림 그려주는 속도는 Gnuplot이 훨씬 빠릅니다. 하지만, Gnuplot 결과물은 presentation이나 paper에 쓰기에 부적합하다는 생각이 듭니다. 경험상 간편한 presentation 준비를 위해서는 PyXPlot을 쓰는 것도 괜찮더군요. Paper를 위해서는 PyX와 Postscript를 다 쓰는 것이 좋고요^^.

Arps typecurve

위 그림을 그리기 위한 python code는 다음과 같습니다.

from pyx import *

g=graph.graphxy(width=10,
                x=graph.axis.log(
                        title='$t_{Dd}$',min=0.01,max=1000,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)],tickattrs=[color.gray(0.5)])
                        ),
                x2=graph.axis.log(min=0.01,max=1000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)])),
                y=graph.axis.log(
                        title='$q_{Dd}$',min=0.001,max=10,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)],tickattrs=[color.gray(0.5)]))
                ,y2=graph.axis.log(min=0.001,max=10,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.gray(0.5)]))
                        )
g.plot([graph.data.file("arps.dat",x=1,y=j) for j in [3,4,5,6,8,9,10,11]],
                [graph.style.line([style.linestyle.solid,style.linewidth.Thin,color.gray(0.3)])])
g.plot([graph.data.file("arps.dat",x=1,y=j) for j in [2,7,12]],[graph.style.line([style.linestyle.solid,style.linewidth.Thick])])

g.text(5,0.5,r"$b=0.0$")
g.text(6.7,0.5,r"$b=0.5$")
g.text(8.8,0.5,r"$b=1.0$")

g.writeEPSfile('typeCurve')

그리고 데이터를 만들기 위한 code는 다음과 같습니다.

import math
fout='arps.dat'
f=open(fout,'w')

for it in range(-30,40):
        tdd=10.0**(it/10.0)
        q=range(11)
        q[0]=math.exp(-tdd)
        for ib in range(1,11):
                b=ib*0.1
                q[ib]=(1+b*tdd)**(-1/b)

        f.write("%s"%tdd)
        for j in range(0,11):
                f.write(" %s"%q[j])
        f.write("\n")

f.close()

아래의 그림들은 다음의 data를 이용하여 그렸습니다.

6 2070
12 1755
18 1510
24 1315
30 1155
36 1025
42 915

linear

from pyx import *

g=graph.graphxy(width=10,
                x=graph.axis.lin(
                        title='$t \ (month)$',min=1,max=100,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.lin(min=1,max=100,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.lin(
                        title='$q(t) \ (bbls/day)$',min=1,max=3000,texter=graph.axis.texter.decimal(),
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.lin(min=1,max=15000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )
g.plot( [graph.data.file("hwb05535.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )   

g.writeEPSfile('hwlin.eps')

Log scale로 그리기

logarithmic

from pyx import *

g=graph.graphxy(width=10,
                x=graph.axis.log(
                        title='$t \ (month)$',min=1,max=100000,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.log(min=1,max=100000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.log(
                        title='$q(t) \ (bbls/day)$',min=10,max=100000,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.log(min=10,max=100000,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )

g.plot( [graph.data.file("hwb05535.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )       

g.writeEPSfile('hwlog.eps')

적분 그림 넣기

integral

from pyx import *

Xmin=0
Xmax=350
Ymin=0
Ymax=2500
g=graph.graphxy(width=10,
                x=graph.axis.lin(
                        title='$t \ (month)$',min=Xmin,max=Xmax,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.lin(min=Xmin,max=Xmax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.lin(
                        title='$q(t) \ (bbls/day)$',min=Ymin,max=Ymax,texter=graph.axis.texter.decimal(),
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.lin(min=Ymin,max=Ymax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )
g.plot( [graph.data.file("hwb05535.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )
d=g.plot( graph.data.function("y(x)=2311*(1+0.0276*0.5535*x)**(-1.0/0.5535)"))
g.finish()
p=d.path        

pa=g.xgridpath(42)
pb=g.xgridpath(307)
(splita,),(splitpa,)=p.intersect(pa)
(splitb,),(splitpb,)=p.intersect(pb)
area=(pa.split([splitpa])[0] < <
                p.split([splita,splitb])[1] <<
                pb.split([splitpb])[0].reversed())
area[-1].close()
g.stroke(area,[deco.filled([color.cmyk.RoyalBlue])])

g.text(2,2.3,r"Reserves:",textattrs=[text.size.Large])
g.text(4.2,2.3,r"\int_{t_{now}}^{t_{el}}q(t)dt",textattrs=[text.size.Large,text.mathmode])
g.text(8,0.5,r"t_{el}=307",textattrs=[text.size.large,text.mathmode])

g.writeEPSfile('hwlinintegral.eps')

다음 그림은 아래의 data를 이용하여 그렸습니다.

6 39.42857
12 42.97959
18 46.46154
24 49.3125
30 53.30769
36 55.90909

Nind's method

from pyx import *

Xmin=0
Xmax=50
Ymin=30
Ymax=60
g=graph.graphxy(width=10,
                x=graph.axis.lin(
                        title='$t \ (month)$',min=Xmin,max=Xmax,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange])
                        ),
                x2=graph.axis.lin(min=Xmin,max=Xmax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange])),
                y=graph.axis.lin(
                        title='$ 1/D \ (month)$',min=Ymin,max=Ymax,texter=graph.axis.texter.decimal(),
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange],tickattrs=[color.cmyk.Orange]))
                ,y2=graph.axis.lin(min=Ymin,max=Ymax,parter=None,
                        painter=graph.axis.painter.regular(gridattrs=[color.cmyk.Orange]))
                        )
g.plot( [graph.data.file("nind.dat",x=1,y=2)],
                [graph.style.symbol(graph.style.symbol.circle, size=0.1,
                        symbolattrs=[deco.stroked([color.rgb.blue])])]
                )
g.plot( [graph.data.function("y(x)=0.5535*x+36.276")]
                )

g.text(4.5,3.15,r"$1/D=0.5535t+36.276$",textattrs=[text.size.Large])
g.text(4.55,2.2,r"$b=0.5535$",textattrs=[text.size.Large])
g.text(4.2,1.65,r"$D_i=0.0276/month$",textattrs=[text.size.Large])

g.writeEPSfile('nind.eps')

Tagged: Python, PyX ]]> http://plusha.com/2008/12/16/pyx-example-type-curve/feed/ 0 plusha typecurve hwlin hwlog hwlinintegral nind http://plusha.com/2008/12/16/python-plotting-libraries/ http://plusha.com/2008/12/16/python-plotting-libraries/#comments Tue, 16 Dec 2008 01:25:17 +0000 plusha http://plusha.com/?p=147 ]]>

제가 접해본 python을 이용한 그림 그리기 프로그램 중 쓸만한 것으로는 Matplotlib과 PyX가 있습니다. 둘 다 python으로 코드를 짜면 그림을 그려주는 프로그램으로, paper에 출판할 수 있을 정도의 그림을 그릴 수 있습니다. 그 외에 PyXPlot이라고, gnuplot과 유사한 interface를 이용하면 자체적으로 PyX를 이용해 그림을 그려주는 프로그램이 있습니다.

Matplotlib은 제일 처음에 접했는데, 잠깐 쓰다가 말았습니다. 당시에는 기능이 떨어졌는데, 얼마 전에 보니 많이 upgrade 되었더군요. 앞으로 많이 사용하게 될 듯 합니다.

PyX는 eps, pdf 파일을 만들어줍니다. 상당히 자세한 부분까지 수정할 수 있어서 개인적으로 좋아하는 프로그램입니다. 하지만 update가 잘 안 되고, contour 그리기 기능이 없네요.

PyXPlot은 gnuplot을 써 보신 분들께서는 쉽게 쓰실 수 있는 프로그램으로, 간편하게 (gnuplot에 비하면 훨씬) 고품질의 그림을 그릴 수 있습니다. 쉽긴 하지만, PyX를 직접 쓰는 경우처럼 자세한 수정은 힘들죠.

앞으로 제가 그림을 그리기 위해 사용했던 코드와 그림들을 나중에 다시 참고하기 위해 블로그에 올릴 생각입니다.

Tagged: Matplotlib, Python, PyX, PyXPlot ]]> http://plusha.com/2008/12/16/python-plotting-libraries/feed/ 0 plusha