2009年2月28日星期六

GNU octave (Part I)

最近用了一次 octave 感觉很不错,和 Matlab 越来越像了,图形也做的很顺手了。加上它小巧(相对于 Matlab 而言),对 Matlab 的了解使我能很容易上手。顺便找了一下,manual 写的很详尽(我看的 3.1 版本的接近 600 pages),常用的功能都有。扫了一下主页,感觉还是很活跃的,于是下定决心好好研究一下,正好和 Matlab 比较促进我对 Matlab 的进一步了解。

就我观察,octave 不同版本号之间差异比较大,我现在说的 3.1 应该是和 Matlab 最接近的,而 2.x 还离得很远,这里我先就一些基本的问题说明一下。debian 里面 octave 一般分成下面几个 package,
  • octave*.*,这是 octave 的主程序(还有一个汇报 bug 的程序)所在,常用的函数一般有二进制版本(称为 built-in 函数)放在 /usr/lib/octave/version/oct/arch/*.oct。
  • octave*.*-common 里面主要是常用工具箱,m 文件多在 /usr/share/octave/version/m/toolbox-name/*.m。
  • octave*.*-doc 里面是文档,我现在就使用的 3.1 系列的文档。
  • octave*.*-htmldoc 还是文档。
下面这些类似于 toolbox 的东西来自 octave-forge 项目,
  • octave-ad 自动前向微商。
  • octave-audio 处理音频。
  • octave-bioinfo 处理生物信息学。
  • octave-combinatorics 组合学。
  • octave-comminiations 信号处理、通信。
  • octave-control 控制理论。
  • octave-data-smoothing 数据平滑化(似乎是用 Tikhonov regularizer?)。
  • octave-econometrics 度量经济学。
  • octave-epstk 生成 eps 文件。
  • octave-financial 金融工具箱。
  • octave-fixed 计算 fixed point。
  • octave-ftp 在 octave 里面使用 ftp。
  • octave-ga 就是遗传算法。
  • octave-general 广义函数。
  • octave-graceplot 原来 octave 调用 gnuplot 绘图,这个包用 grace。
  • octave-gsl 提供 GSL 的支持。
  • octave-ident 提供 system identification。
  • octave-image 提供图像处理的功能。
  • octave-informationtheory 提供信息论方面的函数。
  • octave-io 提供输入输出支持。
  • octave-irsa 提供 irregular sampling analysis。
  • octave-linear-algebra 线性代数。
  • octave-miscellaneous 一些杂七杂八的函数,如输出到 latex 等。
  • octave-missing-functions 搜索 octave 里面没有的 matlab 函数。
  • octave-nan 提供处理 NaN 的能力。
  • octave-nnet 前馈神经网络。
  • octave-netcdf 处理 NetCDF 数据。
  • octave-octgpr 散乱数据插值(看起来像 Gaussian process regression)。
  • octave-odebvp 线性常微分方程边值问题。
  • octave-odepkg 常微分方程初值问题。
  • octave-optim 优化工具箱。
  • octave-optiminterp 最优插值。
  • octave-outliers 发现 outlier。
  • octave-parallel 并行计算。
  • octave-pfstools 使用 octave 处理 HDR 图片。
  • octave-phisicalconstants 物理常量。
  • octave-plot 额外的作图工具。
  • octave-plplot 对 PLplot 库的支持。
  • octave-signal 信号处理。
  • octave-sockets 提供 socket 的接口。
  • octave-sp 半定规划。
  • octave-specfun 特殊函数。
  • octave-splines 样条。
  • octave-statistics 统计函数。
  • octave-strings 字符串处理。
  • octave-struct 对结构体的支持。
  • octave-symbolic 符号计算,基于 GiNaC 和 CLN。
  • octave-time 日期时间处理。
  • octave-tsa 时间序列分析。
  • octave-vrml 虚拟现实工具箱。
  • octave-senity 可能和 guide 类似。

以上可见 octave 并不比我们常用的 matlab 缺少很多功能,而且我们相信随着贡献者越来越多,一般科学研究需要的计算可以转交给 octave 来实现。我现在一些小的计算,懒的打开 Matlab,就会用 octave 来处理。数值计算的教学,我觉得有理由离开 Matlab 这个商业软件了。如果说 Scilab 并不顺手,那么 octave 已经不存在这个理由了。

不过,我们在这里还是列举一些 octave 和 Matlab 不同之处(参考这里),
  • 搜索路径应使用 addpath,而不是老版本直接对 LOADPATH 变量赋值。
  • Matlab 不支持 logical array 的 prod,但是 octave 支持。
  • Matlab 不支持对 nargin 赋值,但是 octave 支持。
  • Matlab 启动的时候执行 startup.m,octave 执行 /etc/octave*.conf。
  • Matlab v6 的 mat 文件可以被 octave 读取。v7 的可以被 2.9 之后的读取。
  • 不同长度的字符串在老版本的 octave 里面允许 vercat,而 matlab 不允许。
  • Matlab 允许 ! 开头表示系统调用,octave 只允许使用 system 函数。octave 里面 ! 和 ~ 都表示取反。
  • Matlab 不允许一个字符串和一个字符比较,但 octave 允许。
  • hist.m 函数在 octave 里面有一个 normalization,matlab 没有。
  • 老版本的 octave 通过环境变量 OCTAVE_VERSION 获得版本信息,matlab 和新版的 octave 使用 ver。
  • cell array 和 struct 的显示方是不同。
  • 函数 datastr 曾非常不一致。
  • Matlab 的 load 和 octave 的 load --force 等价。
  • Matlab 可以 load 读取空文件,octave 不允许。
  • Matlab 没有 printf 只有 fprintf 和 sprintf,octave 都有。
  • Matlab 的转置运算符和操作矩阵之间不允许有空格,octave 允许。
  • Matlab 一行分割成几行需要用 ...,octave 可以省略或者用 \ 也行。
  • 逻辑运算里面 Matlab 只允许 & 和 |,octave 允许 && ||(返回标量),和 & | (返回矩阵)。
  • Matlab 用 ^ 表示指数运算,octave 还允许用 **。
  • Matlab 的字符串用 ',octave 还可以用 "。
  • Matlab 结构控制语句都用 end 结束,octave 还允许 end if/for 等。
  • Matlab 调试 dbstep in 在 octave 为 dbstep、dbstep 在 octave 为 dbnext。
  • Matlab 广义特征值用 eig(A, B),在 octave 为 qz( A, B)。
  • Matlab 注释使用 %,octave 还可以使用 #。
  • Matlab 不允许对立即矩阵取 index,即 [ 1 2 3 4]( 3 ) 是不合法的,octave 允许。
  • Matlab 没有 += 这种类型的运算,octave 支持,并还支持 ++ --,和 C 一致。
  • Matlab 在新版本里面实现了 exception handling 和 octave 的 unwind protect 不同。
  • Matlab 实现 OOP 的风格不被 octave 接受。
  • Matlab 使用 private 子目录不被 octave 接受。

后面,我们开始更进一步学习 octave。

2009年2月25日星期三

impressive

impressive 在我的 debian 里面已经 0.10.2r-2 了,现在就连我的破显卡也没什么问题了(当然不是说可以用显卡的 Open GL 加速了,而是说交给了软件 mesa 去渲染了,所以很慢,总比不能渲染好,呵呵)。
/usr/bin/impressive-gettransitions
/usr/share
/usr/share/impressive
/usr/share/impressive/impressive.py
/usr/share/man
/usr/share/man/man1
/usr/share/man/man1/impressive.1.gz
/usr/share/man/man1/impressive-gettransitions.1.gz
/usr/share/doc
/usr/share/doc/impressive
/usr/share/doc/impressive/demo.pdf
/usr/share/doc/impressive/impressive.html
/usr/share/doc/impressive/copyright
/usr/share/doc/impressive/demo.tex.gz
/usr/share/doc/impressive/changelog.Debian.gz
/usr/share/python-support
/usr/share/python-support/impressive.dirs
/usr/bin/impressive
这个 python 写的程序很小,主文件就是那个 py,另有一个 impressive-gettransitions 是用于从 beamer 的 tex src 里面提取 info 生成我们需要的配置的。

说起来想法很简单,使用 PyOpenGL 使得在 python 中可以调用 OpenGL,PyGame 是 SDL 库(快速显示),PIL(Python Imaging Library)处理图片,Xpdf 或 GhostScript 渲染 PDF,pdftk 获取 PDF 元信息、xdg-utils 用于呼叫外部的程序(如 Email)以及 MPlayer 播放声音视频。

启动非常方便,直接 impressive ur.pdf 就可以了,这里先介绍特色:
  • overview,按 tab,在回答问题的时候快速定位所需位置
  • hightlight box,鼠标拖动,立即看到高亮区域,右键点击去掉
  • spot light,轻按 enter,追光灯效果,+- 调整圈的大小
  • 黑白屏,B/W
  • L 返回浏览顺序的前一页(不是物理上的前一页)
  • S 保存高亮框、快捷键到 info。
  • T 显示 timer,R 重设 timer。
  • Z 进入 200% 放大,可用鼠标邮件 panning。
  • [] 调整 gamma,{} 调整 black level。
  • Fn 和 Shift+Fn,用于跳转到某页、记住某页。

更多的操纵来自命令行参数,
  • -a 指定自动翻页的时间间隔。
  • -A 指定 render 时候的比例(对宽屏)。
  • -b 不在后台 caching,而在一开始就处理完。
  • -B hightbox 等 fade 的时间。
  • -c 使用 caching 的方式,none 不进行,memory 在内存里,disk 使用一个临时文件,persistent 使用固定的文件。
  • -C 指定 cursor。
  • -d 指定一个 presentation 的长度(将显示一个 progress bar 在下面)。
  • -D 指定 mouse 隐藏的 idle 时间。
  • -f 全屏或者非全屏。
  • -g 指定 render 出来的大小,如 800x600。
  • -G 调整 Gamma 等。
  • -i 开始的页面编号。
  • -I 指定 info。
  • -l 列出所有的 transition。
  • -L 指定 OSD layout。
  • -M 显示 timer 用 minite 做单位。
  • -o 产生文件渲染输出的路径。
  • -O 选择 overview 自动选择模式,off 关闭,first 选择第一页,last 选择最后。
  • -p 指定起始和终止页。
  • -r n 转动 n 个 90 度。
  • -s 缩放图片。
  • -S OSD 字体大小。
  • -t or -T transition 时间,使用的类型。
  • -u poll 使用的 pdf。
  • -w 到尾页回头。
  • -Z zoom 的时间。
  • --cachefile 指定 cache 文件。

更加细腻的控制来自 .info 文件。主要分 PageProps 和一些全局的,稍微重要一点的就是指定 title(显示在 overview 里面)、transition(可以用更花的渐变)、transtime(单独设定渐变时间)、overview(是否显示在 overview)、skip(presentation 时跳过)、boxes(highlight box 的坐标)、timeout(设定停留时间)、comment(显示时的注释)、sound(音频文件)、video(视频文件)、progress(进度条显示否)、reset(是否重置 timer)、rotate 和通过一些事件(OnEnter、OnLeave、OnEnterOnce、OnLeaveOnce)和按键(key)触发 python 函数。

2009年2月24日星期二

几个音频相关的程序

Linux 下面为了规避一些专利,经常会开发一些很好的替代产品,比如 gif 曾经是专利保护的,Linux 下使用很可能涉及到这种很让人 Orz 的专利勒索,结果不能没图片用啊,于是出现了 png。音频处理里面也是,因为 mp3 是专利保护的,为了避免官司,Linux 下面也出现了一些替代 mp3 的格式。这里就从一些这方面东西说起。

谈论到音质,似乎大家最认可的是 CD,CD 和普通的数据光盘的格式是不一样的,上面没有文件系统,如果想做成光盘镜像,dd 是无法实现的。一般用到的工具就是 cdda2wav(现在改用 icedax 了),就是直接从 CD 的音轨转换成 wav。比较高级一点的工具是 cdrdao,这个相当于是整碟拷贝,不过产生的那个 bin/cue (其实一开始生成的是 toc,然后转换)似乎在 Linux 里面没法直接用,倒是 Windows 里面那个 daemon-tools 可以挂载。

CD 有一个编号,可以使用 CDDB 数据库查询获得关于 CD 的很多信息,这个很多相关的程序可以调用。可以用 cddb 这个包提供的命令行接口玩玩。

Linux 里面对付 bin/cue 有一个叫 bchunk 的东西,可以转换成为 ISO 或者 wav/cdr 格式,audio cd 只能转换成为音频文件。使用 cdrdao 的一个好处可能是避免 jitter,另外有一个 paranoia 的工具据说比 cdda2wav 强大也是可以避免 jitter。

下载下来的音乐,存放为 wav 显然比较不合适,一般有有损和无损两种解决方案。FLAC 就是无损的解决方案,就我们实验看来,压缩比在 40-70% 之间,跟文件内容有关系(纯噪声基本压不了),所以最后一张 700Mb 的 CD 就变成 300Mb+ 了。FLAC 提供了存储 CDDB 信息的结构。值得一提的是 FLAC 可以用 OGG 作为容器(oga),这可以用来做 streaming。另有一个 MAC 中用的 Mokey's audio file 格式(.ape),也是无损的,比 FLAC 稍好。

有损的方案里面,比较流行的就是 MP3,这是使用 lame 实现压缩的(其实是 MPEG layer 1 和 2,layer 3 被专利保护了),支持两种可变 bit 编码。开源世界里面的 MP3 的替代品就是 OGG,这在 vorbis-ogg 里面提供了编码解码的工具,现在绝大多数的播放器也支持 OGG,甚至有的 MP3 USB 也支持。OGG 在 -q 3 的时候实现的 110kbps 的编码音质和 MP3 128kbps 编码音质接近,但是体积更小,压缩比接近 10%。使用 -q 0 可以获得更小的码率(50kbps),但是作为通话使用应该是绰绰有余了。OGG 和 MP3 类似也提供了存储 CDDB 信息的结构,也就是传说中的 ID tags。

faad 是 Linux 里面 MP4 的解码程序,但仅仅提供了解码(编码对应为 faac 不知道为啥 debian 里面没有)。sox 是一个音频格式的转换、处理程序,类似有一个视频的转换程序就是大名鼎鼎的 ffmpeg 了。

2009年2月22日星期日

xserver-xephyr

Xephyr 是一个 Xnest 的替代产品,因为 Xnest 不提供现代 X server 的一些高级特性,比如图形加速的支持。简而言之,Xephyr 是一个 X server,但是它执行在一个存在的 X server 里面,这个可以用来做很多事情,比如需要通过 XDMCP 连接到另外一台主机,那么不需要另外打开一个新的 X server;又比如正在写一个 window manager,那么在一个 X server 里面打开的 X server 里面调试,将会比直接在现有的 X server 里面替换现有的 window manager 方便很多。对于热衷于更换自己的 window manager 的狂热爱好者,Xephyr 提供了绝佳的试验环境。

x.org 的 Xephyr 带有下面的东西,
/usr/share/doc/xserver-xephyr/README
/usr/share/doc/xserver-xephyr/copyright
/usr/share/doc/xserver-xephyr/changelog.gz
/usr/share/doc/xserver-xephyr/changelog.Debian.gz
/usr/bin/Xephyr
我们可以直接运行 -help 获得帮助,基本的使用方式是 Xephyr :n -options。这里 :n 是 DISPLAY 的值,Xephyr 本身是一个 X client,也是一个 X server,它是 client 通过环境变量 DISPLAY 设置显示的 X server,这里的 :n 指定的是它作为 X server 的序号,也就是说 X client 可以通过 -display 或者更改环境变量。我们这里简单介绍一些其他的参数,如 -query 和 -indirect 可以用来向打开了 XDMCP 的主机发送连接请求,-screen 指定屏幕大小,-fullscreen 全屏。

比如我们想玩玩 aewm,就可以
$ Xephyr :1 -screen 800x600
$ export DISPLAY=:1.0
$ aewm &

2009年2月19日星期四

gnupg2

前面介绍了 GnuPG,这里介绍她新的版本,新旧之间并非完全不兼容,只是新的版本里面使用了模块化的设计,把一些东西拿出来形成了几个库,下面是相关的程序介绍,
  • gnupg2 主要的命令行程序。
  • gpgsm 实现了和 X.509 相关的命令行程序。
  • gpg-agent 含有 agent(可以用于 1.x)。
  • pinentry* 主要提供一个安全输入 passphrase 的界面,有 gtk2、qt4 和 curses 的版本。
  • libgcrypt 实现了多数对称加密、不对称加密、签名算法。
  • libgpg-error 定义了 gpg、gpgme(一个 C 的库)、gpgsm、gpg-agent 等公用的出错信息。
  • libassuan 是 IPC 的库(进程通讯)。
  • libksba 是 X.509 的库。
  • dirmngr 是目录查询的服务器,主要是 X.509 应用的一部分。

这是 gnupg2 里面的几个命令行程序,
  • kbxutil 用于列出、导出、导入 Keybox 数据。
  • gpg2 主要的命令行程序,跟 gpg 类似。
  • gpgv2 主要用于验证,和 gpgv 类似。
  • gpgconf 用于处理配置文件(~/.gnupg/),如 gpg.conf、gpg-agent.conf、girmngr.conf、gpgsm.conf。
  • watchgnupg 读取 agent 的日志。
  • addgnupghome 用于创建 .gnupg 目录。

这是 gpg-agent 里面几个命令,
  • gpg-agent 就是 agent 本身了。
  • gpg-connect-agent 用于和运行起来的 agent 交互。
  • symcryptrun 调用对称加密程序。

下面我们看看如何使用 agent 完成需要的功能。如果使用 gdm 等 X session manager,可以不必配置,一般都会在 /etc/X11/Xsession.d 里面添加 gpg-agent 启动信息。如果使用 startx 脚本,则可以在 .xinitrc 里面添加一行,
exec gpg-agent --enable-ssh-support --daemon fvwm
启动自己的 window manager。这样在如 kmail 里面调用 gpg 签名的时候,会使用 pinentry 程序(如 pinentry-qt4)提供一个输入框。这里 --enable-ssh-support 的作用是使得 gpg-agent 越俎代庖,行使 ssh-agent 的任务。不过比较搞的是,我用 ssh 从来不设置 passphrase,就是嫌麻烦才只用 key 而不用 password 的,结果这下好了,gpg-agent 要把 ssh 密钥加密,必须设置密码。网上也有人 yy,说那好了啊 gpg 足够安全,那可以不可以对 sudo 这种程序认证啊,有人觉得应该有 PAM module 可以做到,但似乎现在还没有一些实现出来。

dirmngr 似乎就是为了更新维护一个吊销证书列表,以便用户能够及时获得哪些密钥已经失效了。

2009年2月18日星期三

gstm

这是一个 ssh tunnel manager,其实一直想 putty 继承一个类似的东西,最后发现,干脆自己创建快捷方式算了,其实还快些。这个东西基本上就跟快捷方式差不了多少了,汗...
/usr/bin/gstm
/usr/share/pixmaps/gstm/STMbanner.png
/usr/share/pixmaps/gstm/gSTM.png
/usr/share/pixmaps/gstm/gSTM.xpm
/usr/share/pixmaps/gstm/green.xpm
/usr/share/pixmaps/gstm/red.xpm
/usr/share/pixmaps/gstm/yellow.xpm
/usr/share/pixmaps/gSTM.png
/usr/share/applications/gstm.desktop
/usr/share/doc/gstm/copyright
/usr/share/doc/gstm/changelog.Debian.gz
/usr/share/doc/gstm/changelog.gz
/usr/share/menu/gstm
/usr/share/man/man1/gstm.1.gz
用起来很简单,搞明白 ssh 里面 -D、-L 和 -R 基本就会用了。就是比较 sb,因为其实是个 frontend,它会调用 ssh去干活的。