Well, I really don’t have the energy to deal with all types of advanced file-systems/raid machanisms like ZFS etc.
I mean, ZFS is all nice, but I will not pay the Solaris x86/x64 tax just to get a more advanced software RAID. I’d rather stay with Linux as my home-server, thank you.

What I really need is a global view for my media drives (a couple of 1TB and a couple of 1.5TB drives at the moment) with the ability to expand this storage as I go.

I also need a more redundant volume for document, project backups, source control and what not, but that definitely doesn’t need to be very large.

My solution?:

1. Distribute the data over the disks as you see fit
   Your choice of file-systems, mount options etc.
2. Mount everything in some logical order, let’s say /data-1, /data-2 etc.
3. Create a united share point: /data
4. Unite it into a share view with aufs like so:
   mount -t aufs -o br=/data-2:/data-1 none /data
5. Setup Samba/NFS to expose /data (perhaps as read-only) to the network
6. Additionally, you can setup share-points for /data-1, /data-2 for direct meddling over the network.

The end result is that /data looks like it contains the merge of both /data-1 and /data-2.
Write operations go into /data-2 (read more about aufs to understand how to set it up properly).

I still need to setup a /data-raid or whatever to get the share for documents etc.
But at least, I can pull that one off pretty easy with a couple of SATA 2.5” el-cheapos and RAID-1.

One note for the cautious. While aufs worked perfectly for me on my Ubuntu 9.04, Samba would not expose it properly over the network for some reason.
Since I was two days away from the official Ubuntu 9.10 release, I just went ahead a did a do-release-upgrade –d and got my self of the Karmic Koala Express.

Давно хотел написать об одном разделе форума а именно Documentation, Tips & Tricks. Сказать что это бесценный источник информации считайте что промолчать вовсе.

TIP: Compressing portage using squashfs: initscript method Вы ведь не каждый день занимаетесь пересборкой мира и программ? Почему бы тогда не сжать /usr/portage ? Для работы нужно sys-fs/unionfs либо sys-fs/aufs и sys-fs/squashfs-tools
Файл конфигурации

# /etc/conf.d/squash_portage

# SQFS_DIRNAME points to the directory that will contain the sqfs
# images, recommended value is /var/tmp
SQFS_DIRNAME="/var/portage"

# Leave PORTAGE_RW empty for use with tmpfs, a ram-based filesystem,
# This is recommended unless you are short of RAM
PORTAGE_RW=""

Сам дополненный init скрипт только обратите внимание что в данном виде настроено для связки unionfs+squashfs.

#!/sbin/runscript
# Copyright 1999-2006 Gentoo Foundation
# Distributed under the terms of the GNU General Public License v2
# $Header: $
#
# /etc/init.d/squash_portage allows efficient compression of
# Gentoo portage arborescence
#
# It requires support for the loop device and squashfs enabled in the kernel,
# module autoloading is also *highly* recommended.
# sys-fs/squashfs and sys-fs/unionfs are necessary for read-write support.
#
# Author: Mathias Laurin
# 2006-11-28, v.0.1.5(4)

source /etc/make.globals
SQFS_CUR="$SQFS_DIRNAME/portage.sqfs"
SQFS_NEW="$SQFS_DIRNAME/portage-current.sqfs"
SQFS_OLD="$SQFS_DIRNAME/portage-old.sqfs"
DEF_RW="/dev/shm/.portage-rw"

depend() {
    need localmount
}

start() {
    ebegin "Mounting read-only squashfs image"
    mount -rt squashfs -o loop $SQFS_CUR $PORTDIR
    retval=$?
    eend $retval
    [ $retval -ne 0 ] && return $retval

    #ebegin "Mounting read-write with aufs"
    ebegin "Mounting read-write with unionfs"
    if [ ! $PORTAGE_RW ]
	then einfo " mounted in tmpfs (RAM)"
	PORTAGE_RW="${DEF_RW}"
    fi
    [ -d $PORTAGE_RW ] || mkdir -p $PORTAGE_RW
    chmod 0750 $PORTAGE_RW
    chown portage:portage $PORTAGE_RW
    #mount -t aufs -o nodev,noexec,dirs=$PORTAGE_RW=rw:$PORTDIR=ro aufs $PORTDIR
    mount -t unionfs -o nodev,noexec,dirs=$PORTAGE_RW=rw:$PORTDIR=ro unionfs $PORTDIR
    eend $?
}

stop() {
   ebegin "Updating portage tree"
   rm -rf /dev/shm/.portage-rw/.wh..wh.plink
   rm     /dev/shm/.portage-rw/.wh..wh.aufs

   [ ! $PORTAGE_RW ] && PORTAGE_RW="${DEF_RW}"
   if [ ! -z `ls -A $PORTAGE_RW | head -n1` ]
   then
      einfo "  Syncing the tree"
      mv -f $SQFS_NEW $SQFS_OLD
      mksquashfs $PORTDIR $SQFS_NEW -no-duplicates 2>/dev/null
      retval=$?
      ln -sf $SQFS_NEW $SQFS_CUR
   else
      einfo "  Nothing to do"
      retval=0
   fi
   eend $retval

   ebegin "Unmounting the tree"
   #umount -t aufs  $PORTDIR
   umount -t unionfs  $PORTDIR
   umount -t squashfs $PORTDIR
   rm -rf $PORTAGE_RW
   eend 0
}

Единственное о чем еще надо позаботится так это переопределить положение каталогов distfiles, local и packages например в /var просто для того чтобы время не тратилось на архивирование не нужного…

Отличная идея [HOWTO] lvm2 for root, swap and software suspend2 (edit) На домашнем десктопе долгое время пользовался и лично мне очень нравилось. Да а вот собственно так удаляются LVM разделы из группы томов [HOWTO] Removing disks from an LVM volume

После этого Encrypted Root File System, Swap, etc… потенциальный враг не узнает ваших секретов.

Опять же просто отличная идея [Script] Analyse iptables logs as spreadsheet – Log viewer Преобразует лог iptables к виду comma-separated-values (.csv) файла который затем можно обрабатывать например в OpenOffice.org Calc

Automatically delete information from unused locales при современных обьемах жестких дисков уже не так актуально но порядок нужен во всем.

Тоже интересно adsl-start init script но с появлением NetworkManager уже не так актуально…

Есть такой интересный сервис dyndns так вот а это [dyndns|statdns|custom] Without external program… собственно init скрипт для тех кому интересно пользоватся dyndns на своей gentoo.

Тут тоже все понятно bash-logger logging to separate file with syslog-ng и без обьяснений понятно что идея хорошая.

Вот это тоже рекомендую Colorize your /dev/tty12 syslog-ng logs выхлоп syslog на /dev/tty12 становится разноцветным и более читаемым.

Банальный совет Using the the new gtk-update-icon-cache program но немногие знают что он помогает ускорять отрисовку иконок.
Кстати это

for i in `find -type d -maxdepth 1`; do gtk-update-icon-cache $i; done;

полезно делать не только в /usr/share/icons/ но и в ~/.icons

Тоже полезно знать Speed up recompilation with ccache

Все уже было изобретено до нас вот конкреный пример
[TOOL] Init Script to automagically renice processes at boot захотелось человеку автоматически при старте менять приоритеты процессам он написал init скрипт.

Интересная идея emerge progress without turning on monitor (LED cpu load) но я не пробовал.

Кому лень посмотреть в настройках вот вам все клавиатурные сочетания гнома GNOME Keyboard Shortcuts

Владельцам ноутбуков и прочих мобильных устройств будет полезно Displaying your laptops battery state in the bash prompt.

Мне помогло многое из раздела советов… Вспомню что то еще допишу сюда.

So this idea has been going around the internet, of putting your firefox profile directory into tmpfs, to get around sqlite’s insistence on reliability when speed is more important.

I implemented this, and liked it. Speed, nom.

But! I happen to be using an ailing old laptop, with roughly as much RAM as a toaster. It could just handle the extra load, but the profile directory was constantly spewing expletives at me – most notably, failing silently when trying to install addons.

There did exist RamFS, which grew and shrunk in RAM as needed. Still, that’s a lot of memory…

And, well, the idea itself didn’t seem that elegant to me. Storing an extra copy of your profile directory? and resynchronising it with the harddisk copy every so often? This is Linux, after all, the OS that gives you fine-grained control of your system should you so desire – surely there must be a cleaner way.

And then … from what I understood, SQLite was IO bound in writes. Reads shouldn’t really need locks or suchlike, right?

This is what I did:

$ x=[random junk firefox uses]
pushd
cd ~/.mozilla/firefox
mv $x.default $x.default.fs
mkdir $x.default.tmp
mkdir $x.default
echo firefox.tmp $(pwd)/$x.default.tmp ramfs noauto,user,exec 0 0 | sudo tee \
    -a /etc/fstab
echo firefox.cow $(pwd)/$x.default aufs \
    dirs=$(pwd)/$x.default.tmp:$(pwd)/$x.default.fs=ro,noauto,user,exec 0 0 | sudo \
    tee -a /etc/fstab
sudo sed -i 's/exit 0//' /etc/rc.local
echo "mount firefox.tmp\nmount firefox.cow\nchown -R $(whoami): \
    $(pwd)/$x.default.tmp\nexit 0" | sudo tee -a /etc/rc.local
echo rsync -av --delete $(pwd)/$x.default/ $(pwd)/$x.default.fs/ > ~/bin/cpfox
chmod +x ~/bin/cpfox
popd

Then crontab -e and add cpfox to it, maybe once every halfhour.

Neat, huh? At least the intent – aufs layering a dynamically growing ramfs on the filesystem, and the changes being synced across every so often. I’m not too sure if the actual implementation does what I want it to, and it could probably do with a ram-clear every now and then.

If anyone has any tips, please! Meanwhile, I hope this will help some people out there.

AuFS prorporciona un sistema de archivos simple para clientes ligeros, mientras que FS-Cache ofrece una caché persistente.

Wilhelm Meier, Andreas Bandner, Torsten Kockler

“Herramientas como Linux From Scratch, NimbleX Live CD Generator, sistema de imágenes Kiwi y Ubuntu Cutomization Kit nos ayudan a crear nuestros propios sistemas Linux a medida.”

Klaus Knopper

Este mes se examinan en una serie de artículos herramientas para crear sistemas Linux Live CD a medida, en concreto:

• Proyecto Linux From Scratch, para construir nuestra distribución desde cero
• NimbleX, página a medida donde crear un sistema en CD a medida
• Kiwi de Suse
• Ubuntu Customization Kit (UCK)

Este artículo trata por encima los problemas y sus posibles soluciones a los que se ha enfrentado la quizás madre de todas las distribuciones Live, por nombre Knoppix.

¿Por qué crear un Live CD?

Arrancar desde CD o DVD

Opciones para diseñar un CD/DVD arrancable:

1. Poner una imagen de un floppy de arranque en el CD y configurar el modo floppy emulation mode.
2. Usar una imagen de disco duro
3. Iniciar un programa bootloader en el CD, en modo no emulation.

Isolinux.bin es un bootloader (al igual que lilo y grub) usado para arrancar desde sistemas de archivos ISO 9660 CD-ROM, perteneciente al proyecto Syslinux.

Listado 1: Crear una imagen de CD ISO Arrancable con mkisofs

Listado 2: isolinux.cfg

SysLinux. Un equivalente de isolinux para dispositivos tipo disco duro formateados en DOS (pendrive USB y memorias flash).

El problema Sólo-Lectura

Crear un espacio de escritura para el sistema, generalmente /home y /tmp, aquneu en algunos casos puede resultar necesario /var y /etc

Soluciones Propuestas

Copiar solo los archivos con mayor probabilidad de cambiar en el disco RAM inicial.

Hacer que ciertos direcorios se puedan escribir y crear enlaces simbólicos a los archivos en su interior. Para programas que usan escritura directa en el enlace simbólico, los archivos deberían copiarse de manera manual al disco RAM inicial.

Sobreponer un disco RAM en escritura con información en solo lectura.

UnionFS y AUFS

UnionFS elimina la separación estricta entre directorios e información accesibles en escritura y no accesibles en escritura.

AuFS es un reescritura completa con las funcionalidades básicas de UninFS.

Detección y Configuración de Hardware

Un Live CD debe contener un Kernel que no sea específico para una arquitectura, con el mayor número de drivers posibles como módulos.

Para mejorar la velocidad de detección , la mayoría de los drivers IDE y SATA necesarios para CDROM se compilan directamente dentro del Kernel, mientras que el resto (SCSI, USB, sonido, etc) se cargan como módulos.

Udev (detección de hardware dinámica y administrador de dispositivos) y hwsetup (utilidad responsable de cargar módulos del núcleo Linux, basados en dispositivos PCI, que carga los drivers y configura los enlaces simbólicos de manera independiente a Udev) se encargan de activar los periféricos.

La creación automática de archivos de configuración, suele conseguirse utilizando scripts que funcionan a partir de plantillas e información específica de los chipsets obtenida mediante sondeos DDC y el subsistema PCI.

Conclusión

Con el sistema de archivos Union, el sistema funciona de forma parecida a una instalación en disco duro.

Otra forma de crear distribuciones Live es utilizando algunos de los scripts existentes para crear una Live CD rapidamente como por ejemplo Linux Live.