Using save/ to keep downloads and partial progress
[rrq/tiniest.git] / mkit.sh
diff --git a/mkit.sh b/mkit.sh
index 710a123ccde82e2fd7bb8e9efc78475f4aeceffc..2fb62d0e5e20594bf7dff267ea2e4f2bbae05d12 100755 (executable)
--- a/mkit.sh
+++ b/mkit.sh
 
 set -e
 
-### Step 1. Download original .deb file from the source
-REPO="deb.devuan.org/merged"
-SUITE="daedalus"
-SECTION="main"
+echo '### Step 1. Download original Packages files from sources'
+mkdir -p save
+[ -L save/save ] || ln -s . save/save
+MAPFILE=save/mapfile.txt
+DEPFILE=save/mapdepends.txt
+
+REPOS=(
+    deb.devuan.org/merged_daedalus_main
+    deb.devuan.org/merged_ceres_main
+)
 ARCH="amd64"
+MBR=dos # gpt
 
-PKGFILE=${REPO//\//_}_${SUITE}_${SECTION}_binary-${ARCH}_Packages
-if [ ! -r $PKGFILE ] ; then
-    wget -O - http://$REPO/dists/$SUITE/$SECTION/binary-$ARCH/Packages.xz | \
-       xzcat - > ${PKGFILE}
-fi
+: > $MAPFILE
+: > $DEPFILE
+
+for REPO in ${REPOS[@]} ; do
+    W=( ${REPO//_/ } )
+    SUITE=${W[1]}
+    SECTION=${W[2]}
+    
+    PKGFILE=save/${W[0]/\//_}_${SUITE}_${SECTION}_binary-${ARCH}_Packages
+    if [ ! -r $PKGFILE ] ; then
+       XZSRC="http://${W[0]}/dists/$SUITE/$SECTION/binary-$ARCH/Packages.xz"
+       echo "$XZSRC"
+       wget -qO - $XZSRC | xzcat - > ${PKGFILE}
+    fi
 
-# Reduce that Packages file into two maps for finding filename and depends
-echo "# Creating mapdepends.txt and mapfile.txt"
-awk '
-BEGIN { print "###" > "mapdepends.txt"; print "###" > "mapfile.txt"; }
+    echo '# Reduce Packages file into two maps for filename and depends'
+    echo "# ..creating $MAPFILE and $DEPFILE"
+    awk -v MAP=$MAPFILE -v DEP=$DEPFILE '
+    BEGIN { print "###" >> MAP; print "###" >> DEP; }
 $1=="Package:" {P=$2; next}
-$1=="Depends:" {print P,$2 >> "mapdepends.txt";next }
-$1=="Filename:" {print P,$2 >> "mapfile.txt";next }
+$1=="Pre-Depends:" {print P,$0 >> DEP;next }
+$1=="Depends:" {print P,$0 >> DEP;next }
+$1=="Filename:" {print P,$2 >> MAP;next }
 ' ${PKGFILE}
+done
+
+# Append any additional saved deb files
+for DEB in save/*.deb ; do
+    P="${DEB%%_*}"
+    P="${P#save/}"
+    echo "$P save/$DEB" >> $MAPFILE
+    dpkg-deb -f "$DEB" Depends Pre-Depends | sed "s/^/$P/" >> $DEPFILE
+done
 
-# Function to find the filename (or an map file) for a given package
+# Function to find the filename for a given package in the given mapfile
 maplookup() {
-    awk -v P="$1" '$1==P {$1="" ;print; exit}' ${2-mapfile.txt} | \
-       sed 's/ //'
+    local FN=${3:-tail}
+    echo "maplookup $1 $2" >&2
+    grep "^$1 " $2 >&2
+    grep "^$1 " $2 | $FN -n 1 | sed 's/[^ ]* //'
+}
+
+# Function to clean up a "depends' line
+depclean() {
+    sed 's/^[^:]*: //;s/([^)]*)//g;s/|[^,]*/ /g;s/,/ /g;s/\s\+/ /g'
+}
+
+# Map all dependencies for a list of package
+#
+mapdeps() {
+    local D
+    local B=( )
+    local X=" $* "
+    for D in $* ; do
+       local A=(
+           $(grep "^$D Pre-Depends:" $DEPFILE | head -n 1 | depclean)
+           $(grep "^$D Depends:" $DEPFILE | head -n 1 | depclean)
+       )
+       for P in ${A[@]} ; do
+           [ -z "${X%%* $P *}" ] && continue
+           B=( $B $P )
+           X="$X$P "
+       done
+    done
+    if [ -z "$B" ] ; then
+       echo $X
+    else
+       mapdeps $X
+    fi
 }
 
 # Function to download a deb file and return its name
 debfile() {
-    local F="$(maplookup $1 mapfile.txt)"
-    if [ ! -e "${F##*/}" ] ; then
-       wget "http://$REPO/$F" || return 1
+    local FN=${2-tail}
+    local F="$(maplookup $1 $MAPFILE $FN)"
+    local P="${F##*/}"
+    if [ ! -e "save/$P" ] ; then
+       for REPO in ${REPOS[@]} ; do
+           echo "download http://${REPO%%_*}/$F" >&2
+           ( cd save && wget -q "http://${REPO%%_*}/$F" ) && break
+           ls -l save/$P >&2
+       done || return 1
     fi
-    echo "${F##*/}"
+    echo "save/$P"
 }
 
 # Function to extract from a deb without executing and pre/post scripts
@@ -52,23 +115,61 @@ debextract() {
 }
 
 # Deteremine which kernel to use; this is
-echo -n "# Determining kernel: "
-KERNEL="$(maplookup linux-image-amd64 mapdepends.txt | \
+echo "# Determine kernel"
+KERNEL="$(maplookup linux-image-amd64 $DEPFILE head | \
                    sed 's/.*\(linux-image[^ ]*\).*/\1/')"
-echo $KERNEL
+echo "# ... $KERNEL"
 
-### Step 2. Create and populate the initrd, and packit up.
+echo '### Step 2. Create and populate the initrd, and packit up.'
 # The initrd contains only a few kernel modules for coping with a
 # later pivoting onto a "full" filesystem.
 
 echo "# Create initrd filesystem"
-rm -r initrd
+rm -fr initrd
+
+# Helper function to copy a file or link, given full path
+# $1 = full pathname, $2 = (relative) root path
+copylinks() {
+    echo "copylinks $*" >&2
+    [ -e "initrd/$1" ] && return 0
+    mkdir -p "initrd${1%/*}"
+    if [ -L "$1" ] ; then
+       local L=$(readlink $2$1)
+       ln -s $L initrd$1
+       [ "${L:0:1}" = "/" ] || L="${1%/*}/$L"
+       copylinks $L $2
+    else
+       cp $2$1 initrd/$1
+    fi
+}
+
+# Helper function to copy dynamic binary and its libraries
+# $1 = full pathname, $2 = (relative) root path
+bincp() {
+    echo "bincp $*" >&2
+    [ -e "initrd/$1" ] && return 0
+    copylinks $1 $2
+    objdump -x $2$1 | while read A B ; do
+       [ "$A" == "NEEDED" ] || continue
+       local L="$(find ${2:-/} -name $B)"
+       [ -z "$L" ] && echo "MISSING $B" && exit 1
+       copylinks ${L#$2} $2
+    done
+}
+
+echo '# Include static vtoydump for Ventoy support'
+VTOYDUMP=../ventoy/vtoydump/vtoydump
+if [ -e "$VTOYDUMP" ] ; then
+    mkdir -p initrd/bin
+    cp "$VTOYDUMP" initrd/bin
+fi
 
-echo "# Install busybox, and fluff it up"
-fakechroot fakeroot \
-dpkg --log=dpkg.log --root=initrd -i $(debfile busybox-static)
+echo "# Extract static busybox, and fluff it up for more utilities"
+mkdir -p initrd
+debextract initrd $(debfile busybox-static head)
 for L in $(initrd/bin/busybox --listfull) ; do
     mkdir -p $(dirname initrd/$L)
+    [ -e "initrd/$L" ] && continue
     case "$L" in
        bin/busybox) : ;;
        usr/*) ln -s ../../bin/busybox initrd/$L ;;
@@ -82,11 +183,13 @@ echo "# Extract the kernel package ($KERNEL)"
 echo "# .. and syslinux stuff if needed"
 if [ ! -d kernel ] ; then
     mkdir kernel
-    debextract kernel $(debfile $KERNEL)
+    debextract kernel $(debfile $KERNEL head)
+    debextract kernel $(debfile squashfs-tools head)
     debextract kernel $(debfile syslinux)
     debextract kernel $(debfile syslinux-common)
     debextract kernel $(debfile syslinux-efi)
     debextract kernel $(debfile syslinux-utils)
+    debextract kernel $(debfile isolinux)
 fi
 
 echo "# Include some kernel modules in the initrd"
@@ -94,11 +197,18 @@ MODULES=(
     # disk
     scsi_common scsi_mod libata ata_piix ata_generic cdrom sr_mod
     crc32-pclmul crct10dif_common crc-t10dif crc64 crc64-rocksoft
-    t10-pi sd_mod sg nls_cp437 nls_ascii fat vfat ext4 isofs
+    t10-pi sd_mod sg
+    nls_cp437 nls_ascii fat vfat
+    crc32c_generic jbd2 mbcache crc16 ext4
+    usb-storage usbcore usb-common xhci-pci xhci-hcd
+    isofs exfat loop
+    efivarfs
     # input
     psmouse evdev
     # network
     e1000
+    # overlay
+    overlay squashfs
 )
 MOODLES=""
 B=$(pwd)
@@ -122,33 +232,24 @@ depmod -F initrd/System.map-$V -b initrd $V $MOODLES
 
 echo "# setup a scripted init. The kernel runs this via the #! interpreter"
 rm -f initrd/sbin/init # just in case
-cat <<EOF > initrd/init
-#!/bin/sh
-echo 
-echo 
-echo "Hi there, tiniest lover!"
-
-mkdir /proc
-mount -t proc proc /proc
-mount -t devtmpfs devtmpfs /dev
-mkdir /dev/pts
-mount -t devpts devpts /dev/pts
-mkdir /sys
-mount -t sysfs sysfs /sys
-$(for m in ${MODULES[@]} ; do echo modprobe $m ; done)
-exec /bin/sh
-EOF
+cp init/init initrd/init
 chmod a+x initrd/init
 
+echo "# Declare password-less root"
+mkdir -p initrd/etc
+echo 'root::0:0:root:/root:/bin/bash' > initrd/etc/passwd
+
 echo "# Now pack up that initrd as initrd.gz"
 ( cd initrd ; find . | fakeroot cpio -H newc -o | gzip ) >initrd.gz
 
-### Step 3. create a 32  Mb fat filesystem with bios and UEFI boot
+echo '### Step 3. create a 32  Mb fat filesystem with bios and UEFI boot'
 rm -f bootimage.raw
 dd if=/dev/zero of=bootimage.raw bs=32M count=1
 
-# Prepare a dos partition table with a first partition marked as EFI
+# Prepare a gpt/dos partition table with a first partition marked as EFI
 sfdisk bootimage.raw <<EOF
+label: $MBR
+
 2048 32767 U *
 - - L
 EOF
@@ -157,21 +258,15 @@ EOF
 mkfs.fat -n TINIEST --offset 2048 -F 16 bootimage.raw
 IMG="-i bootimage.raw@@$((2048*512))"
 
-# Add an ext2 filesystem at offset 61440*512
+# Add an ext2 filesystem at offset 34816*512
 # Copy initrd.gz and kernel into the fat filesystem root
-mke2fs -E offset=$((61440*512)) -F bootimage.raw
+EXT=offset=$((34816*512))
+mke2fs -t ext4 -E $EXT -F bootimage.raw 15M
 
 mcopy $IMG initrd.gz ::
 mcopy $IMG kernel/boot/vm* ::/vmlinuz
-mcopy $IMG bootmenu.cfg ::/
 mcopy $IMG splash.png ::/
 
-echo "# Set up legacy boot"
-cat <<EOF > syslinux-legacy.cfg
-path /boot/syslinux/bios
-include /bootmenu.cfg
-EOF
-
 mmd $IMG ::/boot
 mmd $IMG ::/boot/syslinux
 mmd $IMG ::/boot/syslinux/bios
@@ -179,23 +274,35 @@ mcopy $IMG \
       kernel/usr/lib/syslinux/modules/bios/* ::/boot/syslinux/bios
 mcopy $IMG syslinux-legacy.cfg ::/syslinux.cfg
 
-echo "# Set up UEFI boot"
-cat <<EOF > syslinux-uefi.cfg
-path /EFI/BOOT/efi64
-include /bootmenu.cfg
-EOF
-
+syslinux --install --offset=${IMG#*@@} bootimage.raw
 mmd $IMG ::/EFI
 mmd $IMG ::/EFI/BOOT
-mmd $IMG ::/EFI/BOOT/efi64
 mcopy $IMG kernel/usr/lib/SYSLINUX.EFI/efi64/syslinux.efi \
       ::/EFI/BOOT/bootx64.efi
 mcopy $IMG \
       kernel/usr/lib/syslinux/modules/efi64/* ::/EFI/BOOT
-mcopy $IMG syslinux-uefi.cfg ::/EFI/BOOT/syslx64.cfg
+mcopy $IMG syslinux-uefi.cfg ::/EFI/BOOT/syslinux.cfg
+## Add lua boot script
+mcopy $IMG muffin.lua ::/EFI/BOOT/muffin.lua
 
-syslinux --install --offset=${IMG#*@@} bootimage.raw
+case "$MBR" in
+    dos) MBRBIN=mbr.bin ;;
+    gpt)
+       MBRBIN=gptmbr.bin
+       sfdisk --relocate gpt-bak-std bootimage.raw
+       sfdisk -f --part-attrs bootimage.raw 1 LegacyBIOSBootable
+       ;;
+    *) exit 1 ;;
+esac
 dd conv=notrunc of=bootimage.raw bs=440 count=1 \
-   if=kernel/usr/lib/syslinux/mbr/mbr.bin
+   if=kernel/usr/lib/syslinux/mbr/$MBRBIN
+
+echo "# populate the extra partition"
+if [ -d extra ] ; then
+    mkdir -p X
+    fuse2fs -o fakeroot -o$EXT bootimage.raw X
+    rsync -r extra/. X/.
+    umount X
+fi
 
 exit