Supernode
Hinweis: Diese Seite wurde in das Archiv verschoben. Die Informationen sind größtenteils veraltet und nur für Spezialfälle relevant.
Hinweis: Bei Fragen oder Problemen wende Dich bitte an die Mailingliste. Die Anleitung hier wurde von vielen Leuten geschrieben - es hilft in der Regel nur wenig, wenn Du jemanden persönlich per E-Mail kontaktierst.
Voraussetzungen
Benötigte Software
1) [fastd] Mesh-vpn
2) [bmx6] BackboneMeshProtokoll
3) [batman-adv] ClientMeshProtokoll
4) [tinc] Mesh-vpn
5) OS: debian jessie(or whatever you like)
Du benötigst ausserdem:
- eine private IPv4/IPv6 Adresse und ein Subnetz für die Clients
- eine IPv4/IPv6 Adresse für das Backbone-Netz
Diese kannst du unter dem Artikel IP_Subnetze selbst zuteilen, oder nachlesen, welches deine sind, wenn es jemand anderes dir schon zuteilte.
(nur bei öffentlichen Supernodes)
Vorbereitungen
In der /etc/sysctl.conf muss folgendes mit einem Editor hinzugefügt werden:
net.ipv4.ip_forward=1 net.ipv4.ip_no_pmtu_disc=1 net.ipv4.route.flush=1 net.ipv6.conf.all.forwarding=1 net.ipv6.conf.all.autoconf=0 net.ipv6.conf.all.accept_ra=0 # If Supernode running on USB Stick/FlashCard with low memory, this option prevents swapping until it is definitely needed vm.swappiness=1
Danach die /etc/sysctl.conf neu einlesen:
sysctl -p
Für Batman-adv und fastd-Pakete in /etc/apt/apt/sources.list hinzufügen, z.B. so:
echo "deb http://repo.universe-factory.net/debian/ sid main" >>/etc/apt/sources.list
GPG-Key importieren und apt via https ermöglichen:
gpg --keyserver pgpkeys.mit.edu --recv-key 16EF3F64CB201D9C gpg -a --export 16EF3F64CB201D9C | apt-key add - apt-get install apt-transport-https apt-get update
Batman-adv (compat14 (Hood Bonn))
Installation
Dies sollte auf debian wheezy batman-adv 2013.4.0 installieren.
apt-get install batman-adv-dkms echo "batman-adv" >> /etc/modules
debian jessie
batman 14 aus folgender quelle installieren:
http://repo.universe-factory.net/debian/ sid main
dann dkms die richtige version beibringen:
dkms remove batman-adv/2013.4.0 --all dkms --force install batman-adv/2013.4.0
und mit apt-pinning die richtige version für batctl erzwingen, in /etc/apt/preferences.d/batctl.pref:
Package: batctl Pin: origin repo.universe-factory.net Pin-Priority: 1000
und apt-get install batctl
Batman-adv (compat15)
Installation
Update and install:
apt-get update apt-get install git make gcc build-essential linux-headers-$(uname -r) pkg-config libgps-dev libnl-3-dev libjansson-dev fastd libnl-genl-3-dev
Install Batman, batctl and alfred
mkdir /opt/freifunk cd $_ git clone git://git.open-mesh.org/batman-adv.git cd batman-adv git checkout v2016.3 make make install cd ../ git clone http://git.open-mesh.org/batctl.git cd batctl git checkout v2016.3 make make install
Wird künftig nicht mehr benötigt. Wer's trotzdem installieren mag:
cd ../ git clone http://git.open-mesh.org/alfred.git cd alfred git checkout v2014.4.0 make make install
fastd
Installation
apt-get install fastd curl
Add Directories
mkdir /etc/fastd/mesh-vpn mkdir /etc/fastd/mesh-vpn/backbone
Konfiguration
"[YOUR SECRET KEY HERE]" sollte dabei durch den fastd-secret-key ersetzt werden. Den Key müsst ihr selbst erstellen. Dies geht mit dem Befehl:
fastd --generate-key
Schreibt am besten euch public und private key woanders noch auf. Wenn ihr den verliert, können Nodes nicht mehr mit euch connecten, solange diese nicht umkonfiguriert werden.
In /etc/fastd/mesh-vpn/fastd.conf folgendes hinzufügen:
/etc/fastd/mesh-vpn/fastd.conf
# Log warnings and errors to stderr
#log level warn;
log level error;
drop capabilities yes;
forward no;
hide ip addresses yes;
hide mac addresses yes;
# Log everything to a log file
#log to "/var/log/fastd-mesh-vpn.log" level debug;
#log to "/var/log/fastd-mesh-vpn.log" level warn;
# Set the interface name
interface "mesh-vpn";
mode tap;
# Support xsalsa20 and aes128 encryption methods, prefer xsalsa20
method "salsa2012+umac";
# Bind to a fixed port, IPv4 only
bind 0.0.0.0:10000;
mtu 1312;
pmtu auto;
secure handshakes yes;
# Secret key generated by 'fastd --generate-key'
secret "[YOUR SECRET KEY HERE]";
# Include peers from the directory 'peers' and set max connections
peer group "backbone" {
include peers from "backbone";
peer limit 64;
}
on up sync "./on-up";
# Allows all peers to connect.
on verify async "true";
Optional: Wenn die Node teil einer grösseren Hood werden soll, entsprechende Backbone Node Keys in das Verzeichnis /etc/fastd/mesh-vpn/backbone legen. Vorzuziehen ist aber entweder eine eigene Fastdinstanz oder eine Tinc VPN Verbindung (AES-NI) um sich an eine hood (Layer2 Mesh mit Batman-adv) zu verbinden, dies ist performanter.
Der IP v4-Range bezieht sich auf euren selbst gewählten Bereich, welcher unter https://pad.freifunk.net/p/kbuip dokumentiert ist.
/etc/fastd/mesh-vpn/on-up
#!/bin/sh /sbin/ip link set dev mesh-vpn address [MacAdresseAusdenken] /sbin/ip link set dev mesh-vpn up batctl if add mesh-vpn batctl it 10000 batctl bl 1 batctl gw_mode server 200MBit/200MBit # anpassen /sbin/ip rule show | grep 'from 10.0.0.0/8 lookup freifunk' if [ $? -eq 1 ]; then /sbin/ip rule add from 10.0.0.0/8 table freifunk fi /sbin/ip route add [lokaleIPv4Range[Ex:10.123.234.0/24]] dev bat0 table freifunk /sbin/ip route flush cache
on-up ausführbar machen:
chmod +x /etc/fastd/mesh-vpn/on-up
BmxBone Netz
Jetzt müsst ihr euch entscheiden, welches VPN Programm ihr für das BmxBone nutzen wollt:
- wenn ihr eine CPU mit AES-NI habt, oder eine CPU mit deutlich mehr als 1GHz nehmt tinc
- wenn ihr eine langsame CPU sub 1GHz oder sogar eine ARM CPU, sollte fastd besser sein
Installation mit tinc
apt-get install tinc bridge-utils make build-essential
Wir müssen bmx6 noch kompilieren:
mkdir /opt/freifunk/ cd $_ git clone git://qmp.cat/bmx6.git alternative: https://github.com/axn/bmx6.git cd bmx6 make make install
Konfiguration
mkdir /etc/tinc/tbmxbone echo "tbmxbone" >> /etc/tinc/nets.boot # Dies sagt tinc, dass es das Netz "tbmxbone" starten soll cd /etc/tinc/tbmxbone # Public keys der anderen Teilnehmer: git clone https://github.com/ff-kbu/tbmxbone hosts
Jetzt fehlt noch des eigene Public/Private Keypaar.
Die Keys sollten in /etc/tinc/tbmxbone gespeichert werden.
Den Public-Key in den Namen des Supernodes umbenennen und nach tinc/ kopieren.
tincd -K 4096 -n tbmxbone cp ./rsa_key.pub hosts/[Supernodename aus tinc Configfile]
Und schliesslich:
cd hosts git add . git commit git push cd ..
Wir müssen noch die Konfiguration von tinc in /etc/tinc/tbmxbone/tinc.conf schreiben.
tinc.conf
Name=[Supernodenamen] Device=/dev/net/tun DirectOnly=yes IndirectData=yes Broadcast=direct Cipher=AES-128-CBC Mode=switch PingInterval=60 PingTimeout=10 Compression=0 ConnectTo=gw06 ConnectTo=vpn1
tinc-up
Jetzt müssen wir noch ein Startskript namens /etc/tinc/tbmxbone/tinc-up erstellen: Wichtig: in der datei muss wirklich $INTERFACE stehen. Tinc ersetzt dies automatisch durch das entsprechende interface bei ausführung.
Deine zugeteilten Adressen sind unter https://kbu.freifunk.net/wiki/index.php?title=IP_Subnetze zu finden.
#!/bin/sh /sbin/ip link set dev $INTERFACE up # VPN Mesh Interface dem BMX6 Mesh hinzufügen bmx6 dev=$INTERFACE # Default tunneladressen dem tbmxbone zuweisen bmx6 -c tunDev=Default /tun4Address=[BMXipv4Adresse] /tun6Address=[BMX6ipv6Adresse] # Feste Tunnel MTU von 1366 einstellen bmx6 -c tunMtu=1366 # Lokales v4&v6 Netz announcen bmx6 -c tunIn=localv4 /n=[DeinLokalesIPv4Netz] /b=100000000 bmx6 -c tunIn=localv6 /n=[DeinLokalesIPv6Netz] /b=100000000 # Defaultroute für v4 suchen bmx6 -c tunOut=v4Default /network=0.0.0.0/0 /maxPrefixLen=3 /hysteresis=30 /tableRule=50000/200 # Gateway für v4 präferieren #bmx6 -c tunOut=v4Defaultgw06 /network=0.0.0.0/0 /maxPrefixLen=0 /hysteresis=30 /tableRule=50000/200 /gwName=gw06 /rating=1000000 # Defaultroute für v6 suchen bmx6 -c tunOut=v6Default /network=::/0 /maxPrefixLen=64 /hysteresis=30 /tableRule=50000/200 # Routen für lokale v4 und v6 Netze suchen bmx6 -c tunOut=ffv4 /network=10.0.0.0/8 /hysteresis=30 /tableRule=50000/200 bmx6 -c tunOut=ffv6 /network=fd00::/8 /hysteresis=30 /tableRule=50000/200
Auch diese Datei muss ausführbar gemacht werden:
chmod +x /etc/tinc/tbmxbone/tinc-up
Danach sollte der Ordner etwa so aussehen:
$:/etc/tinc/tbmxbone# ls hosts rsa_key.priv rsa_key.pub tinc.conf tinc-up
Installation (fastd)
Zuerst müssen wir bmx6 kompilieren:
apt-get install build-essential make fastd mkdir /opt/freifunk/ cd /opt/freifunk/ git clone https://github.com/axn/bmx6.git cd bmx6 make build_all # this reports some erros, go ahead anyway make install
Nun bauen wir das FastdInterface:
mkdir /etc/fastd/fbmxbone cd /etc/fastd/fbmxbone nano fastd.conf
Inhalt der Konfigdatei (ihr müsst euch einen eigenen Key mit fastd --generate-key, wenn ihr nicht für andere erreichbar sein wollt, müsst ihr den Key euch auch nicht merken):
/etc/fastd/fbmxbone/fastd.conf
bind 0.0.0.0 port 10042;
drop capabilities yes;
forward no;
hide ip addresses yes;
hide mac addresses yes;
peer group "ffrl" {
include peers from "ffrl";
peer limit 1;
}
peer group "backbone" {
include peers from "backbone";
peer limit 1;
}
interface "fbmxbone";
log to syslog level warn;
method "salsa2012+umac";
mode tap;
mtu 1406;
on up sync "./on-up";
on verify async "true";
pmtu auto;
secret "PUT IN SIKRIT KEY IN HERE";
secure handshakes yes;
Jetzt clonen wir aus dem Git-Repo die PublicKeys der Knoten:
cd /opt/freifunk/ git clone https://github.com/ff-kbu/fbmxbone
Und kopieren diese noch per Hand in die einzelnen Keyverzeichnisse (verbessern):
mkdir ffrl mkdir backbone cp fbmxbone/* backbone/ mv backbone/gw06 ffrl/
Und brauchen noch ein on-up Skript (/etc/fastd/fbmxbone/on-up):
#!/bin/sh /sbin/ip link set dev fbmxbone address [MAC ADDY AUSDENKEN] /sbin/ip link set dev fbmxbone up bmx6 dev=fbmxbone bmx6 -c tunDev=Default /tun4Address=[BMXipv4Adresse] /tun6Address=[BMX6ipv6Adresse] bmx6 -c tunIn=localv4 /n=[DeinLokalesIPv4Netz] /b=100000000 bmx6 -c tunIn=localv6 /n=[DeinLokalesIPv6Netz] /b=100000000 bmx6 -c tunOut=v4Default /network=0.0.0.0/0 /maxPrefixLen=3 /hysteresis=30 /tableRule=50000/200 #bmx6 -c tunOut=v4Defaultgw06 /network=0.0.0.0/0 /maxPrefixLen=0 /hysteresis=30 /tableRule=50000/200 /gwName=gw06 /rating=1000000 bmx6 -c tunOut=v6Default /network=::/0 /maxPrefixLen=64 /hysteresis=30 /tableRule=50000/200 bmx6 -c tunOut=ffv4 /network=10.0.0.0/8 /hysteresis=30 /tableRule=50000/200 bmx6 -c tunOut=ffv6 /network=fd00::/8 /hysteresis=30 /tableRule=50000/200
Und mittlerweile klar, ausführbar machen:
chmod +x /etc/fastd/fbmxbone/on-up
Routing
Wir brauchen policy based routing:
echo "200 freifunk" >> /etc/iproute2/rt_tables
fastd's on-up, /etc/network/interfaces.d/bat0 und/oder tinc-up erledigen den Rest.
IPv4 DHCP
Installation
apt-get install isc-dhcp-server
Konfiguration
Nun ändern wir die Konfiguration in /etc/dhcp/dhcpd.conf:
option domain-name "mesh.kbu.freifunk.net";
option domain-name-servers [Supernode IPv4], [INSERT YOUR PREFERRED IPV4 DNS], 213.73.91.35;
default-lease-time 150;
max-lease-time 720;
authoritative;
subnet 10.X.X.X netmask Y.Y.Y.Y { # Die Range der Hood
range 10.X.Y.10 10.X.Z.254; # Eure IPv4 Range
option routers [Supernode IP Adresse];
}
IPv6
Installation
apt-get install radvd
Konfiguration /etc/radvd.conf
interface bat0
{
AdvSendAdvert on;
MaxRtrAdvInterval 200;
prefix [GlobaleIPv6Range des Supernodes] {
};
RDNSS [ULA IPv6 address of Supernode, your preferred ipv6 DNS-Server] {
};
prefix [ULA IPv6 range der Supernode (z.B. fdd3::/64)] {
};
};
UDP-Queue Größe
Durch Broadcasts können können auf Supernodes kurzzeitig hohe Lastspitzen enstehen. In der aktuellen batman-adv-Version wird jedes Broadcast-Paket zudem 3x auf jedem Link versendet. Die vergleichweise hohe Datenrate von 100MBit/s zwischen Supernodes bewirkt darüber hinaus, dass broadcast-Pakete mit 100MBit/s eingehen können, während sie gleichzeitig an alle Nodes gesendet werden müssen.
Linux-Distributionen sehen per Default Queue-Größen im Bereich von 128 KB vor (http://www.cyberciti.biz/faq/linux-tcp-tuning/). Supernodes sind somit nicht in der Lage entsprechende Lastspitzen zu puffern und während Idle-Times zu versenden. Läuft die UDP-Queue über, so loggt fastd:
2013-03-30 12:32:01 +0100 --- Warning: sendmsg: Resource temporarily unavailable 2013-03-30 12:32:01 +0100 --- Warning: sendmsg: Resource temporarily unavailable 2013-03-30 12:32:01 +0100 --- Warning: sendmsg: Resource temporarily unavailable 2013-03-30 12:32:01 +0100 --- Warning: sendmsg: Resource temporarily unavailable 2013-03-30 12:32:01 +0100 --- Warning: sendmsg: Resource temporarily unavailable
Jeder Log-Eintrag entspricht einem Paket, dass nicht enqueued werden konnte und damit verworfen wurde. Die Queue-Größen können via systctl angepasst werden (http://wwwx.cs.unc.edu/~sparkst/howto/network_tuning.php). Auf fastd2 wird zur Zeit verwendet:
#/etc/sysctl.conf net.core.rmem_max=83886080 net.core.wmem_max=83886080 net.core.rmem_default=83886080 net.core.wmem_default=83886080
Das System verfügt dadurch über 80MB Speicher für Queues. Per default stehen ebenfalls 80MB zur Verfügung. Die konfigurierten 80MB reichen aus, um die 100MBit/s Verbindung über mehrere Sekunden auszulasten und Lastspitzen abzufangen.
DNS-"Server"
Supernodes betreiben Caching-DNS-Forwarder. Hierzu wird unbound verwendet
Installation
apt install unbound
Adressen
Das Setup unterscheidet zwischen v4 und v6.
/etc/unbound/unbound.conf
server:
# you might have to remove the auto-trust-anchor-file option if defined elsewhere
auto-trust-anchor-file: "/var/lib/unbound/root.key"
interface: [ULA ipv6 des supernodes]
access-control: [public ipv6 Range KBU] allow
access-control: [ULA ipv6 Range KBU] allow
interface: [ipv4 des Supernodes]
access-control: [IPv4 Range KBU] allow
verbosity: 1
forward-zone:
name: "."
forward-addr: [your Favorite v4 DNS IP], [anotherone]
forward-addr: [your Favorite v6 DNS IP], [anotherone]
DHCP Client Leases in eine RAMdisk flüchtig speichern
echo "tmpfs /var/lib/dhcp/ tmpfs defaults,size=10% 0 0" >> /etc/fstab
Logrotate auf die letzte Stunde umstellen
Mehr braucht es nicht im Betrieb
Hierzu in /etc/logrotate.conf folgendes ändern:
"weekly" in "hourly" ändern "rotate 4" in "rotate 0" ändern
cronJob hinzufügen
mit crontab -e Editor aufrufen und folgende Zeile hinzufügen:
* */1 * * * nice -n 20 logrotate /etc/logrotate.conf >/dev/null 2>&1
Preinstall
apt install uml-utilities
Interfaces in /etc/network/interfaces.d/bat0 definieren
auto bat0 iface bat0 inet static hwaddress ether [noch eine MACADRESSE AUSDENKEN] address [ipv4 des Supernodes] netmask [Netzmaske der Hood] pre-up modprobe batman-adv && tunctl -t mesh-vpn && batctl if add mesh-vpn post-up ip rule add iif bat0 table freifunk pre-down ip rule del iif bat0 table freifunk iface bat0 inet6 static address [GLOBAL IPv6 des Supernodes] netmask 64 # Routes # Note: route del not needed - shutting down the interfaces removes routes anyway post-up ip -6 addr add fdd3:5d16:b5dd:1016::1/64 dev bat0 post-up ip -6 route add fdd3:5d16:b5dd:1016::/64 dev bat0 post-up ip -6 route add fdd3:5d16:b5dd:1016::/64 dev bat0 table freifunk post-up ip -6 route add [IPv6 Range der Supernode] dev bat0 post-up ip -6 route add [IPv6 Range der Supernode] dev bat0 table freifunk # Rules (iif: routed traffic, from: traffic from the supernode) post-up ip -6 rule add iif bat0 table freifunk post-up ip -6 rule add from [GLOBAL IPv6 Range des Exits] table freifunk pre-down ip -6 rule del iif bat0 table freifunk pre-down ip -6 rule del from [GLOBAL IPv6 Range des Exits] table freifunk
IP-Tables Firewall
Hier wollen wir nur die schlimmsten Routingfuckups verhindern, es soll nichts über z.B. eth0 rausgeforwardet werden können.
Installation
apt install iptables-persistent
Inhalt /etc/iptables/rules.v4
-A FORWARD -i bat+ -o bmx+ -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu -A FORWARD -i bmx+ -o bat+ -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu