Kort beskrivning av ftp-arkivet Nuvarande ftp-arkiv Edge server SAN Volume Controller SANFS Trafiksiffror Ftp över IPv6 050407-050414.

En presentation över ämnet: "Kort beskrivning av ftp-arkivet Nuvarande ftp-arkiv Edge server SAN Volume Controller SANFS Trafiksiffror Ftp över IPv6 050407-050414."— Presentationens avskrift:

1 archive@ftp.sunet.se Kort beskrivning av ftp-arkivet Nuvarande ftp-arkiv Edge server SAN Volume Controller SANFS Trafiksiffror Ftp över IPv6 050407-050414 Vad har hänt sedan sist?

2 archive@ftp.sunet.se Kort beskrivning av ftp-arkivet –Samlar intressant material på ett ställe –Exempel på innehåll Linux Unix e-text databaser –~300 speglar för tillfället –~5.3 miljoner filer –Tillgängligt via ftp, http och rsync

3 archive@ftp.sunet.se Nuvarande ftp-arkiv –IBM utrustning –Installationen påbörjades januari 2004 –Driftsattes utan annonsering 30 maj 2004 Krav på systemet –2Gbps genom hela systemet –IPv4 och IPv6 –10 000 ftp sessioner –4000 http sessioner –6TB lagringskapacitet

4 archive@ftp.sunet.se Nuvarande ftp-arkiv

5 archive@ftp.sunet.se Nuvarande ftp-arkiv

6 archive@ftp.sunet.se Edge server –IBMs lastbalanserare, numera heter produkten WebSphere Applications Server Network Deployment. –Tjänster ser ut att ligga på en maskin men är lastbalanserade över en eller flera maskiner. –Ett eller flera kluster ip-nummer definieras på lastbalanserarna och på loopback interfacet för de maskiner som är med i klustret. –Mycket smidigt vid uppgraderingar, service och tester.

7 archive@ftp.sunet.se SAN Volume Controller –Bygg virtuella diskar som består av raid volymer (managed disks) från ett eller flera disksystem. –Utöka volymer online när det behövs. –Addera fler diskarmar när det behövs eller flytta vdisken till snabbare diskar. –Definiera vilka maskiner som kan se en (v)disk på denna nivå istället för på ett antal diskarrayer (storage partitioning).

8 archive@ftp.sunet.se SANFS –Klusterfilsystem –Multiplattform AIX, Linux, Solaris och Windows –Diskpooler Samling av en eller flera volymer –Policys RULE 'stgRule1' SET STGPOOL 'ISO-Pool' WHERE UCASE(NAME) LIKE ’%.ISO’ RULE 'stgRule2' SET STGPOOL 'pool4' FOR CONTAINER ('redhat')

9 archive@ftp.sunet.se Trafiksiffror –1.37Gbps (5min medelvärde) den 29 september 2004 –1.092Gbps (5min medelvärde) den 23 februari 2005 –57Mbps IPv6 trafik (maxvärde) under mars 2005 –Normal situation 1500-2900 ftp sessioner 2700-4000 http sessioner

10 archive@ftp.sunet.se Trafiksiffror –Bug 10459, 8996: Apache2 loggar inte partialcontenet överföringar på ett korrekt sätt. Använd mod_logio och %O istället. –IPv4 (mars 2005) 67.9 TB ftp 152 TB www –IPv6 (mars 2005) 0.06 TB ftp 0.31 TB www

11 archive@ftp.sunet.se Ftp över IPv6 050407-050414 FilhämtningarNätbeskrivning 956Royal Institute of Technology (SE) 405Lulea Institute of Technology IPv6 netw. (SE) 237Data Telecom (EE) 134Uppsala University (SE) 55Hogskolen i Oslo (NO) 49Student network in Goteborg (SE) 23Institut Informatique, Mathematiques Appliquees de Grenoble (FR) 22Kaunas University of Technology (LT) 11SixXS assignment to end-user AW7-6BONE (SE) 8Port80 AB (SE) 8Estonian Educational and Research Network (EE) 7SixXS assignment to end-user DD1-6BONE (SE) 5Seven Levels Consultants AB (SE) 5Finnet Com Oy (FI)

12 archive@ftp.sunet.se Vad har hänt sedan sist? –Minnesläckage i metadataservrarna då de utsätts för hög last under lång tid. –Vi uppgraderar till SANFS 2.1.1 PTF3 följt av PTF4 för att åtgärda problemet. Uppgraderingen utförs under normal drift. –Start av systemprov. –Påbörjar testerna igen. –Systemprovet stoppas eftersom en maskin inte klarar av en tredjedel av total last. D.v.s. 3333 ftp och 1333 http sessioner.

13 archive@ftp.sunet.se Vad har hänt sedan sist? –Skriver om pure-ftpd så att den använder sig av read/write systemanrop och directio. –En maskin kan med hjälp av directio klara av testen, tyvärr måste isåfall alla program som vi använder skrivas om för directio. –En patch för SANFS eller en till maskin presenteras som en lösning av problemet. –IBM börjar arbeta på readrelease patchen som kräver att vi uppgraderar SANFS till version 2.2.1 PTF1.

14 archive@ftp.sunet.se Vad har hänt sedan sist? –Uppgraderar SANFS till 2.2.0 och sedan till 2.2.1 PTF1. –Problem att installera bl.a SuSE från arkivet, men endast då lastbalanseraren används. Verkar bara uppstå med passiv ftp. –Lägger på readrelease patchen och påbörjar tester igen. –Byter från proftpd till pure-ftpd. –SuSE installationer från arkivet fungerar nu mycket bättre. –13 April 2005 startas systemprovet igen.

15 archive@ftp.sunet.se Frågor?