Zum Inhalt

Skripte für den Datenexport

Influx-Daten

Sie können lti-get-influx-data.sh auf Ihrem Analyzer-Host verwenden, um Daten im CSV-Format zu exportieren.

Skript beziehen

Öffnen Sie eine Terminalsitzung auf Ihrem Analyzer-Host.

Laden Sie das Skript herunter:

wget https://api.latence.ca/software/lti-get-influx-data.sh

Machen Sie es ausführbar:

chmod +x lti-get-influx-data.sh

Verwendung

Rufen Sie ./lti-get-influx-data.sh mit den folgenden Parametern auf:

  1. Agent-ID

  2. Protokollname -- einer von twamp, icmp, tcp, http, https

  3. Zu extrahierende Sekunden an Daten -- bis zu 3 Monate

  4. Sie können --drops am Ende der Zeile hinzufügen, um statt der Latenzwerte die Verluste (falls vorhanden) zu extrahieren

Beispielsweise extrahiert ./lti-get-influx-data.sh 100 tcp 10 die letzten 10 Sekunden an TCP-Latenzdaten für die Agent-ID 100. Bei einer Abtastrate von 2 Sekunden sieht das Ergebnis etwa wie folgt aus:

,result,table,_start,_stop,_time,_value,_field,_measurement,agentID
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:20.009Z,29.45599937438965,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:22.07Z,29.535999298095703,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:24.131Z,28.83099937438965,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:26.191Z,28.9060001373291,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:28.251Z,29.325000762939453,delay,tcp_result,100

Sie haben Zugriff auf 4 Felder:
_time: Der genaue Zeitpunkt der Messung
 _value: Die gemessene Latenz (in ms) oder die Anzahl der Paketverluste
_measurement: Gibt den Protokolltyp und die Art des im Feld value angezeigten Werts an: Latenz (protocolname_result) oder Verluste (protocolname_drop)
 agentID: Die ID des Agents, der die Messung durchgeführt hat

Sie können die Daten mit der Umleitung > in eine Datei umleiten.

Beispielsweise erstellt der Befehl ./lti-get-influx-data.sh 100 tcp 10 > tcp-data.csv eine Textdatei namens tcp-data.csv, die die extrahierten TCP-Daten enthält.

Sie können ./lti-get-influx-data.sh auch mit den folgenden Parametern aufrufen, um die Metadaten eines Agents abzurufen:

  1. Agent-ID
  2. Fügen Sie --metadata-only am Ende der Zeile hinzu

Beispielsweise erstellt der Befehl ./lti-get-influx-data.sh 100 --metadata-only > 100-metadata.csv eine Textdatei namens 100-metadata.csv, die die Metadaten des Agents 100 enthält.

Kafka-Daten

Sie können das Programm kafka-reader verwenden, um die Kafka-Daten im CSV-Format zu exportieren.

Programm beziehen

Öffnen Sie eine Terminalsitzung.

Laden Sie die Dateien herunter:

wget https://api.latence.ca/software/kafka-reader-files.zip

Entpacken Sie sie:

unzip kafka-reader-files.zip

Verwendung

  1. Wechseln Sie in das Verzeichnis kafka-reader

    cd kafka-reader-files

  2. Konfigurieren Sie die Umgebungsvariablen. Bearbeiten Sie die Datei kafka.env und passen Sie die letzten drei Variablen nach Bedarf an. Verfügbare Topics sind twamp_influx, icmp_influx, iperf_influx, traceroute_influx, tcp_influx, udp_influx, http_influx, https_influx.

    BOOTSTRAP_SERVERS=msgbus.latence.ca:12092 SECURITY_PROTOCOL=SASL_SSL SSL_CAFILE=./auth/certificate.txt SASL_PLAIN_USERNAME= SASL_PLAIN_PASSWORD= SASL_MECHANISM=PLAIN TOPIC_OFFSET=100 NUM_ROWS=200 TOPIC=https_influx

    Führen Sie den folgenden Befehl aus, um die Variablen zu laden.

    export $(cat kafka.env | xargs)

  3. Installieren Sie die Pakete aus requirements.dev.txt

    pip3 install -r requirements.dev.txt

  4. Ändern Sie /etc/hosts so, dass msgbus.latence.ca auf den Analyzer-Host zeigt, indem Sie die folgende Zeile hinzufügen:

    <Durch die IP des Analyzer ersetzen> msgbus.latence.ca

  5. Führen Sie das Programm aus, um die CSV-Datei zu erzeugen

    python3 run.py

Latenz- und Geolokalisierungsdaten

Sie können das folgende Programm verwenden, um die Latenz- und Geolokalisierungsdaten im CSV-Format zu exportieren.

Programm beziehen

Öffnen Sie eine Terminalsitzung.

Laden Sie die Dateien herunter:

wget https://api.latence.ca/software/latency-geoloc-csv-generator.zip

Entpacken Sie sie:

unzip latency-geoloc-csv-generator.zip

Verwendung

  1. Wechseln Sie in das Verzeichnis latency-geoloc-csv-generator

    cd latency-geoloc-csv-generator

  2. Installieren Sie die Pakete aus requirements.dev.txt

    pip3 install -r requirements.dev.txt

  3. Verwenden Sie den folgenden Befehl, um die Daten zu extrahieren.

    python3 csv-writing-script.py <Influx-IP> <Startzeit> <Endzeit> <AgentID>

    • Influx-IP - IP-Adresse von InfluxDB
    • Startzeit - Startzeit in GMT im Format 2023-06-21T22:00:00Z
    • Endzeit - Endzeit in GMT im Format 2023-06-23T22:00:00Z
    • AgentID - ID des Agents

    Beispiel

    python3 csv-writing-script.py 34.83.172.98 2023-06-21T22:00:00Z 2023-06-23T22:00:00Z 1

Fehlerbehebung bei der Datenextraktion

Skript zum Abrufen der Influx-Daten

Zugriff verweigert

Wenn Sie die folgende Ausgabe erhalten:

-bash: ./lti-get-influx-data.sh: Permission denied**

Stellen Sie sicher, dass Sie chmod +x ./lti-get-influx-data.sh ausgeführt haben

Keine Daten

  • Stellen Sie sicher, dass Sie die richtige Agent-ID verwenden

  • Stellen Sie sicher, dass Sie eine ausreichende Anzahl von Sekunden an Daten angefordert haben