Extraire des données d'historique au format CSV

Le sous-menu Statistiques > Extraction > Extraction des journaux permet d'extraire de façon ponctuelle des historiques de surf sous forme de fichier CSV. Toutes les requêtes reçues par l'Olfeo sont disponibles pour l'extraction, ainsi que leurs propriétés (par exemple, les logs indiquent si la requête a été bloquée ou non).

Remarque : L'extracteur permet d'obtenir des données concernant tous les utilisateurs. Il est recommandé de ne pas donner accès à cette page aux administrateurs ne gérant qu'un groupe ou une UO.

Dans un domaine Olfeo, les historiques des requêtes reçues par toutes les machines du domaine sont stockées sur la machine maître (et sur celle-ci uniquement).

Rendez-vous à la page Statistiques > Extraction > Extraction des journaux.
Définissez la période de temps pour laquelle extraire les données. Dans la section Paramètres d'extraction, utilisez les champs Date de début et Date de fin :
- Pour définir une date spécifique, utilisez le format suivant : aaaa-mm-jj hh:mm:ss (par exemple, 2011-05-16 15:06:20). Une date entrée au format aaaa-mm-jj sera interprétée comme signifiant aaaa-mm-jj 00:00:00.
- Vous pouvez également utiliser les valeurs spéciales de temps PostgreSQL : today, yesterday, now, -infinity (date la plus ancienne trouvée dans les données), infinity (date la plus récente trouvée dans les données).
Définissez les caractéristiques du fichier CSV à générer :
- Fichier généré : saisissez le nom du fichier qui sera prérempli lors du téléchargement.
- Format : sélectionnez CSV.
- Dans la section Paramètres du fichier CSV, dans le champ Séparateur, saisissez le caractère ou la suite de caractères à utiliser comme séparateur de champs. L'espace n'est pas un séparateur valide.
Dans la section Paramètres du fichier CSV, définissez les données à extraire. Le tableau propose tous les champs de la table, cependant, seuls certains champs sont pertinents pour chaque type de données :
- Définissez les champs à extraire :
  - Cliquez sur le bouton pour ajouter un champ à extraire, puis sélectionnez le champ désiré dans la colonne Attribut. Voir la section ci-dessous, Référence des champs.
  - Si besoin, supprimez les champs que vous ne souhaitez pas extraire à l'aide du bouton .
  - Utilisez le champ Valeur pour filtrer les données extraites.
    Par exemple, pour le champ user_mac, si vous saisissez 00:50:56:01:05:d4 dans la colonne Valeur, seuls les enregistrements correspondant à cette adresse MAC seront extraits.
Cliquez sur le bouton Prévisualisation pour visualiser un échantillon du résultat final dans la section Prévisualisation.
Cliquez sur le bouton Téléchargement pour télécharger le fichier CSV.

Référence des champs

Attribut	Description
answer_reason	Code correspondant au type d’action effectuée : 200 : autorisé 201 : page consultée dans le cadre d'un quota ouvert 202 : plage horaire autorisée, lorsque l'autorisation est donnée par une politique. (Si l'autorisation sur la plage horaire est donnée par une règle du moteur, le champ retourne 200.) 203 : blocage outrepassé sans mot de passe (politique avec règle "Bloquer", quota expiré) 204 : outrepassé avec mot de passe 401 : page d'ouverture de quota, quota expiré (page de blocage, avec ou sans possibilité d'outrepasser) 402 : plage horaire bloquée, lorsque le blocage est fait par une politique. (Si le blocage sur plage horaire est fait par une règle du moteur, le champ retourne 403.) 403 : bloqué 405 : charte internet non signée, page de signature de charte internet
audit	Booléen indiquant si le mode Audit était activé ou non pour cet utilisateur lorsque la requête a été reçue. audit désactivé : f audit activé : t
bu_id	Identifiant interne à l'Olfeo de l'UO à laquelle appartient l’utilisateur identifié. Pour les utilisateurs inconnus, ce champ retourne 0.
category_id	Identifiant de la catégorie Olfeo correspondant au FQDN vers lequel pointe la requête. Cet identifiant dépend de la base d'URLs installée.
domain	FQDN de destination de la requête.
group_id	Identifiant interne à l'Olfeo du groupe auquel appartient l’utilisateur identifié. Pour les utilisateurs inconnus, ce champ retourne 0.
hit_id	Identifiant interne à l'Olfeo du hit.
matched_policy_id	Identifiant permettant de connaître quel élément a déterminé la décision de filtrage. Il peut s'agir de : l'identifiant interne à l'Olfeo d'une politique de filtrage d'URLs ou d'une politique de filtrage protocolaire. Cet identifiant correspond à la politique indiquée dans la colonne Politique à la page Temps réel. l'identifiant de l'onglet du moteur de règles contenant la règle ayant déterminé la décision de filtrage. Cet identifiant correspond à la mention Connexion/Accès/Aperçu/Contenu (ACL) dans la colonne Politique à la page Temps réel : onglet Connexion : -2 onglet Accès : -3 onglet Aperçu : -5 onglet Contenu : -4
name	Valeur du champ Nom commun pour l'utilisateur identifié. Pour les utilisateurs inconnus, ce champ retourne un tiret.
proxy_id	Squid_id du proxy ayant effectué le filtrage. Cet identifiant n'est récupéré que dans un domaine Olfeo et lorsque l'Olfeo est couplé avec un Squid externe via squid_wrapper. Dans tous les autres cas, le champ retourne un tiret.
proxy_username	Identifiant reçu par le proxy interne à l'Olfeo ou par le moteur de filtrage. Le champ est rempli dans les cas suivants : lorsqu'une authentification auprès du proxy HTTP interne à l'Olfeo a été faite. lorsque le moteur de filtrage reçoit un identifiant fourni par un équipement tiers ayant réalisé l'authentification. Lorsqu'aucun identifiant n'a été reçu, ce champ retourne un tiret.
quota_id	Identifiant interne Olfeo du quota s'appliquant à la requête. Concerne les pages d'ouverture de quota, toute page consultée dans le cadre d'un quota ouvert, et les pages de blocage "quota expiré" (mais non les pages où un quota expiré a été outrepassé). Retourne 0 si aucun quota ne s'applique.
size	Taille de la réponse HTTP. Ce champ n’est renseigné que dans les intégrations proxy (explicite ou en interception). Les statistiques en volume et les quotas en volume sont basés sur ce champ. Pour les flux chiffrés, sans déchiffrement SSL, le volume est la taille de la réponse chiffrée reçue par le proxy.
theme_id	Identifiant du thème Olfeo de la catégorie correspondant au FQDN vers lequel pointe la requête. Cet identifiant dépend de la base d'URLs installée.
timestamp_at_tz	Date au Fuseau horaire par défaut des utilisateurs. Celui-ci est défini lors de l'installation (à l'écran Paramètres régionaux de l'Assistant de configuration) et également utilisé à la page du trafic temps réel. Le format de la date est 2016-06-21 13:09:41.
timestamp	Date UTC, au format 2016-06-21 11:09:41.
upload_as_unknown	Booléen indiquant si l'URL appartient à la catégorie Catégorie inconnue. Suivant votre paramétrage, l'URL et le domaine pourront avoir été remontés à Olfeo comme étant inconnus de la base. URL inconnue : f URL connue : t
url	URL vers laquelle pointe la requête.
user_agent	User agent à partir duquel la requête a été émise. Exemple : Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0.
user_id	Identifiant interne à l'Olfeo de l’utilisateur ayant émis la requête. Pour les utilisateurs inconnus, ce champ retourne 0.
user_ip	Adresse IP source de la requête.
user_mac	Adresse MAC source contenue dans la requête. Les adresses MAC sont récupérées dans les intégrations réseau (cas d'intégration typiquement utilisé pour faire du filtrage protocolaire).