De 0 a 100 con Bash Shell Scripting y AWK

Adolfo Sanz De Diego

Commit-Conf 2018

2 Autor

2.1 Adolfo Sanz De Diego

Asesor. Desarrollador. Profesor. Formador.

2.2 Disclaimer

  • He intentado montar una charla útil para principiantes, pero con tips para gente con más conocimientos.
  • Espero haberlo conseguido :-)

3 Shell Script

3.1 Introducción

  • Un shell script es un fichero de texto con comandos.
  • Para ejecutarlo no hay ni que compilar, ni tener nada instalado, y puedes utilizar todos los comandos del sistema.
  • Usalo para automatizar tareas del sistema y/o procesar datos de forma rápida.
  • Usalo para hacer pequeños scripts, no grandes programas, para eso tienes otros lenguajes.

3.2 Hola mundo

#! /bin/bash

# script showing a "Hello world!"

echo "Hello world!"

3.3 Permisos

  • Antes de ejecutar hay que darle permisos, pero recuerda, un gran poder conlleva una gran responsabilidad :-)
$ chmod +x 01_hello_world.sh

3.4 Ejecución

  • Para ejecutar un script:
    • si está en el $PATH, el nombre directamente
    • si no, desde la carpeta, ./nombre.sh
$ ./01_hello_world.sh

examples/01_hello_word.sh

3.5 Nombres

  • Estas son mis reglas de estilo (en realidad de Google), si no te gustan tengo otras. :-)
ficheros_shell_scripts.sh
VARIABLES_DE_ENTORNO
variables_locales
nombres_de_funciones

3.6 Inicio

  • Es una buena práctica empezar los shells scripts así:
#! /bin/bash

# Short description of the script

set -o errexit  # the script ends if a command fails
set -o pipefail # the script ends if a command fails in a pipe
set -o nounset  # the script ends if it uses an undeclared variable
# set -o xtrace # if you want to debug

3.7 Exit

  • Es una buena práctica terminar los shells scripts con un un código de retorno:
    • mayor de 0 si ha habido un error
    • igual a 0 si termina correctamente (si no pones 'exit')
#! /bin/bash

num_params=$#

if [[ $num_params -lt 1 ]]; then
    echo "At least one parameter must be introduced."
    exit 1 # error and exits with a return code > 0
fi

echo "All ok" # ok and exits with a return code = 0

3.8 Parciales

  • Podemos guardar el resultado de la ejecución de comandos en variables con $(codigo):
date=$(date +'%Y-%m-%d %H:%M:%S')

3.9 Funciones

  • Es una buena práctica asignar los parámetros de la función al principio ya sean como variables locales o, si es necesario, globales.
my_function() {
  local function_param_1="$1"    # 1st param assigned as local
  global_param_2=${2:-default}   # 2nd param assigned as global (default)
  local function_num_params=$#   # numbers of params assigned as local
  local all_function_params=($@) # all params assigned as a local
}
my_function function_param_1 function_param_2 ... function_param_N

3.10 Main

  • Es una buena práctica estructurar el código en funciones y tener una función main que llamamos al final del script con todos los parámetros.
# Main function
main() {

  check "$@"
  params "$@"
  print
}

main "$@" # call the main function with all the parameters

3.11 Parámetros

  • Los parámetros los cogemos de la linea de comandos cuando ejecutamos.
# Default values
default_2="Commit Conf"

param_1=$1                 # the first script param
param_2=${2:-${default_2}} # the second script param (with default value)
num_params=$#              # the numbers of script params
all_params=($@)            # all params assigned as an array
$ ./02_parameters.sh param_1 param_2 ... param_N

examples/02_parameters.sh

3.12 Template

Plantilla de Bash Shell Script

Plantilla de Bash Shell Script

3.13 Chuleta

Cheleta de Bash Shell Script

Chuleta de Bash Shell Script

3.14 ShellCheck

ShellCheck, el lint de Bash Shell Script

ShellCheck, el lint de Bash Shell Script

3.15 Google Guide

Guía de estilo de Google de Bash Shell Script

Guía de estilo de Google de Bash Shell Script

3.16 Tutorial

Tutorial de Bash Shell Script

Tutorial de Bash Shell Script

4 AWK

4.1 Introducción

  • Es una hoja de cálculo por línea de comandos.
  • Tiene su propio penguaje que es muy parecido a C.
  • Muy útil para procesar datos dentro de un shell script.
  • Muy útil para hacer cosas raras con datos y que con una hoja de cálculo normal es dificil de hacer.
  • Muy útil cuando hay muchos datos y una hoja de cálculo se queda colgada.

4.2 Ejecución

awk 'awk_program' data_file
awk -f 'awk_file' data_file

4.3 Grades

  • Sacar las medias de los alumnos:
Pepito      4.4  3.1  5.7
Fulanito    4.2  6.5  8.8
Menganito   5.6  5.0  5.3
awk '{ print $1"="($2+$3+$4)/3 }' 03_grades.csv

examples/04_grades.sh

4.4 Roles

  • Agrupar por rol:
Pepito:Jefe,Sistemas
Fulanito:Jefe,Desarrollo
Menganito:Operario,Sistemas,Desarrollo
Sistemas -> Menganito Pepito 
Operario -> Menganito 
Jefe -> Fulanito Pepito 
Desarrollo -> Menganito Fulanito 

4.5 Sin awk

roles_file=./05_roles.csv

roles=$(cut -d : -f 2 $roles_file | sed 's/,/\n/g' | sort | uniq)

for rol in $roles; do
  echo -n "${rol} -> "
  echo $(grep -E "${rol}" "${roles_file}" | cut -d : -f 1)
done

examples/06_roles_sin_awk.sh

4.6 Con awk

# this will run only once at first
BEGIN { FS = ",|:" }
# this will be executed for each of the lines in the file
{
  name=$1
  for (i=2; i<=NF; i++) {
    roles[$i]=roles[$i]" "old_names
  }
}
# This will only run once at the end
END {
  for (rol in roles) {
    print rol" -> " roles[rol]
  }
}

examples/08_roles.awk

4.7 Tutorial

Tutorial de AWK

Tutorial de AWK

5 Acerca de

5.1 Licencia

Creative Commons Reconocimiento-CompartirIgual 3.0

5.2 Fuentes

github.com/asanzdiego/commit-conf-charla-shell-script-y-awk

5.3 Slides

Las slides están hechas con MarkdownSlides.

6 Preguntas

7 Gracias