[00:02:51] 06Operations, 10Traffic, 05WMF-deploy-2016-08-09_(1.28.0-wmf.14): Decom bits.wikimedia.org hostname - https://phabricator.wikimedia.org/T107430#2525342 (10Krinkle) [00:03:59] PROBLEM - puppet last run on cp4018 is CRITICAL: CRITICAL: puppet fail [00:12:05] (03PS8) 10BryanDavis: [WIP] Provision Striker via scap3 [puppet] - 10https://gerrit.wikimedia.org/r/301505 (https://phabricator.wikimedia.org/T141014) [00:22:27] (03PS2) 10Krinkle: MoodBar: Disable on all wikis except nlwiki [mediawiki-config] - 10https://gerrit.wikimedia.org/r/301893 (https://phabricator.wikimedia.org/T131340) (owner: 10Jforrester) [00:22:40] (03PS12) 10Madhuvishy: [WIP] labstore: Configure drbd for a HA labstore setup [puppet] - 10https://gerrit.wikimedia.org/r/302488 [00:22:50] (03CR) 10Krinkle: [C: 04-1] "LGTM. -1 per Marco for related clean up." [mediawiki-config] - 10https://gerrit.wikimedia.org/r/301893 (https://phabricator.wikimedia.org/T131340) (owner: 10Jforrester) [00:27:10] 132 Could not find/open font (unifont-5.1.20080907) [00:30:08] RECOVERY - puppet last run on cp4018 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [00:30:47] (03CR) 10jenkins-bot: [V: 04-1] [WIP] labstore: Configure drbd for a HA labstore setup [puppet] - 10https://gerrit.wikimedia.org/r/302488 (owner: 10Madhuvishy) [00:38:35] 06Operations, 10Wikimedia-Language-setup, 10Wikimedia-Site-requests, 05MW-1.28-release-notes, and 4 others: Create Wikipedia Tulu - https://phabricator.wikimedia.org/T140898#2525371 (10Dereckson) So today I created the wiki and prepared a series of patches for services and l10n. We got a small issue, repo... [00:39:10] RoanKattouw: you did you fill a bug for the Echo JS issue? [00:39:18] What Echo JS issue? [00:39:35] Oh, the "you have no notifications" thing? [00:39:42] PROBLEM - puppet last run on cp3037 is CRITICAL: CRITICAL: puppet fail [00:40:17] I filed that as https://phabricator.wikimedia.org/T142148 and Reedy added that he saw JS errors too [00:42:48] Krenair: So beta bits [00:43:00] Let's try today? [00:57:41] PROBLEM - puppet last run on mw2091 is CRITICAL: CRITICAL: puppet fail [01:04:28] 06Operations, 10Traffic, 10Wikimedia-Blog, 07HTTPS: Switch blog to HTTPS-only - https://phabricator.wikimedia.org/T105905#1454386 (10EdErhart-WMF) @BBlack can you recheck this? Automattic just shipped a few changes for us today. [01:06:17] RECOVERY - puppet last run on cp3037 is OK: OK: Puppet is currently enabled, last run 39 seconds ago with 0 failures [01:24:48] RECOVERY - puppet last run on mw2091 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [01:28:44] 06Operations, 06Editing-Analysis: Connection time out to stat1003 - https://phabricator.wikimedia.org/T142126#2525501 (10Neil_P._Quinn_WMF) p:05Triage>03Normal [01:34:38] PROBLEM - puppet last run on kafka2002 is CRITICAL: CRITICAL: puppet fail [01:39:27] PROBLEM - puppet last run on mw2017 is CRITICAL: CRITICAL: puppet fail [01:41:33] Krenair: So beta bits [01:41:35] Let's try today? [01:41:36] 01:42... sorry, my connection has been out for hours [01:41:41] sure [01:41:51] Krenair: I saw that "beta.bits" only had two matches in Git [01:41:58] Not bad :) [01:46:48] Krinkle, all the remaining ones in puppet? [02:00:29] RECOVERY - puppet last run on kafka2002 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [02:01:12] Krenair: Yep, two matches in puppet only. [02:01:27] https://github.com/search?q=org:wikimedia+%22bits.beta%22&ref=opensearch&type=Code [02:01:34] wmflabs.conf and labs.yaml [02:08:09] RECOVERY - puppet last run on mw2017 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [02:11:18] 06Operations, 10Traffic, 10Wikimedia-Blog, 07HTTPS: Switch blog to HTTPS-only - https://phabricator.wikimedia.org/T105905#2525620 (10BBlack) >>! In T105905#2525418, @EdErhart-WMF wrote: > @BBlack can you recheck this? Automattic shipped a few changes for us today. The blog is still sending the response h... [02:18:26] Krinkle, okay well, let's kill those? [02:18:37] Krenair: sounds good [02:18:44] want me to upload the patch? [02:20:58] PROBLEM - puppet last run on cp3030 is CRITICAL: CRITICAL: puppet fail [02:21:16] !log mwdeploy@tin scap sync-l10n completed (1.28.0-wmf.13) (duration: 08m 43s) [02:21:23] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [02:27:30] !log l10nupdate@tin ResourceLoader cache refresh completed at Fri Aug 5 02:27:30 UTC 2016 (duration 6m 14s) [02:27:35] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [02:29:23] Krenair: Yeah :) [02:29:36] I assume you're more familiar with beta's config and deployment than me [02:30:00] yep [02:32:40] (03PS1) 10Yuvipanda: toollabs: Don't have icinga check for webservice [puppet] - 10https://gerrit.wikimedia.org/r/303120 (https://phabricator.wikimedia.org/T142164) [02:32:42] Krinkle, think we may have to do this with an ensure => absent first [02:33:32] Krinkle, do we have a task? [02:33:42] No dedicated task, no. [02:33:46] But you can reference hte main bits one [02:33:55] It makes sense to reflect in beta, too [02:34:29] (03PS2) 10Yuvipanda: toollabs: Don't have icinga check for webservice [puppet] - 10https://gerrit.wikimedia.org/r/303120 (https://phabricator.wikimedia.org/T142164) [02:34:42] (03CR) 10Yuvipanda: [C: 032 V: 032] toollabs: Don't have icinga check for webservice [puppet] - 10https://gerrit.wikimedia.org/r/303120 (https://phabricator.wikimedia.org/T142164) (owner: 10Yuvipanda) [02:36:19] (03PS1) 10Alex Monk: Remove bits.beta.wmflabs.org [puppet] - 10https://gerrit.wikimedia.org/r/303121 (https://phabricator.wikimedia.org/T107430) [02:36:21] (03PS1) 10Alex Monk: beta apaches: Delete Apache::Site['wmflabs'] too [puppet] - 10https://gerrit.wikimedia.org/r/303122 (https://phabricator.wikimedia.org/T107430) [02:37:06] okay, problem found in my patch already [02:37:21] I get rid of source but then there's no source or content... which should be fine because I set ensure => absent [02:37:22] however: [02:37:28] if $source == undef and $content == undef { [02:37:28] fail('you must provide either "source" or "content"') [02:37:28] } [02:42:58] (03PS2) 10Alex Monk: beta apaches: Delete Apache::Site['wmflabs'] too [puppet] - 10https://gerrit.wikimedia.org/r/303122 (https://phabricator.wikimedia.org/T107430) [02:43:00] (03PS2) 10Alex Monk: Remove bits.beta.wmflabs.org [puppet] - 10https://gerrit.wikimedia.org/r/303121 (https://phabricator.wikimedia.org/T107430) [02:43:02] (03PS1) 10Alex Monk: apache conf: Allow source and content to be undefined if ensure is absent [puppet] - 10https://gerrit.wikimedia.org/r/303123 [02:48:25] RECOVERY - puppet last run on cp3030 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [02:52:59] Krinkle, done [02:53:14] cherry-picked the first two patches on deployment-puppetmaster [02:53:26] purged the cache [02:53:32] it's gone [02:57:29] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:30] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:32] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:33] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:34] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:35] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:36] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:37] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:38] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:39] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:41] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:41] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:42] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:43] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:44] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:45] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:46] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:47] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:48] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:50] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:50] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:51] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:52] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:54] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:55] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:56] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:56] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:57] (03PS1) 10Yuvipanda: tools: Move log sender to generic role [puppet] - 10https://gerrit.wikimedia.org/r/303125 [02:57:57] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:58] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:57:59] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:00] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:02] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:03] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:05] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:06] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:07] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:08] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:09] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:10] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:11] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:12] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:13] (03PS2) 10Yuvipanda: tools: Move log sender to generic role [puppet] - 10https://gerrit.wikimedia.org/r/303125 [02:58:13] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:14] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:15] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:16] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:17] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:18] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:19] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:20] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:21] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:21] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:22] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:24] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:25] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:26] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:28] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:29] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:30] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:30] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:31] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:32] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:33] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:34] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:36] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:37] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:39] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:40] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:41] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:57] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:58:59] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:05] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:05] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:06] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:06] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:15] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:17] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:18] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:19] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:25] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:25] (03CR) 10Yuvipanda: [C: 032 V: 032] tools: Move log sender to generic role [puppet] - 10https://gerrit.wikimedia.org/r/303125 (owner: 10Yuvipanda) [02:59:27] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:28] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:29] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:30] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:31] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:32] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:33] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:40] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:41] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:42] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:43] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:44] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:45] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:46] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:46] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:47] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:48] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:49] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:50] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:51] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:53] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:54] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:55] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [02:59:56] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:00] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:01] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:02] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:03] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:05] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:06] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:07] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:10] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:13] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:13] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:13] !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU AMIGO P [03:00:43] Yay for WMF! [03:15:48] the new icinga alerts are in spanish? [03:16:11] heh [03:16:25] o.O [03:16:37] yeha WMF i moving to spain :P [03:16:39] is* [03:17:00] PROBLEMA - títere última ejecución en cp3030 es crítica: CRÍTICA: marioneta fallan [03:17:04] Not Italy after that "retreat" thing that everyone was mad about. [03:17:40] maybe france, I hear ISIS a good place nowadays :) [03:18:09] ori: we should have icinga-wm randomly select languages to add some flair during the day >.> [03:19:13] HOLA PUPPET EN CP3030 ES CRÍTICA [03:19:21] Lolcat, Aussie >.> [03:20:18] any language you can write in all uppercase [04:07:17] !log restarted nova-network on labnet1002 for T142165 [04:07:18] T142165: Super weird networking behavior - https://phabricator.wikimedia.org/T142165 [04:07:22] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [04:14:54] (03PS1) 10Yuvipanda: tools: Don't keep port 8080 open [puppet] - 10https://gerrit.wikimedia.org/r/303126 [04:25:47] (03CR) 10Yuvipanda: [C: 032] tools: Don't keep port 8080 open [puppet] - 10https://gerrit.wikimedia.org/r/303126 (owner: 10Yuvipanda) [04:30:28] !log installing curl security updates on jessie systems [04:30:33] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [05:14:36] (03CR) 10Muehlenhoff: "But this should rather be fixed in the deb package? It should work as-is without puppet hacks on top." [puppet] - 10https://gerrit.wikimedia.org/r/302491 (https://phabricator.wikimedia.org/T141803) (owner: 10Dzahn) [05:56:21] Cameron11598: what retreat thingy? [05:58:15] hm? [06:04:08] PROBLEM - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is CRITICAL: JNX_ALARMS CRITICAL - No response from remote host 10.65.0.24 [06:05:57] RECOVERY - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is OK: JNX_ALARMS OK - 0 red alarms, 0 yellow alarms [06:30:58] PROBLEM - puppet last run on mw2250 is CRITICAL: CRITICAL: Puppet has 1 failures [06:31:08] PROBLEM - puppet last run on ms-be2026 is CRITICAL: CRITICAL: Puppet has 1 failures [06:31:38] PROBLEM - puppet last run on neodymium is CRITICAL: CRITICAL: Puppet has 1 failures [06:31:38] PROBLEM - puppet last run on analytics1047 is CRITICAL: CRITICAL: Puppet has 2 failures [06:32:08] PROBLEM - puppet last run on mw2073 is CRITICAL: CRITICAL: Puppet has 1 failures [06:32:19] PROBLEM - puppet last run on mw2129 is CRITICAL: CRITICAL: Puppet has 1 failures [06:32:27] PROBLEM - puppet last run on mw1289 is CRITICAL: CRITICAL: Puppet has 1 failures [06:32:28] PROBLEM - puppet last run on mw2145 is CRITICAL: CRITICAL: Puppet has 1 failures [06:32:48] PROBLEM - puppet last run on mw2126 is CRITICAL: CRITICAL: Puppet has 1 failures [06:45:46] (03PS1) 10Muehlenhoff: Assign Salt grains for thumbor [puppet] - 10https://gerrit.wikimedia.org/r/303128 [06:51:11] (03CR) 10Muehlenhoff: [C: 032] Assign Salt grains for thumbor [puppet] - 10https://gerrit.wikimedia.org/r/303128 (owner: 10Muehlenhoff) [06:55:47] RECOVERY - puppet last run on mw2145 is OK: OK: Puppet is currently enabled, last run 40 seconds ago with 0 failures [06:56:07] RECOVERY - puppet last run on mw2126 is OK: OK: Puppet is currently enabled, last run 3 seconds ago with 0 failures [06:56:27] RECOVERY - puppet last run on ms-be2026 is OK: OK: Puppet is currently enabled, last run 35 seconds ago with 0 failures [06:56:48] RECOVERY - puppet last run on neodymium is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [06:56:48] RECOVERY - puppet last run on analytics1047 is OK: OK: Puppet is currently enabled, last run 50 seconds ago with 0 failures [06:57:28] RECOVERY - puppet last run on mw2073 is OK: OK: Puppet is currently enabled, last run 56 seconds ago with 0 failures [06:57:37] RECOVERY - puppet last run on mw2129 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [06:57:38] RECOVERY - puppet last run on mw1289 is OK: OK: Puppet is currently enabled, last run 11 seconds ago with 0 failures [06:58:09] RECOVERY - puppet last run on mw2250 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [06:59:09] (03CR) 10Nemo bis: "Meh." [mediawiki-config] - 10https://gerrit.wikimedia.org/r/301893 (https://phabricator.wikimedia.org/T131340) (owner: 10Jforrester) [07:13:07] (03PS3) 10Nemo bis: MoodBar: Disable on all wikis except nlwiki [mediawiki-config] - 10https://gerrit.wikimedia.org/r/301893 (https://phabricator.wikimedia.org/T131340) (owner: 10Jforrester) [07:14:49] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1013.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [07:14:51] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1014.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [07:14:52] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1015.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [07:14:54] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1016.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [07:14:56] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1017.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [07:14:58] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1018.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [07:14:58] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:15:12] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:15:18] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:15:22] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:15:27] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:15:39] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:18:06] !log T135176 depool wtp1013-wtp1018 [07:18:07] T135176: Migrate Parsoid cluster to Jessie / node 4.x - https://phabricator.wikimedia.org/T135176 [07:18:20] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:23:17] PROBLEM - ganeti-noded running on ganeti1001 is CRITICAL: PROCS CRITICAL: 0 processes with UID = 0 (root), command name ganeti-noded [07:23:38] !log restarting hhvm on mediawiki canaries to pick up curl security update [07:23:42] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [07:23:57] PROBLEM - ganeti-confd running on ganeti1001 is CRITICAL: PROCS CRITICAL: 0 processes with UID = 111 (gnt-confd), command name ganeti-confd [07:25:08] RECOVERY - ganeti-noded running on ganeti1001 is OK: PROCS OK: 1 process with UID = 0 (root), command name ganeti-noded [07:25:22] elukey: good morning! [07:25:35] elukey: have you had time to have a look at jmxtrans packaging? [07:27:35] 06Operations: eqiad: Install SSD's into ganeti hosts - https://phabricator.wikimedia.org/T138414#2525935 (10akosiaris) @Cmjohnson Great! thanks! ganeti1002 was reinstalled, added to the cluster and is now hosting VMs. ganeti1001 has been emptied, downtimed and powered off and awaiting SSDs [07:31:55] gehel: morning! maybe in the afternoon, would it be ok? [07:32:30] elukey: sure! I'll start having a look myself this morning... I have a lot of ideas but they need to be cleaned up a bit... [07:33:11] :) [07:34:47] (03PS2) 10Alexandros Kosiaris: strontium: depool, palladium: lower the load to 1 [puppet] - 10https://gerrit.wikimedia.org/r/302924 [07:35:34] (03CR) 10Alexandros Kosiaris: [C: 032 V: 032] strontium: depool, palladium: lower the load to 1 [puppet] - 10https://gerrit.wikimedia.org/r/302924 (owner: 10Alexandros Kosiaris) [07:43:42] PROBLEM - puppet last run on cp2020 is CRITICAL: CRITICAL: puppet fail [07:46:17] (03PS1) 10Alexandros Kosiaris: strontium: reimage as a puppetmaster::frontend [puppet] - 10https://gerrit.wikimedia.org/r/303131 [07:47:37] (03PS2) 10Alexandros Kosiaris: strontium: reimage as a puppetmaster::frontend [puppet] - 10https://gerrit.wikimedia.org/r/303131 [07:47:46] (03CR) 10Alexandros Kosiaris: [C: 032 V: 032] strontium: reimage as a puppetmaster::frontend [puppet] - 10https://gerrit.wikimedia.org/r/303131 (owner: 10Alexandros Kosiaris) [07:49:12] (03PS1) 10Alexandros Kosiaris: strontium: reimage as jessie [puppet] - 10https://gerrit.wikimedia.org/r/303132 [07:49:31] (03PS2) 10Alexandros Kosiaris: strontium: reimage as jessie [puppet] - 10https://gerrit.wikimedia.org/r/303132 [07:49:36] (03CR) 10Alexandros Kosiaris: [C: 032 V: 032] strontium: reimage as jessie [puppet] - 10https://gerrit.wikimedia.org/r/303132 (owner: 10Alexandros Kosiaris) [07:58:11] (03PS1) 10Elukey: Reduce the Camus log retention to one month [puppet] - 10https://gerrit.wikimedia.org/r/303133 [07:59:29] (03CR) 10Elukey: [C: 032] Reduce the Camus log retention to one month [puppet] - 10https://gerrit.wikimedia.org/r/303133 (owner: 10Elukey) [08:09:11] RECOVERY - puppet last run on cp2020 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [08:12:38] elukey: I'm putting some notes on https://etherpad.wikimedia.org/p/jmxtrans-packaging-improvements [08:16:00] super [08:34:58] PROBLEM - parsoid on wtp1013 is CRITICAL: Connection refused [08:35:18] PROBLEM - puppet last run on wtp1013 is CRITICAL: CRITICAL: puppet fail [08:38:44] (03CR) 10Muehlenhoff: [C: 032] gerrit (2.12.2-wmf.2) [debs/gerrit] - 10https://gerrit.wikimedia.org/r/302498 (owner: 10Chad) [08:48:23] 06Operations, 06Commons, 10media-storage: Install mscorefonts on scaling servers for SVG rendering - https://phabricator.wikimedia.org/T140141#2526123 (10MoritzMuehlenhoff) a:03MoritzMuehlenhoff I currently have some higher priority tasks, but I'll deal with it in the next weeks [08:52:28] RECOVERY - parsoid on wtp1013 is OK: HTTP OK: HTTP/1.1 200 OK - 1514 bytes in 0.022 second response time [08:52:57] RECOVERY - puppet last run on wtp1013 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [08:57:52] (03PS1) 10Elukey: Add a logrotate policy to the hdfs-balancer script [puppet] - 10https://gerrit.wikimedia.org/r/303136 [09:00:12] (03PS1) 10Elukey: Add logrotate policy for the HDFS balacer script [puppet] - 10https://gerrit.wikimedia.org/r/303137 [09:03:34] (03PS2) 10Elukey: Add logrotate policy for the HDFS balacer script [puppet] - 10https://gerrit.wikimedia.org/r/303137 [09:04:17] (03Abandoned) 10Elukey: Add logrotate policy for the HDFS balacer script [puppet] - 10https://gerrit.wikimedia.org/r/303137 (owner: 10Elukey) [09:12:49] !log upgrading httpd on mw126[78] to 2.4.10-10+deb8u4+wmf3 (T73487) [09:12:50] T73487: Fix Apache proxy_fcgi error "Invalid argument: AH01075: Error dispatching request to" (Causing HTTP 503) - https://phabricator.wikimedia.org/T73487 [09:12:54] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [09:17:48] !log installing openjdk security updates on logstash cluster, rolling restart to pick up new JRE [09:17:52] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [09:21:36] mw126[78] taking live traffic correctly, all good [09:23:03] !log elukey@palladium conftool action : set/pooled=yes:weight=30; selector: mw1261.eqiad.wmnet [09:23:08] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [09:23:37] mw1261 was the first tested with the new httpd [09:25:58] !log creating tcywiki indices on elastic@codfw [09:26:02] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [09:30:44] PROBLEM - puppet last run on mw2129 is CRITICAL: CRITICAL: puppet fail [09:34:14] PROBLEM - Disk space on wtp1018 is CRITICAL: Connection refused by host [09:34:14] PROBLEM - dhclient process on wtp1015 is CRITICAL: Connection refused by host [09:34:35] PROBLEM - MD RAID on wtp1018 is CRITICAL: Connection refused by host [09:34:35] PROBLEM - parsoid on wtp1015 is CRITICAL: Connection refused [09:34:55] PROBLEM - puppet last run on wtp1015 is CRITICAL: Connection refused by host [09:35:15] PROBLEM - salt-minion processes on wtp1015 is CRITICAL: Connection refused by host [09:35:34] PROBLEM - configured eth on wtp1018 is CRITICAL: Connection refused by host [09:35:36] PROBLEM - dhclient process on wtp1018 is CRITICAL: Connection refused by host [09:35:55] PROBLEM - parsoid on wtp1018 is CRITICAL: Connection refused [09:36:15] PROBLEM - Check size of conntrack table on wtp1015 is CRITICAL: Connection refused by host [09:36:15] PROBLEM - puppet last run on wtp1018 is CRITICAL: Connection refused by host [09:36:34] PROBLEM - salt-minion processes on wtp1018 is CRITICAL: Connection refused by host [09:36:34] PROBLEM - DPKG on wtp1015 is CRITICAL: Connection refused by host [09:36:45] PROBLEM - Disk space on wtp1015 is CRITICAL: Connection refused by host [09:37:04] PROBLEM - MD RAID on wtp1015 is CRITICAL: Connection refused by host [09:37:35] PROBLEM - Check size of conntrack table on wtp1018 is CRITICAL: Connection refused by host [09:37:45] PROBLEM - configured eth on wtp1015 is CRITICAL: Connection refused by host [09:37:45] PROBLEM - DPKG on wtp1018 is CRITICAL: Connection refused by host [09:39:25] akosiaris: are you working on wtp hosts by any chance? [09:39:25] RECOVERY - configured eth on wtp1018 is OK: OK - interfaces up [09:39:34] RECOVERY - Check size of conntrack table on wtp1018 is OK: OK: nf_conntrack is 0 % full [09:39:35] RECOVERY - dhclient process on wtp1018 is OK: PROCS OK: 0 processes with command name dhclient [09:39:45] RECOVERY - DPKG on wtp1018 is OK: All packages OK [09:39:55] RECOVERY - parsoid on wtp1018 is OK: HTTP OK: HTTP/1.1 200 OK - 1514 bytes in 0.024 second response time [09:40:05] RECOVERY - Disk space on wtp1018 is OK: DISK OK [09:40:14] RECOVERY - puppet last run on wtp1018 is OK: OK: Puppet is currently enabled, last run 29 seconds ago with 0 failures [09:40:25] RECOVERY - salt-minion processes on wtp1018 is OK: PROCS OK: 1 process with regex args ^/usr/bin/python /usr/bin/salt-minion [09:40:25] RECOVERY - MD RAID on wtp1018 is OK: OK: Active: 4, Working: 4, Failed: 0, Spare: 0 [09:40:34] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 40.00% of data above the critical threshold [50.0] [09:41:51] elukey: he's reimaging them to jessie, see SAL [09:42:25] RECOVERY - DPKG on wtp1015 is OK: All packages OK [09:42:25] RECOVERY - parsoid on wtp1015 is OK: HTTP OK: HTTP/1.1 200 OK - 1514 bytes in 0.026 second response time [09:42:34] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [09:42:36] RECOVERY - Disk space on wtp1015 is OK: DISK OK [09:42:45] RECOVERY - puppet last run on wtp1015 is OK: OK: Puppet is currently enabled, last run 2 seconds ago with 0 failures [09:42:55] RECOVERY - MD RAID on wtp1015 is OK: OK: Active: 4, Working: 4, Failed: 0, Spare: 0 [09:43:05] RECOVERY - salt-minion processes on wtp1015 is OK: PROCS OK: 1 process with regex args ^/usr/bin/python /usr/bin/salt-minion [09:43:44] RECOVERY - configured eth on wtp1015 is OK: OK - interfaces up [09:44:04] RECOVERY - dhclient process on wtp1015 is OK: PROCS OK: 0 processes with command name dhclient [09:44:05] RECOVERY - Check size of conntrack table on wtp1015 is OK: OK: nf_conntrack is 0 % full [09:44:24] moritzm: yes sorry I checked later on :) [09:46:45] PROBLEM - ElasticSearch health check for shards on logstash1006 is CRITICAL: CRITICAL - elasticsearch inactive shards 35 threshold =0.1% breach: status: yellow, number_of_nodes: 5, unassigned_shards: 35, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number [09:47:07] looking ^ [09:47:45] PROBLEM - ElasticSearch health check for shards on logstash1003 is CRITICAL: CRITICAL - elasticsearch inactive shards 35 threshold =0.1% breach: status: yellow, number_of_nodes: 5, unassigned_shards: 35, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number [09:47:54] PROBLEM - ElasticSearch health check for shards on logstash1002 is CRITICAL: CRITICAL - elasticsearch inactive shards 35 threshold =0.1% breach: status: yellow, number_of_nodes: 5, unassigned_shards: 35, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number [09:47:54] PROBLEM - ElasticSearch health check for shards on logstash1001 is CRITICAL: CRITICAL - elasticsearch inactive shards 35 threshold =0.1% breach: status: yellow, number_of_nodes: 5, unassigned_shards: 35, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number [09:48:15] PROBLEM - ElasticSearch health check for shards on logstash1004 is CRITICAL: CRITICAL - elasticsearch http://10.64.0.162:9200/_cluster/health error while fetching: HTTPConnectionPool(host=10.64.0.162, port=9200): Max retries exceeded with url: /_cluster/health (Caused by class socket.error: [Errno 111] Connection refused) [09:48:24] PROBLEM - ElasticSearch health check for shards on logstash1005 is CRITICAL: CRITICAL - elasticsearch inactive shards 35 threshold =0.1% breach: status: yellow, number_of_nodes: 5, unassigned_shards: 35, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number [09:54:59] (03PS5) 10Muehlenhoff: Use Yubico OTPs as a second authentication factor for members of the yubiauth group on iron [puppet] - 10https://gerrit.wikimedia.org/r/281630 [09:57:06] RECOVERY - puppet last run on mw2129 is OK: OK: Puppet is currently enabled, last run 24 seconds ago with 0 failures [10:03:39] PROBLEM - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is CRITICAL: JNX_ALARMS CRITICAL - No response from remote host 10.65.0.24 [10:05:29] RECOVERY - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is OK: JNX_ALARMS OK - 0 red alarms, 0 yellow alarms [10:14:31] 06Operations, 10Wikimedia-Language-setup, 10Wikimedia-Site-requests, 05MW-1.28-release-notes, and 4 others: Create Wikipedia Tulu - https://phabricator.wikimedia.org/T140898#2526239 (10Badikana) >>! In T140898#2525371, @Dereckson wrote: > So today I created the wiki and prepared a series of patches for ser... [10:23:01] (03PS1) 10Muehlenhoff: role::logging::mediawiki: Restrict to domain networks [puppet] - 10https://gerrit.wikimedia.org/r/303140 [10:23:23] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1013.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:25] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1014.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:28] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1015.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:28] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:29] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1016.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:30] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1017.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:32] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1018.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:32] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:36] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:38] !log T135176 pool wtp1013-wtp1018 [10:23:39] T135176: Migrate Parsoid cluster to Jessie / node 4.x - https://phabricator.wikimedia.org/T135176 [10:23:40] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:44] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:48] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:52] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:52] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1019.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:53] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1020.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:55] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1021.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:55] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:23:56] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1022.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:58] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1023.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:59] !log akosiaris@palladium conftool action : set/pooled=no; selector: wtp1024.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [10:23:59] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:24:04] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:24:04] !log T135176 depool wtp1019-wtp1024 [10:24:05] T135176: Migrate Parsoid cluster to Jessie / node 4.x - https://phabricator.wikimedia.org/T135176 [10:24:08] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:24:12] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:24:16] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:24:19] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:24:58] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 60.00% of data above the critical threshold [50.0] [10:25:39] (03PS2) 10Muehlenhoff: role::logging::mediawiki: Restrict to domain networks [puppet] - 10https://gerrit.wikimedia.org/r/303140 [10:27:35] (03CR) 10Paladox: "Thanks." [debs/gerrit] - 10https://gerrit.wikimedia.org/r/302498 (owner: 10Chad) [10:32:07] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [10:33:06] 06Operations, 10Ops-Access-Requests, 10Analytics: Add analytics team members to group aqs-admins to be able to deploy pageview APi - https://phabricator.wikimedia.org/T142101#2526291 (10ema) p:05Triage>03Normal [10:38:16] PROBLEM - puppet last run on actinium is CRITICAL: CRITICAL: puppet fail [10:38:37] PROBLEM - puppet last run on logstash1004 is CRITICAL: CRITICAL: puppet fail [10:45:47] (03PS3) 10Muehlenhoff: role::logging::mediawiki: Restrict to domain networks [puppet] - 10https://gerrit.wikimedia.org/r/303140 [10:53:49] (03PS2) 10Jcrespo: Apply workaround for T142135 [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303139 (https://phabricator.wikimedia.org/T142135) [10:54:42] !log killing elasticsearch on logstash1004 (stuck during shutdown) [10:54:46] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [10:54:57] 06Operations, 10ops-eqiad: Investigate strontium disk issues on 2016-08-05 - https://phabricator.wikimedia.org/T142187#2526331 (10akosiaris) [10:59:31] 06Operations, 13Patch-For-Review: setup/deploy oresrdb1001-oresrdb1002 - https://phabricator.wikimedia.org/T125562#2526388 (10akosiaris) [11:00:07] RECOVERY - ElasticSearch health check for shards on logstash1004 is OK: OK - elasticsearch status production-logstash-eqiad: status: yellow, number_of_nodes: 6, unassigned_shards: 4, number_of_pending_tasks: 4, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 11599, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number: 92.380952381, a [11:00:49] (03CR) 10Jcrespo: [C: 032] Apply workaround for T142135 [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303139 (https://phabricator.wikimedia.org/T142135) (owner: 10Jcrespo) [11:01:18] RECOVERY - ElasticSearch health check for shards on logstash1001 is OK: OK - elasticsearch status production-logstash-eqiad: status: yellow, number_of_nodes: 6, unassigned_shards: 2, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number: 94.2857142857, acti [11:01:47] RECOVERY - ElasticSearch health check for shards on logstash1005 is OK: OK - elasticsearch status production-logstash-eqiad: status: yellow, number_of_nodes: 6, unassigned_shards: 2, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number: 94.2857142857, acti [11:01:47] RECOVERY - ElasticSearch health check for shards on logstash1003 is OK: OK - elasticsearch status production-logstash-eqiad: status: yellow, number_of_nodes: 6, unassigned_shards: 2, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number: 94.2857142857, acti [11:03:06] RECOVERY - ElasticSearch health check for shards on logstash1002 is OK: OK - elasticsearch status production-logstash-eqiad: status: yellow, number_of_nodes: 6, unassigned_shards: 1, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number: 95.2380952381, acti [11:03:06] RECOVERY - ElasticSearch health check for shards on logstash1006 is OK: OK - elasticsearch status production-logstash-eqiad: status: yellow, number_of_nodes: 6, unassigned_shards: 1, number_of_pending_tasks: 0, number_of_in_flight_fetch: 0, timed_out: False, active_primary_shards: 35, task_max_waiting_in_queue_millis: 0, cluster_name: production-logstash-eqiad, relocating_shards: 0, active_shards_percent_as_number: 95.2380952381, acti [11:03:26] 06Operations, 10hardware-requests: codfw: (2) servers request for ORES redis databases - https://phabricator.wikimedia.org/T142190#2526394 (10akosiaris) [11:03:35] !log jynus@tin Synchronized wmf-config/db-codfw.php: Document T142135 (duration: 00m 56s) [11:03:36] T142135: LoadBalancer::waitForAll ignores critical group-load-only servers like 'recentchanges' slaves - https://phabricator.wikimedia.org/T142135 [11:03:40] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [11:03:46] 06Operations, 10hardware-requests: codfw: (2) servers request for ORES redis databases - https://phabricator.wikimedia.org/T142190#2526411 (10akosiaris) [11:03:49] 06Operations, 10Revision-Scoring-As-A-Service-Backlog: Set up oresrdb redis node in codfw - https://phabricator.wikimedia.org/T139372#2526412 (10akosiaris) [11:04:04] 06Operations, 10hardware-requests: codfw: (2) servers request for ORES redis databases - https://phabricator.wikimedia.org/T142190#2526394 (10akosiaris) p:05Triage>03Normal [11:04:06] 06Operations, 10Icinga, 06Operations-Software-Development: Automate creation of Phab task for failed disks - https://phabricator.wikimedia.org/T142085#2526414 (10Volans) [11:04:27] RECOVERY - puppet last run on actinium is OK: OK: Puppet is currently enabled, last run 7 seconds ago with 0 failures [11:04:28] 07Blocked-on-Operations, 06Operations, 10Continuous-Integration-Infrastructure, 07Zuul: Upgrade Zuul on scandium.eqiad.wmnet (Jessie zuul-merger) - https://phabricator.wikimedia.org/T140894#2526415 (10elukey) @hashar there is a problem uploading the jessie package: ``` Unable to find pool/thirdparty/z/zuu... [11:05:16] RECOVERY - puppet last run on logstash1004 is OK: OK: Puppet is currently enabled, last run 54 seconds ago with 0 failures [11:06:17] 06Operations, 06Operations-Software-Development: Package Python phabricator module for both Ubuntu Precise and Debian Jessie - https://phabricator.wikimedia.org/T142097#2526418 (10Volans) [11:06:18] !log jynus@tin Synchronized wmf-config/db-eqiad.php: Document T142135 and apply workaround (duration: 00m 52s) [11:06:19] T142135: LoadBalancer::waitForAll ignores critical group-load-only servers like 'recentchanges' slaves - https://phabricator.wikimedia.org/T142135 [11:06:23] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [11:27:59] (03PS1) 10Muehlenhoff: druid: Limit to domain networks [puppet] - 10https://gerrit.wikimedia.org/r/303144 [11:30:17] PROBLEM - OTRS SMTP on mendelevium is CRITICAL: Connection refused [11:33:34] RECOVERY - OTRS SMTP on mendelevium is OK: SMTP OK - 0.011 sec. response time [11:40:12] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 20.00% of data above the critical threshold [50.0] [11:41:22] db issue on db1034 [11:42:03] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [11:42:05] that is s7; and I just changed it [11:43:37] not sure it is related - seems an api issue is more likely [11:44:12] but this is not an api server- there are no api servers [11:44:16] 06Operations, 10Traffic, 07HTTPS, 07Tracking: [DO NOT USE] SSL related (tracking) [superseded by #HTTPS] - https://phabricator.wikimedia.org/T29946#2526687 (10Danny_B) 05Resolved>03Invalid p:05Normal>03Lowest a:05chasemp>03None [11:44:18] 06Operations, 10Traffic, 07HTTPS, 07Tracking: [DO NOT USE] SSL related (tracking) [superseded by #HTTPS] - https://phabricator.wikimedia.org/T29946#2526694 (10Danny_B) [11:45:21] let's add one [11:46:53] PROBLEM - OTRS SMTP on mendelevium is CRITICAL: Connection refused [11:48:44] RECOVERY - OTRS SMTP on mendelevium is OK: SMTP OK - 0.019 sec. response time [11:49:35] (03PS1) 10Jcrespo: Pool db1079 as an api server; reduce main load [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303145 (https://phabricator.wikimedia.org/T141090) [12:13:40] (03CR) 10Elukey: [C: 031] druid: Limit to domain networks [puppet] - 10https://gerrit.wikimedia.org/r/303144 (owner: 10Muehlenhoff) [12:14:11] !log just encountered https://wikitech.wikimedia.org/wiki/OTRS#SpamAssassin_stops_reporting_Bayes_results. Recovered the db with sa-learn --sync and then force spam/ham runs via the web interface [12:14:16] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [12:14:41] (03PS3) 10Paladox: Gerrit: Support footer prefix Task: for phabricator [puppet] - 10https://gerrit.wikimedia.org/r/302482 (https://phabricator.wikimedia.org/T91001) [12:16:34] PROBLEM - HP RAID on ms-be1026 is CRITICAL: CHECK_NRPE: Socket timeout after 40 seconds. [12:17:48] (03CR) 10Jcrespo: [C: 032] Pool db1079 as an api server; reduce main load [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303145 (https://phabricator.wikimedia.org/T141090) (owner: 10Jcrespo) [12:18:25] RECOVERY - HP RAID on ms-be1026 is OK: OK: Slot 3: OK: 2I:4:1, 2I:4:2, 1I:1:5, 1I:1:6, 1I:1:7, 1I:1:8, 1I:1:1, 1I:1:2, 1I:1:3, 1I:1:4, 2I:2:1, 2I:2:2, 2I:2:3, 2I:2:4, Controller, Battery/Capacitor [12:19:35] !log jynus@tin Synchronized wmf-config/db-eqiad.php: Pool db1079 as an api server; reduce main load (duration: 00m 49s) [12:19:39] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [12:32:37] 06Operations, 10Icinga, 06Operations-Software-Development: Automate creation of Phab task for failed disks - https://phabricator.wikimedia.org/T142085#2526760 (10Volans) Sample output of the data that will be automatically added to the generated task depending on the RAID type. = MegaRAID ``` === RaidStatus... [12:35:25] (03PS1) 10Volans: Monitoring: Add NRPE commands to get RAID status [puppet] - 10https://gerrit.wikimedia.org/r/303147 (https://phabricator.wikimedia.org/T142085) [12:37:27] (03CR) 10DCausse: mwgrep: fails gracefully when an invalid regex is provided (031 comment) [puppet] - 10https://gerrit.wikimedia.org/r/302892 (https://phabricator.wikimedia.org/T141996) (owner: 10DCausse) [12:37:34] (03PS3) 10DCausse: mwgrep: fails gracefully when an invalid regex is provided [puppet] - 10https://gerrit.wikimedia.org/r/302892 (https://phabricator.wikimedia.org/T141996) [12:42:36] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 40.00% of data above the critical threshold [50.0] [12:46:35] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [12:58:15] PROBLEM - OTRS SMTP on mendelevium is CRITICAL: Connection refused [12:59:16] PROBLEM - spamassassin on mendelevium is CRITICAL: PROCS CRITICAL: 0 processes with args spamd [13:03:41] (03PS2) 10Volans: Monitoring: Add NRPE commands to get RAID status [puppet] - 10https://gerrit.wikimedia.org/r/303147 (https://phabricator.wikimedia.org/T142085) [13:03:51] (03PS1) 10MarcoAurelio: Remove 'centralauth-usermerge' from stewards [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303150 [13:12:34] PROBLEM - HP RAID on ms-be1026 is CRITICAL: CHECK_NRPE: Socket timeout after 40 seconds. [13:13:01] (03PS3) 10Volans: Monitoring: Add NRPE commands to get RAID status [puppet] - 10https://gerrit.wikimedia.org/r/303147 (https://phabricator.wikimedia.org/T142085) [13:14:33] RECOVERY - HP RAID on ms-be1026 is OK: OK: Slot 3: OK: 2I:4:1, 2I:4:2, 1I:1:5, 1I:1:6, 1I:1:7, 1I:1:8, 1I:1:1, 1I:1:2, 1I:1:3, 1I:1:4, 2I:2:1, 2I:2:2, 2I:2:3, 2I:2:4, Controller, Battery/Capacitor [13:15:12] akosiaris: what's with OTRS? [13:15:31] akosiaris: smtp down for 15 minutes?? [13:17:45] (03PS1) 10Elukey: Add the 'analytics-admins' group to the deployment master [puppet] - 10https://gerrit.wikimedia.org/r/303155 [13:22:15] RECOVERY - OTRS SMTP on mendelevium is OK: SMTP OK - 0.006 sec. response time [13:22:22] anybody that could review --^ [13:22:30] !log started spamassassin/exim4 on mendelevium [13:22:34] RECOVERY - spamassassin on mendelevium is OK: PROCS OK: 3 processes with args spamd [13:22:35] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [13:23:00] I'd need to push the analytics-admins group to tin in order to have the correct whitelist for scap [13:24:04] pcc looks very verbose https://puppet-compiler.wmflabs.org/3617/tin.eqiad.wmnet/ [13:24:32] but it looks fine to me [13:26:27] (03CR) 10Volans: "@paravoid, some puppet compiler results are available here:" [puppet] - 10https://gerrit.wikimedia.org/r/303147 (https://phabricator.wikimedia.org/T142085) (owner: 10Volans) [13:27:17] paravoid: I amended https://gerrit.wikimedia.org/r/#/c/302271/ like you suggested :) [13:29:08] (03CR) 10Ottomata: "Hm, I bet these could be restricted to ANALYTICS_NETWORKS, at least for now." [puppet] - 10https://gerrit.wikimedia.org/r/303144 (owner: 10Muehlenhoff) [13:31:41] (03CR) 10Chad: "Yeah and I'm gonna fix this in the package. This was meant as a stopgap" [puppet] - 10https://gerrit.wikimedia.org/r/302491 (https://phabricator.wikimedia.org/T141803) (owner: 10Dzahn) [13:35:03] (03PS4) 10Ottomata: Remove pagecounts-[raw|all-sites] related code [puppet] - 10https://gerrit.wikimedia.org/r/302932 (https://phabricator.wikimedia.org/T130656) (owner: 10Joal) [13:36:22] (03PS1) 10Jgreen: remove temporary fundraising DKIM record from wikipedia.org zone template [dns] - 10https://gerrit.wikimedia.org/r/303159 (https://phabricator.wikimedia.org/T135410) [13:39:10] paravoid: I was rebuilding the bayes database [13:39:35] akosiaris: the log message suggested this was already done [13:39:41] and failed [13:39:47] and I thought that having exim stopped for a prolonged period of time wasn't great [13:39:56] (I called you twice :) [13:40:07] yeah, rebuilding that DB takes a bit of time [13:40:22] I I had lunch in the meantime [13:42:03] I think we can improve on the handoff :) [13:42:23] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 60.00% of data above the critical threshold [50.0] [13:43:27] (03CR) 10Ottomata: [C: 032] Remove pagecounts-[raw|all-sites] related code [puppet] - 10https://gerrit.wikimedia.org/r/302932 (https://phabricator.wikimedia.org/T130656) (owner: 10Joal) [13:49:21] !log gerrit: quick restart to pick up apache and java updates [13:49:26] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [13:49:53] (03Draft2) 10Paladox: Gerrit: Support http only, configured by a config [puppet] - 10https://gerrit.wikimedia.org/r/303146 (https://phabricator.wikimedia.org/T141803) [13:49:59] (03PS3) 10Paladox: Gerrit: Support http only, configured by a config [puppet] - 10https://gerrit.wikimedia.org/r/303146 (https://phabricator.wikimedia.org/T141803) [13:53:35] !log uploaded gerrit 2.12.2-wmf2 for jessie-wikipedia to apt.wikimedia.org [13:53:39] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [13:53:41] ^ paladox, ostriches [13:53:50] Thanks moritzm [13:54:03] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [13:54:59] (03PS1) 10Alexandros Kosiaris: strontium: Remove from puppetmaster workers entirely [puppet] - 10https://gerrit.wikimedia.org/r/303162 [13:55:54] PROBLEM - puppet last run on stat1002 is CRITICAL: CRITICAL: Puppet has 1 failures [13:56:38] !log strontium has issues, see https://phabricator.wikimedia.org/T142187 [13:56:42] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [13:56:53] (03CR) 10Alexandros Kosiaris: [C: 032 V: 032] strontium: Remove from puppetmaster workers entirely [puppet] - 10https://gerrit.wikimedia.org/r/303162 (owner: 10Alexandros Kosiaris) [13:58:56] 06Operations, 10fundraising-tech-ops, 07Security-General: use granularity (g=) restrictions for wikipedia.org fundraising DKIM records - https://phabricator.wikimedia.org/T142205#2526990 (10Jgreen) [14:00:03] RECOVERY - puppet last run on stat1002 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [14:00:24] 06Operations, 10Fundraising-Backlog, 10fundraising-tech-ops, 13Patch-For-Review: Allow Fundraising to A/B test wikipedia.org as send domain - https://phabricator.wikimedia.org/T135410#2527004 (10Jgreen) >>! In T135410#2522087, @faidon wrote: >>>! In T135410#2522057, @Jgreen wrote: >> "v=spf1 include:wikime... [14:00:48] 06Operations, 10fundraising-tech-ops, 07Security-General: use granularity (g=) restrictions for wikimedia.org fundraising DKIM records - https://phabricator.wikimedia.org/T142205#2526990 (10Jgreen) [14:05:50] Jeff_Green: thanks! [14:06:07] paravoid: yup! [14:11:54] PROBLEM - HP RAID on ms-be1026 is CRITICAL: CHECK_NRPE: Socket timeout after 40 seconds. [14:13:54] RECOVERY - HP RAID on ms-be1026 is OK: OK: Slot 3: OK: 2I:4:1, 2I:4:2, 1I:1:5, 1I:1:6, 1I:1:7, 1I:1:8, 1I:1:1, 1I:1:2, 1I:1:3, 1I:1:4, 2I:2:1, 2I:2:2, 2I:2:3, 2I:2:4, Controller, Battery/Capacitor [14:17:30] (03PS2) 10Elukey: Add the 'analytics-admins' group to the deployment master [puppet] - 10https://gerrit.wikimedia.org/r/303155 [14:27:18] (03CR) 10Elukey: [C: 032] Add the 'analytics-admins' group to the deployment master [puppet] - 10https://gerrit.wikimedia.org/r/303155 (owner: 10Elukey) [14:35:06] PROBLEM - Check size of conntrack table on wtp1024 is CRITICAL: Connection refused by host [14:35:18] PROBLEM - configured eth on wtp1021 is CRITICAL: Connection refused by host [14:35:18] PROBLEM - DPKG on wtp1024 is CRITICAL: Connection refused by host [14:35:47] PROBLEM - Disk space on wtp1024 is CRITICAL: Connection refused by host [14:35:47] PROBLEM - dhclient process on wtp1021 is CRITICAL: Connection refused by host [14:35:58] PROBLEM - parsoid on wtp1021 is CRITICAL: Connection refused [14:35:58] PROBLEM - MD RAID on wtp1024 is CRITICAL: Connection refused by host [14:36:06] PROBLEM - puppet last run on wtp1021 is CRITICAL: Connection refused by host [14:36:26] PROBLEM - salt-minion processes on wtp1021 is CRITICAL: Connection refused by host [14:36:37] PROBLEM - configured eth on wtp1024 is CRITICAL: Connection refused by host [14:36:57] PROBLEM - dhclient process on wtp1024 is CRITICAL: Connection refused by host [14:37:07] PROBLEM - parsoid on wtp1024 is CRITICAL: Connection refused [14:37:27] PROBLEM - puppet last run on wtp1024 is CRITICAL: Connection refused by host [14:37:27] PROBLEM - Check size of conntrack table on wtp1021 is CRITICAL: Connection refused by host [14:37:37] PROBLEM - DPKG on wtp1021 is CRITICAL: Connection refused by host [14:37:37] PROBLEM - salt-minion processes on wtp1024 is CRITICAL: Connection refused by host [14:37:57] PROBLEM - Disk space on wtp1021 is CRITICAL: Connection refused by host [14:38:17] PROBLEM - MD RAID on wtp1021 is CRITICAL: Connection refused by host [14:40:38] RECOVERY - configured eth on wtp1024 is OK: OK - interfaces up [14:40:57] RECOVERY - dhclient process on wtp1024 is OK: PROCS OK: 0 processes with command name dhclient [14:40:58] RECOVERY - Check size of conntrack table on wtp1024 is OK: OK: nf_conntrack is 0 % full [14:41:08] RECOVERY - parsoid on wtp1024 is OK: HTTP OK: HTTP/1.1 200 OK - 1514 bytes in 0.023 second response time [14:41:17] RECOVERY - DPKG on wtp1024 is OK: All packages OK [14:41:27] RECOVERY - puppet last run on wtp1024 is OK: OK: Puppet is currently enabled, last run 22 seconds ago with 0 failures [14:41:37] RECOVERY - salt-minion processes on wtp1024 is OK: PROCS OK: 1 process with regex args ^/usr/bin/python /usr/bin/salt-minion [14:41:46] RECOVERY - Disk space on wtp1024 is OK: DISK OK [14:41:57] RECOVERY - MD RAID on wtp1024 is OK: OK: Active: 4, Working: 4, Failed: 0, Spare: 0 [14:42:18] 06Operations, 10Cassandra, 10RESTBase-Cassandra, 06Services, 13Patch-For-Review: Throttle compaction throughput limit in line with instance count - https://phabricator.wikimedia.org/T140825#2527364 (10Eevans) 05Open>03Resolved The last of the changes associated with this issue have been applied to th... [14:46:24] 06Operations, 06Discovery, 06Discovery-Search-Backlog, 10Elasticsearch, 03Discovery-Search-Sprint: Enable access to relforge clusters from virtual machines running on labs - https://phabricator.wikimedia.org/T142211#2527394 (10Gehel) [14:46:47] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 20.00% of data above the critical threshold [50.0] [14:48:47] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [14:48:58] (03PS1) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [14:50:27] RECOVERY - salt-minion processes on wtp1021 is OK: PROCS OK: 1 process with regex args ^/usr/bin/python /usr/bin/salt-minion [14:51:26] RECOVERY - configured eth on wtp1021 is OK: OK - interfaces up [14:51:28] RECOVERY - Check size of conntrack table on wtp1021 is OK: OK: nf_conntrack is 0 % full [14:51:47] RECOVERY - DPKG on wtp1021 is OK: All packages OK [14:51:47] RECOVERY - dhclient process on wtp1021 is OK: PROCS OK: 0 processes with command name dhclient [14:51:57] RECOVERY - Disk space on wtp1021 is OK: DISK OK [14:51:58] RECOVERY - parsoid on wtp1021 is OK: HTTP OK: HTTP/1.1 200 OK - 1514 bytes in 0.025 second response time [14:52:07] RECOVERY - puppet last run on wtp1021 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [14:52:17] RECOVERY - MD RAID on wtp1021 is OK: OK: Active: 4, Working: 4, Failed: 0, Spare: 0 [14:52:52] (03PS2) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [14:54:40] (03Draft2) 10Paladox: Gerrit: Allow users to customise there db password [puppet] - 10https://gerrit.wikimedia.org/r/303171 [14:54:50] 06Operations, 10LDAP-Access-Requests: Assistance with LDAP Access for Transparency Report - https://phabricator.wikimedia.org/T140380#2527464 (10Dzahn) Hi @JbuattiWMF, done. "skidd" and "rgopal" have been added to the "wmf" group. [14:54:56] (03Draft1) 10Paladox: Gerrit: Allow users to customise there db password [puppet] - 10https://gerrit.wikimedia.org/r/303171 [14:55:03] 06Operations, 10LDAP-Access-Requests: Assistance with LDAP Access for Transparency Report - https://phabricator.wikimedia.org/T140380#2527465 (10Dzahn) 05Open>03Resolved [14:58:32] 06Operations, 10Deployment-Systems: error on tin:/srv/mediawiki-staging: insufficient permission for adding an object to repository database .git/objects - https://phabricator.wikimedia.org/T127093#2527467 (10Dzahn) Yep, that. I think it happens so regularly now, and we never see a root actually doing stuff ar... [15:06:25] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 40.00% of data above the critical threshold [50.0] [15:08:25] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [15:08:42] (03Draft2) 10Paladox: Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 [15:09:43] (03PS3) 10Paladox: Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 [15:09:49] (03Draft1) 10Paladox: Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 [15:10:53] (03CR) 10jenkins-bot: [V: 04-1] Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 (owner: 10Paladox) [15:11:44] (03CR) 10Paladox: "recheck" [puppet] - 10https://gerrit.wikimedia.org/r/303173 (owner: 10Paladox) [15:12:22] (03PS3) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [15:12:57] (03PS4) 10Paladox: Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 [15:13:35] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1019.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [15:13:36] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1020.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [15:13:38] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1021.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [15:13:40] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:13:40] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1022.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [15:13:41] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1023.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [15:13:43] !log akosiaris@palladium conftool action : set/pooled=yes; selector: wtp1024.eqiad.wmnet (tags: ['dc=eqiad', 'cluster=parsoid', 'service=parsoid']) [15:13:44] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:13:48] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:13:52] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:13:57] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:14:01] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:14:03] (03CR) 10jenkins-bot: [V: 04-1] Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 (owner: 10Paladox) [15:14:58] (03PS5) 10Paladox: Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 [15:16:13] !log T135176 pool wtp1019-wtp1024 [15:16:14] T135176: Migrate Parsoid cluster to Jessie / node 4.x - https://phabricator.wikimedia.org/T135176 [15:16:18] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [15:20:54] 06Operations, 10Parsoid, 06Services, 15User-mobrovac: Migrate Parsoid cluster to Jessie / node 4.x - https://phabricator.wikimedia.org/T135176#2527521 (10akosiaris) So, Parsoid @ EQIAD is now fully migrated. So most of this is basically done. What is still left to do is parsoid @ CODFW which is way way eas... [15:21:04] akosiaris, \o/ .. I suppose codfw is left after this. [15:21:32] subbu: yeah, but that should be a walk in the park [15:21:37] :) [15:24:56] (03CR) 10Alexandros Kosiaris: [C: 032] apertium-spa-arg: Initial Debian packaging [debs/contenttranslation/apertium-spa-arg] - 10https://gerrit.wikimedia.org/r/295122 (https://phabricator.wikimedia.org/T124370) (owner: 10KartikMistry) [15:25:08] (03CR) 10Alexandros Kosiaris: [C: 032] apertium-arg-cat: Initial Debian packaging [debs/contenttranslation/apertium-arg-cat] - 10https://gerrit.wikimedia.org/r/295121 (https://phabricator.wikimedia.org/T124369) (owner: 10KartikMistry) [15:32:12] (03PS5) 10Faidon Liambotis: Phab: Properly remove public_task_dump.py if $dump = false [puppet] - 10https://gerrit.wikimedia.org/r/302271 (owner: 10Chad) [15:32:30] (03CR) 10Faidon Liambotis: [C: 032] Phab: Properly remove public_task_dump.py if $dump = false [puppet] - 10https://gerrit.wikimedia.org/r/302271 (owner: 10Chad) [15:33:57] PROBLEM - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is CRITICAL: JNX_ALARMS CRITICAL - No response from remote host 10.65.0.24 [15:35:38] RECOVERY - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is OK: JNX_ALARMS OK - 0 red alarms, 0 yellow alarms [15:36:23] (03CR) 10Alexandros Kosiaris: [C: 04-1] "gbp:error: upstream/0.8.0_r57502 is not a valid treeish" [debs/contenttranslation/apertium-en-es] - 10https://gerrit.wikimedia.org/r/294314 (https://phabricator.wikimedia.org/T107306) (owner: 10KartikMistry) [15:36:25] (03PS1) 10Faidon Liambotis: network: move external_networks to hiera as well [puppet] - 10https://gerrit.wikimedia.org/r/303176 [15:37:10] (03CR) 10Faidon Liambotis: "Labs team, this is pending your investigation/review :)" [puppet] - 10https://gerrit.wikimedia.org/r/303176 (owner: 10Faidon Liambotis) [15:39:43] (03CR) 10Alexandros Kosiaris: [C: 04-1] "15:39:06 dpkg-source: info: local changes detected, the modified files are:" [debs/contenttranslation/apertium-dan] - 10https://gerrit.wikimedia.org/r/269912 (https://phabricator.wikimedia.org/T124137) (owner: 10KartikMistry) [15:40:17] (03CR) 10Alexandros Kosiaris: [C: 04-1] "15:39:17 dpkg-source: info: local changes detected, the modified files are:" [debs/contenttranslation/apertium-dan-nor] - 10https://gerrit.wikimedia.org/r/269916 (https://phabricator.wikimedia.org/T124137) (owner: 10KartikMistry) [15:41:05] (03CR) 10Alexandros Kosiaris: [C: 04-1] "15:40:21 dpkg-source: info: building apertium-en-ca using existing ./apertium-en-ca_0.9.3~r61328.orig.tar.bz2" [debs/contenttranslation/apertium-en-ca] - 10https://gerrit.wikimedia.org/r/294264 (https://phabricator.wikimedia.org/T107306) (owner: 10KartikMistry) [15:42:07] (03CR) 10Alexandros Kosiaris: [C: 04-1] "15:40:25 gbp:error: upstream/0.1.0+svn_r64379 is not a valid treeish" [debs/contenttranslation/apertium-urd-hin] - 10https://gerrit.wikimedia.org/r/296368 (https://phabricator.wikimedia.org/T107306) (owner: 10KartikMistry) [15:45:55] (03PS4) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [15:51:25] 06Operations, 10hardware-requests: EQIAD: (2) hardware access request for PUPPET - https://phabricator.wikimedia.org/T142218#2527576 (10akosiaris) [15:51:30] 06Operations, 10hardware-requests: CODFW: (2) hardware access request for PUPPET - https://phabricator.wikimedia.org/T142219#2527588 (10akosiaris) [15:52:03] WHY ARE YOU YELLING [15:53:55] THEY TELL IT WORKS!!!! [15:55:03] (03CR) 10Alexandros Kosiaris: "it will break labs. Probably this one won't though https://gerrit.wikimedia.org/r/#/c/302695/" [puppet] - 10https://gerrit.wikimedia.org/r/303176 (owner: 10Faidon Liambotis) [15:57:38] (03PS5) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [15:57:55] akosiaris: wth? [15:58:01] why are we duplicating all this into labs.yaml? [15:58:06] this is hiera ffs [15:58:15] paravoid: PUPPET is just really EXCITING! [15:58:28] the whole point of hiera is to be hierarchical [15:58:33] (03PS1) 10Andrew Bogott: Move labtest horizon to Mitaka [puppet] - 10https://gerrit.wikimedia.org/r/303179 [16:00:12] (03CR) 10Andrew Bogott: [C: 032] Move labtest horizon to Mitaka [puppet] - 10https://gerrit.wikimedia.org/r/303179 (owner: 10Andrew Bogott) [16:00:19] (03CR) 10Dzahn: ""test for now" ? please explain what this is testing." [puppet] - 10https://gerrit.wikimedia.org/r/302982 (owner: 10Paladox) [16:01:23] (03Abandoned) 10Paladox: Test for now [puppet] - 10https://gerrit.wikimedia.org/r/302982 (owner: 10Paladox) [16:02:59] !log T107306 uploaded to apt.wikimedia.org jessie-wikimedia: apertium-arg-cat_0.1.0~r64925-1+wmf1 [16:02:59] !log T107306 uploaded to apt.wikimedia.org jessie-wikimedia: apertium-spa-arg_0.4.0~r64399-1+wmf1 [16:03:00] T107306: Package and test apertium for Jessie - https://phabricator.wikimedia.org/T107306 [16:03:01] T107306: Package and test apertium for Jessie - https://phabricator.wikimedia.org/T107306 [16:03:02] (03CR) 10Dzahn: [C: 032] "no-op http://puppet-compiler.wmflabs.org/3619/" [puppet] - 10https://gerrit.wikimedia.org/r/302462 (owner: 10Chad) [16:03:03] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [16:03:06] paravoid: because... labs [16:03:07] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [16:03:12] (03PS2) 10Dzahn: Gerrit: Remove lets_encrypt variable, this is always true now [puppet] - 10https://gerrit.wikimedia.org/r/302462 (owner: 10Chad) [16:03:20] (03PS1) 10Muehlenhoff: openldap_labs: Limit to production networks and labs networks [puppet] - 10https://gerrit.wikimedia.org/r/303181 [16:03:37] 06Operations, 10hardware-requests: CODFW: (2) hardware access request for PUPPET - https://phabricator.wikimedia.org/T142219#2527646 (10RobH) a:05RobH>03mark We currently have four in warranty spares: codfw WMF6404 WMF6404 2019-03-24 A5 Dell PowerEdge R430 Intel® Xeon® Processor E5-2640 2.60 8 Yes 64 none... [16:04:04] PROBLEM - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is CRITICAL: JNX_ALARMS CRITICAL - No response from remote host 10.65.0.24 [16:05:55] RECOVERY - Juniper alarms on asw-d-eqiad.mgmt.eqiad.wmnet is OK: JNX_ALARMS OK - 0 red alarms, 0 yellow alarms [16:07:14] (03PS4) 10Dzahn: Adding my new SSH key to production [puppet] - 10https://gerrit.wikimedia.org/r/302277 (owner: 10Chad) [16:08:08] (03CR) 10Dzahn: [C: 032] "confirmed via registered and identified IRC user" [puppet] - 10https://gerrit.wikimedia.org/r/302277 (owner: 10Chad) [16:08:15] RECOVERY - Ensure NFS exports are maintained for new instances with NFS on labstore1001 is OK: OK - nfs-exports is active [16:08:16] 06Operations, 10Deployment-Systems: error on tin:/srv/mediawiki-staging: insufficient permission for adding an object to repository database .git/objects - https://phabricator.wikimedia.org/T127093#2527653 (10demon) >>! In T127093#2527467, @Dzahn wrote: > Yep, that. I think it happens so regularly now, and we... [16:16:47] (03CR) 10Alexandros Kosiaris: "Adding why it will break labs in case it's not clear. https://phabricator.wikimedia.org/diffusion/OPUP/browse/production/modules/puppetmas" [puppet] - 10https://gerrit.wikimedia.org/r/303176 (owner: 10Faidon Liambotis) [16:19:30] 06Operations, 10LDAP-Access-Requests: Assistance with LDAP Access for Transparency Report - https://phabricator.wikimedia.org/T140380#2527698 (10APalmer_WMF) Thanks, @Dzahn! [16:20:24] 06Operations, 10hardware-requests: CODFW: (2) hardware access request for PUPPET - https://phabricator.wikimedia.org/T142219#2527702 (10akosiaris) Yes, we can price out new systems, it's not incredibly urgent, especially if strontium is fixed in T142187. And the proposed spares are for more than required indee... [16:21:42] (03PS2) 10Alexandros Kosiaris: elasticsearch: Remove cruft notice [puppet] - 10https://gerrit.wikimedia.org/r/302935 [16:21:46] (03CR) 10Alexandros Kosiaris: [C: 032 V: 032] elasticsearch: Remove cruft notice [puppet] - 10https://gerrit.wikimedia.org/r/302935 (owner: 10Alexandros Kosiaris) [16:23:01] (03CR) 10Ottomata: Add a logrotate policy to the hdfs-balancer script (031 comment) [puppet] - 10https://gerrit.wikimedia.org/r/303136 (owner: 10Elukey) [16:24:05] (03PS1) 10BryanDavis: Add autopatrolled group for wikitech [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303183 [16:26:28] (03PS1) 10Andrew Bogott: Add some mitaka config files [puppet] - 10https://gerrit.wikimedia.org/r/303184 [16:29:09] (03PS2) 10Elukey: Add a logrotate policy to the hdfs-balancer script [puppet] - 10https://gerrit.wikimedia.org/r/303136 [16:29:51] 06Operations, 10DBA, 06Labs, 10Labs-Infrastructure: Enable access to Wikipedia Tulu (tcywiki) on labs replicas - https://phabricator.wikimedia.org/T142223#2527737 (10jcrespo) [16:30:02] (03CR) 10Ottomata: [C: 031] "Thanks!" [puppet] - 10https://gerrit.wikimedia.org/r/303136 (owner: 10Elukey) [16:30:22] 06Operations, 10DBA, 06Labs, 10Labs-Infrastructure: Enable access to Wikipedia Tulu (tcywiki) on labs replicas - https://phabricator.wikimedia.org/T142223#2527756 (10jcrespo) a:03jcrespo I have first to apply the filters on production side. [16:31:20] (03PS6) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [16:33:45] (03CR) 10Elukey: [C: 032] Add a logrotate policy to the hdfs-balancer script [puppet] - 10https://gerrit.wikimedia.org/r/303136 (owner: 10Elukey) [16:36:04] (03CR) 10Andrew Bogott: [C: 032] Add some mitaka config files [puppet] - 10https://gerrit.wikimedia.org/r/303184 (owner: 10Andrew Bogott) [16:36:09] (03PS2) 10Andrew Bogott: Add some mitaka config files [puppet] - 10https://gerrit.wikimedia.org/r/303184 [16:39:54] PROBLEM - puppet last run on analytics1027 is CRITICAL: CRITICAL: Puppet has 1 failures [16:40:05] (03PS7) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [16:43:21] (03PS1) 10Andrew Bogott: More nova bits to make mitaka/horizon puppet happy [puppet] - 10https://gerrit.wikimedia.org/r/303193 [16:45:13] (03CR) 10Andrew Bogott: [C: 032] More nova bits to make mitaka/horizon puppet happy [puppet] - 10https://gerrit.wikimedia.org/r/303193 (owner: 10Andrew Bogott) [16:46:25] (03PS1) 10Elukey: Fix HDFS logrotate filepath [puppet] - 10https://gerrit.wikimedia.org/r/303195 [16:46:43] (03CR) 10Elukey: [C: 032 V: 032] Fix HDFS logrotate filepath [puppet] - 10https://gerrit.wikimedia.org/r/303195 (owner: 10Elukey) [16:47:32] andrewbogott: o/ [16:47:43] elukey: go ahead and merge my thing [16:48:05] andrewbogott: ack [16:48:22] ahahah sorry too many channels [16:48:24] thanks a lot [16:49:14] (03PS1) 10Andrew Bogott: Baby step towards mitaka setup for nova.conf [puppet] - 10https://gerrit.wikimedia.org/r/303198 [16:49:16] (03PS1) 10Andrew Bogott: Add mitaka horizon files [puppet] - 10https://gerrit.wikimedia.org/r/303199 [16:50:55] (03CR) 10Andrew Bogott: [C: 032] Baby step towards mitaka setup for nova.conf [puppet] - 10https://gerrit.wikimedia.org/r/303198 (owner: 10Andrew Bogott) [16:51:00] (03PS2) 10Andrew Bogott: Baby step towards mitaka setup for nova.conf [puppet] - 10https://gerrit.wikimedia.org/r/303198 [16:51:07] (03PS2) 10Andrew Bogott: Add mitaka horizon files [puppet] - 10https://gerrit.wikimedia.org/r/303199 [16:51:33] RECOVERY - puppet last run on analytics1027 is OK: OK: Puppet is currently enabled, last run 1 minute ago with 0 failures [16:52:33] (03CR) 10Chad: [C: 04-1] Gerrit: Allow users to customise there db password (031 comment) [puppet] - 10https://gerrit.wikimedia.org/r/303171 (owner: 10Paladox) [16:53:00] (03CR) 10Andrew Bogott: [C: 032] Add mitaka horizon files [puppet] - 10https://gerrit.wikimedia.org/r/303199 (owner: 10Andrew Bogott) [16:53:28] (03CR) 10Paladox: Gerrit: Allow users to customise there db password (031 comment) [puppet] - 10https://gerrit.wikimedia.org/r/303171 (owner: 10Paladox) [16:53:34] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 80.00% of data above the critical threshold [50.0] [16:53:56] (03Abandoned) 10Paladox: Gerrit: Allow users to customise there db password [puppet] - 10https://gerrit.wikimedia.org/r/303171 (owner: 10Paladox) [16:54:23] (03CR) 10Chad: [C: 04-1] "Um, where does secure2.config come from? Gerrit doesn't make its own, it just writes to the file if there's differences between what was s" [puppet] - 10https://gerrit.wikimedia.org/r/303173 (owner: 10Paladox) [16:54:38] (03PS8) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [16:57:46] 06Operations, 10hardware-requests: CODFW: (2) hardware access request for PUPPET - https://phabricator.wikimedia.org/T142219#2527831 (10RobH) a:05mark>03RobH [16:59:33] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [17:00:30] (03Abandoned) 10Paladox: Gerrit: Symblink secure.config to secure2.config [puppet] - 10https://gerrit.wikimedia.org/r/303173 (owner: 10Paladox) [17:00:50] hrmm, "MediaWiki exceptions and fatals per minute" alerted... [17:00:52] lets see [17:01:18] (03PS1) 10Chad: Gerrit: Allow gerrit2 user/group to write to its config files [puppet] - 10https://gerrit.wikimedia.org/r/303204 [17:01:32] 06Operations, 10DBA, 06Labs, 10Labs-Infrastructure: Enable access to Wikipedia Tulu (tcywiki) on labs replicas - https://phabricator.wikimedia.org/T142223#2527858 (10jcrespo) a:05jcrespo>03None ``` $ for host in labsdb1001.eqiad.wmnet labsdb1003.eqiad.wmnet; do mysql -h $host -e "SELECT count(*) FROM t... [17:01:54] (03Draft2) 10Paladox: Gerrit: Make secure.config have a lesser permission 0664 [puppet] - 10https://gerrit.wikimedia.org/r/303203 [17:02:12] (03PS1) 10Chad: Gerrit: Allow gerrit2 user/group to write to its config files [puppet] - 10https://gerrit.wikimedia.org/r/303206 [17:02:37] (03Abandoned) 10Paladox: Gerrit: Make secure.config have a lesser permission 0664 [puppet] - 10https://gerrit.wikimedia.org/r/303203 (owner: 10Paladox) [17:02:39] looks like mostly "just" db errors [17:02:42] (03CR) 10Paladox: "https://gerrit.wikimedia.org/r/#/c/303206/" [puppet] - 10https://gerrit.wikimedia.org/r/303203 (owner: 10Paladox) [17:03:27] 06Operations, 10DBA, 06Labs, 10Labs-Infrastructure: Enable access to Wikipedia Tulu (tcywiki) on labs replicas - https://phabricator.wikimedia.org/T142223#2527737 (10AlexMonk-WMF) ```krenair@tools-bastion-03:~$ sql tcywiki ERROR 1049 (42000): Unknown database 'tcywiki_p'``` Needs a maintain-replicas run [17:03:31] AaronSchulz: should I cc you on these "performing implicit commit!" log error reports (if they aren't already reported)? I'm assuming you care re multi-dc work [17:06:52] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 80.00% of data above the critical threshold [50.0] [17:08:35] (03CR) 10Paladox: [C: 031] "Yes please." [puppet] - 10https://gerrit.wikimedia.org/r/303206 (owner: 10Chad) [17:08:51] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [17:08:56] jynus: db errors spiking in fatalmonitor [17:09:38] that's all I know now, just saw the alert and now looking at logstash [17:11:06] greg-g, it seems to have been spiking from time to time [17:11:37] but I do not see a pattern, it is not on the hosts I changed today [17:11:47] yeah, not sure if it's worrisome or not, thought you would know/have more context ("yeah, I"m doing X which might cause that.") [17:11:53] * greg-g nods [17:12:24] 06Operations, 06Services, 06Services-next, 05Security: Productize the Electron PDF render service & create a REST API end point - https://phabricator.wikimedia.org/T142226#2527912 (10GWicke) [17:13:46] it seems now it is sustained due to some mass deletion [17:14:33] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 100.00% of data above the critical threshold [50.0] [17:15:18] in this case is a master problem [17:15:34] deadlocks caused from lots of concurrent deletes [17:15:42] not something I touched [17:15:54] could be code, could be traffic patterns [17:17:48] if someone does 50 deletes per second, there is not really much to do about it, it will conflict with itself [17:17:59] greg-g, ^ [17:18:37] I've been monitoring that all day because I changed other slaves' config for an unrelated bug [17:19:51] this seems like a user .js script that does not respect waits [17:20:01] but it only affects himnself [17:20:22] 06Operations, 06Editing-Analysis: Connection time out to stat1003 - https://phabricator.wikimedia.org/T142126#2527976 (10HJiang-WMF) ssh -v stat1003 output: (thel laptop died from producing the output so I took a pictyre and transcribed the output) debug1: reading configuration data (path to my ssh config fil... [17:20:25] does not affect other traffic, so in this case, my recommendation is just ignore it [17:23:14] jynus: noted, thanks for looking! [17:28:50] 06Operations, 06Editing-Analysis: Connection time out to stat1003 - https://phabricator.wikimedia.org/T142126#2528028 (10AlexMonk-WMF) Hmm... Can you try changing your .ssh/config file to replace: `Host *.wikimedia.org *.wmnet !gerrit.wikimedia.org` with: `Host *.wikimedia.org *.wmnet !gerrit.wikimedia.org !ba... [17:30:22] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [17:31:58] 06Operations, 10Traffic: Varnish 4 stalls with two consecutive Range requests using HTTP persistent connections - https://phabricator.wikimedia.org/T142233#2528064 (10ema) [17:36:12] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 60.00% of data above the critical threshold [50.0] [17:37:50] I mentioned that the exception's alert may be prone to false positives: in the case of the database, sometimes db errors are the right option- this is literally a single user "misusing" the api, and it should be a warning, but not an error [17:40:29] * greg-g nods [17:41:22] if it continues, I will file a logging bug [17:45:52] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [17:46:01] (03PS3) 10BryanDavis: logstash: Parse nginx access logs for wdqs [puppet] - 10https://gerrit.wikimedia.org/r/299825 [17:49:51] 06Operations, 06Editing-Analysis: Connection time out to stat1003 - https://phabricator.wikimedia.org/T142126#2528265 (10HJiang-WMF) ssh -v stat1003 output with changed config add !bast*001 command: (thel laptop died from producing the output so I took a pictyre and transcribed the output) debug1: reading con... [17:55:54] (03CR) 10BryanDavis: "Cherry-picked PS3 to beta cluster for testing." [puppet] - 10https://gerrit.wikimedia.org/r/299825 (owner: 10BryanDavis) [18:03:13] ostriches: around? [18:05:59] Danny_B: Not for long, what's up? [18:09:14] PROBLEM - tools homepage -admin tool- on tools.wmflabs.org is CRITICAL: CRITICAL - Socket timeout after 20 seconds [18:13:26] ^ we know andrew is doing a brief emergency maint [18:26:07] !log restarting rabbitmq-server on labcontrol1001 [18:26:14] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [18:32:00] (03PS9) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [18:35:04] RECOVERY - tools homepage -admin tool- on tools.wmflabs.org is OK: HTTP OK: HTTP/1.1 200 OK - 3670 bytes in 0.116 second response time [18:35:21] (03PS1) 10Thcipriani: Beta: Add logstash port [puppet] - 10https://gerrit.wikimedia.org/r/303240 [18:36:23] (03CR) 10Jforrester: MoodBar: Disable on all wikis except nlwiki (031 comment) [mediawiki-config] - 10https://gerrit.wikimedia.org/r/301893 (https://phabricator.wikimedia.org/T131340) (owner: 10Jforrester) [18:41:23] 06Operations, 07RfC: #Varnish being used although archived - https://phabricator.wikimedia.org/T142244#2528429 (10Danny_B) [18:41:31] (03CR) 10BryanDavis: [C: 031] Beta: Add logstash port [puppet] - 10https://gerrit.wikimedia.org/r/303240 (owner: 10Thcipriani) [18:55:14] PROBLEM - Redis status tcp_6479 on rdb2006 is CRITICAL: CRITICAL ERROR - Redis Library - can not ping 10.192.48.44 on port 6479 [18:56:12] (03PS2) 10Paladox: [Timeline] Update path to extension [mediawiki-config] - 10https://gerrit.wikimedia.org/r/291673 [18:57:14] RECOVERY - Redis status tcp_6479 on rdb2006 is OK: OK: REDIS on 10.192.48.44:6479 has 1 databases (db0) with 4726362 keys - replication_delay is 0 [18:57:41] (03PS3) 10Paladox: [Timeline] Update path to extension [mediawiki-config] - 10https://gerrit.wikimedia.org/r/291673 [19:07:52] (03PS10) 10BBlack: nginx (1.11.3-1+wmf2) jessie-wikimedia; urgency=medium [software/nginx] (wmf-1.11.3) - 10https://gerrit.wikimedia.org/r/303170 [19:24:05] @BBlack: if you may 1 question about x_cache field in webrequest [19:25:12] bblack: sorry, if you may 1 question about x_cache field in webrequest [19:25:43] 06Operations, 10Traffic: Analyze Range requests on cache_upload frontend - https://phabricator.wikimedia.org/T142076#2528601 (10ema) This is a 24 hours sample collected on hosts in ulsfo, eqiad and esams. **cp4005 - Total 123158948** |norange |122827836|99.73% of total |range | 331004|0.27% of total |... [19:26:02] 06Operations, 10Graphite, 05MW-1.27-release-notes, 13Patch-For-Review: udp rcvbuferrors and inerrors on graphite1001 - https://phabricator.wikimedia.org/T101141#1330890 (10BBlack) I don't fully understand what's going on here, but the problem is getting increasingly worse, making a mess of graphs and avera... [19:27:05] nuria_: what's the question? [19:28:13] bblack: if i restrict queries to x-cache like '%cp4006%' i only get requests to upload.wikimedia.org [19:28:20] bblack: does that make sense? [19:28:42] nuria_: your observations line up with how the traffic clusters operate, it makes sense in that sense. [19:29:18] nuria_: just in keep in mind nothing about the cache hostnames (e.g. cpNNNN), or the format of that whole field or what it means, has any kind of long-term standard. We've changed it multiple times over the past several months. [19:29:27] bblack: ok, iam trying to put a dataset together for the folks working on caching research:https://phabricator.wikimedia.org/T128132 [19:29:59] bblack: so if they are happy with just requests to upload i think we can manage to give them two qweeks wich is what they need [19:30:27] bblack: as long as this convention lasted for teh last couple weeks i think is fine [19:30:48] nuria_: there's a lot of incorrect statements in that ticket, and probably more incorrect assumptions underlying things in that ticket [19:31:02] bblack: like .. ahem? [19:31:06] nuria_: X-Cache is for debugging, interpreting it is hard, and the meanings have changed over time... [19:31:10] (03PS1) 10Andrew Bogott: Temporarily disable instance creation and security group editing [puppet] - 10https://gerrit.wikimedia.org/r/303256 [19:31:23] nuria_: also, using one cache server is not the same as sampling a random subset of requests [19:31:26] bblack: but would they have changed in the last couple of weeks? [19:31:37] (03PS2) 10Andrew Bogott: Temporarily disable instance creation and security group editing [puppet] - 10https://gerrit.wikimedia.org/r/303256 [19:31:39] nuria_: there was no standard a couple of weeks ago, either :) [19:32:15] nuria_: what are you using to infer cache status? 'cache_status'? [19:32:32] bblack: jaja, ok, the sampling i get but we were trying to come up with strategies to give them a dataset with data that "made sense" without it being huge [19:32:37] bblack: yes, cache status [19:32:44] what do you think it means? :) [19:32:58] because I bet it doesn't mean what you want it to mean. it's a bad/legacy field. [19:33:43] there's a lot of misunderstanding in this area over time... [19:33:43] PROBLEM - puppet last run on californium is CRITICAL: CRITICAL: Puppet last ran 1 day ago [19:34:05] (03CR) 10Andrew Bogott: [C: 032] Temporarily disable instance creation and security group editing [puppet] - 10https://gerrit.wikimedia.org/r/303256 (owner: 10Andrew Bogott) [19:34:13] bblack: i see, could you or ema comment on the ticket suggesting what fields would be of use? [19:34:48] bblack: it is not high priority at all but we can easily provide them with data if we have it, i think ema might have talked to them in person [19:35:35] RECOVERY - puppet last run on californium is OK: OK: Puppet is currently enabled, last run 4 seconds ago with 0 failures [19:35:48] nuria_: basically from a "stable interface" sort of perspective, we really don't offer cache status data to analytics. the data can be inferred from X-Cache today, but we make no gaurantees about it changing over time. [19:36:01] bblack: I think that is fine [19:36:08] nuria_: and what's in X-Cache today requires some analysis itself, and there are more bins to put things in than hit or miss [19:36:40] bblack: as they want data for 2 weeks and no future follow up, but if we could give them info as to hit /miss (if it exists) [19:36:52] nuria_: interpretation of X-Cache is what drives: https://grafana.wikimedia.org/dashboard/db/varnish-caching [19:36:59] which gives an idea the kind of detail that's in there [19:37:16] not all requests are "hit" or "miss". Some are also "pass" or "int", even if you ignore layering [19:37:30] (the Disposition graph there) [19:38:05] (ignore the ugly small spikes in the data, they're artifacts of some bug in our graphite setup lately) [19:38:36] bblack: i see, and "pass" end up as "miss" in our system, correct? [19:39:30] no, cache_status is completely different and wrong in ways that are difficult to even correlate to the real world [19:39:41] bblack: ok [19:39:50] it should be deleted from the fields, we've brought it up before [19:40:14] PROBLEM - puppet last run on palladium is CRITICAL: CRITICAL: puppet fail [19:40:16] or replaced with cache-server-side analysis of X-Cache, perhaps, but that would change the data values substantially I think [19:40:39] X-Cache can be interepreted with a regex as follows to put things in the 4 basic dispositions: [19:40:42] (03PS13) 10Madhuvishy: [WIP] labstore: Configure drbd for a HA labstore setup [puppet] - 10https://gerrit.wikimedia.org/r/302488 [19:41:26] in this order: /hit/ => hit, /int/ => int, /pass,[^,]+$/ => pass, /miss/ => miss, else it's unknown (a bug?) [19:41:51] many of the X-Cache lines will match multiple of those regex, but the first one that matches in order is the overall disposition [19:42:03] (currently, subject to ongoing evolution...) [19:43:22] bblack: i see, so they can infer the info they want , we just have to get rid of cache_status [19:43:31] also, I believe we already split webrequest topics by cache cluster [19:43:53] there's a webrequest_upload to sample from for all cache_upload cluster, webrequest_text for the cache_text cluster, etc [19:43:57] bblack: mmm... no , there is text (everything) and maps and others [19:44:28] bblack: ah ok, yes, 1 huge bucket and several small ones [19:45:03] yeah I don't know about the bigger bucket, but we send per-cache-cluster buckets in our config as --metric-prefix=varnishkafka.cp4006.webrequest.$cluster [19:45:10] where cluster is text, upload, maps, or misc [19:46:49] bblack: ok, will add this info to ticket and remove cache status entirely, thank you [19:48:03] RECOVERY - puppet last run on palladium is OK: OK: Puppet is currently enabled, last run 30 seconds ago with 0 failures [19:58:14] bblack: and to verify, we should no longer populate cache_status on webrequest correct? [20:21:40] 06Operations, 10Wikimedia-Language-setup, 10Wikimedia-Site-requests, 05MW-1.28-release-notes, and 4 others: Create Wikipedia Tulu - https://phabricator.wikimedia.org/T140898#2528762 (10Dereckson) [20:27:40] 06Operations, 06Editing-Analysis: Connection time out to stat1003 - https://phabricator.wikimedia.org/T142126#2528793 (10Dzahn) The user exists on stat1003 exactly like it does on stat1002. The log file on stat1002 shows succesful logins from hjiang. The log file on stat1003 does not show any fails or logins... [20:29:26] 06Operations, 06Services: Migrate SCA cluster to SCB (Jessie and Node 4.2) - https://phabricator.wikimedia.org/T96017#2528807 (10greg) [20:42:00] 06Operations, 10Fundraising-Backlog, 10Traffic, 13Patch-For-Review: Switch Varnish's GeoIP code to libmaxminddb/GeoIP2 - https://phabricator.wikimedia.org/T99226#2528897 (10DStrine) [20:45:46] (03PS2) 10Jforrester: Simplify the VE RB URL config some more, now that we no longer use wgServerName [mediawiki-config] - 10https://gerrit.wikimedia.org/r/294713 (owner: 10Alex Monk) [20:46:45] (03CR) 10Jforrester: [C: 04-1] 2 more to extension.json for wmf/1.28.0-wmf.13 (031 comment) [mediawiki-config] - 10https://gerrit.wikimedia.org/r/302943 (https://phabricator.wikimedia.org/T139800) (owner: 10Reedy) [20:47:04] (03PS2) 10Reedy: 2 more to extension.json for wmf/1.28.0-wmf.13 [mediawiki-config] - 10https://gerrit.wikimedia.org/r/302943 (https://phabricator.wikimedia.org/T139800) [20:47:28] (03CR) 10Krinkle: [C: 031] mwgrep: fails gracefully when an invalid regex is provided [puppet] - 10https://gerrit.wikimedia.org/r/302892 (https://phabricator.wikimedia.org/T141996) (owner: 10DCausse) [20:47:56] (03PS3) 10Reedy: extension-list: Move GlobalBlocking and MoodBar to extension.json [mediawiki-config] - 10https://gerrit.wikimedia.org/r/302943 (https://phabricator.wikimedia.org/T139800) [20:48:14] 06Operations, 10Fundraising Tech Backlog, 10Fundraising-Backlog, 10Mail: Add granularity limiter (g=) to wikimedia.org DKIM record(s) - https://phabricator.wikimedia.org/T140316#2528972 (10DStrine) [20:57:02] (03CR) 10Krinkle: [C: 031] Simplify the VE RB URL config some more, now that we no longer use wgServerName [mediawiki-config] - 10https://gerrit.wikimedia.org/r/294713 (owner: 10Alex Monk) [20:59:25] (03CR) 10Dzahn: [C: 032] Gerrit: Allow gerrit2 user/group to write to its config files [puppet] - 10https://gerrit.wikimedia.org/r/303206 (owner: 10Chad) [20:59:32] (03PS2) 10Dzahn: Gerrit: Allow gerrit2 user/group to write to its config files [puppet] - 10https://gerrit.wikimedia.org/r/303206 (owner: 10Chad) [20:59:40] (03PS1) 10Reedy: Add transitionary config for timeline [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303302 [20:59:42] (03PS1) 10Reedy: Remove timeline old config [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303303 (https://phabricator.wikimedia.org/T140852) [21:00:58] (03CR) 10Reedy: [C: 04-2] "Needs to wait for .14 to be everywhere" [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303303 (https://phabricator.wikimedia.org/T140852) (owner: 10Reedy) [21:01:22] (03CR) 10Reedy: Add transitionary config for timeline (031 comment) [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303302 (owner: 10Reedy) [21:01:24] (03CR) 10Reedy: [C: 032] Add transitionary config for timeline [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303302 (owner: 10Reedy) [21:01:48] (03Merged) 10jenkins-bot: Add transitionary config for timeline [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303302 (owner: 10Reedy) [21:02:20] gerrit restarting because the mode on the config file changed [21:02:43] didnt think of it because content did not change [21:02:48] hahaha [21:02:52] done [21:02:55] I was about to complain :) [21:03:11] !log reedy@tin Synchronized wmf-config/CommonSettings.php: Add transitionary timeline config primarily for beta (duration: 00m 57s) [21:03:16] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [21:06:45] thanks paladox [21:07:14] your welcome [21:10:23] (03Abandoned) 10Reedy: Update WikimediaMessages LicenseTexts entry point in extension-list [mediawiki-config] - 10https://gerrit.wikimedia.org/r/302940 (https://phabricator.wikimedia.org/T139800) (owner: 10Reedy) [21:26:34] (03PS1) 10Dzahn: gerrit: let gerrit2 user write to config dir [puppet] - 10https://gerrit.wikimedia.org/r/303306 [21:26:54] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:26:55] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:26:55] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:26:56] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:26:57] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:26:58] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:26:59] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:00] Spam [21:27:00] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:01] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:03] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:04] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:05] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:06] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:07] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:08] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:09] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:10] !staff !staff HOLA HOY VENGO A HABLAR DE DON ALVARO MOLINA (CONOCIDO COMO EL SOPLON) ES UN IDIOTA DE MIERDA Q SIEMPRE LE GUSTA SOPLAR TODO LO Q HAGO A LOS BIBLICOS PARA Q ME BANEAN Y ARRUINEN MI VIDA.. EL ES UN ESTUPIDO IMBECIL Q DEBE MORIIR Y Q MATARE CON MIS PROPIAS MANOS.. OJALA SE MUERA KILL EL CHUCHAESUMARE POR AVERME DELATADO CON JEM EN EL MALDITO CANAL DE LA WIKIMEDIA PERUANA (PERUANOS DE MIERDA) Y EN EL CANAL DE OPERADORES CON SU [21:27:15] KILL ALVARO MOLINA [21:27:34] thanks reedy [21:27:38] thanks [21:28:03] (03CR) 10Paladox: [C: 031] "Thanks." [puppet] - 10https://gerrit.wikimedia.org/r/303306 (owner: 10Dzahn) [21:33:17] (03Abandoned) 10Reedy: Disable Special:GlobalAllocation as it OOMs [mediawiki-config] - 10https://gerrit.wikimedia.org/r/285073 (https://phabricator.wikimedia.org/T55443) (owner: 10Reedy) [21:33:43] and it did not even wait to be kicked [21:33:44] we should ask channel ops, if they want to have sigyn permanent in this channel [21:33:52] this would prevent us from this [21:34:01] even if there is no op online [21:36:22] too bad they didn't just flood out [21:36:37] lol [21:41:27] apergos: if we habve sigyn, sigyn gets angry, because they flood, and kills them ;) [21:41:50] that's one way to do it [21:51:44] we'd need a whitelist for icinga [21:52:52] I think that can be arranged [21:54:03] oh, with Sigyn... probably? [21:57:58] (03CR) 10Dzahn: [C: 032] gerrit: let gerrit2 user write to config dir [puppet] - 10https://gerrit.wikimedia.org/r/303306 (owner: 10Dzahn) [21:58:33] (03Draft2) 10MarcoAurelio: Cleanup of IP throttles [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303312 [22:04:01] (03CR) 10MarcoAurelio: "Code looks OK to me, but why do we need an autopatrolled group there?" [mediawiki-config] - 10https://gerrit.wikimedia.org/r/303183 (owner: 10BryanDavis) [22:06:48] mutante it seems that https://gerrit.wikimedia.org/r/#/c/303306/ needs merging [22:06:49] please [22:06:57] huge que in zuul [22:07:03] que = queue [22:12:12] paladox: i know that. we dont need to repeat it on every change [22:12:18] Oh sorry [22:12:57] it is applied now. as you say yourself, have to wait for verify [22:14:24] Ok [22:14:25] thanks [22:14:39] AndyRussG: anyone to deploy 54a9b5a7844e63e901bd1f7f85f4bdb67bab7d09 to wmf_deploy? [22:17:18] (03CR) 10Dzahn: "no interest in this amire80? you said you want it on all hosts, that would fix that." [puppet] - 10https://gerrit.wikimedia.org/r/301326 (https://phabricator.wikimedia.org/T141255) (owner: 10Dzahn) [22:26:16] AaronSchulz: hi! looking.... [22:28:16] AaronSchulz: yeah looks very risk-free... correct? [22:28:53] We have another pending deploy which is to convert CN to extension registration. Just merged, now on the beta cluster [22:30:09] I think we could deploy the two together next week. Does that sound good? From the commit message, I understand that the main benefit of the start/endAtomic patch is to get rid of unwanted warnings, right? [22:35:56] PROBLEM - MediaWiki exceptions and fatals per minute on graphite1001 is CRITICAL: CRITICAL: 60.00% of data above the critical threshold [50.0] [22:37:32] !log rebooting labvirt1014 as part of a protracted iptables/nova-compute investigation [22:37:37] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [22:37:47] RECOVERY - MediaWiki exceptions and fatals per minute on graphite1001 is OK: OK: Less than 1.00% above the threshold [25.0] [22:39:44] AndyRussG: it's the only warnings I see now [22:48:35] 06Operations, 10Ops-Access-Requests, 06Research-and-Data, 10Research-collaborations: Analytics cluster access request for ISI Foundation team - https://phabricator.wikimedia.org/T141634#2529537 (10DarTar) > Hi! The document [[ https://phabricator.wikimedia.org/L3 | Acknowledgement of Wikimedia Server Acce... [22:49:20] 06Operations, 10Ops-Access-Requests, 06Research-and-Data, 10Research-collaborations: Analytics cluster access request for ISI Foundation team - https://phabricator.wikimedia.org/T141634#2529542 (10DarTar) (and I am the POC for this NDA: https://www.mediawiki.org/wiki/Wikimedia_Research/Collaborators ) [22:54:43] AaronSchulz: Ah ok, so I guess we should get rid of those.... ;p I'll try for Monday, then? [22:54:46] thx!!! [23:11:31] (03PS2) 10Dzahn: planet: add mapped IPv6 address on VMs [puppet] - 10https://gerrit.wikimedia.org/r/302862 [23:12:06] (03CR) 10Dzahn: [C: 032] planet: add mapped IPv6 address on VMs [puppet] - 10https://gerrit.wikimedia.org/r/302862 (owner: 10Dzahn) [23:21:40] (03Draft2) 10Paladox: Switching all planets links to https [puppet] - 10https://gerrit.wikimedia.org/r/303321 [23:23:04] (03PS3) 10Paladox: Switching all planets links to https [puppet] - 10https://gerrit.wikimedia.org/r/303321 [23:31:46] (03PS4) 10Paladox: Switching most feed links in planets to https [puppet] - 10https://gerrit.wikimedia.org/r/303321 [23:36:12] (03PS1) 10Dzahn: planet: switch all links to other langs to https [puppet] - 10https://gerrit.wikimedia.org/r/303323 (https://phabricator.wikimedia.org/T141480) [23:37:20] (03CR) 10Paladox: [C: 031] planet: switch all links to other langs to https [puppet] - 10https://gerrit.wikimedia.org/r/303323 (https://phabricator.wikimedia.org/T141480) (owner: 10Dzahn) [23:39:43] !log tgr@tin Synchronized php-1.28.0-wmf.13/includes/api/ApiLogin.php: temporarily re-add dropped API feature to unbreak Pywikibot T142155 (duration: 00m 48s) [23:39:45] T142155: Bot can't login. keyError in GetCookie - https://phabricator.wikimedia.org/T142155 [23:39:48] Logged the message at https://wikitech.wikimedia.org/wiki/Server_Admin_Log, Master [23:40:14] 06Operations, 10Traffic, 07HTTPS: Make wikimedia italia https - https://phabricator.wikimedia.org/T142268#2529635 (10Paladox) [23:44:19] 06Operations, 10Traffic, 07HTTPS: Make wikimedia italia https - https://phabricator.wikimedia.org/T142268#2529622 (10Peachey88) It's not hosted on the cluster [23:44:57] 06Operations, 10Traffic, 07HTTPS: Make wikimedia italia https - https://phabricator.wikimedia.org/T142268#2529641 (10Paladox) Hi nope, but Wikimedia lanaguges do not make it easy to report this stuff. [23:46:33] 06Operations, 10Traffic, 07HTTPS: Make wikimedia italia https - https://phabricator.wikimedia.org/T142268#2529622 (10Dzahn) I think maybe we could have one single ticket like "wikimedia chapters that dont have working https". (and then send some mails about it) [23:47:28] (03PS2) 10Dzahn: planet: switch all links to other langs to https [puppet] - 10https://gerrit.wikimedia.org/r/303323 (https://phabricator.wikimedia.org/T141480) [23:47:34] (03CR) 10Dzahn: [C: 032] planet: switch all links to other langs to https [puppet] - 10https://gerrit.wikimedia.org/r/303323 (https://phabricator.wikimedia.org/T141480) (owner: 10Dzahn) [23:48:09] (03PS5) 10Paladox: Switching most feed links in planets to https [puppet] - 10https://gerrit.wikimedia.org/r/303321 [23:49:23] (03PS6) 10Paladox: Switching most feed links in planets to https [puppet] - 10https://gerrit.wikimedia.org/r/303321