Como estatística pode enganar júris /ou: Deixa pra quem sabe...

Nossa racionalização do incerto é no mínimo falha. Este vídeo mostra como profissionais não qualificados em lidar com os números estatísticos são levados a tirar conclusões erradas sendo algumas delas com graves conseqüências.

Diagram.Net on Mono /ou: No Linux também rola...

Depois de descobrir um bug no compilador do Mono C#, mudar algumas linhas de código aqui e ali, consegui fazer o Diagram.Net rodar no Linux. Cool!

Local Solr /ou: Don't give up!

It seems that Patrick is going to give up! Patrick: DON'T GIVE UP!

If there is anything we can do to help, please, let us know!

Distribuindo Processamento 2 /ou: Mais um pra lista de estudos...

Hoje assisti o video Functions + Messages + Concurrency = Erlang. Eu sabia que Erlang era uma linguagem desenvolvida para processamento paralelo (entre outras coisas). Mas o que eu não sabia era que é possível ter também processamento distribuído! Fazendo download do último release agora!

Distribuindo Processamento /ou: fica ai a dica…

Tenho acompanhado com certo afinco três tecnologias: PLINQ, CUDA e HADOOP. O meu interesse existe pois todas essas tecnologias são de alguma forma uma solução para o processamento paralelo. Afinal, como processar toda a montanha de dados que nos circula (tema mais do que recorrente neste blog)?

Essas tecnologias usam abordagens diferentes para distribuir o processamento: PLINQ: CPUs locais; CUDA: GPUs; e HADOOP: SERVERs (CPUs distribuídas).

O PLINQ (e sua infra-estrutura) tenta usar os processadores disponíveis em uma CPU (normalmente de 2 a 8) para realizar o processamento paralelo.

Outra forma de processar dados é utilizando a GPU do seu computador (e você pensou que ela servia só para games?). CUDA é a arquitetura criada pela NVidia que auxilia a distribuição do processamento entre esses pequenos processadores (norma lmente 128!).

Já o Hadoop auxilia distribuir o processamento entre muitos computadores. E eles podem ser muitos!

O interessante em estudar essas tecnologias é que os conceitos (particionamento, shared resources, locks, etc.) são válidos para os três cenários. E muito dos problemas também são os mesmos. Acho que o principal é a dificuldade em abstrair o fato de existir o processamento paralelo.

Bom, para os interessados em processamento distribuído, paralelo, cloud, grid e afins, fica ai a dica de estudo.

Numerati na Publicidade /ou: Miracle Banana Diet

Via TheNumerati.Net

The Unreasonable Effectiveness of Data /ou: O caos é bom

Na mesma linha do The End of Theory: The Data Deluge Makes the Scientific Method Obsolete, o artigo The Unreasonable Effectiveness of Data destaca principalmente como uma grande quantidade de dados pode ajudar na computação linguística.

Do artigo:

Eugene Wigner’s article “The Unreasonable Effectiveness of Mathematics in the Natural Sciences” examines why so much of physics can be neatly explained with simple mathematical formulas such as f = ma or e = mc2. Meanwhile, sciences that involve human beings rather than elementary particles have proven more resistant to elegant mathematics. Economists suffer from physics envy over their inability to neatly model human behavior. An informal, incomplete grammar of the English language runs over 1,700 pages. Perhaps when it comes to natural language processing and related fields, we’re doomed to complex theories that will never have the elegance of physics equations. But if that’s so, we should stop acting as if our goal is to author extremely elegant theories, and instead embrace complexity and make use of the best ally we have: the unreasonable effectiveness of data.

...

The first lesson of Web-scale learning is to use available large-scale data rather than hoping for annotated data that isn’t available.

Value pela dica Daniel!

Dados /ou: Ainda não o suficiente

Recentemente tenho postado sobre a montanha de dados que temos na nossa frente e não sabemos o que fazer com ela.

Mas parece que não temos dados suficiente ainda!

Segundo Tim Berners-Lee, criador da WWW, os dados estão presos e o que temos hoje é difícil de ser obtido, formato em documento, ou está escondido. Ele pede que liberem esses dados de forma "crua" o mais rápido possível. Ai vai o vídeo que ele fez para o TED 2009:

[OFFTOPIC] Sociedade do Automóvel

Este blog defende a idéia de que há vida após o carro, principalmente aqui em São Paulo. Enquanto um outro blog não sai, aqui vai uma dica legal sobre o assunto:

Sociedade do Automóvel


O movimento para utilização de bicicleta como alternativa ao carro é bem forte, com dezenas de blogs, e bacana por um lado. Porém acredito que não seja a única solução. Vou tentar encontrar mais informações sobre isso e, quem sabe, montar um blog no futuro. Mais alguem interessado?

Dados /ou: Sobrevivendo ao dilúvio

Coisa rápida. Apenas para reforçar os últimos posts.

Olha a capa da ACM Communications de Dezembro/2008: Surviving the Data Deluge

Estatística /ou: Os novos Samurais

Quem acompanha este blog deve ter percebido que o assunto desenvolvimento tem saído de cena aos poucos e outros temas tem tomado seu lugar: data mining, inteligência coletiva, web 2.0, etc.

Motivo: desenvolvimento é um problema resolvido.

Chegamos num estágio que as atuais metodologias e técnicas conseguem atingir a raiz do problema de desenvolvimento de software, por motivos que deixarei pra um futuro post, mas, resumidamente: afinal entregamos com qualidade, sempre!

E apesar de ainda termos infinitas discussões sobre TDD, BDD, XP, SCRUM, etc., vemos que o cliente (Product Owner, por exemplo) já está muito contente com o resultado. Novamente, afinal, entregamos com qualidade!

Sim, ainda temos que quebrar a cabeça em criar uma abstração do problema real e colocar essa coisa pra rodar. Mas depois fazer isso muitas vezes, convenhamos, fica chato... e não importa se isso é traduzido para LISP, C#, Haskell ou JScript.

Bom... o que um cientista da computação faz com um problema resolvido? Encontra outro problema!

O problema que me propus a resolver (pretensioso, claro!) é: geramos uma quantidade de dados enorme pelas infinitas aplicações que desenvolvemos. O que fazemos com isso? Atualmente estamos olhando para uma montanha de dados de tamanho colossal. Mas não conseguimos encontrar muita coisa ali. Olhamos.... E olhamos mais um pouco.... E nada aparece.

O que será que podemos fazer com esse monte de "nada"?

O que estou vendo acontecer é que sai a era do exato, bit e bytes, zeros e uns, e entra a era da estatística, da probabilidade, da aceitação da falta de exatidão...

Será? Bom... se você ainda tem alguma dúvida, dá uma olhada nesse trecho de post do blog oficial do Google:

Hal Varian likes to say that the sexy job in the next ten years will be statisticians. After all, who would have guessed that computer engineers would be the cool job of the 90s? When every business has free and ubiquitous data, the ability to understand it and extract value from it becomes the complimentary scarce factor. It leads to intelligence, and the intelligent business is the successful business, regardless of its size. Data is the sword of the 21st century, those who wield it well, the Samurai.

Estou longe de ser um Samurai, mas já estou fazendo aula de japonês.

Crise mundial e o Desemprego /ou: A ocasião faz o ladrão

Programming Interviews Exposed: Secrets to Landing Your Next Job, 2nd

Se um programador der preferência por ler um livro como este ao invés de ler um livro técnico, algo não está certo na carreira dessa pessoa. Seja com crise ou sem crise.

The Numerati /ou: Rastros digitais

Comprar no supermercado, assistir ao canal digital, navegar pela internet, enviar um e-mail, pagar uma compra com seu cartão ou criar um post no seu blog. Ações sem muita importância, certo? Afinal de contas, que importância tem aquele molho especial que você comprou pra tentar na salada nova? Infelizmente, esse molho e o padrão de escrita de seus posts e os canais de TV que você assiste coincidem com o comportamento dos 89% dos terroristas conhecidos. Você agora é vigiado e talvez passe um tempo em salas de interrogatórios tentando explicar porque comprou aquele maldito molho.

O exemplo é exagerado, eu sei, mas é apenas para mostrar que hoje em dia qualquer “ação digital” que fazemos deixa um rastro que pode ser computada e assim achar padrões para os mais diversificados propósitos.

Mostrar o que está sendo feito com esses dados e o que ainda está por vir é intenção do livro The Numerati.

Um livro leve, que não tem a pretensão de explicar a matemática, estatística e os algoritmos por trás do mundo de mineração de dados, mas sim mostrar onde e como essa ciência está sendo aplicada. Trabalho, compras, política, internet, segurança e terrorismo, saúde e relacionamento são os principais tópicos, estudados um por um, apresentam detalhes que não sabíamos antes e que só os números e a computação podem nos mostrar.

Isso acaba levantando questões sobre privacidade, legalidade e até onde o seu molho especial diz algo sobre você.

Recomendo a leitura.

Como a mente funciona /ou: 4 bilhões de registradores

Quando um autor cita num mesmo livro Isaac Asimov, Charles Darwin, Alan Turing e Richard Dawkins para explicar o funcionamento da mente humana, aprende-se acidentalmente alguma coisa sobre nosso cérebro e como ele funciona.

Para quem ainda não leu "Como a mente funciona", fica aqui a forte recomendação.

João e Ciça, obrigado novamente pelo presente!

RSearch /ou: Sábado chuvoso

Sábado chuvoso, vontade de aprender uma linguagem nova e aprofundar os conhecimentos em um conceito. Deu um trabalhinho, mas está ai: rsearch.

Contracts /ou: Bureaucracy Programming?

Aparentemente o tio Bill ainda passa por aqui.

Windows 7 /ou: Resolvendo o problema do botão de desligar

Dentro do possível, parece que os métodos ágeis influenciaram o processo de desenvolvimento do Windows 7:

In Windows 7, senior management has been extremely supportive of the various development teams that have had to make the hard decisions to scale back features that were not going to be able to make the quality bar associated with a Windows release – and there absolutely are major features that have gone all the way through planning only to discover that there was too much work associated with the feature to complete it in the time available. In Vista it would have been much harder to convince senior management to abandon features. In Win7 senior management has stood behind the feature teams when they’ve had to make the tough decisions. One of the messages that management has consistently driven home to the teams is "cutting is shipping", and they’re right. If a feature isn’t coming together, it’s usually far better to decide NOT to deliver a particular feature then to have that feature jeopardize the ability to ship the whole system. In a typical Windows release there are thousands of features and it would be a real shame if one or two of those features ended up delaying the entire system because they really weren’t ready.

The process of building 7 has also been dramatically more transparent – even sitting at the bottom of the stack, I feel that I’ve got a good idea about how decisions are being made. And that increased transparency in turn means that as an individual contributor I’m able to make better decisions about scheduling. This transparency is actually a direct fallout of management’s decision to let the various feature teams make their own decisions – by letting the feature teams deeper inside the planning process, the teams naturally make better decisions.

Problemas com o botão de desligar, nunca mais!

Web 2.0 /ou:Dependência

Maldita Web 2.0 e suas tranqueiras...

A última delas, da qual fui vítima, é o blip.fm. Juro que estou tentando parar de usá-lo, mas não consigo! Caso clássico de dependência física e psicológica.

Me dá mais props, por favor! Por favor!

Web 2.0 /ou: Amostras...

Apenas para reforçar a idéia de bom relacionamento, baseado no conhecimento que a mídia tem do seu usuário.

Respeito:



Desrespeito:

Web 2.0 /ou: Social? Talvez...

Recentemente tenho ouvido algumas definições da Web 2.0. Alguns dizem que ela é a “Social”. Outros, que é ela é “Colaborativa”, com o “Conteúdo Gerado pelo Usuário”. Tudo bem, a Web 2.0 pode ser tudo isso. Porém, não para mim.

“Sociability It's hard enough for me”, como diz a música. Meu MySpace tem um “For music purpose only...” grande o suficiente para afastar qualquer bem-intencionado. Nem sei o que é Orkut. Definitivamente não sou uma pessoa de 3000 amigos.

Tão pouco colaborativo. Fico pensando em quantos sites eu entro para consultar algo e quantas vezes eu coloco algo ali. Poucos são os sites que me despertam interesse em colocar algum conteúdo ou dar alguma informação sobre mim.

Mas, por mais contraditório que isso pareça, sou um grande entusiasta da Web 2.0. Talvez, porque, para mim, a Web 2.0 seja algo diferente dessas definições.

Para tentar explicar o que é a Web 2.0 na minha visão, imagine o seguinte diálogo entre você e sua TV, num domingo à tarde:

TV: - Hoje, com vocês, Fausto Silva!

Você: - Mas o que é isso? Tá de sacanagem, né?! Faustão?! Não quero ver esse programa não.

A TV, sem reação, continua a mostrar o Faustão.

No próximo domingo, você volta para frente da sua TV e começa um novo diálogo, porém agora, a TV deveria estar ciente do seu desprezo pelo volumoso apresentador:

Fausto Silva: - Grande garoto!

Você: - P@#$, Televisão!! De novo?

Fausto Silva: - Ô loco, meu!

A sua TV, olhando para você com total desprezo e indiferença, continua a apresentar o popular Domingão do Faustão.

Você, a ponto de pular da janela, decide poupar sua vida neste domingo e simplesmente desliga a TV.

O que há de errado com a sua televisão e seu comportamento? O problema é que ela não se importa nem um pouco com você! E você falou para ela que você odeia Faustão! Mas o que ela fez? Ignorou! E pior! Tratou você como qualquer outro!

Que tipo de relação é essa que só um lado fala e nunca te escuta? Quem quer viver nesse tipo de relação? Ok, conheço algumas pessoas que vivem em relações como essa, mas isso não vem ao caso.

Certo. O que sua TV e seu desprezo têm a ver com a Web 2.0. A resposta é: Respeito. Respeito à sua individualidade. Diferente da sua TV, os bons web sites 2.0 me escutam e, além disso, me entendem. O MySpace e o Last.fm já sabem muito sobre meu gosto musical e eles me entendem. Incrível, mas descobri várias coisas que acho legais por que eles entenderam o que eu queria ouvir. Eu! David! Mais ninguém. Apesar de descobrir gente que gosta do mesmo tipo de música que eu, minha anti-sociabilidade ainda me impede de adicioná-los como “amigos”.

Eu, meio sem querer, já falei para o Amazon que tipo de livro eu gosto e o que não gosto, seja comprando, comentando, ranqueando, ou apenas visitando. E ele me entende! Seja indicando livros ou deixando de mostrar livros que ele sabe que não vou gostar. Ops, falei comentar? Falei ranquear? Acho que acabei me contradizendo, pois no fim colaborei de alguma maneira, certo? Talvez o fiz porque isso é uma troca e eu sabia que fazendo isso o Amazon ia me entender melhor ainda e me trazer coisas mais interessantes. Exatamente como devem ser os bons relacionamentos...

Alguns desses relacionamentos vão tão longe a ponto do individuo entregar até a senha da sua conta de banco. E por que não?

Agora é bidirecional e não mais aquela frieza das antigas mídias. Agora temos mídias que nos escutam e nos entendem. E é isso o que é a Web 2.0 para mim. Fazer amigos ou colaborar é apenas conseqüência.

Social sim, mas antes disso, individual.